智能体系统、智能体服务器、智能体服务器的控制方法及程序

文档序号:1926329 发布日期:2021-12-03 浏览:13次 >En<

阅读说明:本技术 智能体系统、智能体服务器、智能体服务器的控制方法及程序 (Agent system, agent server control method, and program ) 是由 森隆将 于 2019-05-09 设计创作,主要内容包括:在智能体系统中,具备:智能体功能部,其根据用户的讲话和/或手势,来提供包括通过声音进行的响应的服务;以及取得部,其取得表示所述用户从规定的销售行业者购入了产品或服务这一情况的信息,所述智能体功能部基于由所述取得部取得的信息,来变更所述智能体功能部能够执行的功能。(An intelligent system is provided with: an agent function part providing a service including a response by sound according to a user&#39;s speech and/or gesture; and an acquisition unit that acquires information indicating that the user purchased a product or service from a predetermined sales service provider, wherein the agent function unit changes a function that the agent function unit can execute, based on the information acquired by the acquisition unit.)

智能体系统、智能体服务器、智能体服务器的控制方法及程序

技术领域

本发明涉及智能体系统、智能体服务器、智能体服务器的控制方法及程序。

背景技术

以往,公开了一种与如下的智能体功能相关的技术,该智能体功能是指一边与车辆的乘员进行对话,一边提供与乘员的要求相应的驾驶支援相关的信息、车辆的控制、以及其他应用程序等(例如参照专利文献1)。

在先技术文献

专利文献

专利文献1:日本特开2006-335231号公报

发明内容

发明要解决的课题

然而,以往未考虑使用户在规定的销售行业者处购入的结果与智能体功能协作这一情况。因此,有时不能使用户提高在规定的销售行业者处的购入热情。

本发明是考虑这样的情况而完成的,其目的之一在于提供能够使用户提高在规定的销售行业者处的购入热情的智能体系统、智能体服务器、智能体服务器的控制方法及程序。

用于解决课题的方案

本发明的智能体系统、智能体服务器、智能体服务器的控制方法及程序采用了以下的结构。

(1):本发明的一方案的智能体系统具备:智能体功能部,其根据用户的讲话和/或手势,来提供包括通过声音进行的响应的服务;以及取得部,其取得表示所述用户从规定的销售行业者购入了产品或服务这一情况的信息,所述智能体功能部基于由所述取得部取得的信息,来变更所述智能体功能部能够执行的功能。

(2):在上述(1)的方案的基础上,所述智能体系统还具备输出控制部,该输出控制部使输出部输出进行与所述用户之间的交流的智能体的图像或声音,来作为由所述智能体功能部提供的服务,所述输出控制部基于由所述取得部取得的所述用户的购入履历,使由所述输出部输出的所述智能体的图像或声音的输出方式变更。

(3):在上述(2)的方案的基础上,所述智能体功能部基于所述用户购入的产品或服务的类别、购入额的总额、购入频率、以及利用积分中的至少一个,来使所述智能体成长。

(4):在上述(2)的方案的基础上,所述智能体功能部在所述用户购入的产品或服务与车辆有关系的情况下,与所述车辆建立对应关系而设定智能体。

(5):在上述(4)的方案的基础上,所述智能体功能部在所述用户换购或增购车辆的情况、或购入针对车辆的服务的情况下,使换购或增购之前、或购入之前的与用户建立了对应关系的智能体能够在换购或增购后、或服务购入后的车辆中、或者所述用户的终端装置中继续使用。

(6):在上述(4)或(5)的方案的基础上,所述产品包括向所述车辆供给电力的蓄电池,所述智能体功能部使用与所述蓄电池的状态建立了对应关系的形象图像来作为所述智能体的图像。

(7):在上述(1)~(6)中任一项的方案的基础上,所述智能体功能部基于所述用户购入的产品或服务的类别、购入额的总额、购入频率、以及利用积分中的至少一个,来追加或扩展所述智能体功能部能够执行的功能。

(8):本发明的另一方案的智能体服务器具备:辨识部,其辨识用户的讲话和/或手势;响应内容生成部,其基于由所述辨识部辨识的结果,来生成针对所述讲话和/或手势的响应结果;信息提供部,其使用进行与所述用户之间的交流的智能体的图像或声音,来提供由所述响应内容生成部生成的响应结果;以及智能体管理部,其在所述用户从规定的销售行业者购入了产品或服务的情况下,使所述智能体的输出方式变化。

(9):本发明的又一方案的智能体服务器的控制方法使计算机进行如下处理:辨识用户的讲话和/或手势;基于辨识的结果,来生成针对所述讲话和/或手势的响应结果;使用进行与所述用户之间的交流的智能体的图像或声音,来提供所生成的响应结果;在所述用户从规定的销售行业者购入了产品或服务的情况下,使所述智能体的输出方式变化。

(10):本发明的再一方案的程序使计算机进行如下处理:辨识用户的讲话和/或手势;基于辨识的结果,来生成针对所述讲话和/或手势的响应结果;使用进行与所述用户之间的交流的智能体的图像或声音,来提供所生成的响应结果;在所述用户从规定的销售行业者购入了产品或服务的情况下,使所述智能体的输出方式变化。

发明效果

根据上述(1)~(10)的方案,能够使用户提高在规定的销售行业者处的购入热情。

附图说明

图1是包括智能体装置100的智能体系统1的结构图。

图2是表示实施方式的智能体装置100的结构和搭载于车辆M1的设备的图。

图3是表示显示-操作装置20及扬声器单元30的配置例的图。

图4是表示根据电池90的状态而显示的形象的一例的图。

图5是表示实施方式的便携终端200的功能结构的一例的图。

图6是表示实施方式的顾客服务器300的功能结构的一例的图。

图7是用于说明购入数据372的内容的图。

图8是表示智能体服务器400的结构、以及智能体装置100及便携终端200的结构的一部分的图。

图9是表示个人资料444的内容的一例的图。

图10是表示智能体管理信息450的内容的一例的图。

图11是表示由实施方式的智能体系统1进行的智能体的提供方法的一例的序列图。

图12是表示用于设定智能体的图像IM1的一例的图。

图13是表示在选择了智能体A之后显示的图像IM2的一例的图。

图14是表示用户U1正与智能体A进行对话的场景的一例的图。

图15是用于说明由智能体功能部150使输出部输出的响应结果的图。

图16是表示包括成长后的智能体的图像IM5的一例的图。

图17是用于说明由成长后的智能体提供的内容的差异的图。

图18是表示进行了智能体的衣装的换穿之后的图像IM6的一例的图。

图19是表示根据应用执行部250的处理而显示于便携终端200的显示器230的图像的一例的图。

图20是表示由于用户U1的车辆的购入而显示于车辆M1的第一显示器22的图像IM8的一例的图。

图21是用于说明利用与其他智能体之间的对话来进行对话的图。

图22是用于说明使与电池90的状态建立了对应关系的形象图像作为智能体而显示的图。

具体实施方式

以下,参照附图来说明本发明的智能体系统、智能体服务器、智能体服务器的控制方法及程序的实施方式。智能体装置是实现智能体系统的一部分或全部的装置。以下,作为智能体装置的一例说明搭载于车辆并具备一个以上的智能体功能的智能体装置。车辆例如是二轮、三轮、四轮等的车辆,其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。智能体功能例如是指一边与车辆的用户对话,一边进行基于用户的讲话和/或手势中包含的要求(指令)的各种的信息提供,管理用户的日程,中介网络服务的功能。另外,智能体功能中可以具有进行车辆内的设备(例如与驾驶控制、车身控制相关的设备)的控制等的功能。智能体功能也可以根据智能体的成长水平(培养水平)来变更能够执行的功能。

智能体功能例如除了利用辨识用户的声音的声音辨识功能(将声音文本化的功能)之外还综合地利用自然语言处理功能(理解文本的构造、意思的功能)、对话管理功能、经由网络来检索其他装置或检索本装置持有的规定的数据库的网络检索功能等,来实现。这些功能的一部分或全部可以通过AI(Artificial Intelligence)技术来实现。另外,用于进行这些功能的结构的一部分(尤其是,声音辨识功能、自然语言处理解释功能)也可以搭载于能够与车辆的车载通信装置或带入车辆的通用通信装置通信的智能体服务器(外部装置)。在以下的说明中,以结构的一部分搭载于智能体服务器、且智能体装置与智能体服务器协同配合而实现智能体系统为前提。另外,将智能体装置与智能体服务器协同配合而假想地出现的服务提供主体(服务·实体)称作智能体。另外,“智能体”的表现可以适当地换读作“管理者”。

<整体结构>

图1是包括智能体装置100的智能体系统1的结构图。智能体系统1例如具备搭载于与用户U1建立了对应关系的车辆M1的智能体装置100、与用户U1建立了对应关系的便携终端200、顾客服务器300及智能体服务器400。所谓“与用户U1建立对应关系”,例如相当于用户U1拥有、用户U1管理、或分配给用户U1。

智能体装置100经由网络NW与便携终端200、顾客服务器300、智能体服务器400等通信。网络NW例如包括互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(LocalArea Network)、公用线路、电话线路、无线基站等中的一部分或全部。网络NW与各种网页服务器500连接,智能体装置100、便携终端200、顾客服务器300及智能体服务器400能够经由网络NW从各种网页服务器500取得网页。在各种网页服务器500中可以包括由规定的销售行业者管理、运营的官方网站。

智能体装置100与用户U1进行对话,将来自用户U1的声音向智能体服务器400发送,并将基于从智能体服务器400得到的回答的响应内容以声音输出、图像显示的形式向用户U1提供。在此,智能体装置100也可以在用户U1存在于车辆内的情况下,使用搭载于车辆M1的显示部、扬声器单元进行信息提供,在用户U1不存在于车辆M1的情况下,向用户U1的便携终端200进行信息提供。另外,智能体装置100还可以基于来自用户的要求来进行对车辆设备50的控制等。

便携终端200通过用户U1的操作,与智能体装置100同样的功能由应用程序(以下称作应用)等提供。便携终端200例如是智能手机、平板终端的终端装置。

顾客服务器300汇总通过由经销商等至少1个销售店铺管理的终端(以下称作销售店铺终端)来管理的用户(顾客)的信息,并将其作为顾客履历信息来管理。销售店铺例如包括进行车辆、车载设备、项目(item)等规定的产品的销售、进行车辆共享、出赁车等各种服务的提供等的规定的系列店铺。另外,销售店铺可以包括与规定的销售行业者合作的其他销售运营者的关联销售店铺。例如,在销售行业者为车辆、车载设备的销售行业者的情况下,关联销售店铺例如是旅行公司、车检公司、除了车辆以外的服务提供公司等。以下,为了便于说明,使用两个销售店铺终端DT1及DT2来进行说明。也可以在销售店铺终端DT1及DT2分别管理来店者(用户)的个人信息、来店履历、由用户进行的产品、服务的购入履历、以及其他的用户关联信息。销售店铺终端DT1及DT2以规定的周期或在规定的时机向顾客服务器300发送向用户销售的销售内容、用户关联信息。规定的周期例如是指每天、每周等周期。另外,规定的时机例如是指用户来店的时机、用户购入了产品、服务的时机、用户关联信息更新了的时机等。

顾客服务器300汇总从销售店铺终端DT1、DT2发送的信息,进行顾客在销售店铺终端的购入数据的管理。顾客服务器300将管理着的购入数据向智能体服务器400等发送。

智能体服务器400例如是智能体系统1的提供者运营的服务器。作为提供者,例如举出机动车制造商、网络服务运营者、电子商贸运营者、便携终端的销售行业者等,任意的主体(法人、团体、个人等)可能成为智能体系统的提供者。

[车辆]

图2是表示实施方式的智能体装置100的结构和搭载于车辆M1的设备的图。在车辆M1例如搭载一个以上的话筒10、显示-操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员辨识装置80及智能体装置100。另外,有时智能手机等通用通信装置70被带入车室内,作为通信装置使用。这些装置通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等互相连接。需要说明的是,图2所示的结构只不过是一例,可以省略结构的一部分,也可以还追加别的结构。将显示-操作装置20与扬声器单元30合起来是车辆M1中的“输出部”的一例。

话筒10是收集在车室内发出的声音的声音输入部。显示-操作装置20是显示图像并且能够接受输入操作的装置(或者装置群)。显示-操作装置20例如包括作为触摸面板而构成的显示器装置。显示-操作装置20也可以还包括HUD(Head Up Display)、机械式的输入装置。扬声器单元30例如包括配设于车室内的互不相同的位置的多个扬声器(声音输出部)。显示-操作装置20也可以由智能体装置100和导航装置40共用。关于它们的详细情况,见后述。

导航装置40具备导航HMI(Human Machine Interface)、GPS(Global PositioningSystem)等位置测定装置、存储有地图信息的存储装置、以及进行路径搜索等的控制装置(导航控制器)。话筒10、显示-操作装置20及扬声器单元30中的一部分或全部也可以用作导航HMI。导航装置40搜索用于从由位置测定装置确定的车辆M1的位置移动到由用户U1输入的目的地的路径(导航路径),并使用导航HMI输出引导信息,以便车辆M1能够沿着路径行驶。路径搜索功能也可以处于经由网络NW而能够访问的导航服务器。在该情况下,导航装置40从导航服务器取得路径并输出引导信息。需要说明的是,智能体装置100也可以以导航控制器为基础而构筑,在该情况下,导航控制器和智能体装置100在硬件上一体构成。

车辆设备50例如是搭载于车辆M1的设备。车辆设备50例如包括发动机、行驶用马达等驱动力输出装置、转向装置、发动机的启动马达、车门锁定装置、车门开闭装置、车窗开闭装置、空调装置等。

车载通信装置60例如是利用蜂窝网、Wi-Fi网能够访问网络NW的无线通信装置。

乘员辨识装置80例如包括就座传感器、车室内相机、图像辨识装置等。就座传感器包括设置于座位的下部的压力传感器、安装于座椅安全带的张力传感器等。车室内相机是设置于车室内的CCD(Charge Coupled Device)相机、CMOS(Complementary Metal OxideSemiconductor)相机。图像辨识装置对车室内相机的图像进行解析,辨识每个座位的乘员(用户)的有无、脸部朝向、乘员的手势、驾驶员、乘员的状态(例如,身体状况差)等。所谓手势,例如是指手、胳膊、脸部、头的动作与规定的要求建立了对应关系。因此,乘员能够通过手势向智能体装置100传递要求。由乘员辨识装置80辨识的辨识结果例如向智能体装置100、智能体服务器400输出。

图3是表示显示-操作装置20及扬声器单元30的配置例的图。显示-操作装置20例如包括第一显示器22、第二显示器24及操作开关ASSY26。显示-操作装置20也可以还包括HUD28。另外,显示-操作装置20也可以还包括设置于仪表板中的与驾驶员座DS面对的部分的仪表显示器29。将第一显示器22、第二显示器24、HUD28及仪表显示器29合起来是“显示部”的一例。

在车辆M1例如存在设置有转向盘SW的驾驶员座DS、以及相对于驾驶员座DS在车宽方向(图中Y方向)上设置的副驾驶员座AS。第一显示器22是从仪表板中的驾驶员座DS与副驾驶员座AS的中间附近延伸到与副驾驶员座AS的左端部对置的位置的横长形状的显示器装置。第二显示器24在驾驶员座DS与副驾驶员座AS的车宽方向上的中间附近、且设置于第一显示器22的下方。例如,第一显示器22和第二显示器24均作为触摸面板而构成,作为显示部而具备LCD(Liquid Crystal Display)、有机EL(Electroluminescence)、等离子体显示器等。操作开关ASSY26聚集有拨码开关、按钮式开关等。HUD28例如是与风景重叠来视觉辨识图像的装置,作为一例,通过向车辆M1的前风窗玻璃、合成器投射包含图像的光,从而使乘员视觉辨识虚像。仪表显示器29例如是LCD、有机EL等,显示速度表、旋转速度表等计量仪器类。显示-操作装置20将由乘员进行的操作的内容向智能体装置100输出。上述的各显示部显示的内容可以由智能体装置100决定。

扬声器单元30例如包括扬声器30A~30F。扬声器30A设置于驾驶员座DS侧的窗柱(所谓的A柱)。扬声器30B设置于靠近驾驶员座DS的车门的下部。扬声器30C设置于副驾驶员座AS侧的窗柱。扬声器30D设置靠近副驾驶员座AS的车门的下部。扬声器30E设置于第二显示器24的附近。扬声器30F设置于车室的顶棚(车顶)。另外,扬声器单元30也可以设置于与右侧后部座位、左侧后部座位靠近的车门的下部。

在该配置中,例如在专门使扬声器30A及30B输出声音的情况下,声像定位于驾驶员座DS附近。“定位声像”例如是指通过调节向乘员的左右耳传递的声音的大小,来确定乘员感觉的声源的空间上的位置。另外,在专门使扬声器30C及30D输出声音的情况下,声像定位于副驾驶员座AS附近。另外,在专门使扬声器30E输出声音的情况下,声像定位于车室的前方附近,在专门使扬声器30F输出声音的情况下,声像定位于车室的上方附近。不限定于此,扬声器单元30能够通过使用混频器、放大器调整各扬声器输出的声音的分配,从而使声像定位于车室内的任意的位置。

电池90是积蓄由车辆M的驱动源机构发出的电力或由外部电源进行插入式充电而得到的电力的蓄电池。电池90例如是锂离子电池等二次电池。电池90例如也可以是包括多个二次电池的电池单元。电池90向车辆M1的驱动源机构或车载设备等供给电力。

[智能体装置]

返回图2,智能体装置100例如具备管理部110、智能体功能部150、电池管理部160及存储部170。以下,有时将智能体功能部150与智能体服务器400协同配合而出现的设备称作“智能体”。

智能体装置100的各构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI(LargeScale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部:circuitry)来实现,还可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质),并通过存储介质装配于驱动装置而安装。

存储部170由上述的各种存储装置来实现。在存储部170保存各种数据、程序。在存储部170例如保存电池资料信息172、电池形象图像174、程序、以及其他的信息。在电池资料信息172保存由电池管理部160取得的与电池90相关的资料信息。资料信息例如包括电池90的充电率(SOC:State OfCharge)、电池90的劣化程度等。电池形象图像174包括针对电池90而根据状态而选择的形象图像。

管理部110通过OS(Operating System)、中间件等程序执行来发挥功能。管理部110例如具备声响处理部112、WU(Wake Up:唤醒)判定部114、智能体设定部116及输出控制部120。输出控制部120例如具备显示控制部122和声音控制部124。

声响处理部112接受从话筒10收集的声音,并对接受的声音进行声响处理,以成为适于智能体辨识预先设定的唤醒词(启动词)的状态。声响处理例如是基于带通滤波器等的滤波的噪声除去、声音的放大等。另外,声响处理部112将进行了声响处理后的声音向WU判定部114、启动中的智能体功能部输出。

WU判定部114对应各个智能体功能部150而存在,辨识按每个智能体预先设定的唤醒词。WU判定部114根据进行了声响处理的声音(声音流)来辨识声音的意思。首先,WU判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。WU判定部114也可以进行以基于混合高斯分布模型(GMM:Gaussian mixture model)进行的帧单位的声音识别及非声音识别为基础的区间检测。

接着,WU判定部114将检测出的声音区间中的声音文本化,并将其设为文字信息。而且,WU判定部114判定文本化后的文字信息是否属于唤醒词。在判定为是唤醒词的情况下,WU判定部114使对应的智能体功能部150启动。需要说明的是,也可以是,与WU判定部114相当的功能搭载于智能体服务器400。在该情况下,管理部110将由声响处理部112进行了声响处理而得到的声音流向智能体服务器400发送,在智能体服务器400判定为是唤醒词的情况下,按照来自智能体服务器400的指示,智能体功能部150启动。需要说明的是,各智能体功能部150可以始终启动且自行进行唤醒词的判定。在该情况下,管理部110不需要具备WU判定部114。

另外,WU判定部114在按照与上述的步骤同样的步骤辨识到讲话的声音所包含的结束词、且与结束词对应的智能体为启动的状态(以下,根据需要称作“启动中”)的情况下,使启动的智能体功能部停止(结束)。需要说明的是,启动中的智能体也可以在经过规定时间以上仍未接受到声音的输入的情况、接受到使智能体结束的规定的指示操作的情况下,使智能体停止。另外,WU判定部114也可以根据由乘员辨识装置80辨识的用户U1的手势来辨识唤醒词及结束词,进行智能体的启动及停止。

智能体设定部116设定向用户U1做出响应时的智能体的响应时的输出方式。输出方式例如是指智能体图像或智能体声音中的一方或双方。智能体图像例如是指在车室内进行与用户U1之间的交流的拟人化的智能体的图像。另外,智能体图像例如是对用户U1搭话的方式的图像。智能体图像例如也可以包括至少由观看者辨识表情、脸部朝向的程度的脸部图像。例如,智能体图像可以表示在脸部区域中模拟出眼睛、鼻子的部位,并基于脸部区域中的部位的位置来辨识表情、脸部朝向。另外,智能体图像也可以有立体感,通过包括三维空间中的头部图像,由观看者辨识智能体的脸部朝向,通过包含主体(躯体、手足)的图像,辨识智能体的动作、举止、姿势等。另外,智能体图像也可以是动画图像。智能体声音是指用于使听者辨识为疑似智能体图像正在发出的声音。

智能体设定部116将由用户U1或智能体服务器400选择出的智能体图像及智能体声音设定为针对智能体的智能体图像及智能体声音。

输出控制部120根据来自管理部110或智能体功能部150的指示使显示部或扬声器单元30输出响应内容等信息,由此向用户U1进行服务等的提供。输出控制部120例如具备显示控制部122和声音控制部124。

显示控制部122根据来自输出控制部120的指示而使显示部的至少一部分的区域显示图像。以下,说明使第一显示器22显示与智能体相关的图像的情况。显示控制部122通过输出控制部120的控制,生成智能体图像,并使第一显示器22显示所生成的智能体图像。例如,也可以是,显示控制部122使靠近由乘员辨识装置80辨识出的乘员(例如用户U1)的位置的显示区域显示智能体图像,生成使脸部朝向乘员的位置的智能体图像并进行显示。

声音控制部124根据来自输出控制部120的指示,使扬声器单元30所包含的扬声器中的一部分或全部输出声音。声音控制部124也可以使用多个扬声器单元30,来进行使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。与智能体图像的显示位置对应的位置例如是指预测为乘员感到智能体图像正在讲出智能体声音的位置,具体而言,是智能体图像的显示位置附近(例如2~3[cm]以内)的位置。

智能体功能部150与对应的智能体服务器400协同配合使智能体出现,根据车辆的乘员的讲话和/或手势,来提供包括通过声音进行的响应的服务。智能体功能部150可以包括赋予了控制车辆M1(例如车辆设备50)的权限的功能。

电池管理部160例如具备BMU(Battery Management Unit:控制部)。BMU控制电池90的充电、放电。例如,BMU在电池装配于车辆M1时,控制对电池90的充放电。另外,电池管理部160管理由电池传感器(未图示)等检测的电池90的充电率,并管理电池90的劣化程度。电池管理部160使电池资料信息172存储与电池90相关的管理信息。另外,电池管理部160使与电池90相关的管理信息通过输出控制部120而向用户U1通知。在该情况下,电池管理部160选择存储于存储部170的多个电池形象图像174中的与电池90的状态对应的形象图像,并使第一显示器22显示所选择出的形象图像。

图4是表示根据电池90的状态而显示的形象的一例的图。在图4的例子中,根据从新购入电池90起的劣化程度而示出6个形象图像BC1~BC6。需要说明的是,形象图像也可以代替拟人化的形象而使用动物、植物。电池管理部160例如通过电池传感器(未图示)等测定电池90的电容、内部电阻值,并使用预先存储的表、规定函数来取得与测定的值建立了对应关系的劣化程度。另外,电池管理部160也可以基于从购入电池90起的年数来取得劣化程度。电池管理部160基于取得的劣化程度来选择形象图像BC1~BC6中的任意的图像,并通过输出控制部120使第一显示器22等显示所选择出的图像。通过使电池90的状态以拟人化的形象图像显示,能够使用户U1直观辨识电池90的状态。

[便携终端]

图5是表示实施方式的便携终端200的功能结构的一例的图。便携终端200例如具备通信部210、输入部220、显示器230、扬声器240、应用执行部250、输出控制部260及存储部270。通信部210、输入部220、应用执行部250及输出控制部260例如通过CPU等硬件处理器执行程序(软件)来实现。另外,这些构成要素中的一部分或全部也可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部:circuitry)来实现,也可以通过软件与硬件的协同配合来实现。上述的程序可以预先保存于便携终端200的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置,例如存储部270),也可以保存于DVD、CD-ROM、存储卡等能够装卸的存储介质,并通过存储介质(非暂时性的存储介质)装配于驱动装置、卡槽等而安装于便携终端200的存储装置。将显示器230与扬声器240合起来是便携终端200中的“输出部”的一例。

通信部210例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC、LAN、WAN、互联网等网络,与车辆M1、顾客服务器300、智能体服务器400、各种网页服务器500、以及其他外部装置进行通信。

输入部220例如接受用户U1通过各种按键、按钮等的操作而进行的输入。显示器230例如是LCD(Liquid Crystal Display)等。输入部220也可以作为触摸面板而与显示器230一体构成。显示器230通过输出控制部260的控制,显示与实施方式中的智能体相关的信息、以及其他为了使用便携终端200而需要的信息。扬声器240例如通过输出控制部260的控制而输出规定的声音。

应用执行部250通过执行存储于存储部270的智能体应用272来实现。智能体应用272例如是经由网络NW与车辆M1、智能体服务器400、各种网页服务器500进行通信,发送来自用户U1的指示、要求并取得信息的应用。应用执行部250例如基于在从规定的销售行业者购入产品、服务时提供的产品信息(例如车辆ID)、服务管理信息,来进行智能体应用272的认证,执行智能体应用272。另外,应用执行部250也可以具有与智能体装置100的声响处理部112、WU判定部114、智能体设定部116及智能体功能部150同样的功能。另外,应用执行部250通过输出控制部260执行使显示器230显示智能体图像并使智能体声音从扬声器240输出的控制。

输出控制部260控制使显示器230显示的图像的内容、显示方式、使扬声器240输出的声音的内容、输出方式。另外,输出控制部260也可以使由智能体应用272指示的信息、为了使用便携终端200而需要的各种信息从显示器230及扬声器240输出。

存储部270例如由HDD、闪存器、EEPROM、ROM或RAM等实现。在存储部270例如存储智能体应用272、程序、以及其他各种信息。

[顾客服务器]

图6是表示实施方式的顾客服务器300的功能结构的一例的图。顾客服务器300例如具备通信部310、输入部320、显示器330、扬声器340、购入管理部350、输出控制部360及存储部370。通信部310、输入部320、购入管理部350及输出控制部360例如通过CPU等硬件处理器执行程序(软件)来实现。另外,这些构成要素中的一部分或全部也可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部:circuitry)来实现,也可以通过软件与硬件的协同配合来实现。上述的程序可以预先保存于顾客服务器300的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置,例如存储部370),也可以保存于DVD、CD-ROM、存储卡等能够装卸的存储介质,并通过存储介质(非暂时性的存储介质)装配于驱动装置、卡槽等而安装于顾客服务器300的存储装置。

通信部310例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC、LAN、WAN、互联网等网络,与销售店铺终端DT1、DT2、车辆M1、便携终端200、智能体服务器400、以及其他的外部装置进行通信。

输入部320例如接受由用户U1进行各种按键、按钮等的操作的输入。显示器330例如是LCD等。输入部320也可以作为触摸面板与显示器330一体构成。显示器330通过输出控制部360的控制,来显示实施方式中的顾客信息、以及其他为了使用顾客服务器300而需要的信息。扬声器340例如通过输出控制部360的控制来输出规定的声音。

购入管理部350管理用户在销售店铺终端DT1及DT2这样的规定的销售行业者或其关联设施等购入的产品、服务的购入履历。购入管理部350将购入履历作为购入数据372保存于存储部370。图7是用于说明购入数据372的内容的图。关于购入数据372,例如识别用户的识别信息即用户ID与购入履历信息建立了对应关系。购入履历信息例如包括购入日期时刻、产品管理信息及服务管理信息。购入日期时刻例如是与通过销售店铺终端DT1及DT2购入了产品或服务的日期时刻相关的信息。产品管理信息例如包括在销售店铺终端DT1及DT2购入的产品的类别、个数、费用、积分等信息。产品例如包括车辆、车载设备、车辆的部件等与车辆有关系的产品、步行辅助系统、以及其他项目。车载设备例如是指话筒10、显示-操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员辨识装置80、电池90等。另外,车辆的部件例如是指轮胎、方向盘、消声器等。项目例如是指便携终端、洋装、手表、帽子、玩具、杂货、文具、书籍、汽车生活商品(钥匙环、钥匙包)等。服务管理信息例如包括向用户提供的服务的类别、费用、积分等信息。服务例如是指车检(持续检查)、定期点检维修、修理、车辆共享服务、出赁车服务等。

购入管理部350将购入数据372在规定时机向智能体服务器400发送。另外,购入管理部350针对来自智能体服务器400的询问而使购入数据372向智能体服务器400发送。

输出控制部360控制使显示器330显示的图像的内容、显示方式、使扬声器340输出的声音的内容、输出方式。另外,输出控制部360也可以使为了使用顾客服务器300而需要的各种信息从显示器330及扬声器340输出。

存储部370例如通过HDD、闪存器、EEPROM、ROM或RAM等来实现。在存储部370例如存储购入数据372、程序、及其他各种信息。

[智能体服务器]

图8是表示智能体服务器400的结构、以及智能体装置100及便携终端200的结构的一部分的图结构。以下,省略关于使用网络NW的物理的通信的说明。

智能体服务器400具备通信部410。通信部410例如是NIC(Network InterfaceCard)等网络接口。而且,智能体服务器400例如具备声音辨识部420、自然语言处理部422、对话管理部424、网络检索部426、响应内容生成部428、信息提供部430、资料取得部432、智能体管理部434及存储部440。这些构成要素例如通过CPU等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部:circuitry)来实现,还也可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置,例如存储部440),也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质),并通过存储介质装配于驱动装置而安装。将声音辨识部420与自然语言处理部422合起来是“辨识部”的一例。智能体管理部434是“取得部”的一例。

存储部440通过上述的各种存储装置来实现。在存储部440例如保存字典DB(数据库)442、个人资料444、知识库DB446、响应规则DB448、智能体管理信息450等数据、程序。

在智能体装置100中,智能体功能部150例如将从声响处理部112等输入的声音流、或者进行了压缩、编码等处理而得到的声音流向智能体服务器400发送。智能体功能部150也可以在成功辨识到能够进行本地处理(不经由智能体服务器400的处理)的指令(要求内容)的情况下,执行由指令要求的处理。能够进行本地处理的指令例如是指通过参照智能体装置100具备的存储部170而能够响应的指令。更具体而言,能够进行本地处理的指令例如是指从存在于存储部170内的电话簿数据检索特定人的名字,并对与吻合的名字建立了对应关系的电话号码打电话(呼叫对方)的指令。即,智能体功能部150也可以具有智能体服务器400具备的功能的一部分。

另外,便携终端200的应用执行部250例如向智能体服务器400发送从由输入部220输入的声音得到的声音流。

当取得声音流时,声音辨识部420进行声音辨识并输出文本化后的文字信息,自然语言处理部422针对文字信息参照字典DB442来进行意思解释。关于字典DB442,例如文字信息与抽象化了的意思信息建立了对应关系。字典DB442也可以包括同义词、近义词的一览信息。声音辨识部420的处理和自然语言处理部422的处理可以不明确地划分阶段,而是接受自然语言处理部422的处理结果而声音辨识部420修正辨识结果等、相互影响地进行。

自然语言处理部422例如在作为辨识结果而辨识到“今天的天气是”、“天气怎么样”等意思的情况下,生成置换成标准文字信息“今天的天气”的指令。由此,在请求的声音中存在表述差异的情况下,也能够易于进行与要求相称的对话。另外,自然语言处理部422例如也可以使用利用了概率的机器学习处理等人工智能处理来辨识文字信息的意思,生成基于辨识结果的指令。

对话管理部424基于输入的指令,参照个人资料444、知识库DB446、响应规则DB448来决定针对车辆M1的乘员的响应内容(例如,向用户U1讲出的讲话内容、从输出部输出的图像、声音)。

图9是表示个人资料444的内容的一例的图。关于个人资料444,例如按每个用户ID,个人信息、兴趣爱好及利用履历建立了对应关系。个人信息例如包括与用户ID建立了对应关系的用户的姓名、性别、年龄、自己家的住所、老家的住所、家庭构成、家庭的状态、用于与便携终端200进行通信的地址信息等。另外,个人信息也可以包括脸部、容态、声音的特征信息。兴趣爱好例如是基于对话内容的解析结果、对询问的回答、通过用户的设定等而得到与兴趣、爱好相关的信息。另外,利用履历例如是与过去利用了的智能体相关的信息、与每个智能体的对话履历相关的信息。

知识库DB446是规定了事物的关系性的信息。响应规则DB448是对指令规定了智能体应该进行的动作(回答、设备控制的内容等)的信息。

对话管理部424在指令是要求经由网络NW而能够检索的信息的情况下,使网络检索部426进行检索。网络检索部426经由网络NW访问各种网页服务器500,来取得期望的信息。“经由网络NW而能够检索的信息”例如是指处于车辆M1的周边的餐厅的由普通用户评价的评价结果,与车辆M1的位置相应的天气预报。另外,“经由网络NW而能够检索的信息”也可以是使用了电车(有轨电车)、飞机等交通工具的移动方案。

响应内容生成部428生成响应内容并将生成的响应内容向智能体装置100发送,以使由对话管理部424决定的讲话的内容向车辆M1的用户U1传送。响应内容例如包括向用户U1提供的响应文、对各控制对象设备的控制指令等。另外,响应内容生成部428也可以从智能体装置100取得由乘员辨识装置80辨识的辨识结果,并在通过取得的辨识结果而确定出进行了包括指令的讲话的用户U1是登记于个人资料444的用户的情况下,叫出用户U1的名字,并生成设为与用户U1或用户U1的家庭的讲话方式相似的讲话方式的响应内容。

信息提供部430针对由响应内容生成部428生成的响应内容,参照存储于存储部440的智能体管理信息450,生成与智能体的输出方式对应的响应内容。

图10是表示智能体管理信息450的内容的一例的图。在智能体管理信息450中,例如用户ID及识别车辆的识别信息即车辆ID与智能体ID、属性信息及智能体设定信息建立了对应关系。属性信息例如是指使用了与智能体ID对应的智能体的期间、成长水平(培养水平)、性别、性格、智能体能够执行的功能等信息。智能体设定信息例如包括由智能体设定部116设定的智能体图像信息及智能体声音信息。

例如,信息提供部430使用连同声音一起从智能体功能部150发送的用户ID及车辆ID,参照存储于存储部440的智能体管理信息450,取得与用户ID及车辆ID建立了对应关系的智能体设定信息、属性信息。而且,信息提供部430生成与智能体设定信息、属性信息对应的响应内容,并将生成的响应内容向发送了声音的智能体功能部150或便携终端200发送。

智能体装置100的智能体功能部150在从智能体服务器400取得响应内容的情况下,指示声音控制部124以进行声音合成等并输出智能体声音。另外,智能体功能部150与声音输出相配合而生成智能体图像,并指示显示控制部122以显示所生成的智能体图像、响应结果所包含的图像等。

便携终端200的应用执行部250在从智能体服务器400取得响应内容的情况下,基于响应内容生成智能体图像、智能体声音,并使显示器230输出所生成的智能体图像,使生成的智能体声音从扬声器240输出。这样,通过假想地出现的智能体,实现对车辆M1的乘员(用户U1)进行响应的智能体功能。

资料取得部432基于从智能体装置100、便携终端200取得的用户U1的讲话和/或手势的内容、智能体的利用状况,来更新个人资料444。另外,资料取得部432也可以从顾客服务器300取得购入数据372,并基于取得的购入信息来更新个人资料444。

智能体管理部434从顾客服务器300取得购入数据372,并基于取得的购入信息来变更智能体能够执行的功能。例如,智能体管理部434基于在规定的销售行业者处购入的产品或服务的类别、购入额的总额、购入频率、以及利用积分中的至少一个,来进行追加智能体能够执行的功能、扩展功能的控制。购入频率例如包括购入在销售店铺能够购入的产品(例如车辆)和/或与产品相关联的项目(例如玩具、模型、无线遥控、塑料模型)等的频率。利用积分例如包括向销售店铺来访时被赋予的来店积分、在来到能够试乘车辆的赛道(circuit)场、工厂等的情况或参加了活动(计划)的情况下被赋予的参加积分。另外,智能体管理部434也可以基于在规定的销售行业者处购入了的产品或服务的类别、购入额的总额、购入频率、或者利用积分中的至少一个,使智能体图像、智能体声音的输出方式变化。

[由智能体系统进行的处理]

接着,具体说明由实施方式的智能体系统1进行的处理的流程。图11是表示由实施方式的智能体系统1进行的智能体的提供方法的一例的序列图。以下,作为一例使用便携终端200、车辆M1、销售店铺终端DT1、顾客服务器300及智能体服务器400来说明处理的流程。另外,在图11的例子中,主要以用户U1在销售行业者处购入了车辆M1时的智能体系统的处理的流程为中心进行说明。

首先,当用户U1在销售店铺购入车辆M1时,购入的销售店铺的终端(以下称作销售店铺终端DT1)进行用户U1的用户登记(步骤S100),并且登记购入数据(步骤S102)。接着,销售店铺终端DT1将通过用户登记而得到的用户关联信息、以及与购入数据相关的信息向顾客服务器300发送(步骤S104)。

顾客服务器300将由销售店铺终端DT1发送的用户信息及与购入数据相关的信息存储于存储部370,并管理购入履历(步骤S106)。另外,顾客服务器300在规定的产品(例如车辆)或用户U1的购入金额的合计成为了规定金额以上的情况下,许可智能体的利用,并将许可用户U1利用智能体的信息向智能体服务器400发送(步骤S108)。

智能体服务器400将用于使用户U1选择智能体的信息向车辆M1发送(步骤S110)。车辆M1的智能体设定部116基于从智能体服务器400接收的信息,生成用于选择智能体的图像或声音中的一方或双方,并使输出部输出所生成的信息。

接着,智能体设定部116让用户U1设定智能体(步骤S112)。关于步骤S112的处理的详细情况,见后述。智能体设定部116将智能体的设定信息向智能体服务器400发送(步骤S114)。智能体服务器400登记由智能体设定部116设定的智能体(步骤S116)。

接着,车辆M的智能体功能部150通过设定的智能体,进行与车辆M1的用户U1之间的对话,并将对话内容向智能体服务器400发送(步骤S118),另外,智能体功能部150从智能体服务器400接收响应结果,生成与接收的响应结果对应的智能体图像、智能体声音,并使输出部输出该智能体图像、智能体声音(步骤S120)。关于步骤S118~S120的处理的详细情况,见后述。

另外,便携终端200的应用执行部250与用户U1进行使用了智能体的对话,并将对话内容向智能体服务器400发送(步骤S122)。另外,应用执行部250接收来自智能体服务器400的响应结果,生成与接收的响应结果对应的智能体图像、智能体声音,并由显示器230及扬声器240输出该智能体图像、智能体声音(步骤S124)。关于步骤S122~S124的处理的详细情况,见后述。

[步骤S112的处理:智能体设定部的功能]

接着,具体说明上述的步骤S112的处理中的智能体设定部116的功能。智能体设定部116在从智能体服务器400接收到用于让用户U1选择智能体的信息的情况下,在用户U1最初向车辆M1乘车的时机、或用户U1最初呼叫智能体的时机,使显示控制部122生成用于设定智能体的图像,并将生成的图像作为智能体设定画面而使显示-操作装置20的显示部输出。

图12是表示用于设定智能体的图像IM1的一例的图。需要说明的是,关于显示于图像IM1的内容、布局等,并不限定于此。关于以下的图像的说明也同样。图像IM1例如包括文字显示区域A11、智能体选择区域A12及GUI(Graphical User Interface)开关选择区域A13。

在文字显示区域A11显示用于让用户U1从预先登记于智能体服务器400的多个智能体图像中选择智能体图像的文字信息。在图12的例子中,在文字显示区域A11显示有“请选择智能体。”这一文字信息。

在智能体选择区域A12例如显示用户U1能够选择的智能体图像。智能体图像例如是由于用户U1通过规定的销售行业者购入了车辆M1,从而成为了能够选择的图像。

另外,实施方式中的智能体也可以是能够使容态等成长(培养)的智能体。在该情况下,在购入时最初选择的智能体例如是孩子智能体。在图12的例子中,显示有两个少女智能体图像AG10、AG20。智能体图像可以是预先设定的图像,也可以是用户U1指定的用户。另外,智能体图像也可以是拼贴了家庭、友人等的脸部图像的图像。由此,用户U1能够更加持有亲近感地与智能体进行对话。

用户U1通过触摸显示部中的智能体图像AG10或AG20中的任意的显示区域,从而选择智能体图像。在图12的例子中,在智能体选择区域A12中,作为选择了智能体图像AG10的状态而在智能体图像AG10的周围示出框线。需要说明的是,也可以是,在智能体选择区域A12显示用于从多个智能体声音中选择任意一个的图像。智能体声音例如包括合成声音、声优、著名人、艺人(talent)等的声音。另外,智能体声音也可以包括通过对预先登记的家庭等的声音进行解析而得到的智能体声音。另外,也可以在智能体选择区域A12具有设定所选择出的智能体的名字、性格、设定用于呼叫智能体的唤醒词的区域。

在GUI开关选择区域A13显示用户U1能够选择的各种GUI按钮。在图12的例子中,在GUI开关选择区域A13例如包括用于受理许可在智能体选择区域A12选择出的内容中的设定的GUI图标IC11(”好”按钮)、以及用于受理拒绝所选择出的内容的GUI图标IC12(”取消”按钮)。

需要说明的是,输出控制部120也可以除了显示上述的图像IM1之外还(或代替于此而)使与显示于文字信息显示区域A1的文字信息同样的声音或其他声音从扬声器单元30输出。

例如,在通过显示-操作装置20接受GUI图标IC2的操作的情况下,智能体设定部116不许可智能体图像的设定,并使图像IM1的显示结束。另外,在通过显示-操作装置20接受GUI图标IC11的操作的情况下,智能体设定部116将在智能体选择区域A12选择出的智能体图像、智能体声音设定为与对应于车辆M1的智能体(以下称作智能体A)建立了对应关系的智能体图像及智能体声音。在设定有智能体A的情况下,智能体功能部150使设定出的智能体A与用户U1之间的对话执行。需要说明的是,也可以是,关于智能体功能部150中的功能,预先设定能够使用的功能,控制为能够在购入了车辆等规定的产品或服务的同时使用。另外,智能体功能部150中的功能也可以在由顾客服务器300、智能体服务器400等取得了购入了规定的产品或服务这一情况时,从智能体服务器400或其他服务器等下载。

图13是表示在选择了智能体A之后显示的图像IM2的一例的图。图像IM2例如包括文字显示区域A21和智能体显示区域A22。文字显示区域A21包括用于使用户U1辨识由智能体设定部116设定的智能体A进行对话这一情况的文字信息。在图13的例子中,在文字显示区域A21显示有“智能体A进行对话。”这一文字信息。

智能体显示区域A22显示由智能体设定部116设定的智能体图像A10。需要说明的是,在图11的例子中,智能体功能部150也可以使“请多关照哟~”这一声音在智能体图像AG10的显示位置附近进行声像定位并输出。

[步骤S118~S120的处理:智能体功能部150的功能]

接着,说明步骤S118~S120的处理中的智能体功能部150的功能。图14是表示用户U1正与智能体A进行对话的场景的一例的图。在图14的例子中,示出了包括与用户U1进行对话的智能体A的智能体图像AG10的图像IM3显示于第一显示器22的例子。

图像IM3例如包括文字显示区域A31和智能体显示区域A32。文字显示区域A31包括用于使用户U1辨识进行对话的智能体的信息。在图14的例子中,在文字显示区域A31显示有“智能体A进行对话。”这一文字信息。

智能体显示区域A32显示与由智能体设定部116设定的智能体建立了对应关系的智能体图像A10。在此,用户U1进行“这次连休想要回老家。”、“想要安排5月1号10点左右乘飞机的日程。”这一讲话。在该情况下,智能体功能部150辨识讲话内容,生成基于辨识结果的响应内容并输出。在图14的例子中,也可以是,智能体功能部150使“了解。”、“马上去查”这一声音在显示于智能体显示区域A32的智能体图像AG10的显示位置(具体而言,是嘴巴的显示位置)进行声像定位并输出。

智能体服务器400辨识由智能体功能部150得到的声音,进行意思解释,基于解释出的意思,参照各种网页服务器500、销售店铺终端DT1、DT2等,取得与解析结果的询问对应的回答。例如,自然语言处理部422从存储于存储部440的个人资料444取得用户U1的资料信息,取得自己家及老家的住所。接着,自然语言处理部422基于“5月1号”、“10点”、“飞机”、“乘”、“日程”、“安排”等单词,访问各种网页服务器500、旅行公司等销售店铺终端,检索从自己家移动到老家的方案。而且,智能体服务器400基于作为检索结果而得到的方案,生成响应内容,并将生成的响应内容向车辆M1的智能体功能部150发送。

智能体功能部150使输出部输出响应结果。图15是用于说明由智能体功能部150使输出部输出的响应结果的图。在图15的例子中,主要作为响应结果而示出了显示于第一显示器22的图像IM4。

图像IM4例如包括文字显示区域A41和智能体显示区域A42。文字显示区域A41包括表示响应结果的内容的信息。在图15的例子中,在文字显示区域A41显示有5月1号从自己家到老家的移动方案的一例。移动方案例如包括与利用的移动机构(交通工具等)、途经地点、各地点的出发或抵达时间、费用相关的信息。需要说明的是,关于费用,例如在是与购入了车辆的销售行业者合作的旅行公司的方案的情况下,不输出正规费用而输出进行了伴随合作的折扣后的费用(在图15的例子中,是“智能体折扣费用”)。由此,能够使用户U1容易选择规定的销售行业者、其合作公司的方案。

另外,也可以是,输出控制部120使智能体显示区域A42显示智能体图像A10,并且使“这个方案怎么样?”这一声音在智能体图像AG10的显示位置进行声像定位并输出。

在此,在智能体功能部150接受用户U1的“好方案啊。就它了!”这一声音的情况下,智能体功能部150进行移动方案的购入手续的处理,并基于购入结果使顾客服务器300的购入管理部350更新购入数据372。

需要说明的是,智能体功能部150在接受用户U1的“出个别的方案。”这一讲话的情况下,输出与其他移动方案相关的信息。另外,智能体功能部150也可以在预先存在多个方案的情况下,使智能体显示区域A42显示多个方案。在该情况下,智能体功能部150也可以使存在智能体折扣费用的方案优先,或者与其他的方案相比使存在智能体折扣费用的方案强调显示。

另外,也可以是,智能体功能部150不仅提出上述的回老家的移动机构的方案,还进行老家、机场等移动目的地(也包括经由地)地点附近(距移动目的地的地点规定距离范围内)的旅馆、野营场、主题公园等设施的提案、在该地点附近进行的音乐会、运动观战等活动的提案、出赁车服务、车辆共享服务等提案。在该情况下,也可以除了提案内容之外还进行价格的提示。

另外,智能体功能部150也可以在由用户U1选择了所提案的内容中的至少一个内容的情况下,进行对该提案的预约处理、结算处理。通过智能体A来进行至结算处理,由此智能体A能够简易地使全部的日程所需要的预约、结算一元化。需要说明的是,在该情况下,智能体提供者也可以从用户U1或向用户U1提供服务等的服务提供者等取得手续费。

而且,也可以是,智能体功能部150不仅进行上述的各种的提案,也进行所提案出的内容所需要的项目等的提案。例如,智能体A在通过用户U1的指示而进行了所提示的提案中的野营场的预约之后,进行“想着用户U1还没有油布帐篷(tarp tent),趁这次的机会购入怎么样?”、“存在以下这样的油布帐篷。”这样的讲话,进行提示而推荐合作的企业等的油布帐篷的处理。根据提案的项目,也可以适用智能体折扣费用。由此该用户U1能够廉价地取得项目,并且也省掉了去店铺进行购物的工夫。需要说明的是,上述的项目的购入等也作为在规定的销售行业者处购入的产品或服务的购入额的总额、购入频率、利用积分中的至少一个进行计数。

这样,智能体A与用户U1经常在一起,由此能够学习用户U1的爱好等,并提供需要的服务、项目等,以使用户U1更加愉快地度过一天。

智能体服务器400的智能体管理部434基于用户U1的购入履历(例如,用户U1购入的产品、服务的类别、购入额的总额、购入频率、利用积分中的至少一个),来使智能体A成长。“使智能体成长”例如是指使智能体图像的显示方式成长、使智能体声音的音质变化。例如,若智能体图像为孩子,则变化为成长后的容态的显示方式、变化为变声后的声音的输出方式。另外,所谓“使智能体成长”,也可以是追加智能体能够执行的功能的种类、使功能扩展。能够执行的功能的种类追加,是指追加目前未能够执行的功能(例如,运动、活动等的贵宾票的预约的接受等)。另外,所谓“扩展功能”,例如是指能够检索的范围、对象增加,作为检索结果而得到的回答数增加。另外,所谓“使智能体成长”,也可以包括智能体的洋装的换穿、形象的成长、形象的改变、形象的声音改变等各种各样的变更。

智能体管理部434例如在用户U1在规定的销售行业者处购入的产品是电池90的情况、购入了旅行服务的情况、或购入额的总额成为了规定金额以上的情况下,使智能体成长。另外,智能体管理部434也可以根据购入额的总额、服务的利用次数、购入频率、利用积分的大小等,使智能体阶段性地成长。

图16是表示包括成长后的智能体的图像IM5的一例的图。图像IM5例如包括文字显示区域A51和智能体显示区域A52。文字显示区域A51包括与智能体A成长了的理由相关的信息。在图16的例子中,文字显示区域A51显示有“通过○○的购入,智能体A成长了。”这一文字信息。

另外,输出控制部120也可以使智能体显示区域A52显示智能体图像AG11,并且使“成长了哟!”这一声音在智能体图像AG11的显示位置进行声像定位并输出。

图17是用于说明由成长后的智能体提供的内容的差异的图。在图17的例子中,示出了根据与用户U1之间的对话,代替使上述的图15所示的图像IM4输出,显示图像IM4#的例子。以下,说明图像IM4与图像IM4#之间的不同点。图像IM4#例如包括文字信息显示区域A41#和智能体显示区域A42#。

文字显示区域A41#显示与图像IM4的文字显示区域A41同样的信息。智能体显示区域A42#代替显示智能体图像AG10而显示有成长后的智能体图像AG11。在显示有成长后的智能体图像AG11的情况下,智能体功能部150例如除了输出用户U1的移动方案的响应结果的功能之外还进一步附加与老家探亲后的用户U1的行动相关的举荐功能。

在该情况下,智能体服务器400的信息提供部430参照用户U1的资料信息,进行基于所参照的资料信息的举荐。在图17的例子中,智能体功能部150除了使“这个方案怎么样?”这一智能体声音输出之外还使如下举荐信息向用户U1输出,该举荐信息是“您父母大概退回驾驶证了吧?”、“既然好不容易回老家一趟,带他们开车兜风怎么样?”、“若从E机场预约租车服务,很方便哟。”、及“要是想要研究一下利用租车服务,我会给您预估费用的,知会一声哈。”。需要说明的是,向用户追加提示的举荐信息优选为由规定的销售行业者提供的举荐。由此,能够使用户U1容易利用由规定的销售行业者提供的产品、服务。

如上所述,通过使智能体成长,用户U1能够接受更详细的信息的提供、接受举荐信息的提供。另外,在规定的销售行业者处购入了产品、服务的情况下,使智能体成长,由此能够使用户U1在规定的销售行业者处的购入热情提高。

另外,智能体管理部434也可以代替基于购入履历而使智能体的输出方式成长而(或除此之外还),以智能体能够换穿可穿的衣装、饰品等的方式使显示方式变化。

图18是表示进行了智能体的衣装的换穿之后的图像IM6的一例的图。图像IM6例如包括文字显示区域A61和智能体显示区域A62。文字显示区域A61包括与能够进行智能体A的换穿的理由相关的信息。在图18的例子中,文字显示区域A61显示有“通过○○的购入,能够换穿偶像的衣装。”这一文字信息。

另外,输出控制部120也可以使智能体显示区域A62显示穿了偶像的衣装的智能体图像AG12,并且使“真合身”这一声音在智能体图像AG12的显示位置进行声像定位并输出。由此,能够使用户U1容易辨识通过产品、服务的购入而进行了智能体A的衣装的换穿,能够使用户U1的购入热情更加提高。

需要说明的是,智能体功能部150也可以根据智能体的形象类别、成长水平、衣装等,使能够与智能体对话的用户的数量增加、变更。例如,智能体功能部150在智能体图像为卡通形象的情况下,能够进行与用户的孩子之间的对话,在智能体图像的衣装为偶像的衣装的情况下,能够进行与用户以外的家庭之间的对话。需要说明的是,家庭的识别例如通过事先由车载设备、便携终端200登记声音、脸部图像来进行。

另外,智能体功能部150例如也可以在通过由乘员辨识装置80辨识的辨识结果、由话筒10收集到的声音而辨识为是驾驶员的身体状况不佳的状态的情况下,与同乘者(家庭·熟人等)、急救队、警察等进行对话,进行驾驶员的危机躲避。在该情况下,智能体功能部150通过将“驾驶员说了从昨晚起胃痛。”等有用的信息向对方(例如,急救队等)传递,从而能够支援迅速且恰当的救助。另外,智能体功能部150也可以预先登记进行上述的处理的紧急用智能体,并在紧急时从当前启动中的智能体切换为紧急用智能体而进行处理。

[步骤S122~S124的处理:应用执行部250的功能]

接着,说明步骤S122~S124的处理中的智能体功能部150的功能。图19是表示通过应用执行部250的处理而显示于便携终端200的显示器230的图像的一例的图。图19所示的图像IM7包括文字显示区域A71、GUI图标图像IC71及智能体显示区域A72。文字显示区域A71显示有应该向当前激活的智能体传递的动作的内容。GUI图标图像IC71是接受由用户U1进行的驾驶会话的指示的GUI开关。智能体显示区域A72显示有与当前激活着的智能体对应的智能体图像AG11。另外,应用执行部250也可以使智能体图像AG10的显示位置显示模拟了智能体的讲话的智能体声音。在图19的例子中,应用执行部250使“今天感觉如何?”、“去兜风吧!”这样的智能体声音在智能体图像AG10的显示位置附近进行声像定位并输出。由此,用户U1能够一边与显示于便携终端200的智能体A进行对话,一边获得一起去兜风的感觉。

需要说明的是,也可以是,在由用户U1选择出GUI图标图像IC71的情况下,应用执行部250经由智能体服务器400与车辆M1进行通信,使从智能体A通知与车辆M1相关的信息、与周边环境相关的信息。与车辆M1相关的信息例如是指车辆M1的行驶速度、当前位置、燃料余量、电池90的余量、车室内温度等。另外,与周边环境相关的信息例如是指车辆M1的周边的天气、拥挤状态等。

另外,在实施方式中,也可以是,按用户U1拥有的每台车辆而设定不同的智能体。例如,智能体管理部434在用户U1除了车辆M1以外还购入了又一台车辆的情况下,除了能够利用现有的智能体A之外还使其他的智能体能够利用。图20是表示由于用户U1的车辆的购入而显示于车辆M1的第一显示器22的图像IM8的一例的图。图20所示的图像IM8例如包括文字信息显示区域A81和智能体显示区域A82。

文字显示区域A81显示表示通过车辆的购入而追加了能够使用的智能体的信息。在图20的例子中,文字显示区域A81显示有“由于车辆的购入,能够使用又一个智能体。”这一文字信息。

另外,输出控制部120在智能体显示区域A82连同已经能够使用的智能体图像AG11一起显示新能够使用的智能体(以下称作智能体B)的智能体图像AG21。另外,输出控制部120也可以使模拟了智能体图像AG21的讲话的智能体声音在智能体图像AG21的显示位置输出。在图20的例子中,输出控制部120使“请多多关照。”这一声音进行声像定位并输出。新追加的智能体B与新购入的车辆(以下称作车辆M2)建立对应关系而管理。车辆M2例如具备与车辆M1的智能体装置同样的功能。由此,车辆与智能体建立关联,因此能够使用户U1容易地掌握各智能体与哪台车辆对应。

需要说明的是,智能体设定部116也可以在新购入车辆而追加智能体的情况下,使用户U1选择能够选择的多个智能体中的任意的智能体。在该情况下,智能体设定部116也可以基于购入额的总额而将能够选择的智能体的数量设定为可变。由此,能够使用户U1的购入热情进一步提高。

在此,智能体服务器400也可以将由用户U1对智能体A及B各自的利用履历用于与其他智能体之间的对话。图21是用于说明利用与其他的智能体之间的对话来进行对话的图。在图21的例子中,示出了通过车辆M2的智能体功能部150而显示于第一显示器22的图像IM9的一例。图像IM9例如包括智能体显示区域A91。智能体显示区域A91显示与用户U1建立了对应关系的智能体的智能体图像。在图21的例子中,智能体显示区域A91显示有与智能体A及B对应的智能体图像AG11及AG21。

在此,智能体服务器400根据车辆M1的乘车时的与智能体A之间的利用履历,在用户U1与智能体A进行兜风的情况下,智能体功能部150使“上周去Y地点兜风了呢。”这一智能体A的智能体声音在智能体图像AG11的显示位置附近进行声像定位并输出。另外,智能体功能部150与输出的智能体声音的内容相对应,作为智能体B的举荐信息而使“那么,今天要不要试试去Z地点呢?”这一智能体声音在智能体图像AG21的显示位置附近进行声像定位并输出。这样,多个智能体互相共享过去的利用履历,由此能够向用户进行恰当的信息提供、举荐。

需要说明的是,智能体管理部434也可以在掌握多个智能体的启动状态并推定为在不可能被使用的状况下智能体正被使用着的情况下,向用户U1的便携终端200进行该意旨的通知。“在不可能被使用的状况下智能体正被使用”,例如是指在车辆M1中智能体A正与用户U1对话的状况下,在车辆M2中智能体B启动着的状态。在该情况下,智能体管理部434通过向用户U1的便携终端200通知“车辆M2的智能体B启动着”等消息,从而能够早期发现车辆M的失盗等。

实施方式的智能体也可以除了上述的与车辆M建立对应关系而显示之外还(或代替其而)使与车载设备等建立了对应关系的智能体显示。例如,在实施方式中,也可以将与搭载于上述的车辆M的电池90的状态建立了对应关系的形象图像用作智能体。

图22是用于说明使与电池90的状态建立了对应关系的形象图像作为智能体而显示的图。在图22的例子中,在图22的例子中,通过车辆M1的智能体功能部150而示出了显示于第一显示器22的图像IM10的一例。图像IM10例如包括智能体显示区域A101。智能体显示区域A101例如显示有与智能体A的智能体图像AG11及电池90的劣化程度建立了对应关系的形象图像BC6。

智能体功能部150基于电池90的劣化程度,来生成催促电池90的更换的智能体声音,并使输出控制部120输出所生成的智能体声音。在图22的例子中,智能体功能部150使“电池要劣化了。更换一下吧!”这一智能体声音在智能体AG11的显示位置附近进行声音定位并输出。

而且,也可以是,智能体功能部150生成与形象图像BC6建立了对应关系的声音。在图22的例子中,智能体功能部150使“马上用完!”这一声音在形象图像BC6的显示位置附近进行声像定位并输出。通过如上所述使用将电池90的状态拟人化的形象图像,能够使用户直观地掌握电池90的更换时期。

由此,用户U1使车辆M1向规定的销售行业者移动,使电池90回收,并购入新的电池(例如,OEM(Original Equipment Manufacturing)认定电池)。在该情况下,购入车载设备,从而更新顾客服务器300的购入数据372,能够通过反复进行购入从而持续培养智能体A。

另外,智能体管理部434也可以在从车辆M1换购为车辆M2的情况、或在车辆M1的基础上增购车辆M2的情况下,使车辆M2或便携终端200能够继续使用与车辆M1或用户U1建立了对应关系的智能体A。在该情况下,智能体管理部434也可以使在与车辆M1同一系列的销售行业者处购入车辆M2这一情况作为继承智能体的条件。另外,智能体管理部434也可以在用户U1购入针对车辆的服务(例如,出赁车服务、车辆共享服务)的情况(也包括追加购入)下,能够在服务购入后的车辆、即购入后的服务中利用的车辆(例如,出赁车、共享车)、或便携终端200继续使用与用户U1、车辆M1建立了对应关系的智能体A。这样,通过使用户U1继续使用智能体,能够更为加深用户U1与智能体之间的亲近感,能够对用户U1提供更加优良的服务。

另外,智能体管理部434也可以在规定期间内于规定的销售行业者处购入了产品、服务的情况下,能够继续使用当前使用着的智能体。另外,智能体管理部434也可以在废弃车辆的情况下,能够以收费的方式维持与该车辆建立了对应关系的智能体。在该情况下,费用例如作为数据维持费或维护费而支付。由此,例如即使在因长期的出差、工作调动等暂时撂下车辆的情况下,培养出的智能体也由智能体服务器400管理。由此,在数年后等新购入了车辆的情况下,能够使该车辆与培养出的智能体建立对应关系而使用。

需要说明的是,智能体管理部434也可以在以收费的方式维持车辆的智能体的情况下,能够将该智能体作为用户U1的便携终端200的智能体功能加以利用。由此,例如,在用户U1于外国的工作地点走动,乘自行车、出赁车等移动体移动的情况下,智能体能够进行与用户U1之间的对话,进行路径引导、店铺的介绍等。

根据上述的实施方式的智能体系统,具备:智能体功能部150,其根据用户U1的讲话,来提供包括通过声音进行的响应的服务;以及取得部,其取得表示用户从规定的销售行业者购入了车辆、车载设备或服务这一情况的信息,智能体功能部基于由取得部取得的信息,来变更智能体功能部能够执行的功能,由此能够使用户在规定的销售行业者处的购入热情提高。

另外,根据实施方式,例如在提供产品、服务的正规经销商(包括官方网站)等规定的销售行业者处购入了的情况下,能够使用智能体,并使其成长,因此即使金额高的情况下也能够提高想要在正规经销商处购入这样的用户的购入热情。

另外,在实施方式中,智能体服务器400也可以控制为从智能体向用户U1推荐正规的销售店铺的利用。由此,例如,在进行电池90的更换、再利用等的商务模型中,能够效率良好地进行电池90的回收。在该情况下,智能体服务器400也可以对与智能体的推荐相应的用户附加智能体的升级等服务。

需要说明的是,在上述的实施方式中,智能体装置100的功能中的一部分或全部也可以包含于智能体服务器400。例如,也可以是,搭载于车辆M的管理部110、存储部170设置于智能体服务器400。另外,智能体服务器400的功能中的一部分或全部也可以包含于智能体装置100。即,智能体装置100及智能体服务器400中的功能的划分可以根据各装置的构成要素、智能体服务器400、智能体系统的规模等而适当变更。另外,智能体装置100及智能体服务器400中的功能的划分也可以按每个车辆而设定。

以上使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。

附图标记说明:

1…智能体系统、10…话筒、20…显示-操作装置、30…扬声器单元、40…导航装置、50…车辆设备、60…车载通信装置、70…通用通信装置、80…乘员辨识装置、100…智能体装置、110…管理部、112…声响处理部、114…WU判定部、116…智能体设定部、120、260、360…输出控制部、122…显示控制部、124…声音控制部、150…智能体功能部、160…电池管理部、170、270、370…存储部、200…便携终端、210、310、410…通信部、220、320…输入部、230、330…显示器、240、340…扬声器、250…应用执行部、300…顾客服务器、350…购入管理部、400…智能体服务器、420…声音辨识部、422…自然语言处理部、424…对话管理部、426…网络检索部、428…响应内容生成部、430…信息提供部、432…资料取得部、434…智能体管理部、500…各种网页服务器。

权利要求书(按照条约第19条的修改)

1.(修改后)一种智能体系统,其中,

所述智能体系统具备:

智能体功能部,其根据用户的讲话和/或手势,来提供包括通过声音进行的响应的服务;以及

取得部,其取得表示所述用户从规定的销售行业者购入了产品或服务这一情况的信息,

所述智能体功能部基于由所述取得部取得的信息,来变更所述智能体功能部能够执行的功能,

而且,所述智能体功能部在提供针对来自所述用户的询问而作出的提案信息的情况下,连同所述提案信息一起提供基于所述用户或所述提案信息而得到的附加信息。

2.根据权利要求1所述的智能体系统,其中,

所述智能体系统还具备输出控制部,该输出控制部使输出部输出进行与所述用户之间的交流的智能体的图像或声音,来作为由所述智能体功能部提供的服务,

所述输出控制部基于由所述取得部取得的所述用户的购入履历,使由所述输出部输出的所述智能体的图像或声音的输出方式变更。

3.根据权利要求2所述的智能体系统,其中,

所述智能体功能部基于所述用户购入的产品或服务的类别、购入额的总额、购入频率、以及利用积分中的至少一个,来使所述智能体成长。

4.(修改后)根据权利要求3所述的智能体系统,其中,

所述智能体功能部根据所述智能体的成长程度,使针对来自所述用户的询问而作出的提案信息或所述附加信息中的一方或双方不同。

5.(修改后)根据权利要求2所述的智能体系统,其中,

所述智能体功能部在所述用户购入的产品或服务与车辆有关系的情况下,与所述车辆建立对应关系而设定智能体。

6.(修改后)根据权利要求4所述的智能体系统,其中,

所述智能体功能部在所述用户换购或增购车辆的情况、或购入针对车辆的服务的情况下,使换购或增购之前、或购入之前的与用户建立了对应关系的智能体能够在换购或增购后、或服务购入后的车辆中、或者所述用户的终端装置中继续使用。

7.(修改后)根据权利要求4或5所述的智能体系统,其中,

所述产品包括向所述车辆供给电力的蓄电池,

所述智能体功能部使用与所述蓄电池的状态建立了对应关系的形象图像来作为所述智能体的图像。

8.(修改后)根据权利要求1至6中任一项所述的智能体系统,其中,

所述智能体功能部基于所述用户购入的产品或服务的类别、购入额的总额、购入频率、以及利用积分中的至少一个,来追加或扩展所述智能体功能部能够执行的功能。

9.(修改后)一种智能体服务器,其中,

所述智能体服务器具备:

辨识部,其辨识用户的讲话和/或手势;

响应内容生成部,其基于由所述辨识部辨识的结果,来生成针对所述讲话和/或手势的响应结果;

信息提供部,其使用进行与所述用户之间的交流的智能体的图像或声音,来提供由所述响应内容生成部生成的响应结果;以及

智能体管理部,其在所述用户从规定的销售行业者购入了产品或服务的情况下,使所述智能体的输出方式变化,

所述响应内容生成部生成针对来自所述用户的询问而作出的提案信息、以及基于所述用户或所述提案信息而得到的附加信息,来作为所述响应结果。

10.(修改后)一种智能体服务器的控制方法,其中,

所述智能体服务器的控制方法使计算机进行如下处理:

辨识用户的讲话和/或手势;

基于辨识的结果,来生成针对所述讲话和/或手势的响应结果;

使用进行与所述用户之间的交流的智能体的图像或声音,来提供所生成的响应结果;

在所述用户从规定的销售行业者购入了产品或服务的情况下,使所述智能体的输出方式变化;

而且,在生成所述响应结果时,生成针对来自所述用户的询问而作出的提案信息、以及基于所述用户或所述提案信息而得到的附加信息,来作为所述响应结果。

11.(追加)一种程序,其中,

所述程序使计算机进行如下处理:

辨识用户的讲话和/或手势;

基于辨识的结果,来生成针对所述讲话和/或手势的响应结果;

使用进行与所述用户之间的交流的智能体的图像或声音,来提供所生成的响应结果;

在所述用户从规定的销售行业者购入了产品或服务的情况下,使所述智能体的输出方式变化;

而且,在生成所述响应结果时,生成针对来自所述用户的询问而作出的提案信息、以及基于所述用户或所述提案信息而得到的附加信息,来作为所述响应结果。

说明或声明(按照条约第19条的修改)

权利要求1、9-11的记载例如基于申请时的权利要求1、8-10、说明书第23页第4段-第27页第2段、图14-17的记载。

权利要求4的记载例如基于申请时的说明书第26页倒数第3段-第27页第2段、图17的记载。

权利要求5-8的记载基于申请时的权利要求4-7的记载。

因此,此次的修改处于当初说明书等记载的范围内。

41页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:电接线箱

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!