阅读说明：本技术 操作辅助系统和操作辅助方法 (Operation assistance system and operation assistance method ) 是由 齐藤航太 松仪良广 松浦侑纪 崔胜镐 松尾祥和 佐藤大海 于 2019-07-24 设计创作，主要内容包括：本发明提供一种操作辅助系统和操作辅助方法。操作辅助系统(200)具有：动作识别部(27),其识别乘员的手部的规定动作；位置识别部(28),其识别乘员的手(H)相对于第1车辆(10)的相对位置即第1相对位置(90)；确定部(29),其确定使用第2车辆(110)的操作部(38)操作的第2车辆(110)的第2车载装置,其中所述第2车辆的操作部被设置于相对于第2车辆(110)的相对位置、即相当于第1相对位置(90)的第2相对位置(92)；和控制部(30),其辅助对具有与第2车载装置共同功能的第1车辆(10)的第1车载装置进行的操作。根据本发明,当乘员对开关操作感到迷惑时能够适当地辅助对车载装置进行的操作。(The invention provides an operation assisting system and an operation assisting method. An operation assistance system (200) is provided with: a motion recognition unit (27) that recognizes a predetermined motion of the hand of the occupant; a position recognition unit (28) that recognizes a 1 st relative position (90), which is the relative position of the hand (H) of the occupant with respect to the 1 st vehicle (10); a determination unit (29) that determines a 2 nd in-vehicle device of a 2 nd vehicle (110) that is operated using an operation unit (38) of the 2 nd vehicle (110), the 2 nd vehicle operation unit being provided at a 2 nd relative position (92) that is a relative position with respect to the 2 nd vehicle (110), that is, a 1 st relative position (90); and a control unit (30) that assists an operation performed on a 1 st in-vehicle device of a 1 st vehicle (10) having a function common to the 2 nd in-vehicle device. According to the present invention, it is possible to appropriately assist the operation of the in-vehicle device when the occupant is confused about the switch operation.)

操作辅助系统和操作辅助方法

技术领域

本发明涉及一种辅助对第1车辆的车载装置进行的操作的操作辅助系统和操作辅助方法。

背景技术

在日本发明专利公开公报特开2008-257363号中公开一种辅助车辆乘员(操作者)对车载装置进行的操作的操作辅助装置。该操作辅助装置在判定为乘员感到迷惑的情况下，根据乘员的视线方向或手指的位置来检测作为操作对象的车载装置，且通过语音输出装置或显示装置来输出该车载装置的操作辅助信息。

发明内容

当乘坐本车辆的乘员误以为自己正在乘坐其他车辆时,乘员在操作车载装置时有时想要将手伸到其他车辆中开关的存在位置来进行开关的操作。当在本车辆中的该位置上没有开关时，乘员会对开关操作感到迷惑。在日本发明专利公开公报特开2008-257363号的装置中,当在乘员的视线方向或手指所在位置上没有开关时无法作为检测操作对象的车载装置。

本发明是考虑这样的技术问题而完成的,其目的在于,提供一种当乘员对开关操作感到迷惑时适当地辅助对车载装置进行的操作的操作辅助系统和操作辅助方法。

本发明的第1方式是一种操作辅助系统，其辅助对第1车辆的第1车载装置进行的操作，其特征在于，

具有动作识别部、位置识别部、存储部、确定部和控制部，其中，

所述动作识别部识别乘坐所述第1车辆的乘员的手部的规定动作(手上的规定动作)；

所述位置识别部识别所述乘员的手相对于所述第1车辆的相对位置即第1相对位置；

所述存储部将第2车辆的操作部相对于所述第2车辆的相对位置与使用该操作部操作的所述第2车辆的第2车载装置建立对应关系来存储；

所述确定部根据所述存储部的存储来确定使用所述第2车辆的所述操作部操作的所述第2车辆的所述第2车载装置，其中所述第2车辆的所述操作部被设置于相对于所述第2车辆的相对位置即相当于所述第1相对位置的第2相对位置；

所述控制部辅助对所述第1车辆的所述第1车载装置进行的操作，其中所述第1车辆的所述第1车载装置具有与所述第2车载装置共同的功能。

本发明的第2方式是一种操作辅助方法，其辅助对第1车辆的第1车载装置进行的操作，其特征在于，

使用存储部来执行存储工序，在该存储工序中将第2车辆的操作部相对于所述第2车辆的相对位置和使用该操作部操作的所述第2车辆的第2车载装置建立对应关系来存储；

使用运算部来执行动作识别工序、位置识别工序、确定工序和控制工序，其中，

在所述动作识别工序中，识别乘坐所述第1车辆的乘员的手部的规定动作；

在所述位置识别工序中，识别所述乘员的手相对于所述第1车辆的相对位置即第1相对位置；

在所述确定工序中，根据所述存储部的存储来确定使用所述第2车辆的所述操作部操作的所述第2车辆的所述第2车载装置，其中所述第2车辆的所述操作部被设置于相对于所述第2车辆的相对位置即相当于所述第1相对位置的第2相对位置；

在所述控制工序中，辅助对所述第1车辆的所述第1车载装置进行的操作，其中所述第1车辆的所述第1车载装置具有与所述第2车载装置共同的功能。

根据本发明，当乘员对开关操作感到迷惑时能够适当地辅助对车载装置进行的操作。

根据参照附图对以下实施方式进行的说明，上述的目的、特征和优点应易于被理解。

附图说明

图1是本实施方式所涉及的操作辅助系统的结构图。

图2是用于说明相对位置的图。

图3是表示保存在个人识别DB中的个人信息的图。

图4是表示保存在乘员-车载装置DB中的乘员-车辆信息的图。

图5是操作辅助装置进行的主处理的流程图。

图6是操作辅助装置进行的操作辅助处理的流程图。

图7A是表示第1车辆内的相对位置的图，图7B是表示第2车辆内的相对位置的图。

具体实施方式

下面，列举优选的实施方式，且参照附图对本发明所涉及的操作辅助系统和操作辅助方法详细地进行说明。

[1.操作辅助系统200的结构]

如图1所示，操作辅助系统200包括第1车辆10和服务器102。

[1.1.第1车辆10]

使用图1来说明第1车辆10的结构。在本说明书中，将成为说明的主体的乘员乘坐的本车辆称为第1车辆10，将本车辆以外的其他车辆称为第2车辆110(图7B)。在以下的说明中，假想第1车辆10是以乘员和车辆分别存在多个为前提的形态而使用的车辆、例如车辆租赁和车辆共享等中使用的车辆、公司车辆、公用车辆等。

第1车辆10具有摄像头12、识别信息传感器14、通信装置16、操作辅助装置18和各种车载装置20。另外，如图2所示,在第1车辆10的仪表板(dashboard)58和方向盘60上设置有用于控制车载装置20的各种操作部38。操作部38是按钮、操作杆等开关。

摄像头12被设置于能拍摄包括1个以上的操作部38和各操作部38周边的规定范围的位置例如顶板。当在第1车辆10的车厢内存在多个操作部38时，可以由1个摄像头12拍摄多个操作部38，也可以由多个摄像头12分别单独地拍摄操作部38。摄像头12拍摄操作部38和操作部38周边来获取图像信息，且将获取到的图像信息输出给操作辅助装置18。

识别信息传感器14检测用于识别乘员的信息(以下称为识别信息70(图3)。)。识别信息传感器14是检测乘员的生物体信息70a(图3)的生物体信息传感器、乘员所输入的个人身份识别码(personal identification number)70b(图3)的输入装置等。作为生物体信息传感器，设置至少一种检测乘员的面部、眼睛、血管、指纹、手掌、声音的生物体信息70a的传感器。识别信息传感器14将识别信息70输出给操作辅助装置18。

通信装置16具有通信电路和天线等，通过通信线路100与服务器102进行数据通信，另外，通过第1车辆10内的通信线与操作辅助装置18进行数据通信。

操作辅助装置18是具有运算部24、存储部25和输入输出接口(未图示)等的电子控制单元(ECU)。运算部24具有具备CPU等的处理器，通过处理器执行存储在存储部25中的程序来实现各种功能。在本实施方式中，运算部24作为乘员识别部26、动作识别部27、位置识别部28、确定部29和控制部30来发挥作用。在下述[2.]中对各种功能进行说明。

存储部25具有ROM和RAM等存储器。在存储部25中存储有坐标信息32、个人识别数据库34(以下称为个人识别DB34。)和乘员-车载装置数据库36(以下称为乘员-车载装置DB36。)。

如图2所示，坐标信息32定义将仪表板58和方向盘60的正面作为坐标面64的情况下的相对位置。在本实施方式中，坐标面64将方向盘60的中心位置作为原点，将沿车辆的上下方向延伸的直线和沿车辆的宽度方向延伸的直线作为坐标轴。并且，在本实施方式中，将坐标面64在上下方向和宽度方向上按规定间隔进行划分，由上下方向的坐标位置Vn和宽度方向的坐标位置Hn来表示各方格的位置。各方格的坐标位置Vn-Hn为将方向盘60的中心位置作为基准位置的相对位置。坐标面64在第1车辆10和第2车辆110中被共同使用。

个人识别DB34保存图3所示的个人信息66。个人信息66将乘员的识别号码68和乘员的识别信息70建立关联。如上所述，识别信息70是用于识别乘员的信息、例如是表示生物体信息70a和个人身份识别码70b中的至少一方的信息。

乘员-车载装置DB36保存图4所示的乘员-车辆信息72。乘员-车辆信息72将乘员的识别号码68、车辆型号信息74、乘车信息76和车载装置信息78建立关联。车辆型号信息74是与车辆(包括第1车辆10、第2车辆110。)有关的信息，包括表示车辆的生产者(生产公司)的生产者信息80、表示车辆的生产国的生产国信息82和表示车辆的车型的车型信息84。乘车信息76表示乘员是否乘坐过车辆。并且，乘车信息76除了包括表示存在乘坐过的情况的信息之外，还包括表示最新的乘车日期时间和乘车次数等的信息。车载装置信息78是与车载装置20有关的信息，包括表示车载装置20的种类的装置种类信息86和表示在该车辆中配置车载装置20的操作部38的相对位置的位置信息88。

另外，存储部25与乘员-车载装置DB36不同，存储车辆自身(在此为第1车辆10)的车辆型号信息74。

返回图1继续说明。在车载装置20中包括空调装置40、危险警告灯装置42、雨刮器装置44和告知装置46等。空调装置40具有向车内输送冷气或者暖气的主体、进行主体的控制的空调ECU和空调开关48(操作部38)。空调装置40响应于乘员操作空调开关48、或者从操作辅助装置18输出的动作指示来进行起动、停止、设定温度的改变等动作。危险警告灯装置42具有灯体、危险警告灯电路、进行危险警告灯电路的通电控制的危险警告灯控制器和危险警告灯开关50(操作部38)。危险警告灯装置42响应于乘员操作危险警告灯开关50或者从操作辅助装置18输出的动作指示来进行起动、停止的动作。雨刮器装置44具有雨刮器臂、包括驱动雨刮器臂的马达的雨刮器电路、进行雨刮器电路的通电控制的雨刮器控制器和雨刮器开关52(操作部38)。雨刮器装置44响应于乘员操作雨刮器开关52或者从操作辅助装置18输出的动作指示来进行起动、停止的动作。告知装置46具有向乘员提供视觉信息的显示装置54和向乘员提供语音信息的音响装置56。

[1.2.服务器102]

服务器102被设置于租赁车辆等的系统管理者的设施内，具有服务器侧存储部104。服务器侧存储部104存储各乘员的个人信息66(图3)和乘员-车辆信息72(图4)。个人信息66和乘员-车辆信息72通过系统管理者的操作者等操作输入装置而被登记在服务器侧存储部104中。

[2.操作辅助装置18的动作]

[2.1.主处理]

使用图5对操作辅助装置18进行的主处理进行说明。

在步骤S1中，控制部30在规定的时间通过通信装置16请求服务器102发送个人信息66和乘员-车辆信息72。例如，控制部30以第1车辆10的点火开关或开始开关(均未图示)***作而电源从断开切换为接通为契机，输出各信息(个人信息66、乘员-车辆信息72)的请求指示。通信装置16向服务器102发送请求指示，从服务器102下载个人信息66和乘员-车辆信息72并将其保存在存储部25中。

在步骤S2中，乘员识别部26获取由识别信息传感器14检测到的识别信息70。

在步骤S3中，乘员识别部26将获取到的识别信息70与在个人识别DB34中存储的个人信息66的识别信息70进行对照。并且，当在个人识别DB34中有一致或者类似的识别信息70时，乘员识别部26将乘坐第1车辆10的乘员识别为是与识别信息70建立关联的识别号码68的乘员。

当在步骤S3中能识别出乘员时(步骤S4：是)，处理进入步骤S5。另一方面，当在步骤S3中无法识别出乘员时(步骤S4：否)，主处理结束。

当从步骤S4进入步骤S5时，进行图6所示的操作辅助处理。步骤S5的操作辅助处理在第1车辆10的电源接通的情况下(步骤S6：是)被反复进行，在第1车辆10的电源被切换为断开的情况下(步骤S6：否)结束。主处理与操作辅助处理的结束一起结束。

[2.2.操作辅助处理]

使用图6对在图5的步骤S5中进行的操作辅助处理进行说明。

在步骤S11中，动作识别部27和位置识别部28获取摄像头12输出的图像信息。

在步骤S12中，动作识别部27使用图像信息进行公知的图像识别处理，识别乘员的手部的规定动作。动作识别部27识别将作为乘员对操作感到迷惑的状态而识别的动作例如乘员的手H(图7A)在短时间内反复小幅移动的动作作为规定动作来进行识别。在本说明书中，还将手H的短时间反复小幅移动称为手H的迷惑动作。动作识别部27能够使用公知的手势识别技术(例如日本发明专利公开公报特开2014-174776号的技术)来识别乘员的手H正在进行迷惑动作。或者，动作识别部27在识别出乘员的手H在规定时间内在一定的范围内反复进行相同动作的情况下，识别为手H正在进行迷惑动作。在本实施方式中，将该状态假想为：乘坐第1车辆10的乘员误以为正在乘坐第2车辆110而试图进行开关操作。

在动作识别部27识别出手H的迷惑动作的情况下(步骤S13：是)，处理进入步骤S14。另一方面，在动作识别部27没有识别出手H的迷惑动作的情况下(步骤S13：否)，操作辅助处理结束。

当从步骤S13进入步骤S14时，位置识别部28根据图像信息和坐标信息32来识别手H相对于第1车辆10的相对位置。将该相对位置称为第1相对位置90。例如，在图7A所示的状况下，位置识别部28将手H的第1相对位置90识别为坐标位置V2-H2、V3-H2。

在步骤S15中，确定部29确定推测为乘员误以为正乘坐的第2车辆110。在此，确定部29使用在步骤S2中识别出的乘员的识别号码68来在乘员-车载装置DB36中进行检索，提取识别号码68一致的乘员-车辆信息72。确定部29根据提取出的乘员-车辆信息72中包含的车辆型号信息74来确定第2车辆110。

此时，确定部29在提取出的乘员-车辆信息72只有1个的情况下使用该乘员-车辆信息72。另一方面，确定部29在提取出的乘员-车辆信息72有多个的情况下，选择1个乘员-车辆信息72。此时，确定部29选择车辆型号信息74中包含的至少1个信息与第1车辆10的车辆型号信息74不同的乘员-车辆信息72。优选为，选择乘车信息76为“有”的乘员-车辆信息72。尽管如此，在选择多个乘员-车辆信息72的情况下，控制部30按照规定的规则来选择1个乘员-车辆信息72。例如，预先设定车辆型号信息74中包含的生产者信息(制造厂商信息)80、生产国信息(制造国信息)82、车型信息84、乘车信息76的优先顺位。并且，优先使用优先顺位高的信息的比较结果。或者，选择乘车信息76的乘车日期时间最新的乘员-车辆信息72或者乘车次数最多的乘员-车辆信息72。另外，当然，在乘员-车辆信息72中包含的车辆型号信息74和第1车辆10的车辆型号信息74一致的情况下，确定部29不使用该乘员-车辆信息72。这是由于该乘员-车辆信息72是与乘员乘坐的第1车辆10有关的信息。

在步骤S16中，确定部29确定被推测为乘员试图进行操作的第1车辆10的车载装置20(第1车载装置)。在此，确定部29根据在存储部25中存储的乘员-车辆信息72，确定使用第2车辆110的操作部38操作的第2车辆110的车载装置20(第2车载装置)，其中所述第2车辆110的操作部38被设置在相对于第2车辆110的相对位置即相当于第1相对位置90的第2相对位置92。具体而言，确定部29将在步骤S14中位置识别部28识别出的第1相对位置90与在步骤S15中确定的第2车辆110的乘员-车辆信息72中包含的位置信息88进行对照。并且，在有一致的位置信息88的情况下，确定部29确定具有与同该位置信息88建立关联的车载装置20(第2车载装置)共同的功能的第1车辆10的车载装置20(第1车载装置)。例如，如图7B所示，在相当于第1相对位置90(坐标位置V2-H2、V3-H2)的第2相对位置92(坐标位置V2-H2、V3-H2)配置有空调装置40的空调开关48(操作部38)。在该情况下，确定部29确定使用空调开关48进行操作的第2车辆110的车载装置20是空调装置40。并且，确定部29确定具有与第2车辆110的车载装置20共同的功能的第1车辆10的车载装置20即空调装置40为乘员试图进行操作的车载装置20。

在步骤S17中，控制部30辅助对车载装置20进行的操作。例如，控制部30向告知装置46输出告知指示。告知装置46通过图像或者语音来引导车载装置20(第1车载装置)的操作部38的第1相对位置90。或者，控制部30向乘员进行车载装置20的起动或者停止等的询问，且按照乘员的语音等的响应来进行车载装置20的起动或者停止等控制。

[3.变形例]

本发明除了上述的实施方式之外，还能够考虑各种变形例。

在上述的实施方式中，作为第1车辆10而假想在车辆租赁、车辆共享等中使用的车辆、公司车辆、公用车辆等来作为第1车辆10，但第1车辆10也可以是个人所有的车辆。在该情况下，存储部25也可以预先存储确定的乘员的个人信息66，省略图5所示的步骤S3(乘员的识别)和在步骤S4中进行的处理(识别的可否判定)。并且，存储部25也可以预先存储与确定的乘员对应的乘员-车辆信息72，省略在图5所示的步骤S1中进行的处理(各信息的发送请求)和在步骤S2中进行的处理(识别信息70的获取)。

在上述实施方式中，第1车辆10所具有的操作辅助装置18的运算部24作为确定部29来发挥作用。代替于此，第1车辆10的外部的处理器、例如设置于服务器102的处理器也可以作为确定部29来发挥作用。并且，坐标信息32和乘员-车载装置DB36也可以被存储在服务器侧存储部104。

在该情况下，在操作辅助处理中，当位置识别部28识别出第1相对位置90时，第1相对位置90的信息被从第1车辆10发送给服务器102。另外，当服务器102的确定部29确定乘员试图进行操作的车载装置20(第1车载装置)时，车载装置20的信息被从服务器102发送给第1车辆10。

当在图6所示的步骤S16中无法确定车载装置20时，也可以返回步骤S15，确定其他的第2车辆110。

[4.根据实施方式能够得到的发明]

下面记载了根据上述实施方式和变形例能够掌握的发明。

本发明是一种操作辅助系统200，其辅助对第1车辆10的第1车载装置20进行的操作，

具有动作识别部27、位置识别部28、存储部25(乘员-车载装置DB36)、确定部29和控制部30，其中，

所述动作识别部27识别乘坐第1车辆10的乘员的手部的规定动作；

所述位置识别部28识别乘员的手H相对于第1车辆10的相对位置即第1相对位置90；

所述存储部25将第2车辆110的操作部38相对于第2车辆110的相对位置与使用操作部38操作的第2车辆110的第2车载装置20建立对应关系来存储；

所述确定部29根据存储部25的存储来确定使用第2车辆110的操作部38操作的第2车辆110的第2车载装置(车载装置20)，其中所述第2车辆110的操作部38被设置于相对于第2车辆110的相对位置即相当于第1相对位置90的第2相对位置92；

所述控制部30辅助对第1车辆10的第1车载装置(车载装置20)进行的操作，其中所述第1车辆10的第1车载装置具有与第2车载装置共同的功能。

根据上述结构，识别当乘员对操作部38的操作感到迷惑时进行的手H的动作，且根据手H的相对位置确定作为控制对象的车载装置20，辅助对该车载装置20的操作，因此当乘员对开关操作感到迷惑时能够适当地辅助对车载装置20进行的操作。

在本发明中，也可以为:

动作识别部27将作为乘员对操作感到迷惑的状态而被识别的动作作为规定动作来识别，

控制部30在通过动作识别部27识别出作为乘员对操作感到迷惑的状态而被识别出的动作的情况下，辅助对第1车载装置(车载装置20)进行的操作。

在本发明中，也可以为:

针对乘员过去乘坐过的第2车辆110，存储部25将第2车辆110的操作部38相对于第2车辆110的相对位置与使用操作部38操作的第2车辆110的第2车载装置20建立对应关系来存储。

乘员有时将当前正乘坐的第1车辆10误以为是过去乘坐过的第2车辆110。根据上述结构，根据与表示乘员乘坐过的乘车信息76建立对应关系的装置种类信息86来确定车载装置20，因此，能够确定合适的车载装置20来辅助操作。

在本发明中，也可以为：

存储部25将相对于乘员过去乘坐过的第2车辆110的车辆型号信息74与乘员建立对应关系来存储，其中所述车辆型号信息74是表示第2车辆110的生产者的生产者信息80、表示第2车辆110的生产国的生产国信息82和表示第2车辆110的车型的车型信息84中的至少一种信息，

控制部30在关于第1车辆10的车辆型号信息74的至少一部分与关于乘员过去乘坐过的第2车辆110的车辆型号信息74不一致的情况下，辅助对第1车载装置(车载装置20)进行的操作。

当第1车辆10和第2车辆110的生产者、生产国、车型中的至少一方不同时，操作部38的相对位置不同。根据上述结构，根据与生产者信息80、生产国信息82、车型信息84建立对应关系的装置种类信息86来确定车载装置20，因此，能够确定合适的车载装置20来辅助操作。

在本发明中，

第1车载装置(车载装置20)和第2车载装置(车载装置20)是空调装置40、危险警告灯装置42、雨刮器装置44中的至少一种。

根据上述结构，能够辅助对空调装置40、危险警告灯装置42、雨刮器装置44的操作。

另外，本发明是一种操作辅助方法，其辅助对第1车辆10的第1车载装置20进行的操作

使用存储部25来执行存储工序，在该存储工序中将第2车辆110的操作部38相对于第2车辆110的相对位置与使用操作部38操作的第2车辆110的第2车载装置20建立对应关系来存储；

使用运算部24来执行动作识别工序(步骤S12)、位置识别工序(步骤S14)、确定工序(步骤S15，步骤S16)和控制工序(步骤S17)，其中，

在所述动作识别工序中，识别乘坐第1车辆10的乘员的手部的规定动作；

在所述位置识别工序中，识别乘员的手H相对于第1车辆10的相对位置即第1相对位置90；

在所述确定工序中，根据存储部25的存储来确定使用第2车辆110的操作部38操作的第2车辆110的第2车载装置(车载装置20)，其中所述第2车辆110的操作部38被设置于相对于第2车辆110的相对位置即相当于第1相对位置90的第2相对位置92；

在所述控制工序中，辅助对第1车辆10的第1车载装置(车载装置20)进行的操作，其中所述第1车辆10的第1车载装置具有与第2车载装置(车载装置20)共同的功能。

根据上述结构，识别当乘员对操作部38的操作感到迷惑时进行的手H的动作，且根据手H的相对位置确定作为控制对象的车载装置20，辅助对该车载装置20的操作，因此当乘员对开关操作感到迷惑时能够适当地辅助对车载装置20进行的操作。

另外，本发明所涉及的操作辅助系统和操作辅助方法并不限定于上述实施方式，当然能够在没有脱离本发明的要旨的范围内采用各种结构。