车辆控制系统及车辆控制方法

文档序号:1970244 发布日期:2021-12-17 浏览:10次 >En<

阅读说明:本技术 车辆控制系统及车辆控制方法 (Vehicle control system and vehicle control method ) 是由 茂吕泽亮 刘海嵩 中岛章 大熊显至 丸山弘明 松尾祥和 东嵩士 山口文彰 于 2021-05-17 设计创作,主要内容包括:本发明提供车辆控制系统及车辆控制方法。在控制车门的动作的车辆控制中,能够确保车辆的安全性,并且能够对所登记的车辆利用者以外的人物进行顺畅的乘车。具备取得车辆的外部环境的图像即车外图像的车外图像取得部、取得车辆的车室内的图像即车内图像的车内图像取得部、基于车外图像及车内图像分别识别上述车辆的车外人物及车内人物的动作的人物识别部、以及控制车辆的门的状态的门控制部,门控制部在基于人物识别部中的识别结果识别出接近车辆的车外人物的情况下,当车内人物进行了指示车辆中的任意一个座席的指示动作时,执行与通过该指示动作而被指示出的座席对应的门的打开动作。(The invention provides a vehicle control system and a vehicle control method. In vehicle control for controlling the operation of a door, it is possible to ensure the safety of a vehicle and to smoothly ride a vehicle by a person other than a registered vehicle user. The door control unit executes an opening operation of a door corresponding to a seat indicated by an instruction operation when the vehicle interior person performs the instruction operation for instructing any one of the seats in the vehicle based on the instruction operation when the vehicle exterior person recognizes the person approaching the vehicle based on a recognition result in the person recognition unit.)

车辆控制系统及车辆控制方法

技术领域

本发明涉及车载装备的动作控制,尤其是涉及控制与车门的开闭相关的动作的车辆控制系统及车辆控制方法。

背景技术

以往,已知有使用了图像认证的车辆的进入系统(例如参照专利文献1)。在该进入系统中,预先登记有利用车辆的人物(车辆利用者)的虹膜图像,在检测到接近车辆并将手伸到门手柄上的人的情况下,拍摄该人的虹膜图像,执行本人确认。然后,上述进入系统在确认到是车辆利用者本人的情况下,将门解锁。根据该进入系统,预先登记有虹膜图像的车辆利用者仅通过接近车辆并将手伸到门手柄上,就能够将门解锁,因此,能够减轻车辆利用者在乘坐车辆时的负担。

另一方面,作为期望与门解锁等门开闭动作相关的自动动作的场景,不仅考虑所登记的车辆利用者本人的乘车的情况,例如还考虑在该车辆利用者使用该车辆迎接其他人物的场面中该其他人物乘车的情况。在该情况下,作为伴随着上述其他人物的接近而将车门自动解锁的方法,考虑预先将用于判断该人物是否为作为迎接对象的人物的信息与车辆利用者关联地预先登记于车辆的方法。但是,在一个一个地登记伴随着车辆利用而可能乘车的人物(乘车预定者)时,伴随着利用的准备作业变得繁琐,是不方便的。

此外,在如上述那样预先登记有乘车预定者的情况下,接近了车辆的乘车预定者可能从任意的门乘车,因此,对位于车内的车辆利用者来说可能存在想不到的情况。例如,在婴儿与车辆利用者一起乘车的情况下,如果乘车预定者未注意到该情况而打开了婴儿所处的座席的门,则该婴儿可能被暴露在寒风或雨等中。此外,或者在乘车预定者持有很多货物或大货物的情况下,当乘车预定者从助手席门乘车时,货物可能成为变速杆等的操作的障碍,是不优选的。

此外,例如在乘车预定者为多个的情况下,由于乘车预定者的人员结构(男女、小孩和大人等)、关联性(家庭成员、熟人、他们的朋友等)、或者乘车预定者的状态(货物多、腿不好等)等,从车内的气氛形成和对乘车预定者的考虑等的观点出发,大多期望在车辆利用者的管理下对乘车预定者配置座席。

现有技术文献

专利文献

专利文献1:日本特开2003-138817号公报

发明内容

发明要解决的问题

根据上述背景,在控制与车辆的门开闭相关的动作的车辆控制中,期望确保车辆的安全性,并且对该车辆利用者以外的人物支援顺畅的乘车,使得成为对所登记的车辆利用者来说期望的座席分配。

用于解决问题的手段

本发明的一个方案是一种车辆控制系统,其中,所述车辆控制系统具备:车外图像取得部,其取得车辆的外部环境的图像、即车外图像;车内图像取得部,其取得所述车辆的车室内的图像、即车内图像;人物识别部,其基于所述车外图像及所述车内图像,识别所述车辆的车外人物及车内人物各自的动作;以及门控制部,其控制所述车辆的门的状态,所述门控制部在基于所述人物识别部中的识别结果识别出接近所述车辆的车外人物的情况下,当所述车内人物进行了指示所述车辆中的任意一个座席的指示动作时,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

根据本发明的其他方案,所述门控制部将所述车内人物将面部或视线朝向接近的所述车外人物作为条件,当所述车内人物进行了所述指示动作时,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

根据本发明的其他方案,所述门控制部在所述人物识别部识别出多个接近的所述车外人物时,显示所识别出的多个接近的所述车外人物的面部图像,将与所显示的多个接近的所述车外人物的数量相等的次数作为上限,根据所述车内人物进行的所述指示动作,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

根据本发明的其他方案,所述车辆控制系统具备用户确定部,该用户确定部确定所述车内人物中的被预先登记为所述车辆的利用者的登记用户,所述门控制部在所述车内人物进行了所述指示动作时,将该车内人物为所述登记用户作为条件,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

根据本发明的其他方案,所述门控制部在识别出作为所述登记用户的所述车内人物进行的所述指示动作之后,即便在不是所述登记用户的其他的所述车内人物进行了所述指示动作的情况下,也执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

根据本发明的其他方案,所述门控制部在通过所述指示动作而被指示出的所述座席未被其他的所述车内人物占有时,执行与该座席对应的所述门的打开动作。

根据本发明的其他方案,所述打开动作是打开所述门的自动动作、或者将所述门设定为能够从所述车辆的外部打开的状态的动作。

本发明的其他方案是一种车辆控制方法,该车辆控制方法由进行车辆控制的计算机来执行,其中,所述车辆控制方法具备以下步骤:取得车辆的外部环境的图像、即车外图像;取得所述车辆的车室内的图像、即车内图像;基于所述车外图像及所述车内图像,分别识别所述车辆的车外人物及车内人物的动作;以及控制所述车辆的门的状态,在所述控制的步骤中,在基于所述识别的步骤中的识别结果识别出接近所述车辆的车外人物的情况下,所述车内人物进行了指示所述车辆中的任意一个座席的指示动作时,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

发明的效果

根据本发明,在控制与车辆的门开闭相关的动作的车辆控制中,能够确保车辆的安全性,并且对该车辆利用者以外的人物支援顺畅的乘车,使得成为对所登记的车辆利用者来说期望的座席分配。

附图说明

图1是示出利用具备本发明的一实施方式的车辆控制系统的车辆的场景的一例的图。

图2是示出本发明的一实施方式的车辆控制系统的结构的图。

图3是示出图2所示的车辆控制系统的动作的步骤的一例的流程图。

附图标记说明

100…车辆控制系统,102…车辆,104…通信网络,106…利用管理服务器,110…前座摄像头,112…后座摄像头,114…前置摄像头,116…右侧摄像头,118…左侧摄像头,120…后置摄像头,122…驾驶席门,124…助手席门,126…后部右门,128…后部左门,130、132、140、142、144、146、148…人物,200…车载网络总线,202…车辆控制装置,204…图像取得装置,206…用户管理装置,208…BCM,210…TCU,212…UI控制装置,214…近距离通信装置,216…远距离通信装置,218…处理装置,220…显示装置,222…触摸面板,224…扬声器,226…麦克风,230、240、250…处理装置,232…车外图像取得部,234…车内图像取得部,242、252…存储装置,244…用户确定部,248…车内人物信息,254…人物识别部,256…门控制部。

具体实施方式

以下,参照附图对本发明的实施方式进行说明。图1是示出利用本发明的一实施方式的车辆控制系统的场景的一例的图。本实施方式的车辆控制系统100例如由搭载于车辆102的多个电子控制装置(ECU,Electronic Control Unit)构成,对车辆102的座席门的打开动作进行控制。

车辆控制系统100经由通信网络104而与例如设置于车辆102的外部的利用管理服务器106以能够通信的方式连接。通信网络104例如能够为因特网等开放网络或者私有网络。利用管理服务器106保持针对车辆102的预先登记的利用者(登记用户)的信息。在该信息中,例如可以包含登记用户的面部图像、识别ID及/或个人信息(年龄、性别、便携终端信息)等。

车辆102具备拍摄车室内的车内摄像头,即前座摄像头110及后座摄像头112。前座摄像头110例如设置于室内镜,拍摄车室内的车辆102的前半部分的区域。后座摄像头112例如设置于车室内的车顶内表面,拍摄车室内的后半部分的区域。

此外,车辆102具备拍摄车外的周围环境的车外摄像头,即前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120。前置摄像头114例如设置于前保险杠,拍摄周围环境中的车辆102的前方区域。右侧摄像头116及左侧摄像头118例如设置于车辆102的右侧支柱及左侧支柱,分别拍摄周围环境中的车辆102的右侧区域及左侧区域。此外,后置摄像头120例如设置于后保险杠或尾门上部,拍摄周围环境中的车辆102的后方区域。

车辆102例如可以由作为该车辆102的利用者而预先登记于利用管理服务器106的多个登记用户分别利用。车辆102例如可以是私家车、共享汽车等。

在图1所示的例子中,车辆102具备作为前部座席门的驾驶席门122及助手席门124、以及作为后部座席门的后部右门126及后部左门128这4个门。车辆102的车辆控制系统100基于位于车辆102的车室内的人物(车内人物)的行动和位于车辆102的外部的人物(车外人物)的行动,来控制车辆102的上述4个门的打开动作。

这里,门的打开动作是指为了使车外人物乘入车辆102而设定门的状态的动作,除了单纯的门锁的解锁之外,还可以包含通过设置于门的致动器将该门自动打开的自动动作。此外,例如在用于门开闭的把手(门把手或门手柄)被收纳于门主体内这一类型的门中,在上述门锁的解锁中,可以包含通过致动器将上述门把手从门主体中取出而能够由车外人物进行门的打开操作的情况。

在图1所示的场景中,例如,作为车辆102的当前的利用者(当前用户)且是登记用户的人物130与占有助手席及后部左座席的作为非登记用户的人物132及人物134一起乘坐于车辆102,去迎接到达车站(未图示)的熟人。作为非登记用户的人物132及134例如可以是作为登记用户的人物130的小孩或家庭成员的一员、或者朋友或熟人等。在车辆102的外部,从车站出来的人物140、142、144、146、148分别向所希望的方向移动。

车外的人物142是车辆102的人物130、132、134的迎接的对象者,朝向车辆102移动。

在上述场景中,车辆控制系统100通过作为车外摄像头的前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120,取得车辆102的外部环境的图像即车外图像。此外,车辆控制系统100通过作为车内摄像头的前座摄像头110及后座摄像头112,取得车辆102的车室内的图像即车内图像。这里,车外图像及车内图像可以作为动态图像(影像)而取得,也可以是以规定的时间间隔反复取得的静态图像。

车辆控制系统100基于上述取得的车外图像及车内图像,识别车外人物及车内人物的动作以及车内的座席的占有状况。然后,车辆控制系统100在识别出(或者检测到)接近车辆102的车外人物(接近人物)的情况下,当车内人物进行了指示车辆102中的任意座席的指示动作时,执行与通过该指示动作而被指示出的座席对应的门的打开动作。

这里,上述指示动作能够设为在指示物品或场所的情况下人通常进行的动作、或者预先决定的规定的动作。这样的指示动作除了用食指指向座席的方向的动作之外,例如还可以为将拇指立起并越过肩膀而指示后方的座席的动作、将脖子倾斜来指示特定的座席方向的动作、使用头或下颚来指示特定的座席方向的动作等。

在图1所示的场景中,车辆控制系统100例如根据通过左侧摄像头118等得到的车外图像,检测到人物142作为接近车辆102的人物(接近人物)。此外,车辆控制系统100根据车内图像,识别出人物130指向后部右座席的动作作为指示座席的指示动作。然后,车辆控制系统100识别出将视线(图示的虚线箭头)朝向作为接近人物的人物142的人物130的上述指示动作是指示后部右座席的指示动作,执行与该后部右座席对应的后部右门126的打开动作。

由此,车辆控制系统100能够通过将车内人物的存在作为前提来确保车辆的安全性,并且,基于车辆利用者的指示动作对该车辆利用者以外的人物支援顺畅的乘车,使得成为对该车辆利用者来说期望的座席分配。

接着,参照图2对车辆控制系统100的结构进行说明。在本实施方式中,车辆控制系统100由作为车载的电子控制装置(ECU,Electronic Control Unit)的车辆控制装置202、图像取得装置204以及用户管理装置206构成。

车辆控制装置202、图像取得装置204以及用户管理装置206经由车载网络总线200以能够通信的方式连接。在车载网络总线200上还连接有BCM(车身控制模块)208、TCU(远程信息控制单元)210、以及UI(用户接口)控制装置212。

BCM 208具备CPU等处理装置(未图示),控制设置于车辆102的驾驶席门122、助手席门124、后部右门126、后部左门128的致动器,从而控制这些门的打开动作。

TCU 210具备近距离通信装置214、远距离通信装置216、控制这些通信装置的动作的处理装置218。处理装置218例如是具备CPU等处理器的计算机。近距离通信装置214例如是按照Bluetooth(注册商标;蓝牙)通信标准而与便携终端等进行通信的无线通信装置。此外,远距离通信装置216是用于经由通信网络104而与例如利用管理服务器106、便携终端等进行通信的无线通信装置。

UI控制装置212具备CPU等处理装置(未图示),根据车辆102所具备的车辆控制装置202等其他装置的指示,在设置于车辆102的车室内的显示装置220上显示图像、以及从扬声器224输出声音。此外,UI控制装置212从麦克风226取得车室内的声音,并且,进行针对该声音的声音识别处理,向其他装置输出上述声音及/或声音识别处理的结果。此外,UI控制装置212取得经由设置在显示装置220的显示屏上的触摸面板222从车辆102的乘客输入的指示及/或数据,将取得的指示及/或数据向其他装置输出。

构成车辆控制系统100的图像取得装置204具备处理装置230,该处理装置230是具备CPU等处理器的计算机,作为功能要素或功能单元,该图像取得装置204具备车外图像取得部232和车内图像取得部234。这些功能要素例如通过作为计算机的处理装置230执行程序而实现。另外,上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之,也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置230所具备的上述功能要素的全部或一部分。

车外图像取得部232控制前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120,从这些车外摄像头取得车辆102的外部环境的图像即车外图像。此外,车内图像取得部234控制前座摄像头110及后座摄像头112,从这些车内摄像头取得车辆102的车室内的图像即车内图像。车外图像及车内图像分别能够设为以规定的时间间隔反复拍摄的静态图像或者规定帧率的动态图像。图像取得装置204经由车载网络总线200向其他装置输出上述取得的车外图像及车内图像。

构成车辆控制系统100的用户管理装置206确定车内人物是否为作为车辆102的利用者而预先登记的登记用户。

具体而言,用户管理装置206具备处理装置240和存储装置242。存储装置242例如由易失性及/或非易失性的半导体存储器及/或硬盘装置等构成。处理装置240例如是具备CPU等处理器的计算机。作为功能要素或功能单元,处理装置240具备用户确定部244。

处理装置240所具备的上述功能要素例如通过作为计算机的处理装置240执行程序而实现。另外,上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之,也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置240所具备的上述功能要素的全部或一部分。

用户确定部244从图像取得装置204接收车内图像,基于该接收到的车内图像,针对位于车辆102中的车内人物分别进行面部图像认证,确定车内人物是否为登记用户。具体而言,用户确定部244从利用管理服务器106取得已经登记在利用管理服务器106中的各登记用户的面部图像,与上述车内图像中的车内人物的面部图像进行比较,由此,判断各位车内人物是否为登记用户。

用户确定部244例如将车内人物信息248存储于存储装置242,该车内人物信息248由车内人物各自的面部图像和表示各个车内人物是登记用户还是非登记用户的识别信息构成。在上述识别信息中,例如可以包含预先向各个登记用户赋予的识别ID等。由此,车辆102的车内人物中的在车内人物信息248中与上述面部图像对应地存储有包含上述识别ID的识别信息的车内人物可以被判断为是登记用户。

用户确定部244还将在开始利用车辆102时乘坐于驾驶席的车内人物确定为车辆102的当前的利用者(当前用户),对在车内人物信息248中与当前用户的面部图像对应起来的上述识别信息附加表示该面部图像的人物是当前用户的信息。除了上述之外,用户确定部244还能够针对各个非登记用户,将根据其面部图像估计的该非登记用户的性别、年龄等信息添加到车内人物信息248。

在本实施方式中,用户确定部244将乘坐于车辆102的驾驶席的人物130确定为登记用户且当前用户,将人物132、134确定为非登记用户。然后,用户确定部244将针对人物130、132及134的车内人物信息248存储于存储装置242。

构成车辆控制系统100的车辆控制装置202基于从图像取得装置204接收的车外图像及车内图像、以及从用户管理装置206取得的车内人物信息,对BCM 208进行指示,控制车门的打开动作。

具体而言,车辆控制装置202具备处理装置250和存储装置252。存储装置252例如由易失性及/或非易失性的半导体存储器及/或硬盘装置等构成。处理装置250例如是具备CPU等处理器的计算机。作为功能要素或功能单元,处理装置250具备人物识别部254和门控制部256。

处理装置250所具备的这些功能要素例如通过作为计算机的处理装置250执行程序而实现。另外,上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之,也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置250所具备的上述功能要素的全部或一部分。

人物识别部254基于从图像取得装置204接收的车外图像及车内图像,分别识别车外人物及车内人物的动作。具体而言,人物识别部254识别接近车辆102的车外人物(以下也称为接近人物)。此外,人物识别部254判断车内人物是否对上述接近的车外人物正在进行预先决定的规定的动作。这里,上述规定的动作例如可以是在规定时间内将面部或视线朝向对象人物的动作。除此之外,上述规定的动作也可以是注视对象人物的动作、针对对象人物形成规定的面部表情的动作、及/或针对对象人物的规定的手势等。

此外,人物识别部254基于车内图像,识别车辆102中的任意一个车内人物是否进行了指示车辆102中的任意座席的指示动作。此外,人物识别部254在识别出指示动作时,识别该指示动作指示哪个座席。

并且,人物识别部254基于车内图像,识别车辆102的座席的占有状况。即,人物识别部254识别车辆102的车室内的哪个座席空置,哪个座席被占有(人坐在上面及/或放置有物品)。

门控制部256在基于人物识别部254中的识别结果识别出接近车辆102的车外人物(接近人物)的情况下,当车内人物进行了指示车辆102中的任意座席的指示动作时,执行与通过该指示动作而被指示出的座席对应的门的打开动作。

例如在图1所示的场景中,人物识别部254检测到人物142作为接近车辆102的车外人物。此外,人物识别部254识别出该人物130正在进行指示车辆102的后部右座席的指示动作(在图示的例子中为手指指引动作)。然后,门控制部256基于人物识别部254中的上述识别结果,对BCM 208进行指示,执行与人物130的指示动作所示的后部右座席对应的后部右门126的打开动作。

在上述中,也可以在检测到接近人物时,门控制部256基于任意的车内人物所进行的指示动作,执行该指示动作所示的座席的门的打开动作。例如,在图1的场景中,即便在代替驾驶席的人物130而由助手席的人物132进行了指示动作的情况下,门控制部256也能够基于该指示动作执行车辆102的打开动作。

除了上述之外,门控制部256还可以在车内人物进行了指示动作时,将该车内人物为登记用户作为条件,执行基于该指示动作的门打开动作。例如在图1的场景中,当人物识别部254将人物142识别为接近人物且识别出车内的人物130的指示动作时,门控制部256询问用户管理装置206并参照车内人物信息248,知晓人物130是登记用户。由此,门控制部256可以基于作为登记用户的人物130的指示动作,执行车辆102的后部右门126的打开动作。

此外,门控制部256在识别出作为登记用户的车内人物所进行的指示动作之后,即便在不是登记用户的其他的车内人物进行了指示动作的情况下,也可以执行与通过不是该登记用户的车内人物的指示动作而被指示出的座席对应的门的打开动作。例如,在图1的场景中,当作为登记用户的人物130错误地进行指示人物134占有的后部左座席的指示动作且人物识别部254识别出这种情况时,之后如果人物识别部254识别出作为非登记用户的人物132进行了指示后部右座席的指示动作,则门控制部256执行后部右门126的打开动作。

此外,门控制部256在人物识别部254识别出多个接近的车外人物时,将识别出的这多个接近的车外人物的面部图像例如经由UI控制装置212显示于显示装置220。然后,门控制部256将与显示的多个接近的车外人物的数量相等的次数作为上限,根据车内人物所进行的指示动作,执行与通过该指示动作而被指示出的座席对应的门的打开动作。

例如,在图1的场景中,在人物识别部254基于车外图像将人物140、142识别为接近人物的情况下,门控制部256将人物140、142的面部图像经由UI控制装置212显示于显示装置220。然后,门控制部256将与接近人物的数量相等的次数即2次作为上限,根据车内的人物130(或者人物132、134)所进行的指示动作,分别执行与通过该指示动作而被指示出的座席对应的门的打开动作。

例如,在人物134向后部中央座席移动的情况下,门控制部256根据指示后部左座席的指示动作和指示后部右座席的指示动作这2次指示动作,分别执行后部左门128及后部右门126的打开动作。在该情况下,门的打开动作可以如上述那样根据车内的任意的人物130、132或134的指示动作来进行,也可以限于作为登记用户的人物130的2次指示动作来进行。或者,也可以针对作为登记用户的人物130的2次指示动作,在这些指示动作之后分别根据作为非登记用户的人物132或134进行的指示动作来执行门的打开动作。

具有上述结构的车辆控制系统100在检测到接近车辆102的车外人物的情况下,当检测到车内人物进行了指示车辆102中的任意座席的指示动作时,执行与该指示动作所示的座席对应的门的打开动作。由此,在车辆控制系统100中,能够通过将车内人物的存在作为前提而确保车辆的安全性,并且,按照车辆利用者的指示动作对该车辆利用者以外的人物支援顺畅的乘车,使得成为期望的座席分配。

接着,对车辆控制系统100的动作进行说明。图3是示出车辆控制系统100的处理的步骤的流程图。该处理在车辆102停车或驻车时开始,例如在车速小于规定速度(例如5km/h)时开始。构成车辆控制系统100的各装置例如能够经由连接有车速传感器(未图示)的BCM208而得到针对车辆102的车速的信息。

另外,与图3所示的处理并行地,图像取得装置204分别以规定的时间间隔通过前座摄像头110及后座摄像头112取得车内图像,并且通过前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120取得车外图像。此外,与图3所示的处理并行地,用户管理装置206例如在从对车辆102进行了表示利用开始的规定的操作时起到对车辆102进行了表示利用结束的规定的操作为止的期间,识别相对于车辆102上车下车的人物,将车内人物信息248存储于存储装置242。

这里,上述表示利用开始的规定的操作及表示利用结束的规定的操作分别例如能够是当前用户进行的车辆102的点火钥匙的接通操作及断开操作。用户管理装置206例如能够从连接有点火钥匙传感器(未图示)的BCM 208取得存在点火钥匙的接通操作及断开操作的情况。

当开始图3所示的处理时,构成车辆控制系统100的车辆控制装置202的人物识别部254基于从图像取得装置204取得的车外图像及车内图像而开始车外人物及车内人物的识别处理,判断是否检测到接近车辆102的车外的人物(接近人物)(S100)。然后,在未检测到接近人物时(S100,否),人物识别部254返回步骤S100,等待检测接近人物。

另一方面,当人物识别部254检测到接近人物时(S100,是),门控制部256将执行上限次数Ir设置为1之后(S102),将执行计数Ic重置为0(零)(S104)。接下来,门控制部256基于人物识别部254的识别结果,判断接近车辆102的人物(接近人物)是否为一位(S106)。

然后,门控制部256在接近人物为一位时(S106,是),判断是否检测到车辆内的人物(车内人物)所进行的指示动作,即,指示车辆102中的任意座席的动作(S108)。然后,门控制部256在未检测到指示动作时(S108,否),判断是否在从步骤S100中的检测接近人物开始的规定时间的期间内或者在从最后检测指示动作开始的规定时间的期间内不检测指示动作(S110)。

然后,门控制部256在规定时间的期间内不检测指示动作时(S110,是),将处理移至后述的步骤S128。另一方面,在不是这种情况时,即,当从步骤S100中的检测接近人物开始仍未经过经过时间时,或者当从最后检测指示动作开始仍未经过规定时间时(S110,否),门控制部256返回步骤S108重复进行处理。

另一方面,在步骤S108中检测到车内人物的指示动作时(S108,是),门控制部256经由用户管理装置206参照存储装置242的车内人物信息248,判断进行了该指示动作的车内人物是否为非登记用户(S112)。然后,当进行了指示动作的车内人物为非登记用户时(S112,是),门控制部256判断该非登记用户的指示动作是否为在登记用户的指示动作之后进行的指示动作(S114)。

然后,当该非登记用户的指示动作不是在登记用户的指示动作之后进行的指示动作时(S114,否),门控制部256返回步骤S108而重复进行处理。另一方面,当该非登记用户的指示动作是在登记用户的指示动作之后进行的指示动作时(S114,是),门控制部256判断通过该指示动作而被指示出的座席是否被例如人物或货物等占有(S116)。

然后,当通过上述指示动作而被指示出的座席被占有时(S116,是),门控制部256返回步骤S108重复进行处理。另一方面,当通过上述指示动作而被指示出的座席未被占有时(S116,否),门控制部256执行与该座席对应的门的打开动作(S118)。这里,门控制部256能够将进行了上述指示动作的车内人物在规定时间内将视线或面部朝向接近人物作为条件,执行门的打开动作。在该情况下,当进行了上述指示动作的车内人物在规定时间内未将视线或面部朝向接近人物时,门控制部256能够返回步骤S108重复进行处理。

接着,门控制部256在将执行计数Ic增加了1之后(S120),判断该执行计数Ic是否达到执行上限次数Ir(S122)。然后,门控制部256在执行计数Ic达到执行上限次数Ir时(S122,是),判断车辆102是否结束停车或驻车而起步(S128)。门控制部256例如在车辆102的车速成为规定的速度(例如,5km/h)以上时,能够判断为车辆102已起步。如上所述,门控制部256例如能够经由BCM 208而得到针对车辆102的车速的信息。然后,在车辆102未起动时(S128,否),门控制部256返回步骤S100,等待新检测接近人物。另一方面,在步骤S122中执行计数Ic未达到执行上限次数Ir时(S122,否),门控制部256返回步骤S108,等待在上述的规定时间内车内人物新进行指示动作。

另一方面,在步骤S112中,当进行了指示动作的车内人物不是非登记用户时,即,当该车内人物是登记用户时(S112,否),门控制部256将处理移至步骤S116。

此外,另一方面,在步骤S106中,当接近人物不是一位时,即,当接近人物是多位时(S106,否),门控制部256例如对UI控制装置212进行指示,通过显示装置220显示上述接近人物的面部图像(S124)。接着,门控制部256将执行上限次数Ir设置为上述接近人物的数量之后,(S126),将处理移至步骤S108。

另外,本发明不限于上述实施方式的结构,在不脱离其主旨的范围内能够在各种方案中实施。

例如,在本实施方式中,作为一例,车辆102具有4个座席用门,但搭载车辆控制系统100的车辆102的结构不限于此。车辆102能够是具备2个以上的任意数量的座席用门的车辆。例如,车辆102可以具备6个或8个座席用门。

此外,在本实施方式中,作为当前用户的一位登记用户(人物130)和两位非登记用户(人物132及134)乘坐在车辆102中,但车辆102的乘客结构不限于此。有一位以上的登记用户乘坐在车辆102中即可。例如,也可以是多个登记用户乘坐在车辆102中。此外,在车辆102中也可以没有非登记用户乘坐,还可以有任意数量的非登记用户乘坐。

这里,门控制部256能够通过作为登记用户的任意的车内人物的指示动作,或者将存在作为任意登记用户的车内人物的指示动作当作前提而通过作为任意非登记用户的车内人物的指示动作,执行门的打开动作。在该情况下,在指示动作在多个登记用户之间或者多个非登记用户之间不同的情况下,能够按照预先决定的优先顺位,基于优先顺位从高到低的指示动作来进行门打开动作。上述优先顺位例如可以是进行了该指示动作的人物的年龄顺序或者定时顺序(将最后的指示设为最优先等)。

或者,门控制部256也可以构成为,不论是登记用户还是非登记用户,都根据任意的车内人物的指示动作,进行该指示动作所示的座席的门的打开动作。这是因为,如果需要,则作为非登记用户的车内人物所进行的指示动作可以由位于同一车内的登记用户以某种形式(通过声音对车内人物或车外人物作出的指示等)立即修正,因此,即便如上述那样构成,也能够通过车内人物的存在而确保车辆102的安全性,并且,能够支援车外人物的顺畅的乘车,使得成为对作为登记用户的车内人物来说期望的座席配置。

但是,如上述实施方式那样,将基于作为登记用户的车内人物的指示动作的门打开动作为主并将基于作为非登记用户的车内人物的指示动作的门打开动作设为补充动作这一方式能够更加直接地实现作为登记用户的车内人物所期望的座席配置,该补充动作将进行了作为登记用户的车内人物的指示动作作为条件。

此外,在本实施方式中,车辆控制装置202的门控制部256可以在存在多个接近人物时,将接近人物的数量设定为执行上限次数Ir,执行与车内人物所进行的指示动作相应的门打开动作(例如多次),但门控制部256的动作不限于此。例如,门控制部256也可以将多个接近人物的面部图像显示于显示装置220之后,通过触摸面板222等接收由车内的登记用户进行的面部图像的选择,将登记用户选择出的面部图像的数量设定为执行上限次数Ir,执行门打开动作。由此,能够将执行上限次数Ir正确地限定为作为登记用户的熟人等的接近人物的数量,能够防止执行不必要的门打开动作。

此外,门控制部256也可以根据车外的状况来变更门打开动作的动作方式。例如,门控制部256在车外的接近人物为一位的情况下,能够进行门的自动开放动作作为门打开动作,在存在多个接近人物的情况下,能够仅进行门锁的解锁或门手柄的提供动作(从门主体的推出)作为门打开动作。由此,在存在多个接近人物的情况下,能够降低车内人物不想让乘车的接近人物随意乘车的可能性。

此外,在本实施方式中,车辆控制系统100由多个装置(车辆控制装置202、图像取得装置204及用户管理装置206)构成,但车辆控制系统100的结构不限于此。车辆控制系统100也可以由更少或更多的多个装置构成。这种装置的一个或多个能够设置于设置在车辆102外且与车载装置以能够通信的方式连接的利用管理服务器106及/或其他服务器。此外,车辆控制系统100或者也能够在车辆102中作为一个装置而构成。

如以上说明的那样,本实施方式的车辆控制系统100具备:车外图像取得部232,其取得车辆102的外部环境的图像即车外图像;以及车内图像取得部234,其取得车辆102的车室内的图像即车内图像。此外,车辆控制系统100具备:人物识别部254,其基于上述车外图像及车内图像分别识别车外人物及位于车室内的车内人物的动作;以及门控制部256,其控制车辆102的门的状态。而且,门控制部256在基于人物识别部254中的识别结果识别出接近车辆102的车外人物(接近人物)的情况下,当车内人物进行了指示车辆102中的任意座席的指示动作时,执行与通过该指示动作而被指示出的座席对应的门的打开动作。

根据该结构,能够确保车辆的安全性,并且,对车辆利用者以外的人物支援顺畅的乘车,使得成为对所登记的车辆利用者(登记用户)来说期望的座席分配。

此外,在车辆控制系统100中,门控制部256将车内人物在规定时间内将面部或视线朝向接近人物作为条件,当车内人物进行了指示动作时,执行与通过该指示动作而被指示出的座席对应的门的打开动作。通常,当车内人物不想让接近人物乘车时,车内人物不将视线或面部朝向该接近人物。因此,根据该结构,针对车内人物不想让乘车的接近人物,能够不进行门打开动作,因此,能够进一步提高门打开动作的安全性。

此外,在车辆控制系统100中,门控制部256在人物识别部254识别出多个接近人物时,显示该多个接近人物的面部图像。然后,门控制部256将与上述显示出的多个接近人物的数量相等的次数作为上限,根据车内人物所进行的指示动作,执行与通过该指示动作而被指示出的座席对应的门的打开动作。

根据该结构,在存在多个接近人物的情况下,可以进行针对多个门的打开动作,因此,能够支援这多个接近人物的顺畅的乘车。

此外,车辆控制系统100具备用户确定部244,该用户确定部244判断车内人物是否是被预先登记为车辆102的利用者的登记用户。而且,门控制部256在车内人物进行了指示动作时,将该车内人物为登记用户作为条件,执行与通过该指示动作而被指示出的座席对应的门的打开动作。

根据该结构,例如,能够将在陌生的人物接近了车辆102时由于作为非登记用户的小孩的挥手而错误地进行了门打开动作的情况防患于未然。

此外,在车辆控制系统100中,门控制部256在识别出作为登记用户的车内人物所进行的指示动作之后,即便在不是登记用户的其他车内人物进行了指示动作的情况下,也执行与通过该指示动作而被指示出的座席对应的门的打开动作。根据该结构,将登记用户进行了指示动作作为前提,针对非登记用户进行的指示动作也进行门打开动作,因此,能够确保安全性,并且执行灵活的门打开动作。例如,根据上述结构,在登记用户错误地进行了指示其他人物占有的座席的指示动作的情况下,非登记用户能够纠正这种情况,指示未被占有的座席的门打开动作。

此外,在车辆控制系统100中,门控制部256在通过指示动作而被指示出的座席未被其他车内人物占有时,执行与该座席对应的门的打开动作。根据该结构,能够将对被占有的座席的门进行打开动作的情况防患于未然。

此外,在车辆控制系统100中,门控制部256进行的门的打开动作是打开门的自动动作、或者将门设定为能够从车辆102的外部打开的状态的动作。根据该结构,门控制部256不限于自动地打开门的动作,能够通过门解锁、将收纳在门内的门手柄从门中取出而成为能够动作的状态等各种动作而支援车外的接近人物的顺畅的乘车。

此外,车辆控制系统100通过进行车辆控制的计算机,执行进行以下处理的车辆控制方法。该车辆控制方法具备以下步骤:取得车辆102的外部环境的图像即车外图像;取得车辆102的车室内的图像即车内图像;基于车外图像及车内图像分别识别车外人物及位于车室内的车内人物的动作;以及对车辆102的门的状态进行控制。而且,在上述控制的步骤中,在基于上述识别的步骤中的识别结果识别出接近车辆102的车外人物(接近人物)的情况下,当车内人物进行了指示车辆102中的任意座席的指示动作时,执行与通过该指示动作而被指示出的座席对应的门的打开动作。

根据该结构,能够确保车辆的安全性,并且,对车辆利用者以外的人物支援顺畅的乘车,使得成为对所登记的车辆利用者(登记用户)来说期望的座席分配。

[由上述实施方式支持的结构]

上述实施方式支持以下的结构。

(结构1)一种车辆控制系统,其中,所述车辆控制系统具备:车外图像取得部,其取得车辆的外部环境的图像、即车外图像;车内图像取得部,其取得所述车辆的车室内的图像、即车内图像;人物识别部,其基于所述车外图像及所述车内图像,识别所述车辆的车外人物及车内人物各自的动作;以及门控制部,其控制所述车辆的门的状态,所述门控制部在基于所述人物识别部中的识别结果识别出接近所述车辆的车外人物的情况下,当所述车内人物进行了指示所述车辆中的任意一个座席的指示动作时,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

(结构2)在结构1所记载的车辆控制系统的基础上,所述门控制部将所述车内人物将面部或视线朝向接近的所述车外人物作为条件,当所述车内人物进行了所述指示动作时,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

(结构3)在结构1或2所记载的车辆控制系统的基础上,所述门控制部在所述人物识别部识别出多个接近的所述车外人物时,显示所识别出的多个接近的所述车外人物的面部图像,将与所显示的多个接近的所述车外人物的数量相等的次数作为上限,根据所述车内人物进行的所述指示动作,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

(结构4)在结构1至3中的任意一个结构所记载的车辆控制系统的基础上,所述车辆控制系统具备用户确定部,该用户确定部确定所述车内人物中的被预先登记为所述车辆的利用者的登记用户,所述门控制部在所述车内人物进行了所述指示动作时,将该车内人物为所述登记用户作为条件,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

(结构5)在结构4所记载的车辆控制系统的基础上,所述门控制部在识别出作为所述登记用户的所述车内人物进行的所述指示动作之后,即便在不是所述登记用户的其他的所述车内人物进行了所述指示动作的情况下,也执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

(结构6)在结构1至5中的任意一个结构所记载的车辆控制系统的基础上,所述门控制部在通过所述指示动作而被指示出的所述座席未被其他的所述车内人物占有时,执行与该座席对应的所述门的打开动作。

(结构7)在结构1至6中的任意一个结构所记载的车辆控制系统的基础上,所述打开动作是打开所述门的自动动作、或者将所述门设定为能够从所述车辆的外部打开的状态的动作。

(结构8)一种车辆控制方法,是由进行车辆控制的计算机执行的车辆控制方法,其中,所述车辆控制方法具备以下步骤:取得车辆的外部环境的图像、即车外图像;取得所述车辆的车室内的图像、即车内图像;基于所述车外图像及所述车内图像,分别识别所述车辆的车外人物及车内人物的动作;以及控制所述车辆的门的状态,在所述控制的步骤中,在基于所述识别的步骤中的识别结果识别出接近所述车辆的车外人物的情况下,当所述车内人物进行了指示所述车辆中的任意一个座席的指示动作时,执行与通过该指示动作而被指示出的所述座席对应的所述门的打开动作。

18页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:车辆控制系统及车辆控制方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!