阅读说明：本技术 车辆的图像提供系统、服务器系统及车辆的图像提供方法 (Image providing system for vehicle, server system, and image providing method for vehicle ) 是由 安井裕司 浅海寿夫 德永诗园 结城雅史 伊藤洋 内富宽隆 于 2018-06-12 设计创作，主要内容包括：车辆的图像提供系统具备：拍摄部；显示部,其使人物的假想像产生；通信部,其与车辆外的设备进行通信连接；以及在位检测部,其检测所述车辆内的在位状态,其中,所述显示部在所述通信部的工作状态下基于所述在位检测部检测出的所述车辆内的在位状态,来控制所述假想像的显示形态。(The image providing system for a vehicle includes: a shooting part; a display unit for generating a virtual image of a person; a communication unit that is connected to a device outside the vehicle in a communication manner; and an in-place detection unit that detects an in-place state in the vehicle, wherein the display unit controls a display mode of the pseudo image based on the in-place state in the vehicle detected by the in-place detection unit in an operating state of the communication unit.)

车辆的图像提供系统、服务器系统及车辆的图像提供方法

技术领域

本发明涉及车辆的图像提供系统、服务器系统及车辆的图像提供方法。

本申请基于在2017年6月16日向日本提出申请的特愿2017-118918号而主张优先权，并将其内容援引于此。

背景技术

以往，关于自动地进行速度控制和转向控制中的至少一方的自动驾驶的研究不断进展。与此相关联而公开有如下技术：为了能够使观察者感觉到进深感而显示具有进深的图像(例如，参照专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2017-30737号公报

发明的概要

发明要解决的课题

在现有技术中，关于使车辆内的乘客及车辆外的人物感觉好像是在一起的情况未进行考虑。

发明内容

本发明考虑这样的情况而提出，其目的之一在于提供一种能够感觉到车辆内的乘客及车辆外的人物好像是在一起的车辆的图像提供系统、服务器系统及车辆的图像提供方法。

用于解决课题的方案

(1)：一种车辆的图像提供系统，其具备：拍摄部；显示部，其使人物的假想像产生；通信部，其与车辆外的设备进行通信连接；以及在位检测部，其检测所述车辆内的在位状态，其中，所述显示部在所述通信部的工作状态下基于所述在位检测部检测出的所述车辆内的在位状态，来控制所述假想像的显示形态。

(2)：在(1)的基础上，所述车辆的图像提供系统具备：连接状况检测部，其检测所述车辆外的设备与所述通信部之间的连接状况；以及发送许可部，其基于所述连接状况检测部检测出的连接状况，来许可由所述拍摄部拍摄到的图像的发送，其中，在所述发送许可部许可发送时，所述通信部将由所述拍摄部拍摄到的图像向所述车辆外的设备发送。

(3)：在(1)或(2)的基础上，所述显示部使所述车辆的后视镜或车窗产生所述假想像。

(4)：在(1)～(3)中任一项的基础上，所述显示部基于所述在位检测部检测出的所述车辆内的在位状态，与所述车辆内的空座对应而使所述假想像产生。

(5)：在(1)～(4)中任一项的基础上，所述显示部显示的所述假想像是在所述车辆以外的场所拍摄到的实时像。

(6)：在(1)～(4)中任一项的基础上，所述显示部显示的所述假想像是模型像。

(7)：在(1)～(4)中任一项的基础上，所述显示部显示的所述假想像是预先拍摄并记录了的像。

(8)：在(1)～(7)中任一项的基础上，基于由所述拍摄部拍摄到的图像的数据的至少一部分来生成流图像。

(9)：在(1)～(8)中任一项的基础上，所述车辆的图像提供系统还具备控制部，该控制部基于由所述车辆外的设备的利用者佩戴的头戴式显示器装置的视线传感器检测出的所述利用者的视线的移动，来进行所述拍摄部的远程操作。

(10)：一种服务器系统，其构成为与车辆的通信部进行通信连接，该车辆具备：拍摄部；显示部，其使人物的假想像产生；以及所述通信部，其与车辆外的设备进行通信连接，其中，所述服务器系统具备：第一通信部，其与所述车辆外的设备进行通信连接；第二通信部，其与所述车辆的所述通信部连接；第一存储部，其保持来自所述车辆外的设备的发送信息；第二存储部，其保持所述车辆的ID信息和所述拍摄部取得到的图像；以及第一转换部，其将所述第一存储部保持的信息向所述第二通信部选择性地发送，所述第一转换部具备假想像生成部，该假想像生成部生成在所述显示部显示的所述假想像。

(11)：在(10)的基础上，所述第二存储部构成为，还存储从所述第二通信部取得到的所述车辆内的在位状态的信息，所述第一转换部基于所述在位状态的信息来控制所述假想像生成部。

(12)：在(11)的基础上，所述服务器系统具备第二转换部，该第二转换部将所述第二存储部存储的所述在位状态的信息向所述第一通信部选择性地发送，所述第二转换部具备个人图像提取部，该个人图像提取部从所述第二存储部存储的所述在位状态的信息中提取与所述车辆的特定乘客对应的图像信息。

(13)：一种车辆的图像提供方法，其使计算机执行如下处理：拍摄车辆的乘客；使所述车辆内产生人物的假想像；与车辆外的设备进行通信连接；检测所述车辆内的在位状态；以及基于在通信连接中检测出的所述车辆内的在位状态，来控制所述假想像的显示形态。

发明效果

根据(1)、(10)或(13)，能够感觉到好像车辆内的乘客及车辆外的人物在一起。

根据(2)，能够避免尽管通信连接状况差也尝试图像的发送的事态。

根据(3)，通过使用车辆所具备的后视镜或车窗，能够感觉到好像车辆内的乘客及车辆外的人物在一起。

根据(4)，通过使用车辆所具备的座位，能够感觉到好像车辆内的乘客及车辆外的人物在一起。

根据(5)，通过将在车辆以外的场所拍摄到的实时像在车辆内显示，从而能够使车辆内的乘客及车辆外的人物在一起的感觉增加。

根据(6)或(7)，即使在车辆与车辆外的设备之间的通信连接状况差的情况下，也能够感觉到好像车辆内的乘客及车辆外的人物在一起。

根据(8)，即使在车辆与车辆外的设备之间的通信连接状况差的情况下，也能够生成流图像。

根据(9)，车辆外的设备的利用者能够对车辆的拍摄部进行远程操作，因此能够提高车辆外的设备的利用者的满足度。

根据(11)，能够使车辆内产生适合于车辆内的在位状态的假想像。

根据(12)，能够提取拍摄部拍摄到的图像中的适当的图像并向车辆外的设备发送。

附图说明

图1是图像提供系统的构成图。

图2是表示拍摄部的一例的图。

图3是表示显示部的一例的图。

图4是表示在车窗显示有第二利用者的虚像的情形的图。

图5是表示在后视镜显示有第二利用者的虚像的情形的图。

图6是表示显示部的另一例的图。

图7是表示图像提供装置的拍摄部及显示部的一例的图。

图8是表示包含头戴式显示器装置的情况的构成例的图。

图9是说明显示第一利用者等的图像的流图像的处理的时序图。

图10是说明显示第二利用者的图像的处理的时序图。

图11是表示车辆的用于自动驾驶的构成的图。

图12是用于说明自动驾驶的处理过程的图。

具体实施方式

以下，参照附图，说明本发明的车辆的图像提供系统、服务器系统及车辆的图像提供方法的实施方式。车辆的图像提供系统是用于将车辆的乘客等的图像和与车辆的乘客具有特定的关系的车辆的乘客以外的利用者的图像相互提供的系统。乘客搭乘的车辆例如是基本上不需要驾驶操作的自动驾驶车辆。以下，说明乘客搭乘于自动驾驶车辆的情况，但是乘客也可以搭乘于手动驾驶车辆。

[整体结构]

图1是图像提供系统1的构成图。图像提供系统1例如具备搭载于车辆的车载图像提供装置100、配置于车辆以外的场所的图像提供装置300、管理服务器400。这些构成要素经由网络NW而相互能够通信。网络NW包括互联网、WAN(Wide Area Network)、LAN(LocalArea Network)、公用线路、提供者装置、专用线路、无线基地站等。

[车载图像提供装置]

车载图像提供装置100例如具备通信部110、拍摄部120、HMI(Human machineInterface)130、在位检测部140、连接状况检测部150、发送许可部160、存储部170、控制部180。

通信部110例如是用于与网络NW连接、或者与其他车辆、行人的终端装置等直接进行通信的无线通信模块。通信部110基于Wi-Fi、DSRC(Dedicated Short RangeCommunications)、Bluetooth(注册商标)、其他的通信标准进行无线通信。作为通信部110，可以准备与用途对应的多个通信部。另外，通信部110经由网络NW与车辆外的设备(例如图像提供装置300、管理服务器400等)之间进行通信。

拍摄部120例如是CCD相机、CMOS相机等。拍摄部120例如以规定周期反复进行拍摄，并经由通信部110及网络NW向管理服务器400发送。另外，拍摄部120包含图像处理部120-1。图像处理部120-1进行由拍摄部120拍摄到的图像的数据处理。

图2是表示拍摄部120的一例的图。拍摄部120例如具备车内拍摄用车载相机120A、车外拍摄用车载相机120B、120C及120D这4个车载相机。在其他的例子中，拍摄部120也可以具备小于4个或5个以上的车载相机。

如图2所示，车内拍摄用车载相机120A拍摄车辆内的乘客。车外拍摄用车载相机120B拍摄车辆的前方，车外拍摄用车载相机120C及120D分别拍摄车辆的侧方。可以通过将上述的车外拍摄用车载相机120B、120C、120D的图像合成来生成全景图像、全方位图像等。车内拍摄用车载相机120A、以及车外拍摄用车载相机120B、120C及120D可以为拆装式。特别是在将它们配置于车室内的情况下，可以将吉祥物形态的相机配置于非就座的座椅中的头枕附近。

另外，拍摄部120例如也可以是车辆的乘客保持的便携终端装置500。由便携终端装置500的相机拍摄到的图像的数据可以通过Ad-Hoc连接向车载图像提供装置100发送，并与各车载相机的拍摄图像同样地经由通信部110及网络NW向管理服务器400发送，也可以不经由车载图像提供装置100而经由网络NW向管理服务器400发送。

返回图1，HMI130例如包括触摸面板式显示器装置、扬声器、话筒等。HMI130接受由第一利用者进行的图像提供服务开始操作等。另外，HMI130包括显示部130A。显示部130A使人物的假想像产生。具体而言，显示部130A基于从管理服务器400接收到的数据，使位于车辆以外的场所的利用者的假想像以产生该利用者好像处于车辆内的错觉的方式显示。该利用者是与车辆的乘客具有特定的关系(例如亲子关系、祖父母-孙关系等)的图像提供服务的利用者。以下，将车辆的乘客称为“第一利用者”，将车辆的乘客以外的利用者称为“第二利用者”。显示部130A例如是将第二利用者的假想像向后视镜、车窗、座位等投影的投影装置。另外，显示部130A包括图像处理部130B。图像处理部130B进行用于通过显示部130A使假想像产生的图像的数据处理。

图3是表示显示部130A的一例的图。显示部130A例如是将作为假想像的一例的虚像向后视镜132及/或车窗134投影的投影装置。在图3的例子中，显示部130A将第二利用者的虚像向车窗134投影。另外，当第一利用者(车辆的乘客)观察车窗134时，第一利用者自身被映现而能看见。因此，第一利用者在观察到映现有第一利用者自身的像和第二利用者的虚像的车窗134时，能够感觉到好像与位于车辆以外的场所的第二利用者一起搭乘于车辆(产生错觉)。即，观察到第二利用者的虚像的第一利用者能够感觉到好像车室与图3的虚线所示的第二利用者的自己家的房间相连(即，成为扩充空间)。

显示部130A也可以是在后视镜132、车窗134的面上设置的透光性的显示装置。在该情况下，显示部130A例如通过将液晶显示器装置、有机EL(Electroluminescence)显示装置粘贴或埋入于后视镜132、车窗134而形成。显示部130A也可以是将投影装置与显示装置组合而成的结构。在该情况下，显示装置设置于投影装置的投影目的地(后视镜132或车窗134)，进行使由投影装置投影的投影像容易观察那样的光学动作。

图4是表示在车窗134显示有第二利用者U2的虚像80的情形的图。如图所示，当第一利用者U1观察车窗134时，能够看见第一利用者U1自身的像和由虚线表示的第二利用者U2的虚像80的映现。因此，第一利用者U1能够感觉到好像与位于车辆以外的场所的第二利用者U2一起搭乘于车辆。

图5是表示在后视镜132显示有第二利用者U2的虚像80的情形的图。如图所示，当第一利用者U1观察后视镜132时，能够看见第一利用者U1自身的像和由虚线表示的第二利用者U2的虚像80的映现。因此，第一利用者U1能够感觉到好像与位于车辆以外的场所的第二利用者U2一起搭乘于车辆。

显示部130A可以构成为能够在后视镜132及车窗134都显示第二利用者U2的虚像80。另一方面，在其他的例子中，显示部130A还可以构成为仅能够在后视镜132及车窗134中的任一个显示第二利用者U2的虚像80。

图6是表示显示部130A的另一例的图。显示部130A例如是适用了与车辆内的座位136的空座对应而将作为假想像的一例的虚像80投影的例如全息技术的投影装置。当第一利用者(车辆的乘客)观察空座时，好像第二利用者U2就座于该空座那样能够看见第二利用者U2的虚像80。因此，第一利用者在观察空座时，能够感觉到好像与位于车辆以外的场所的第二利用者U2一起搭乘于车辆(产生错觉)。另外，显示部130A例如基于车内拍摄用车载相机120A的拍摄结果，根据空座的有无来变更使第二利用者U2的虚像80产生的位置。如上所述，显示部130A与车辆内的座位136的空座对应而使假想像产生。即，显示部130A不仅能够使空座上产生假想像，而且还能够以使假想像与车辆内的人、结构物等重叠的方式使假想像产生。

返回图1，在位检测部140检测车辆内的在位状态。在位检测部140例如基于就座传感器的输出，来检测车辆内的在位状态(乘客是否就座于座位)。在位检测部140也可以基于拍摄部120拍摄(取得)到的图像来检测车辆内的在位状态。上述的显示部130A基于在位检测部140检测出的车辆内的在位状态，来使人物的假想像产生。例如在车辆的自动驾驶中，在乘客仅就座于后部座位的情况下，显示部130A基于在位检测部140检测出的车辆内的在位状态(乘客仅就座于后部座位的状态)，在后部座位侧使人物的假想像产生。例如在乘客仅就座于右侧座位的情况下，显示部130A基于在位检测部140检测出的车辆内的在位状态(乘客仅就座于右侧座位的状态)，在右侧座位侧使人物的假想像产生。详细而言，显示部130A在通信部110的工作状态(即，通信部110能够从管理服务器400接收用于使假想像产生的数据的状态)下，基于在位检测部140检测出的车辆内的在位状态，来控制假想像的显示形态。由在位检测部140检测出的车辆内的在位状态的信息由通信部110向管理服务器400等发送。

连接状况检测部150检测通信部110与车辆外的设备(例如图像提供装置300、管理服务器400等)之间的连接状况。即，连接状况检测部150例如检测是否为从管理服务器400容易接收用于使假想像产生的数据的状态。另外，连接状况检测部150例如检测是否为向车辆外的设备容易发送由拍摄部120拍摄到的图像的数据的状态。

发送许可部160基于连接状况检测部150检测出的连接状况，来许可由拍摄部120拍摄到的图像的发送。具体而言，在连接状况检测部150检测出通信部110与车辆外的设备(例如图像提供装置300、管理服务器400等)之间的连接状况差的情况下，发送许可部160不许可由拍摄部120拍摄到的图像的发送。即，在通信部110与车辆外的设备之间的连接状况差的情况下，与由拍摄部120拍摄到的图像的发送相比，通信部110优先进行为了使假想像产生所需的数据的接收。即，发送许可部160在通信频带存在限制的情况下(连接状况差的情况下)使接收比发送优先。当发送许可部160许可发送时，通信部110将由拍摄部120拍摄到的图像向车辆外的设备发送。

存储部170通过HDD(Hard Disk Drive)、闪存器、RAM(Random Access Memory)、ROM(Read Only Memory)等来实现。存储部170存储从管理服务器400接收到的信息、拍摄部120拍摄到的图像的数据、显示部130A显示的第二利用者U2的虚像的数据等。

控制部180例如通过CPU(Central Processing Unit)等处理器执行程序来实现。第一利用者将图像提供服务开始操作向HMI130输入，当用于利用图像提供系统1的应用程序(图像提供应用)起动时，控制部180输出用于使通信部110进行向管理服务器400的数据发送的控制信号、用于使拍摄部120进行拍摄的控制信号、用于使显示部130A显示第二利用者U2的虚像的控制信号等。

[图像提供装置]

图像提供装置300例如具备通信部310、拍摄部320、显示部330、存储部340、HMI350、控制部360。

通信部310例如是用于与网络NW连接、或者与第二利用者的便携终端装置等直接进行通信的通信模块。通信部310基于Wi-Fi、DSRC、Bluetooth、其他的通信标准来进行通信。作为通信部310，可以准备与用途对应的多个通信部。另外，通信部310经由网络NW与管理服务器400之间进行通信。

拍摄部320例如是CCD相机、CMOS相机等。拍摄部320拍摄第二利用者U2，并将拍摄到的第二利用者U2的图像的数据经由通信部310及网络NW向管理服务器400发送。另外，拍摄部320包含图像处理部320A。图像处理部320A进行由拍摄部320拍摄到的图像的数据处理。

显示部330基于从管理服务器400接收到的数据，来显示由拍摄部120拍摄到的第一利用者U1等的图像的流图像。另外，显示部330包含图像处理部330A。图像处理部330A进行用于通过显示部330显示流图像的图像的数据处理。

图7是表示图像提供装置300的拍摄部320及显示部330的一例的图。拍摄部320例如是在第二利用者U2的自己家放置的大画面电视机600所具备的相机610。拍摄部320拍摄第二利用者U2。另外，拍摄部320例如也可以是第二利用者U2保持的便携终端装置的相机。由第二利用者U2的便携终端装置的相机拍摄到的图像的数据可以通过Ad-Hoc连接向图像提供装置300发送，并经由通信部310及网络NW向管理服务器400发送，也可以不经由图像提供装置300而经由网络NW向管理服务器400发送。显示部330例如是电视机600的显示器630。显示部330显示第一利用者U1等的图像的流图像。

另外，图像提供装置300也可以包含头戴式显示器装置(虚拟现实设备)700。

图8是表示包含头戴式显示器装置700的情况的构成例的图。在该情况下，显示部330是头戴式显示器装置700的显示器710，显示第一利用者U1等的图像的流图像。

另外，显示部330也可以是在第二利用者U2的自己家放置的终端装置(个人计算机)的显示器。

返回图1，存储部340通过HDD、闪存器、RAM、ROM等来实现。存储部340存储从管理服务器400接收到的信息、拍摄部320拍摄到的图像的数据、显示部330显示的第一利用者U1等的流图像的数据等。

HMI350接受由第二利用者进行的图像提供服务开始操作等。在图7的例子中，HMI350是电视机600的输入装置(遥控器)620。另外，HMI350也可以是在第二利用者U2的自己家放置的终端装置的输入装置(键盘、鼠标等)。另外，HMI350也可以是图8所示的头戴式显示器装置700的视线传感器。视线传感器检测佩戴头戴式显示器装置700的第二利用者U2的视线的移动，接受基于第二利用者U2的视线的移动进行的视点操作。即，佩戴头戴式显示器装置700的第二利用者U2通过移动视线，在从车辆传送来全景图像的情况下能够选择中心视野。另外，也可以通过移动视线而能够远程操作车内拍摄用车载相机120A及车外拍摄用车载相机120B、120C及120D中的至少一个。另外，电视机600的输入装置620等可以接受第二利用者U2对拍摄部120的远程操作。

控制部360例如通过CPU等处理器执行程序来实现。第二利用者U2将图像提供服务开始操作向HMI350输入，当图像提供应用起动时，控制部360输出用于使通信部310进行向管理服务器400的数据发送的控制信号、用于使拍摄部320进行拍摄的控制信号、用于使显示部330显示第一利用者U1等的流图像的控制信号等。另外，控制部360基于由头戴式显示器装置700的视线传感器检测出的第二利用者U2的视线的移动，来进行拍摄部120的远程操作。另外，控制部360也可以基于由视线传感器检测出的第二利用者U2的视线的移动，来对拍摄部320进行操作，例如重新拍摄改变了姿势的第二利用者U2的图像。

[管理服务器]

管理服务器400例如具备通信部410、415、存储部420、425、控制部430、数据保持部440。

通信部410、415例如是用于与网络NW连接的通信模块。通信部410、415基于通信标准来进行通信。通信部410经由网络NW与车辆外的设备(例如图像提供装置300等)之间进行通信。通信部415经由网络NW与车载图像提供装置100的通信部110之间进行通信。即，管理服务器400构成为与搭载于车辆的车载图像提供装置100的通信部110进行通信连接。通信部415例如接收由在位检测部140检测出的车辆内的在位状态的信息等。

存储部420、425通过HDD、闪存器、RAM、ROM等来实现。存储部420存储(保持)来自车辆外的设备(例如图像提供装置300等)的发送信息、拍摄部320拍摄到的图像的数据、显示部130A显示的第二利用者U2的图像的数据等。存储部425存储(保持)从车载图像提供装置100等接收到的信息、拍摄部120拍摄(取得)到的图像的数据、显示部330显示的第一利用者U1等的流图像的数据等。从车载图像提供装置100等接收到的信息中包含搭载车载图像提供装置100的车辆的ID(Identification)信息、车辆内的在位状态的信息等。即，存储部425构成为存储从通信部415取得到的车辆内的在位状态的信息。

控制部430例如通过CPU等处理器执行程序来实现。控制部430具备转换部430-1、430-2、430-3和QoS判定部430-4。转换部430-1将存储部420所保持的信息向通信部415选择性地发送。转换部430-1具备假想像生成部430A。假想像生成部430A生成显示部130A产生的上述的假想像(例如在显示部130A显示的假想像)。即，管理服务器400具有从由车辆外的设备(图像提供装置300)取得到的信息(图像)中选出个人的(与车辆内的乘客的就座状态对应的)图像的功能。

如上所述，存储部425构成为存储从通信部415取得到的车辆内的在位状态的信息。另外，转换部430-1基于存储部425存储的车辆内的在位状态的信息来控制假想像生成部430A。即，假想像生成部430A基于车辆内的在位状况，生成适合于显示部130A在车辆内产生的假想像。假想像生成部430A为了生成适合的假想像，进行与需要对应的补全来生成假想像。管理服务器400可以在开始使车辆内产生假想像的服务之前，预先将三维的面部数据等作为用户数据进行保持(从车载图像提供装置100、图像提供装置300等接收)等。例如，管理服务器400可以对拍摄部120、320等拍摄到的图像数据进行数据处理。也可以使拍摄部120、320等作为AR(Augmented Reality)相机发挥功能。管理服务器400还可以基于规定的车辆形状数据，与显示位置(显示部130A使假想像产生的位置)对应来调整假想像。

转换部430-2将存储部425存储的车辆内的在位状态的信息向通信部410选择性地发送。转换部430-2具备个人图像提取部430B。个人图像提取部430B从存储部425存储的车辆内的在位状态的信息中提取与车辆的特定乘客对应的图像信息。即，个人图像提取部430B具有将从车载图像提供装置100接收到的车辆内的乘客的图像数据以个人单位选出的功能。个人图像提取部430B基于从车载图像提供装置100接收到的车辆内的相机配置的信息、车辆内的各种传感器的输出数据等，从拍摄部120拍摄到的图像中选出适当的部位。由个人图像提取部430B选出的部位(提取出的部位)由图像提供装置300的显示部330显示。

转换部430-3具备流图像生成部430C。流图像生成部430C基于由拍摄部120拍摄到的第一利用者U1等的图像的数据，生成第一利用者U1等的图像的流图像。

QoS(Quality of Service)判定部430-4进行为了确保管理服务器400在网络上提供的服务品质所需的判定。QoS判定部430-4例如进行使从车载图像提供装置100的接收、向车载图像提供装置100的发送、从图像提供装置300的接收、以及向图像提供装置300的发送中的哪个优先等的判定。数据保持部440例如保持搭载车载图像提供装置100的车辆的三维数据、拍摄部120的各相机的相机坐标系的信息等。相机坐标系是以拍摄图像的相机为基准的坐标系(各相机固有的坐标系)。

图9是说明显示第一利用者U1等的图像的流图像的处理的时序图。

图10是说明显示第二利用者U2的图像的处理的时序图。为了简便起见，使用不同的附图来进行图9及图10所示的处理的说明，但是图9及图10所示的处理可以通过双向通信而同时并行进行。首先，说明图9所示的处理。

作为前提，车载图像提供装置100例如在车辆的起动的同时开始由拍摄部120进行的拍摄，并使由拍摄部120进行的拍摄持续(即，进行始终拍摄)，且将由拍摄部120拍摄到的图像的数据向管理服务器400发送。在向管理服务器400发送的图像数据中附加有位置、速度的信息、声音数据。

(步骤Si)例如，管理服务器400进行管理服务器400与车载图像提供装置100之间、以及管理服务器400与图像提供装置300之间的通信频带(速度)的确认。

(步骤S2)管理服务器400进行是否进行后述的补全处理的判定。在管理服务器400与车载图像提供装置100之间的通信频带窄的情况下，管理服务器400例如进行用于防止在图像提供装置300中显示的流图像粗糙的补全处理。在该补全处理中，管理服务器400为了生成流图像，不是使用由车载图像提供装置100的车外拍摄用车载相机120B、120C、120D拍摄到的风景图像数据，而是使用在管理服务器400的存储部420中存储的其他车辆等中拍摄到的对应拍摄外景的风景图像数据(高析像度的风景图像数据)。在该情况下，时间上的通信延迟也被补全。

(步骤S3)管理服务器400进行是否进行后述的降采样的判定。在管理服务器400与图像提供装置300之间的通信频带窄的情况下，管理服务器400例如在生成流图像时，进行降采样。其结果是，与未进行降采样的情况相比，能够减小生成的流图像的数据量。

(步骤S4)管理服务器400的流图像生成部430C生成第一利用者U1等的图像的流图像。在执行了上述的补全处理及/或降采样的情况下，流图像生成部430C反映补全处理及/或降采样的处理结果而生成流图像。

(步骤S5)管理服务器400的控制部430将由流图像生成部430C生成的第一利用者U1等的流图像的数据向图像提供装置300发送。

(步骤S6)图像提供装置300的显示部330开始第一利用者U1等的流图像的显示。

车载图像提供装置100的通信部110与图像提供装置300的通信部310也可以不经由管理服务器400而直接通信。另外，车载图像提供装置100的控制部180对拍摄部120的直通(through)图像进行解析，在与第二利用者U2具有特定的关系的第一利用者U1显现在直通图像中的情况下，拍摄部120可以自动地开始第一利用者U1等的拍摄。

在拍摄部120自动地开始第一利用者U1等的拍摄的情况下，可以将多个第一利用者U1(例如家属)是否聚齐而显现在直通图像中作为开始条件。另外，在拍摄部120自动地开始第一利用者U1等的拍摄的情况下，也可以将显现在直通图像中的第一利用者U1的情绪状态(例如，第一利用者U1是否哭泣或笑)、健康状态(是否发烧)等作为开始条件。另外，在拍摄部120自动地开始第一利用者U1等的拍摄的情况下，可以将显现在直通图像中的车辆的周边的景色是否满足例如眺望、纹理(texture)、亮度等特定条件作为开始条件。另外，在拍摄部120自动地开始第一利用者U1等的拍摄的情况下，管理服务器400的控制部430也可以基于搭载有车载图像提供装置100的车辆的位置与第一利用者U1保持的便携终端装置500的位置的偏离、车辆的周边设施、由拍摄部120拍摄的第一利用者U1的服装等信息，来进行使由拍摄部120拍摄的拍摄频率增加等的拍摄部120的远程操作。

车载图像提供装置100的控制部180也可以生成第一利用者U1等的流图像。观察到第一利用者U1等的流图像的第二利用者U2可以通过第二利用者U2的视线的移动等，来对拍摄第一利用者U1等的拍摄部120进行远程操作。在第二利用者U2进行拍摄部120的远程操作的情况下，第二利用者U2可以变更车内拍摄用车载相机120A及车外拍摄用车载相机120B、120C、120D的拍摄方向。

管理服务器400的流图像生成部430C也可以对由车载图像提供装置100的拍摄部120拍摄到的第一利用者U1等的多个图像的数据进行编辑，生成要点的第一利用者U1等的流图像。另外，管理服务器400的流图像生成部430C也可以基于搭载有车载图像提供装置100的车辆的加速度传感器的输出信号等，来修正由拍摄部120拍摄到的第一利用者U1等的图像所包含的晃动、模糊等。

管理服务器400可以将与由车载图像提供装置100的拍摄部120拍摄到的第一利用者U1等的图像相关的内容在WEB服务器的用户空间上以事先设定的公开范围公开。在第一利用者U1为亲子、第二利用者为祖父母的情况下，第一利用者U1等的流图像例如是父母的育儿记录。

对图10所示的处理进行说明。图10的步骤S11～S13的处理与图9的步骤S1～S3的处理同样。

(步骤S14)图像提供装置300的拍摄部320开始第二利用者U2的拍摄。

(步骤S15)图像提供装置300的控制部360将由拍摄部320拍摄到的第二利用者U2的图像(实时像)的数据向管理服务器400发送。控制部360也可以将第二利用者U2的模型像的数据向管理服务器400发送。控制部360也可以将由拍摄部320预先拍摄并记录了的第二利用者U2的图像的数据向管理服务器400发送。发送的图像的数据可以是静止图像的数据，也可以是动态图像的数据。

(步骤S16)管理服务器400的控制部430将从图像提供装置300发送的第二利用者U2的图像的数据向车载图像提供装置100转送。

(步骤S17)车载图像提供装置100的显示部130A例如基于车内拍摄用车载相机120A的拍摄结果，来进行显示第二利用者U2的虚像的位置的判定。具体而言，显示部130A判定因车辆的座位不存在空座而是否需要将第二利用者U2的虚像显示于后视镜或车窗，或者在车辆的座位的空座是否能够显示第二利用者U2的虚像。

(步骤S18)车载图像提供装置100的显示部130A开始第二利用者U2的实时像的显示。显示部130A可以取代实时像而显示第二利用者U2的模型像、预先拍摄并记录了的像等。

在车载图像提供装置100搭载于租赁汽车的情况下，在由第一利用者U1向车载图像提供装置100的HMI130的输入操作时及由第二利用者U2向图像提供装置300的HMI350的输入操作时，管理服务器400的控制部430可以进行第一利用者U1及第二利用者U2的用户认证处理。

第二利用者U2为了变更由车载图像提供装置100的显示部130A显示的第二利用者U2的图像，可以通过拍摄部320重新拍摄第二利用者U2的图像。

车载图像提供装置100的显示部130A也可以在通过车辆前往的第一利用者U1的旅行目的地，显示第二利用者U2家的第二利用者U2的实时像。此时，图像提供装置300的显示部330也可以显示旅行目的地的第一利用者U1等的流图像。或者，在第一利用者U1的旅行结束之后，图像提供装置300的显示部330可以将旅行目的地的第一利用者U1等的流图像以要点显示。观察到流图像的第二利用者U2能够体验与第一利用者U1一起旅行的心情。

以下，说明车辆的用于自动驾驶的结构。当考虑乘客瞭望周围的自由度等时，本实施方式的车辆优选为自动驾驶车辆。

[车辆]

图11是表示车辆200的用于自动驾驶的构成的图。车辆200例如具备包含通信部110的车载图像提供装置100、外界监视单元210、导航装置230、推荐车道决定装置240、自动驾驶控制单元250、驱动力输出装置260、制动装置262、转向装置264。

外界监视单元210例如包括相机、雷达、LIDAR(Light Detectionand Ranging)、基于它们的输出而进行传感器融合处理的物体识别装置等。外界监视单元210推定存在于车辆200的周边的物体的种类(特别是车辆、行人及自行车)，并与其位置、速度的信息一起向自动驾驶控制单元250输出。

外界监视单元210与车载图像提供装置100的拍摄部120可以共用一部分或全部。

导航装置230例如具备HMI232、GNSS(Global Navigation Satellite System)接收机234、导航控制装置236。HMI232例如包括触摸面板式显示器装置、扬声器、话筒等。GNSS接收机234基于从GNSS卫星(例如GPS卫星)送来的电波对本机的位置(车辆200的位置)进行测位。导航控制装置236例如具备CPU、各种存储装置，对导航装置230整体进行控制。在存储装置中保存有地图信息(导航地图)。导航地图是通过节点和线路来表现出道路的地图。导航控制装置236参照导航地图来决定从由GNSS接收机234测位出的车辆200的位置到使用HMI232指定的目的地为止的路径。另外，导航控制装置236也可以使用通信部110将车辆200的位置和目的地向导航服务器(未图示)发送，并取得从导航服务器回信的路径。

导航装置230的HMI232与车载图像提供装置100的HMI130可以共用一部分或全部。

推荐车道决定装置240例如具备MPU(Micro Processing Unit)和各种存储装置。在存储装置中保存有比导航地图详细的高精度地图信息。高精度地图信息中例如包括各车道的道路宽度、坡度、曲率、信号灯的位置等信息。推荐车道决定装置240为了沿着从导航装置230输入的路径行驶，决定优选的推荐车道并向自动驾驶控制单元250输出。

自动驾驶控制单元250具备CPU、MPU等一个以上的处理器和各种存储装置。自动驾驶控制单元250以在由推荐车道决定装置240决定出的推荐车道上行驶的情况为原则，且以避免与从外界监视单元210输入了位置、速度的物体的接触的方式使车辆200自动地行驶。自动驾驶控制单元250例如顺次执行各种事件。事件中例如包括以恒定速度在相同的行驶车道上行驶的定速行驶事件、追随于前行车辆的追随行驶事件、车道变更事件、汇合事件、分支事件、紧急停止事件、用于通过收费站的收费站事件、用于结束自动驾驶而切换为手动驾驶的接管事件等。另外，在这些事件的执行中，也存在基于车辆200的周边状况(周边车辆、行人的存在、道路施工引起的车道狭窄等)来计划用于躲避的行动的情况。

自动驾驶控制单元250生成车辆200将来行驶的目标轨道。目标轨道例如包含速度要素。例如，目标轨道表现为将车辆200应到达的地点(轨道点)顺次排列而成的轨道。轨道点是每规定的行驶距离的车辆200应到达的地点，与此不同，每规定的采样时间(例如零点几[sec]左右)的目标速度及目标加速度作为目标轨道的一部分而生成。另外，轨道点也可以是每规定的采样时间的、该采样时刻下的车辆200应到达的位置。在该情况下，目标速度、目标加速度的信息通过轨道点的间隔来表现。

图12是用于说明自动驾驶的处理过程的图。首先，如上图所示，通过导航装置230来决定路径。该路径例如是未带有车道的区分的粗略的路径。接下来，如中间图所示，推荐车道决定装置240决定容易沿着路径行驶的推荐车道。然后，如下图所示，自动驾驶控制单元250生成用于一边进行障碍物的躲避等一边尽量沿着推荐车道行驶的轨道点，并以沿着轨道点(及附带的速度曲线)行驶的方式控制驱动力输出装置260、制动装置262、转向装置264中的一部分或全部。需要说明的是，这样的任务分担只不过为一例，例如自动驾驶控制单元250也可以一维地进行处理。

返回图11，驱动力输出装置260将用于使车辆200行驶的行驶驱动力(转矩)向驱动轮输出。驱动力输出装置260例如具备内燃机、电动机及变速器等的组合、以及对它们进行控制的动力ECU。动力ECU按照从自动驾驶控制单元250输入的信息、或从未图示的驾驶操作件输入的信息，来控制上述的结构。

制动装置262例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、制动ECU。制动ECU按照从自动驾驶控制单元250输入的信息、或从驾驶操作件输入的信息来控制电动马达，将与制动操作对应的制动转矩向各车轮输出。制动装置262也可以具备将通过驾驶操作件所包含的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构来作为备用。需要说明的是，制动装置262并不局限于上述说明的结构，也可以是按照从自动驾驶控制单元250输入的信息来控制致动器，从而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。

转向装置264例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从自动驾驶控制单元250输入的信息、或者从驾驶操作件输入的信息来驱动电动马达，使转向轮的朝向变更。

在进行自动驾驶的情况下，可以是，车载图像提供装置100的拍摄部120基于车辆200的驾驶员的面部的朝向(或视线的朝向)，来拍摄第一人称视点(车辆200的驾驶员观察的风景图像)，图像提供装置300的显示部330显示该图像。另外，观察到由显示部330显示的图像的第二利用者U2可以通过输入装置620对车辆200的行进方向进行远程操作、或者将关于车辆200的行进方向的指示向第一利用者U1传送。在由显示部330进行车辆200的驾驶员观察的风景图像的显示的情况下，显示部330可以基于车辆200的状态量(振动、速度、转向角)等来进行显示的图像的修正。

以上，使用实施方式说明了用于实施本发明的方式，但是本发明不受这样的实施方式的任何限定，在不脱离本发明的主旨的范围内能够施加各种变形及置换。

符号说明：

1…图像提供系统，100…车载图像提供装置，110…通信部，120…拍摄部，120-1…图像处理部，120A…车内拍摄用车载相机，120B…车外拍摄用车载相机，120C…车外拍摄用车载相机，120D…车外拍摄用车载相机，130…HMI，130A…显示部，130B…图像处理部，132…后视镜，134…车窗，136…座位，140…在位检测部，150…连接状况检测部，160…发送许可部，170…存储部，180…控制部，300…图像提供装置，310…通信部，320…拍摄部，320A…图像处理部，330…显示部，330A…图像处理部，340…存储部，350…HMI，360…控制部，400…管理服务器，410…通信部，415…通信部，420…存储部，425…存储部，430…控制部，430-1…转换部，430-2…转换部，430-3…转换部，430-4…QoS判定部，430A…假想像生成部，430B…个人图像提取部，430C…流图像生成部，440…数据保持部，500…便携终端装置，600…电视机，610…相机，620…输入装置，630…显示器，700…头戴式显示器装置，710…显示器，NW…网络。