具体实施方式

[本公开所要解决的问题]

在使用了图像的交流支持中，期望实现自然的交流。

[本公开的效果]

根据本公开的一个方面，能实现使用了图像的自然的交流。

[本公开的实施方式的说明]

列举本公开的实施方案来进行说明。也可以将以下记载的实施方式的至少一部分任意地组合。

本公开的一个方面的交流支持系统支持与第一终端对应的第一用户和与第二终端对应的第二用户之间的交流。交流支持系统具备至少一个处理器。至少一个处理器从第一终端接收呈现出第一用户的第一影像数据，对第一影像数据进行解析并从化身的动作模式组之中选择与作为第一用户的非语言行为的第一非语言行为对应的动作模式，将表示选择出的动作模式的控制数据发送至第二终端。在第二终端显示包含与第一用户对应的第一化身和与第二用户对应的第二化身的虚拟空间，第二终端接收控制数据，基于由控制数据表示的选择出的动作模式来使第一化身进行动作，基于呈现出第二用户的第二影像数据来确定作为第二用户的非语言行为的第二非语言行为，并基于该第二非语言行为来使第二化身进行动作。

本公开的一个方面的交流支持方法由交流支持系统来执行，该交流支持系统支持与第一终端对应的第一用户和与第二终端对应的第二用户之间的交流并且具备至少一个处理器。交流支持方法包括如下步骤：至少一个处理器从第一终端接收呈现出第一用户的第一影像数据；至少一个处理器对第一影像数据进行解析并从化身的动作模式组之中选择与作为第一用户的非语言行为的第一非语言行为对应的动作模式；以及至少一个处理器将表示选择出的动作模式的控制数据发送至第二终端。在第二终端显示包含与第一用户对应的第一化身和与第二用户对应的第二化身的虚拟空间，第二终端接收控制数据，基于由控制数据表示的选择出的动作模式来使第一化身进行动作，基于呈现出第二用户的第二影像数据来确定作为第二用户的非语言行为的第二非语言行为，并基于该第二非语言行为来使第二化身进行动作。

本公开的一个方面的图像控制程序使计算机作为能经由通信网络与第一终端连接的第二终端发挥功能。图像控制程序使计算机执行如下步骤：在第二终端显示包含与第一用户对应的第一化身和与第二用户对应的第二化身的虚拟空间，所述第一用户与所述第一终端对应，所述第二用户与所述第二终端对应；接收表示与作为第一用户的非语言行为的第一非语言行为对应的动作模式的控制数据，该动作模式是对由第一终端拍摄到的第一用户的第一影像数据进行解析并从化身的动作模式组之中被选择为与该第一非语言行为对应的动作模式的动作模式；基于由控制数据表示的选择出的动作模式来使第一化身进行动作；以及基于呈现出第二用户的第二影像数据来确定作为第二用户的非语言行为的第二非语言行为，并基于该第二非语言行为来使第二化身进行动作。

在这样的方面中，第一用户的第一非语言行为被反映至第一化身的动作，第二用户的第二非语言行为被反映至第二化身的动作。第二用户能借由这样被控制的第一化身与第一用户取得自然的交流。

在其他方面的交流支持系统中，也可以是，至少一个处理器通过以文本表现选择出的动作模式来生成控制数据。通过以文本(即字符串)表现用于使第一化身进行动作的动作模式，发送至第二终端的数据大小被大幅抑制。因此，能减少施加于通信网络和终端的处理的负荷，并且能使第一化身按照第一用户的行为来实时地进行动作。

在其他方面的交流支持系统中，也可以是，至少一个处理器通过以JSON形式记述选择出的动作模式来生成控制数据。通过采用JSON形式，表示动作模式的数据大小进一步被抑制。因此，能减少施加于通信网络和终端的处理的负荷，并且能使第一化身按照第一用户的行为来实时地进行动作。

在其他方面的交流支持系统中，也可以是，第一非语言行为至少包括第一用户的视线，化身的动作模式组中包括的各个动作模式至少表示第一化身的视线。也可以是，至少一个处理器选择表示与第一用户的视线对应的第一化身的视线的动作模式。通过使一般在交流中起到重要的作用的视线反映至第一化身的动作，能实现使用了图像的自然的交流。其结果是，能实现用户间的创造性的对话。

在其他方面的交流支持系统中，也可以是，第一非语言行为还包括第一用户的姿势、活动以及表情中的至少一个，动作模式组中包括的各个动作模式还表示第一化身的姿势、活动以及表情中的至少一个。也可以是，至少一个处理器选择表示与第一用户的姿势、活动以及表情中的至少一个对应的第一化身的姿势、活动以及表情中的至少一个的动作模式。通过使姿势、活动以及表情中的至少一个反映至第一化身的动作，能实现使用了图像的自然的交流。

在其他方面的交流支持系统中，也可以是，动作模式组包括表示根据第一化身的视线的变化进行的、第一化身的上半身的旋转、第一化身的头的旋转以及第一化身的黑眼珠的移动中的至少一个的动作模式。通过根据第一化身的视线的变化来表现这样的非语言行为，能实现用户间的顺畅的交流或创造性的对话。

在其他方面的交流支持系统中，也可以是，第一影像数据包括图像数据和声音数据。至少一个处理器将第一影像数据分离为图像数据和声音数据，对图像数据进行解析并选择与第一用户的第一非语言行为对应的动作模式，将表示选择出的动作模式的非语言行为数据与声音数据的组合作为控制数据发送至第二终端。第一用户的第一非语言行为被反映至第一化身的动作，并且该第一用户的声音被提供给第二终端。第二用户能通过识别第一化身的活动和该声音来与第一用户取得自然的交流。

在其他方面的交流支持系统中，也可以是，至少一个处理器通过将表示共享项目的共享项目数据发送至第一终端和第二终端的每一个来使包含该共享项目的虚拟空间显示于第一终端和第二终端的每一个。通过共享项目被提供给各用户，第二用户能一边与第一用户共享该项目一边与该第一用户取得自然的交流。

在其他方面的交流支持系统中，也可以是，响应于第二用户看第二化身的状况，第二终端以该第二化身看第二用户的方式使该第二化身进行动作。与第二用户的视线对应地，第二化身(对于第二用户而言是自己的化身)与第二用户面对面，因此能使第二用户的动作反映至第二化身。

在其他方面的交流支持系统中，也可以是，在第一终端显示包含第一化身和第二化身的虚拟空间，第一终端响应于第一用户看第一化身的状况，以该第一化身看第一用户的方式使该第一化身进行动作，发送与第一用户看第一化身的状况对应的第一影像数据。也可以是，第二终端以第一化身不看其他化身的方式使该第一化身进行动作。在第一终端中，与第一用户的视线对应地，第一化身(对于第一用户而言是自己的化身)与第一用户面对面，因此能使第一用户的动作反映至第一化身。另一方面，在第二终端中，第一化身被控制为不看任何化身，因此能将第一用户未在看对方传达给第二用户。

[本公开的实施方式的详情]

以下，参照附图对本公开中的实施方式进行详细说明。需要说明的是，在附图的说明中对相同或等同的要素标注相同的附图标记，并省略重复的说明。

(系统的构成)

图1是表示实施方式的交流支持系统100的概要的一个例子的图。交流支持系统100是支持用户间的交流的计算机系统。交流支持系统100的使用目的不被限定。例如，交流支持系统100可以用于视频会议、聊天、诊察、咨询(counselling)、面试(人物评价)、远程办公等各种各样的目的。

交流支持系统100包括建立多个终端1间的通话会话(session)的服务器2。多个终端1能通过经由通信网络N与服务器2通信连接来与其他终端1建立通话会话。在使用服务器2构成交流支持系统100的情况下，交流支持可以说是云服务的一种。在图1中示出两台终端1，但连接于交流支持系统100的终端1的个数(换言之，参加一个通话会话的终端1的个数)不被限定。

终端1是由交流支持系统100的用户使用的计算机。终端1的种类不被限定。例如，终端1可以是便携式电话机、高性能便携式电话机(智能手机)、平板终端、台式个人计算机、膝上型个人计算机或者可穿戴终端。如图1所示，终端1具备摄像部13、显示部14、操作部15以及声音输入输出部16。

用户对操作部15进行操作并通过摄像部13对自身进行拍摄，一边确认在显示部14显示的各种信息(自己的化身、对方的化身、文件等)，一边经由声音输入输出部16与对方进行会话。终端1通过对由摄像部13拍摄到的图像和由声音输入输出部16得到的声音的数据进行编码和复用来生成影像数据，并经由通话会话来发送该影像数据。终端1从显示部14输出基于该影像数据的图像。而且，终端1接收从另外的终端1发送的影像数据，并从显示部14和声音输入输出部16输出基于该影像数据的图像和声音。

如图1所示，摄像部13的设置部位各种各样。但是，将摄像部13设于显示部14内(例如，在供对方的图像显示的部位设置摄像部13)是困难的。在使拍摄到的人物像保持原样地显示于对方的终端1的显示部14的情况下，人物图像的视线并不朝向对方而是稍微偏离。图2是表示该视线的偏离的例子的图。如图2所示，视线的偏离是由于视差角φ而产生的，该视差角φ是看显示部14的用户的视线与拍摄用户的摄像部13的光轴之差。若该视差角φ大，则在用户间使视线一致变得困难，因此用户会对交流感到受挫(frustration)。

为了消除或缓和这样的状况来支持自然的交流，交流支持系统100使与第一用户对应的第一化身显示于第二用户的终端1(第二终端)。然后，交流支持系统100基于来自第一用户的终端1(第一终端)的第一影像数据，以作为该第一用户的非语言行为的第一非语言行为在第二终端被自然地表现的方式使该第一化身进行动作。即，交流支持系统100以与第一用户对应且在第二终端显示的第一化身进行与该第一用户的第一非语言行为对应的动作的方式，使该第一化身进行动作。例如，交流支持系统100执行使第一化身的视线朝向对方(正在经由显示部14看第一化身的人)或者使第一化身的身体的朝向朝自然的方向等控制。在现实中存在图2所示那样的视差角φ。但是，交流支持系统100并不是使由第一终端摄像得到的第一用户保持原样地显示于第二终端，而是使第一化身代替第一用户显示于第二终端，并控制该第一化身的第一非语言行为。通过该处理，该视差角φ最终被校正或消除，因此各用户能体验自然的对话。

第二用户的终端1(第二终端)除了该第一化身之外，还显示与第二用户对应的第二化身。终端1基于呈现出第二用户的第二影像数据，以作为该第二用户的非语言行为的第二非语言行为在第二终端被自然地表现的方式使该第二化身进行动作。即，终端1(第二终端)以与第二用户对应且在第二终端显示的第二化身进行与该第二用户的第二非语言行为对应的动作的方式，使该第二化身进行动作。例如，交流支持系统100执行使第二化身的视线朝向虚拟空间内的其他化身，或者使第二化身的身体的朝向朝自然的方向等控制。

若以某特定的一个终端1为基准来说，则第一化身是与其他终端1的用户对应的化身，第二化身是与该特定的一个终端1的用户对应的化身。若以某一位用户为基准来说，则第一化身是对方的化身，第二化身是自己的化身。

化身是指在由计算机表现的虚拟空间内表现的用户的分身。化身并不是由摄像部13拍摄到的用户本身(即，并不是由影像数据表示的用户本身)，而是通过独立于影像数据的图像素材来显示。化身的表现方法不被限定，例如，化身既可以表示动画的角色，也可以由基于用户的照片预先制成的、更接近本人的用户图像来表示。化身可以通过二维或三维的计算机图形(CG：Computer Graphic)来描绘。化身可以由用户自由地选择。

虚拟空间是指在终端1的显示部14表现的空间。化身被表现为存在于该虚拟空间内的对象。虚拟空间的表现方法不被限定，例如，虚拟空间既可以通过二维或三维的CG来描绘，也可以由呈现出现实世界的图像(运动图像或静止图像)来表现，还可以通过该图像和CG这双方来表现。与化身同样地，虚拟空间(背景画面)也可以由用户自由地选择。可以是化身能由用户配置于虚拟空间内的任意的位置。交流支持系统100表现能使多个用户认识共同的场景的虚拟空间。在此，需要注意的是，共同的场景只要是能使多个用户拥有共同的认识的场景即可。例如，共同的场景并不要求达到虚拟空间内的对象间的位置关系(例如化身彼此的位置关系)在多个终端1间相同。

非语言行为是指人的行为中的不使用语言的行为。非语言行为包括视线、姿势、活动(包括手势)以及表情中的至少一个，还可以包括其他要素。在本公开中，将视线、姿势、活动、表情等构成非语言行为的要素也称为“非语言行为要素”。由化身表现的用户的非语言行为不受任何限定。例如，作为脸部的姿势或活动的例子，可列举出点头、摇头、歪头等。作为上半身的姿势或活动的例子，可列举出躯体的朝向、肩的扭转、肘的折弯、手的举放等。作为手指的活动的例子，可列举出伸展、弯曲、外展、内收等。作为表情的例子，可列举出中立、喜悦、轻蔑、厌恶、恐惧、惊讶、悲伤、愤怒等。

图3～图6是表示由交流支持系统100提供的虚拟空间和化身的例子的图。在这些例子中，设为在四台终端1之间建立了通话会话，将四台终端1区分为用户Ua的终端Ta、用户Ub的终端Tb、用户Uc的终端Tc以及用户Ud的终端Td。将与用户Ua、Ub、Uc、Ud对应的化身分别设为化身Va、Vb、Vc、Vd。设为提供给四位用户的虚拟空间300是模拟了在会议室中的谈话的虚拟空间。在各终端的显示部14显示的虚拟空间包含用户自身的化身和对方的化身。即，在终端Ta、Tb、Tc、Td的任一个中，在显示部14显示的虚拟空间300均包含化身Va、Vb、Vc、Vd。

图3的例子与以下状况对应：用户Ua正在通过终端Ta看化身Vc，用户Ub正在通过终端Tb看化身Vc，用户Uc正在通过终端Tc看化身Vb，用户Ud正在通过终端Td看化身Va。若将该状况置换为现实世界(用户Ua、Ub、Uc、Ud存在于现实中的世界)，则成为用户Ua正在看用户Uc，用户Ub正在看用户Uc，用户Uc正在看用户Ub，用户Ud正在看用户Ua。因此，用户Ub、Uc正在看彼此。

通过交流支持系统100在各终端中如以下这样显示虚拟空间300。即，在终端Ta中，显示以下场景：化身Va正在看化身Vc，化身Vb与化身Vc面对面，化身Vd正在透过终端Ta所具有的显示部14看用户Ua。在终端Tb中，显示以下场景：化身Va、Vb正在看化身Vc，化身Vc正在透过终端Tb所具有的显示部14看用户Ub，化身Vd正在看化身Va。在终端Tc中，显示以下场景：化身Va、Vb这双方正在透过终端Tc所具有的显示部14看用户Uc，化身Vc正在看化身Vb，化身Vd正在看化身Va。在终端Td中，显示以下场景：化身Va正在看化身Vc，化身Vb与化身Vc面对面，化身Vd正在看化身Va。任一终端均通过虚拟空间300表现了以下场景：用户Ua正在看用户Uc，用户Ub正在看用户Uc，用户Uc正在看用户Ub(因此，用户Ub、Uc正在看彼此)，用户Ud正在看用户Ua。

在图3的例子中，几个终端中的虚拟空间300表现用户Ub、Uc彼此的视线一致。几个终端中的虚拟空间300表现出表示其他用户看向正在看呈现于显示部14的虚拟空间300的用户的状态的视线认知。

图4的例子与以下状况对应：用户Ua正在通过终端Ta看化身Va，用户Ub正在通过终端Tb看化身Vc，用户Uc正在通过终端Tc看化身Vb，用户Ud正在通过终端Td看化身Va。该例子在用户Ua正在看自己的化身Va这一点上与图3的例子不同。

通过交流支持系统100在各终端中如以下这样显示虚拟空间300。即，在终端Ta中，显示以下场景：化身Vb与化身Vc面对面，化身Va、Vd正在透过终端Ta所具有的显示部14看用户Ua。在终端Tb中，显示以下场景：化身Va正在以好像看自己的身体的样子看下方，化身Vb正在看化身Vc，化身Vc正在透过终端Tb所具有的显示部14看用户Ub，化身Vd正在看化身Va。在终端Tc中，显示以下场景：化身Va正在以好像看自己的身体的样子看下方，化身Vb正在透过终端Tc所具有的显示部14看用户Uc，化身Vc正在看化身Vb，化身Vd正在看化身Va。在终端Td中，显示以下场景：化身Va正在以好像看自己的身体的样子看下方，化身Vb与化身Vc面对面，化身Vd正在看化身Va。

如图4所示，在用户Ua通过终端Ta看了自己的化身Va的情况下，在终端Ta中，化身Va以通过该终端Ta与用户Ua面对面的方式进行动作。此时，在终端Ta中，化身Va可以不仅看用户Ua而且保持原样地实时再现用户Ua的活动。即，终端Ta可以通过镜像效果(像用户Ua的镜像那样呈现化身Va的视觉效果)来表现化身Va。另一方面，在其他终端(即，终端Tb、Tc、Td)中，化身Va不看其他化身，且不透过其他终端所具有的显示部14看用户，而是采取其他动作。例如，化身Va既可以看下方、上方、脚下或手表，也可以在这些动作模式中随机地变更看的方向。

如图3和图4所示，交流支持系统100还可以显示表示终端的用户实际正在看的区域(注视区域)的辅助表现310。

图5的例子与各用户正在通过各终端看共同的演示资料301的状况对应。各终端中的演示资料301的显示方法不被限定。例如，各终端既可以显示包含演示资料301的虚拟空间，也可以在与虚拟空间不同的显示区域显示演示资料301。若将该状况置换为现实世界，则成为用户Ua、Ub、Uc、Ud正在看相同的演示资料301。通过交流支持系统100在各终端中显示化身Va、Vb、Vc、Vd正在看演示资料301的虚拟空间300。这样多个用户正在看相同的演示资料301的场景表示共同注意(共视感觉)。

在表现视线一致、视线认知或共同注意时，交流支持系统100可以针对化身来表现上半身的旋转、头的旋转、黑眼珠的移动中的至少一个动作。通过使用化身来表现视线一致、视线认知、共同注意，实现了交流感情的对话，能带来顺畅的交流、创造性的对话等。

图6表示可以由虚拟空间300表现的化身的动作模式的几个例子。例如，交流支持系统100将笑脸、惊讶、疑问、愤怒、困惑、同意、承认、喜悦、深思、目光接触等各种各样的用户的非语言行为转换为化身的动作(例如，视线、姿势、活动、表情等)来表现。如图6所示，化身的动作也可以包括问号等符号来表现。交流支持系统100使化身以各种各样的形态进行动作，由此通过该化身来表现视线一致、视线认知、共同注意、目光接触等。由此，各用户能与对方取得自然且顺畅的交流。

而且，通过导入化身，用户能以不使对方识别呈现出自己的脸部和自己的所在地的实际的影像的方式取得交流。这可以有助于用户的安全性(例如个人信息的保护)的提高。化身的导入也有益于用户本人的隐私的保护。例如，在使用实际的图像时需要考虑的换装、化妆等变得不需要。除此之外，用户在设定摄像部13时无需过度地在意拍摄位置、光等拍摄条件。

图7是表示与交流支持系统100关联的硬件构成的一个例子的图。终端1具备处理部10、存储部11、通信部12、摄像部13、显示部14、操作部15以及声音输入输出部16。存储部11、摄像部13、显示部14、操作部15以及声音输入输出部16也可以是连接于终端1的外置的装置。

处理部10可以使用CPU(Central Processing Unit：中央处理器)、GPU(GraphicsProcessing Unit：图形处理器)等处理器、时钟以及内置存储器来构成。处理部10也可以被配置为集成了处理器、时钟、内置存储器、存储部11以及通信部12的一个硬件(SoC：SystemOn a Chip：系统级芯片)。处理部10通过基于存储于存储部11的终端程序1P(图像控制程序)进行动作来使通用计算机作为终端1发挥功能。

存储部11可以使用闪存、硬盘、SSD(Solid State Disk：固态硬盘)等非易失性存储介质来构成。存储部11存储终端程序1P和供处理部10参照的信息。为了判定(认证)终端1的用户的正当性，存储部11也可以存储用户图像或从用户图像得到的特征量(被矢量化后的特征量组)。存储部11还可以存储一个或多个化身图像或者一个或多个化身图像各自的特征量。

通信部12使用网卡或无线通信设备来构成，实现向通信网络N的通信连接。

摄像部13输出使用摄像机模块得到的影像信号。摄像部13具备内部存储器，以规定的帧率从由摄像机模块输出的影像信号捕捉帧图像并将该帧图像存储于该内部存储器。处理部10能从摄像部13的内部存储器依次获取帧图像。

显示部14使用液晶面板、有机EL显示器等显示装置来构成。显示部14对由处理部10生成的图像数据进行处理并输出图像。

操作部15是受理用户的操作的接口，使用物理按钮、触摸面板、声音输入输出部16的麦克风16b等来构成。操作部15可以经由物理按钮或在触摸面板显示的接口来受理操作。或者，操作部15既可以通过利用麦克风16b对输入声音进行处理来识别操作内容，也可以以使用了从扬声器16a输出的声音的对话形式来受理操作。

声音输入输出部16使用扬声器16a和麦克风16b来构成。声音输入输出部16将基于影像数据的声音从扬声器16a输出，并将使用麦克风16b得到的声音向声音数据进行数字转换。

终端1既可以具备头戴式显示器(HMD：Head Mounted Display)也可以不具备头戴式显示器。头戴式显示器是指以覆盖用户的至少一只眼睛的前方的方式装戴于该用户的头部的显示装置。智能眼镜是HMD的一个例子。HMD的具体的构成(例如，形状、显示方式、投影方式等)不被限定。即使在使用不具备HMD的终端1的情况下，用户也能一边看由交流支持系统100提供的虚拟空间一边与对方取得自然的交流。

服务器2使用一个或多个服务器计算机来构成。服务器2可以由在一台服务器计算机中进行动作的逻辑上为多个的虚拟机来实现。在使用物理上为多个的服务器计算机的情况下，通过这些服务器计算机经由通信网络相互连接来构成服务器2。服务器2具备处理部20、存储部21以及通信部22。

处理部20使用CPU、GPU等处理器来构成。处理部20通过基于存储于存储部21的服务器程序2P(交流支持程序)进行动作来使通用计算机作为服务器2发挥功能。

存储部21使用硬盘、闪存等非易失性存储介质来构成。或者，也可以是作为外部存储装置的数据库作为存储部21发挥功能。存储部21存储服务器程序2P和供处理部20参照的信息。

通信部22使用网卡或无线通信设备来构成，实现向通信网络N的通信连接。服务器2通过通信部22来实现经由通信网络N的通信连接，由此在两个以上的任意的个数的终端1间建立通话会话。用于通话会话的数据通信可以通过加密处理等更安全地被执行。

通信网络N的构成不被限定。例如，通信网络N可以使用因特网(公共网)、通信载波网络、实现交流支持系统100的运营商的运营商网络、基站BS、接入点AP等来构建。服务器2也可以从运营商网络向通信网络N连接。

图8是表示终端1的处理部10的功能构成的一个例子的图。处理部10具备影像处理部101和画面控制部102来作为功能要素。这些功能要素通过处理部10按照终端程序1P进行动作来实现。

影像处理部101是对呈现出终端1的用户的影像数据进行处理的功能要素。影像处理部101通过对从摄像部13输入的表示一系列的帧图像的图像数据(以下，称为“帧图像数据”)和从麦克风16b输入的声音数据进行复用来生成影像数据。影像处理部101基于时间戳来取得帧图像数据与声音数据之间的同步。然后，影像处理部101对影像数据进行编码，并控制通信部12来将该编码后的影像数据发送至服务器2。该发送的影像数据相当于第一影像数据。用于影像数据的编码的技术不被限定。例如，影像处理部101既可以使用H.265等运动图像压缩技术，也可以使用AAC(Advanced Audio Coding：高级音频编码)等声音编码。而且，为了控制与终端1的用户(第二用户)对应的化身(第二化身)，影像处理部101将所生成的影像数据输出至画面控制部102。该输出的影像数据相当于第二影像数据。

画面控制部102是对与通话会话对应的画面进行控制的功能要素。画面控制部102响应于通话会话的开始而将该画面显示于显示部14。该画面表示至少包含与终端1的用户(第二用户)对应的化身(第二化身)和与对方(第一用户)对应的化身(第一化身)的虚拟空间。虚拟空间的构成不被限定，可以按照任意的方针来设计。例如，虚拟空间可以模拟会议的场景或会议室。虚拟空间可以包含由服务器2提供的、在终端1间共享的项目(在各个终端1中显示的项目)。在本公开中，将该项目称为“共享项目”。共享项目的种类不被限定。例如，共享项目既可以表示桌子、白板等日常用具，也可以表示各用户能阅览的共享资料。

画面控制部102包括对画面内的化身进行控制的模块，具体而言，包括第一化身控制部103和第二化身控制部104。第一化身控制部103是对与对方(第一用户)对应的化身(第一化身)进行控制的功能要素。第一化身控制部103基于从服务器2发送并由通信部12接收的控制数据来使画面内的第一化身进行动作。该控制数据包括用于使作为对方的第一用户的非语言行为即第一非语言行为反映至第一化身的非语言行为数据和表示该第一用户的声音的声音数据。第一化身控制部103基于非语言行为数据来控制在显示部14显示的第一化身的动作。而且，第一化身控制部103以第一化身的动作与第一用户的声音同步的方式，对声音数据进行处理并从扬声器16a输出该声音。第二化身控制部104是对与终端1的用户(第二用户)对应的化身(第二化身)进行控制的功能要素。第二化身控制部104基于从影像处理部101输入的影像数据(第二影像数据)的帧图像数据来确定作为第二用户的非语言行为的第二非语言行为。然后，第二化身控制部104基于该第二非语言行为来控制在显示部14显示的第二化身的动作。

图9是表示服务器2的处理部20的功能构成的一个例子的图。处理部20具备共享项目管理部201和影像处理部202来作为功能要素。这些功能要素通过处理部20按照服务器程序2P进行动作来实现。

共享项目管理部201是管理共享项目的功能要素。共享项目管理部201响应于通话会话的开始或者响应于来自任意的终端1的请求信号而将表示共享项目的共享项目数据发送至各终端1。共享项目管理部201通过该发送来使包含共享项目的虚拟空间显示于各终端1。共享项目数据既可以预先储存于存储部21，也可以包含于来自特定的终端1的请求信号。

影像处理部202是基于从第一终端发送来的影像数据(第一影像数据)来生成控制数据并将该控制数据发送至第二终端的功能要素。影像处理部202将影像数据分离为帧图像数据和声音数据，并根据该帧图像数据来确定与第一用户的第一非语言行为对应的动作模式。动作模式是指通过对由影像数据表示的用户的非语言行为进行体系化或简化而表现的、化身的动作的类型或种类。人的具体的非语言行为可以基于视线、表情、躯体的朝向、手的活动或它们中的任意的两个以上的组合而无限地存在。影像处理部202将该无限的非语言行为体系化或简化为有限个的动作模式。然后，影像处理部202将表示选择出的动作模式的非语言行为数据与从影像数据分离出的声音数据的组合作为控制数据发送至第二终端。非语言行为数据用于使第一用户的第一非语言行为反映至化身。

影像处理部202具备模式选择部203和控制数据生成部204。模式选择部203对从影像数据分离出的帧图像数据进行解析，并从化身的动作模式组之中选择与第一用户的第一非语言行为对应的动作模式。在交流支持系统100中，该无限的非语言行为被归纳成有限个的动作模式，表示各个动作模式的信息被预先存储于存储部21。通过将化身的动作模式化，用于控制化身的数据量被抑制，因此能大幅减少通信量。模式选择部203参照存储部21来读出与第一用户的第一非语言行为对应的动作模式。控制数据生成部204将表示选择出的动作模式的非语言行为数据与从影像数据分离出的声音数据的组合作为控制数据发送至第二终端。

(系统的动作)

参照图10～图12，对交流支持系统100的动作进行说明，并且对本实施方式的交流支持方法进行说明。图10～图12均是表示交流支持系统100的动作的一个例子的时序图。图10～图12所示的处理均以三位用户登录交流支持系统100并在三台终端1之间建立了通话会话为前提。根据需要，将三台终端1区分为用户Ua的终端Ta、用户Ub的终端Tb以及用户Uc的终端Tc。将与用户Ua、Ub、Uc对应的化身分别称为化身Va、Vb、Vc。图10将基于来自拍摄了用户Ua的终端Ta的影像数据来使在各终端显示的化身Va进行动作的处理作为处理流程S1示出。图11将基于来自拍摄了用户Ub的终端Tb的影像数据来使在各终端显示的化身Vb进行动作的处理作为处理流程S2示出。图12将基于来自拍摄了用户Uc的终端Tc的影像数据来使在各终端显示的化身Vc进行动作的处理作为处理流程S3示出。

通话会话刚被建立之后的虚拟空间中的化身的状态(姿势)可以被任意地设计。例如，各终端1的第一化身控制部103和第二化身控制部104可以以表示一个以上的化身的每一个相对于显示部14(画面)斜坐且俯视的状态的方式显示第一化身和第二化身。各终端1的画面控制部102、第一化身控制部103或第二化身控制部104可以将各化身的姓名显示于显示部14。

参照图10，对处理流程S1进行说明。在步骤S101中，终端Ta的影像处理部101将呈现出用户Ua的影像数据发送至服务器2。在服务器2中，影像处理部202接收该影像数据。该影像数据相当于第一影像数据。

在步骤S102中，影像处理部202将影像数据分离为帧图像数据和声音数据。

在步骤S103中，模式选择部203对帧图像数据进行解析，并从化身的动作模式组之中选择与作为用户Ua的非语言行为的第一非语言行为对应的动作模式。可能被选择的各个动作模式与至少一个非语言行为要素对应。例如，与视线对应的动作模式表示第一化身的视线。与姿势对应的动作模式表示第一化身的朝向(例如，脸部和躯体中的至少一个的朝向)和活动中的至少一方。与活动对应的动作模式例如表示挥手、摇头、歪头、点头、看下方等。与表情对应的动作模式表示第一化身的表情(笑脸、为难的表情、愤怒的表情等)。动作模式组中包括的各个动作模式可以表示由一个以上的非语言行为要素的组合表示的非语言行为。例如，各动作模式既可以表示由视线和姿势的组合表示的非语言行为，也可以表示由视线、姿势、活动以及表情的组合表示的非语言行为。或者，也可以针对各个非语言行为要素准备动作模式组。例如，可以准备关于视线的动作模式组和关于姿势的动作模式组。在针对各个非语言行为要素准备多个动作模式的情况下，模式选择部203针对一个以上的非语言行为要素选择一个动作模式。给定的动作模式的个数不被限定。例如，为了用第一化身稍微夸张地表现第一用户的第一非语言行为，也可以针对各个非语言行为要素预先准备十个等级左右的动作模式。

在选择与视线对应的动作模式的情况下，模式选择部203以虚拟空间内的化身Va的视线与由帧图像数据表示的用户Ua的视线对应的方式，选择表示化身Va的视线的动作模式。在用户Ua正在经由终端Ta的显示部14看虚拟空间内的化身Vb的情况下，模式选择部203选择化身Va的视线朝向化身Vb(用户Ub)的动作模式。在该情况下，在终端Tb中，成为化身Va被显示为透过显示部14朝向用户Ub，在终端Tc中，成为化身Va被显示为朝向虚拟空间内的化身Vb。在用户Ua正在经由终端Ta的显示部14看虚拟空间内的化身Va的情况下，模式选择部203选择化身Va的视线不朝向其他任何化身而是朝向其他方向(例如，下方、上方、脚下以及手表中的至少一个)的动作模式。在该情况下，在终端Tb、Tc中，均是化身Va看下方、上方、脚下或手表，或者在这些动作模式中随机地改变看的方向。

动作模式组可以包括表示根据第一化身的视线的变化进行的第一非语言行为的动作模式。例如，动作模式组可以包括表示根据第一化身的视线的变化进行的、第一化身的上半身的旋转、第一化身的头的旋转以及第一化身的黑眼珠的移动中的至少一个的动作模式。

与帧图像数据的解析和动作模式的选择相关的技术不被限定。例如，模式选择部203可以使用人工智能(AI：Artificial Intelligence)来选择动作模式，例如可以使用作为AI的一种的机器学习来选择动作模式。机器学习是指通过基于被给予的信息反复地进行学习来自主地找出规律或规则的方法。作为机器学习的例子，可列举出深度学习。深度学习是指使用了多层结构的神经网络(深度神经网络(DNN：Deep Neural Networks))的机器学习。神经网络是指模拟了人类的脑神经系统的机制的信息处理的模型。但是，机器学习的种类不限定于深度学习，模式选择部203可以使用任意的学习方法。

在机器学习中使用学习模型。该学习模型是将表示图像数据的矢量数据作为输入矢量进行处理，并将表示非语言行为的矢量数据作为输出矢量输出的算法。该学习模型是被推定为预测精度最高的最佳的计算模型，因此可以称为“最佳的学习模型”。但是，需要注意的是，该最佳的学习模型未必是“现实中最佳的”。最佳的学习模型是通过由给定的计算机对包括呈现出人物的一系列的图像与非语言行为的动作模式的许多组合的训练数据进行处理来生成的。由训练数据表示的非语言行为的动作模式的集合与化身的动作模式组对应。给定的计算机通过将表示人物图像的输入矢量输入至学习模型来计算出表示非语言行为的输出矢量，并求出该输出矢量与由训练数据表示的非语言行为的误差(即，推定结果与正确结果之差)。然后，计算机基于该误差来更新学习模型内的给定的参数。计算机通过重复这样的学习来生成最佳的学习模型，该学习模型被储存于存储部21。生成最佳的学习模型的计算机不被限定，例如既可以是服务器2，也可以是服务器2以外的计算机系统。生成最佳的学习模型的处理可以称为学习阶段。

模式选择部203使用存储于存储部21的最佳的学习模型来选择动作模式。相对于学习阶段，由模式选择部203进行的学习模型的利用可以称为运用阶段。模式选择部203通过将帧图像数据作为输入矢量输入至该学习模型来得到表示与作为用户Ua的非语言行为的第一非语言行为对应的动作模式的输出矢量。模式选择部203也可以通过从帧图像数据提取用户Ua的区域并将该被提取区域作为输入矢量输入至学习模型来得到输出矢量。总之，输出矢量表示从动作模式组之中选择出的动作模式。

或者，模式选择部203也可以不使用机器学习来选择动作模式。具体而言，模式选择部203从一系列的帧图像的每一个提取用户Ua的区域，并从该被提取区域确定包括脸部的上半身的活动。例如，模式选择部203可以基于一系列的被提取区域中的特征量的变化来确定用户Ua的至少一个非语言行为要素。模式选择部203从化身的动作模式组之中选择与至少一个非语言行为要素对应的动作模式。

在用户Ua的第一非语言行为不符合化身的动作模式组中的任一个的情况下，模式选择部203可以从化身的动作模式组之中选择最接近第一非语言行为的动作模式。或者，模式选择部203在该情况下也可以随机地选择被推定为接近第一非语言行为的动作模式。模式选择部203在无法基于帧图像数据来选择动作模式的情况下，可以选择给定的特定的动作模式(例如，表示化身Va的初始状态的模式)。

在步骤S104中，控制数据生成部204生成表示选择出的动作模式的非语言行为数据与声音数据的组合来作为控制数据。控制数据生成部204生成不使用图像而是以文本(即字符串)表现了选择出的动作模式的非语言行为数据。例如，控制数据生成部204可以通过以JSON(JavaScript Object Notation：JavaScript对象简谱)形式记述选择出的动作模式来生成非语言行为数据。或者，控制数据生成部204也可以通过以XML(Extensible MarkupLanguage：可扩展置标语言)等其他形式记述动作模式来生成非语言行为数据。控制数据生成部204既可以生成非语言行为数据和声音数据被一体化了的控制数据，也可以将分别存在的非语言行为数据和声音数据的组合作为控制数据来处理。因此，控制数据的物理结构不被限定。总之，控制数据生成部204基于时间戳来取得帧图像数据与声音数据之间的同步。

在步骤S105中，控制数据生成部204将控制数据发送至终端Tb、Tc。与控制数据的物理结构不被限定相对应地，控制数据的发送方法也不被限定。例如，控制数据生成部204可以发送非语言行为数据和声音数据被一体化了的控制数据。或者，控制数据生成部204也可以通过发送物理上相互独立的非语言行为数据和声音数据的组合来将控制数据发送至终端Tb、Tc。在终端Tb、Tc的每一个中，画面控制部102接收该控制数据。

在终端Tb中执行步骤S106、S107的处理。在步骤S106中，终端Tb的第一化身控制部103基于非语言行为数据来控制与用户Ua对应的化身Va的动作(显示)。第一化身控制部103按照由非语言行为数据表示的动作模式来使在终端Tb的显示部14显示的化身Va进行动作。例如，第一化身控制部103通过执行使化身Va的视线、姿势、活动以及表情中的至少一个从当前的状态向由该动作模式表示的下一个状态变化的动画控制来使化身Va进行动作。在一个例子中，化身Va通过这样的控制一边采取化身Va的上半身的旋转、化身Va的头的旋转、化身Va的黑眼珠的移动中的至少一个动作，一边使视线与用户Ub一致。在化身Va正在透过终端Tb所具有的显示部14看用户Ub的场景(即，使化身Va的视线与用户Ub一致的场景)中，第一化身控制部103可以与该视线一致关联地展现化身Va的表情。例如，第一化身控制部103可以通过以一定时间(例如0.5秒～1秒)睁大眼睛或者挑起眉毛或者扬起嘴角等方法来展现化身Va的表情，由此强调视线的一致(即，目光接触)。动画控制可以包括用于使第一化身实时地(例如以200ms以下的延迟)进行动作的处理。或者，动画控制也可以包括为了抑制第一化身的频繁的活动而在给定的时间的期间(例如1秒钟～2秒钟)不使第一化身活动的处理。

在步骤S107中，终端Tb的第一化身控制部103以与化身Va的动作(显示)同步的方式对声音数据进行处理并从扬声器16a输出声音。第一化身控制部103可以基于所输出的声音来使化身Va进一步进行动作。例如，第一化身控制部103可以使化身Va的嘴变化，或者与用户Ua的表情或感情对应地使脸部变化，或者使胳膊或手进行动作。

通过步骤S106、S107的处理，用户Ub能听到用户Ua的讲话，并且能借由化身Va来识别用户Ua的当前的非语言行为(例如，视线、姿势、活动以及表情中的至少一个)。

除了步骤S106、S107的处理之外，终端Tb的画面控制部102还可以将用户Ub实际正在看的区域(注视区域)显示于显示部14。例如，画面控制部102可以通过对从摄像部13得到的帧图像进行解析来推定用户Ub的视线，并基于该推定结果将如图3和图4所示的辅助表现310显示于显示部14。

在终端Tc中，执行与步骤S106、S107同样的步骤S108、S109的处理。通过这一系列的处理，用户Uc能听到用户Ua的讲话，并且能借由化身Va来识别用户Ua的当前的非语言行为(例如，视线、姿势、活动以及表情中的至少一个)。

终端Ta除了步骤S101之外还执行步骤S110的处理。在步骤S110中，终端Ta的第二化身控制部104基于影像数据来控制与用户Ua对应的化身Va的动作(显示)。该影像数据相当于第二影像数据。第二化身控制部104基于影像数据的帧图像数据来确定用户Ua的非语言行为。然后，第二化身控制部104基于该非语言行为来使在显示部14显示的化身Va进行动作。例如，第二化身控制部104通过执行使化身Va的视线、姿势、活动以及表情中的至少一个从当前的状态向下一个状态变化的动画控制来使化身Va进行动作。在一个例子中，化身Va通过这样的控制而采取化身Va的上半身的旋转、化身Va的头的旋转、化身Va的黑眼珠的移动中的至少一个动作。动画控制可以包括用于使第二化身实时地(例如以200ms以下的延迟)进行动作的处理。或者，动画控制也可以包括为了抑制第二化身的频繁的活动而在给定的时间的期间(例如1秒钟～2秒钟)不使第二化身活动的处理。

在控制视线的情况下，第二化身控制部104以化身Va的视线与由帧图像数据表示的用户Ua的视线对应的方式控制化身Va的视线。在用户Ua正在经由终端Ta的显示部14看化身Vb或化身Vc的情况下，第二化身控制部104使化身Va的视线朝向化身Vb或化身Vc。在用户Ua正在经由终端Ta的显示部14看化身Va的情况下，第二化身控制部104以化身Va透过显示部14看用户Ua的方式使化身Va进行动作。在该情况下，用户Ua体验与化身Va面对面这样的状况。

第二化身控制部104中的与帧图像的解析和化身Va的控制相关的方法不被限定。例如，第二化身控制部104可以使用机器学习等人工智能(AI)来根据帧图像确定用户Ua的非语言行为，并基于该非语言行为来控制化身Va。或者，第二化身控制部104也可以从一系列的帧图像的每一个提取用户Ua的区域，从该被提取区域确定包括脸部的上半身的活动，并基于该处理结果来控制化身Va。第二化身控制部104可以从与化身Va相关的有限个的动作模式中选择特定的动作模式，并基于该动作模式来控制化身Va的动作。第二化身控制部104也可以不使用动作模式来控制化身Va的动作。

各个终端1在多个用户彼此正在交流(会话或视线一致)的情况下，可以将强调该状态的视觉表现追加至与该多个用户对应的多个化身。该处理由画面控制部102(更具体而言为第一化身控制部103和第二化身控制部104中的至少一方)来执行。例如，画面控制部102可以以前倾姿势来表现与说话者对应的化身，并基于听话者的声音来控制与该听话者对应的化身。画面控制部102也可以判定为听话者相对于说话者表示中立从而使化身后倾。画面控制部102也可以判定为听话者赞成说话者从而使化身前倾或点头。画面控制部102也可以判定为听话者反对说话者从而使化身的头向侧方倾斜。

在无交流的状态持续给定的时间(例如10秒)以上的情况下，各个终端1可以定期地(例如每隔10秒)使化身进行动作。该处理由画面控制部102(更具体而言为第一化身控制部103和第二化身控制部104中的至少一方)来执行。例如，画面控制部102可以从服务器2获取化身的动作模式组并随机地选择动作模式，并基于该选择出的动作模式来使化身进行动作。

交流支持系统100与处理流程S1并行地执行处理流程S2、S3。图11所示的处理流程S2包括与步骤S101～S110对应的步骤S201～S210。图12所示的处理流程S3包括与步骤S101～S110对应的步骤S301～S310。处理流程S1～S3被并行地处理，由此各终端1作为第一终端和第二终端发挥功能来控制第一化身和第二化身。通过该机制，在各终端1中各用户的讲话和非语言行为通过各化身被实时地表现。

[变形例]

以上，基于本公开的实施方式进行了详细说明。但是，本公开并不限定于上述实施方式。本公开在不脱离其主旨的范围内可以进行各种各样的变形。

在上述实施方式中，交流支持系统100使用服务器2来构成，但交流支持系统也可以应用于不使用服务器2的终端彼此的点对点(peer to peer)方式的通话会话。在该情况下，服务器2的各功能要素可以安装于第一终端和第二终端中的任一方，也可以分开安装于第一终端和第二终端。因此，交流支持系统的至少一个处理器既可以位于服务器内也可以位于终端内。交流支持系统除了服务器之外还可以具备至少一个终端。

在本公开中，“至少一个处理器执行第一处理，执行第二处理，……执行第n处理。”这样的表达或与该表达对应的表达表示包括从第一处理起至第n处理为止的n个处理的执行主体(即处理器)在中途改变的情况的概念。即，该表达表示包括n个处理全部由相同的处理器执行的情况和在n个处理中处理器以任意的方针改变的情况这双方的概念。

影像数据和控制数据也可以不包括声音数据。即，交流支持系统也可以用于支持不伴有声音的交流(例如手语)。

交流支持系统100中的各装置具备被配置为包括微处理器、ROM、RAM等存储部的计算机。微处理器等处理部从该存储部读出包括上述的各步骤的一部分或全部的程序并执行。程序能从外部的服务器装置等安装于各计算机。各装置的程序既可以以储存于CD－ROM、DVD－ROM、半导体存储器等记录介质的状态来分发，也可以经由通信网络来分发。

由至少一个处理器执行的方法的处理过程不限定于上述实施方式中的例子。例如，既可以省略上述的步骤(处理)的一部分，也可以按照另外的顺序来执行各步骤。既可以组合上述的步骤中的任意的两个以上的步骤，也可以修改或删除步骤的一部分。或者，除了上述的各步骤之外，还可以执行其他步骤。

附图标记说明

100……交流支持系统，1……终端，10……处理部，11……存储部，12……通信部，13……摄像部，14……显示部，15……操作部，16……声音输入输出部，16b……麦克风，16a……扬声器，101……影像处理部，102……画面控制部，103……第一化身控制部，104……第二化身控制部，2……服务器，20……处理部，21……存储部，22……通信部，201……共享项目管理部，202……影像处理部，203……模式选择部，204……控制数据生成部，Ua、Ub、Uc、Ud……用户，Ta、Tb、Tc、Td……终端，Va、Vb、Vc、Vd……化身，300……虚拟空间，301……演示资料，310……辅助表现，1P……终端程序，2P……服务器程序，BS……基站，AP……接入点，N……通信网络。