阅读说明：本技术 信息处理装置、信息处理方法和程序 (Information processing apparatus, information processing method, and program ) 是由 清水孝悌 石川毅 于 2019-06-25 设计创作，主要内容包括：信息处理装置,包括：获取单元(110、140),其用于获取包括被摄体的捕获图像和指示被摄体的三维位置的被摄体三维位置信息；以及内容配置信息生成单元(150),其用于生成包括捕获图像、被摄体三维位置信息以及虚拟空间关联信息的内容配置信息,该虚拟空间关联信息是用于与在虚拟空间中显示的捕获图像中的被摄体有关的交互的信息,并且所述虚拟空间关联信息用于将捕获图像中的被摄体与被摄体三维位置信息相关联。(An information processing apparatus includes: an acquisition unit (110, 140) for acquiring a captured image including a subject and subject three-dimensional position information indicating a three-dimensional position of the subject; and a content configuration information generation unit (150) for generating content configuration information including the captured image, subject three-dimensional position information, and virtual space-associated information, the virtual space-associated information being information for interaction with a subject in the captured image displayed in the virtual space, and the virtual space-associated information being for associating the subject in the captured image with the subject three-dimensional position information.)

信息处理装置、信息处理方法和程序

技术领域

本公开内容涉及信息处理装置、信息处理方法和程序。

背景技术

近年来，VR(虚拟现实)技术已经在各种情况下得到利用。例如，VR技术已经被用于支持位于不同地方的用户之间的通信。

例如，专利文献1公开了一种在将演讲材料从演出者的装置传送到学生的装置的同时，在每个装置中的虚拟空间上显示基于演讲材料的虚拟对象的技术。演讲材料包括通过演出者的装置中所包括的视频输入方式输入的材料，并且实时引用或即兴生成。

引用列表

专利文献

专利文献1

JP 2009-145883 A

发明内容

技术问题

专利文献1中的演讲材料是摄影VR内容的示例。摄影VR内容是将通过对现实空间进行成像而获得的捕获图像布置在虚拟空间中的VR内容。例如，在摄影VR内容中，其中真实空间的天球图像(的全向360度全景图像)被布置在虚拟空间中，用户可以感受到在真实空间中的感觉。

由于2维捕获图像通常包括在实况VR内容中，因此难以实现例如触摸的三维空间交互。因此，例如，即使当用户触摸摄影VR内容中的对象时，触感也不会被反馈给用户。因此，在摄影VR内容中实现的交互是不自然的，并且不同于真实空间中的交互。

因此，本公开内容提出了一种能够更适当地实现摄影VR内容中的空间交互的结构。

问题的解决方案

根据本公开内容，提供了一种信息处理装置，包括：获取单元，被配置成获取包括被摄体的捕获图像和指示所述被摄体的三维位置的被摄体三维位置信息；以及内容配置信息生成单元，被配置成生成包括所述捕获图像、所述被摄体三维位置信息、以及虚拟空间关联信息的内容配置信息，所述虚拟空间关联信息是用于交互的信息，所述交互涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联。

根据本公开内容，提供了一种信息处理装置，包括：获取单元，被配置成获取内容配置信息，所述内容配置信息包括包含被摄体的捕获图像、指示所述被摄体的三维位置的被摄体三维位置信息、以及虚拟空间关联信息，所述虚拟空间关联信息是用于交互的信息，在所述交互中涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联；以及输出控制单元，被配置成基于所述内容配置信息在所述虚拟空间中显示所述捕获图像，并且控制与交互相对应的反馈输出，所述交互涉及在所述虚拟空间中显示的所述捕获图像中的被摄体。

根据本公开内容，提供了一种由处理器执行的信息处理方法。所述方法包括以下操作：获取包括被摄体的捕获图像和指示所述被摄体的三维位置的被摄体三维位置信息；以及生成包括所述捕获图像、所述被摄体三维位置信息、以及虚拟空间关联信息的内容配置信息，所述虚拟空间关联信息是用于交互的信息，所述交互涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联。

根据本公开内容，提供了一种由处理器执行的信息处理方法。所述方法包括以下操作：获取内容配置信息，所述内容配置信息包括包含被摄体的捕获图像、指示所述被摄体的三维位置的被摄体三维位置信息、以及虚拟空间关联信息，所述虚拟空间关联信息是用于交互的信息，所述交互涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联；以及基于所述内容配置信息在所述虚拟空间中显示所述捕获图像，并且控制与交互相对应的反馈输出，所述交互涉及在所述虚拟空间中显示的所述捕获图像中的被摄体。

根据本公开内容，提供了一种程序，所述程序使计算机用作以下单元：获取单元，被配置成获取包括被摄体的捕获图像和指示所述被摄体的三维位置的被摄体三维位置信息；以及内容配置信息生成单元，被配置成生成包括所述捕获图像、所述被摄体三维位置信息、以及虚拟空间关联信息的内容配置信息，所述虚拟空间关联信息是用于交互的信息，所述交互涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联。

根据本公开内容，提供了一种程序，所述程序使计算机用作以下单元：获取单元，被配置成获取内容配置信息，所述内容配置信息包括包含被摄体的捕获图像、指示所述被摄体的三维位置的被摄体三维位置信息、以及虚拟空间关联信息，所述虚拟空间关联信息是用于交互的信息，所述交互涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联；以及输出控制单元，被配置成基于所述内容配置信息在所述虚拟空间中显示所述捕获图像，并且控制与交互相对应的反馈输出，所述交互涉及在所述虚拟空间中显示的所述捕获图像中的被摄体。

发明的有益效果

根据本公开内容，如上所述，可以提供能够更适当地实现摄影VR内容中的空间交互的结构。上述有益效果不必是限制性的，并且除了上述有益效果之外或者代替上述有益效果，可以获得本说明书中描述的任何有益效果或者本说明书中确定的其它有益效果。

附图说明

[图1]图1是示出根据本公开内容的实施方式的内容递送系统的配置的示例的图。

[图2]图2是示出根据第一实施方式的记录装置的概览的图。

[图3]图3是示出根据第一实施方式的再现装置的概览的图。

[图4]图4是示出根据第一实施方式的记录装置的功能配置的示例的框图。

[图5]图5是示出根据第一实施方式的内容配置信息的格式的示例的图。

[图6]图6是示出由根据第一实施方式的记录装置执行的记录过程的流程的示例的流程图。

[图7]图7是示出根据第一实施方式的再现装置的功能配置的示例的框图。

[图8]图8是示出由根据第一实施方式的再现装置执行的第一空间交互过程的流程的示例的流程图。

[图9]图9是示出根据第一实施方式的第二空间交互的示例的图。

[图10A]图10A是示出由根据第一实施方式的再现装置执行的第二空间交互过程的流程的示例的流程图。

[图10B]图10B是示出由根据第一实施方式的再现装置执行的第二空间交互过程的流程的示例的流程图。

[图11]图11是示出根据第一实施方式的基于视点切换对象的视点切换的图。

[图12]图12是示出根据第一实施方式的用户的位置的移动和切换的示例的图。

[图13]图13是示出VR内容的视点切换的示例的图，其中使用如图12中那样布置的传感器装置捕获的捕获图像。

[图14]图14是示出根据第一实施方式的用户位置的移动和视点的切换的示例的图。

[图15]图15是示出根据第一实施方式的用户位置的移动和视点的切换的示例的图。

[图16]图16是示出由根据实施方式的再现装置执行的视点切换过程的流程的示例的流程图。

[图17]图17是示出根据第二实施方式的记录装置的概览的图。

[图18]图18是示出根据第二实施方式的再现装置的概览的图。

[图19]图19是示出根据第二实施方式的记录装置的功能配置的示例的框图。

[图20]图20是示出根据第二实施方式的内容配置信息的格式的示例的图。

[图21]图21是示出由根据第二实施方式的记录装置执行的记录过程的流程的示例的流程图。

[图22]图22是示出由根据第二实施方式的再现装置执行的第一空间交互过程的流程的示例的流程图。

[图23]图23是示出根据第二实施方式的第二空间交互的示例的图。

[图24]图24是示出由根据第二实施方式的再现装置执行的第二空间交互过程的流程的示例的流程图。

[图25]图25是示出根据实施方式的信息处理装置的硬件配置的示例的框图。

具体实施方式

在下文中，将参照附图来详细描述本公开内容的优选实施方式。在本说明书和附图中，相同的附图标记被给予具有基本相同的功能配置的组成元件，并且将省略其重复描述。

将按以下顺序进行描述。

1.系统配置示例

2.第一实施方式

2.1.概览

2.2.记录装置的技术特征

2.2.1.记录装置的功能配置示例

2.2.2.内容配置信息的格式

2.2.3.记录处理的流程

2.3.再现装置的技术特征

2.3.1.再现装置的功能配置示例

2.3.2.空间交互

2.3.3.视点切换

3.第二实施方式

3.1.概览

3.2.记录装置的技术特征

3.2.1.记录装置的功能配置示例

3.2.2.内容配置信息的格式

3.2.3.记录处理的流程

3.3.再现装置的技术特征

3.3.1.再现装置的功能配置示例

3.3.2.空间交互

4.补充

5.硬件配置示例

6.结论

<<1.系统配置示例>>

图1是示出根据本公开内容的实施方式的内容递送系统1的配置的示例的图。如图1所示，内容传递系统1包括记录装置10和再现装置20。记录装置10和再现装置20经由网络30连接。

记录装置10是信息处理装置，其获取并记录由再现装置20再现的VR内容的信息，并将该信息传输至再现装置20。例如，记录装置10将通过对真实空间进行成像而获得的捕获图像(运动图像/静止图像)和真实空间的深度信息传输至再现装置20。记录装置10可以省略记录并实时传输所获取的信息。

运动图像是包括多个静止图像(图像数据)和各个静止图像的再现时间的数据。当再现运动图像时，按照再现时间的顺序连续再现静止图像。包括在运动图像中的静止图像也被称为帧。运动图像的显示速度也被称为帧速率，并且被表示为每秒显示的帧数(FPS：每秒帧数)。运动图像可以包括随着图像数据的再现而再现的声音数据。

假设从记录装置10传输至再现装置20的捕获图像为运动图像。

再现装置20是基于从记录装置10接收的信息来控制VR内容的再现的信息处理装置。例如，再现装置20基于从记录装置10接收的信息来生成VR内容，并且使VR内容被虚拟地输出，并且使输出装置输出与用户对VR内容的操作相对应的反馈。

VR内容是布置在虚拟空间中各种虚拟对象的内容。虚拟对象是布置在虚拟空间中的虚拟对象。用于确定虚拟对象是否相互碰撞的元素被分配给虚拟对象。在某些情况下，该元素也被称为碰撞体。碰撞体被布置成与虚拟对象交叠。通过确定碰撞体是否相互碰撞来确定虚拟对象是否相互碰撞。虚拟对象被显示，但是碰撞体通常不被显示(即，不可见)。这是因为碰撞体是用于确定碰撞的元素。当然，碰撞体可以被设置成被显示。在这种情况下，碰撞体被显示。

网络30是从连接至网络30的装置传输的信息的有线或无线传输路径。网络30通过例如因特网、局域网(LAN)、无线LAN或蜂窝通信网络来实现。

<<2.第一实施方式>>

第一实施方式是以下模式：通过将虚拟空间中布置的捕获图像中的真实对象与真实对象的表面的三维位置信息相关联来实现虚拟空间中的真实对象的表面与虚拟对象之间的三维空间交互。

<2.1.概览>

(1)记录装置的概览

图2是示出根据实施方式的记录装置10的记录装置的概览的图。图2示出了作为记录装置10的信息记录目标的空间的示例。如图2所示，演出者18在当前空间中的观众席17中的众多观众前方的舞台16上演出。在当前空间中，安装第一传感器装置11和第二传感器装置12(12A和12B)作为由记录装置10进行记录所涉及的装置。在当前空间中，还布置了监视器15。

-第一传感器装置11

第一传感器装置11是感测包括真实对象的现实空间的装置，该真实对象是VR内容中的空间交互目标。真实对象是真实空间中的对象。第一传感器装置11包括成像装置和深度传感器。成像装置是对真实空间中的真实对象(即，被摄体)进行成像并获取捕获图像的装置。成像装置由例如单目相机、立体相机、红外相机等实现。要捕获的图像是2维图像、天球(360度)图像、半天球(180度)图像、或具有任何其他成像范围的图像。在下文中，假设成像装置由立体相机实现，并且捕获可以被立体地观看的立体天球图像。以下，也将成像装置称为VR相机。深度传感器是检测真实空间中的真实对象的深度信息的装置。深度信息是传感器的光轴方向(深度)的测量值。例如，可以采用诸如光编码、飞行时间或红外深度的任何类型方案的传感器作为深度传感器。

第一传感器装置11例如安装在监视器15的中间，并且在相对短的距离处感测包括演出者18的舞台16。舞台16和演出者18是作为VR内容中的空间交互目标的真实对象。

-第二传感器装置12

第二传感器装置12是感测真实空间的装置。第二传感器装置12包括成像装置。以上已经关于第一传感器装置11描述了成像装置。第二传感器装置安装在观众席上，并且从相对长的距离感测包括演出者18的舞台16。

-监视器15

监视器15是显示由再现装置20提供VR内容的用户的形式的显示装置。因此，演出者18能够一边表演一边观看实际上在他或她前面的观众和通过网络30观看演出者的观众。

以上已经描述了安装在记录目标空间中的装置。

记录装置10基于来自第一传感器装置11和第二传感器装置12的感测结果生成内容配置信息，该内容配置信息包括用于在再现装置20侧配置VR内容的各种信息。然后，记录装置10将生成的内容配置信息传输至再现装置20。

来自第一传感器装置11的感测结果被用于生成VR内容——在该VR内容上可以进行下面将描述的空间交互，并且用于执行下面将描述的视点切换。第二传感器装置12的感测结果用于执行下面将描述的视点切换。

(2)再现装置的概览

图3是示出根据实施方式的再现装置20的概览的图。图3示出了作为在由再现装置20再现VR内容时所涉及的装置的头戴式显示器(HMD)21和控制器22。

HMD 21是输出VR内容的输出装置。HMD 21安装在用户的头部，使得能够显示图像的显示单元位于用户的眼睛前方。HMD 21在显示VR内容时，随着用户头部的移动而旋转或缩放VR内容。HMD 21输出与用户对VR内容的操作相对应的视觉/听觉/嗅觉反馈。除了HMD21之外，输出装置还可以由例如智能电话、平板终端等来实现。

控制器22是输入/输出装置，其在接收对VR内容的用户操作的同时输出与用户操作相对应的触觉反馈。在图3所示的示例中，控制器22是棒型装置，并且由用户抓握和操作。控制器22还可以以例如除了棍型之外的诸如手套型的任何形式实现。基于控制器22的位置和姿态操作VR内容。作为可以输出的触觉反馈，例如可以举例说明振动、电刺激或力觉。在下文中，假设将触觉反馈实现为振动。

在本说明书中，除非另外说明，否则假设位置是三维的。除非另外说明，否则假设姿态为六个自由度(6DoF)的姿态。

以上已经描述了在由再现装置20再现VR内容时所涉及的装置。

再现装置20基于从记录装置10接收的内容配置信息生成VR内容。这里，图2中所示的第一传感器装置11和第二传感器装置12对应于记录目标空间中的视点。用户可以自由地选择记录目标空间中的视点，并且可以被提供其中能够从任何视点观看记录目标空间的VR内容。通过切换要再现的VR内容，能够切换视点。具体地，通过基于传感器装置的感测结果切换生成作为要再现的VR内容的源的内容配置信息的传感器装置(第一传感器装置11或第二传感器装置12)来实现视点的切换。

在根据实施方式的VR内容中，将通过对真实空间进行成像而获得的捕获图像布置并显示在虚拟空间中作为虚拟对象之一。此外，在根据实施方式的VR内容中，指示真实对象的三维位置的三维位置信息与布置在虚拟空间中的捕获图像中的真实对象相关联。因此，可以实现空间交互，其中涉及布置在虚拟空间中的捕获图像中包括的真实对象。在下文中，将详细描述这一点。

如图3所示，HMD 21显示由再现装置20生成的VR内容40。在VR内容40中，将包括如图2所示的舞台16上的演出者18的捕获图像布置并显示在虚拟空间中，并且三维位置信息与捕获图像中的舞台16和演出者18均相关联。

当用户操作控制器22时，操作器41在虚拟空间中的位置和姿态根据控制器22在真实空间中的位置和姿态而改变。操作器41是指示用户在虚拟空间中的操作位置的虚拟对象。再现装置20基于操作器41在虚拟空间中的位置以及与舞台16或演出者18相关联的三维位置信息，确定操作器41与舞台16或演出者18在虚拟空间中的碰撞。然后，当确定操作器41与舞台16或演出者18发生碰撞时，再现装置20使HMD 21输出与碰撞相对应的视觉/听觉/嗅觉反馈，并且使控制器22输出与碰撞相对应的触觉反馈。

这样，根据实施方式的内容递送系统1可以实现其中涉及布置在虚拟空间中的捕获图像中的真实对象的空间交互。

<2.2.记录装置的技术特征>

<2.2.1.记录装置的功能配置示例>

图4是示出根据实施方式的记录装置10的功能配置的示例的框图。如图4所示，记录装置10包括：图像获取单元110、流式处理单元120、深度信息获取单元130、表面模型获取单元140、内容配置信息生成单元150、以及传输单元160。

图4还示出了第一传感器装置11和第二传感器装置12的功能配置的示例。如图4所示，第一传感器装置11包括VR相机101和深度传感器102，第二传感器装置12包括VR相机101。记录装置10可以连接至一个或更多个第一传感器装置11和一个或更多个第二传感器装置12。

在下文中，将描述功能配置。

(1)第一传感器装置11

以上已经参照图2描述了VR相机101和深度传感器102，因此将省略对它们的描述。

(2)第二传感器装置12

以上已经参照图2描述了VR相机101，因此将省略其描述。

(3)记录装置10

(图像获取单元110)

图像获取单元110具有从包括在第一传感器装置11或第二传感器装置12中的VR相机101获取包括真实空间中的真实对象的捕获图像的功能。这里，获取捕获图像是接收捕获图像的数据、读取记录在诸如存储器的预定记录介质上的捕获图像数据等。当VR相机101是立体相机时，图像获取单元110获取由左捕获图像和右捕获图像(作为左捕获图像的L图像和作为右捕获图像的R图像)中的两个形成的立体图像(立体天球图像)作为捕获图像。图像获取单元110将获取的捕获图像输出至流式处理单元120。

(流式处理单元120)

流式处理单元120具有对由图像获取单元110获取的捕获图像执行流式处理的功能。例如，流式处理单元120以成像时刻的顺序将捕获图像输出至内容配置信息生成单元150。

(深度信息获取单元130)

深度信息获取单元130具有从包括在第一传感器装置11中的深度传感器102获取真实空间中的真实对象的深度信息的功能。这里，深度信息是例如深度图像。深度信息获取单元130将获取的深度信息输出至表面模型获取单元140。

(表面模型获取单元140)

表面模型获取单元140具有基于由深度信息获取单元130获取的深度信息来获取真实对象的表面模型的功能。真实对象的表面模型是包括关于点群的信息的三维模型数据，该点群包括作为真实对象的表面上的点并且作为与三维位置信息相关联的点的多个点。这里，三维位置信息是由基于深度传感器102的位置设置的源和基于深度传感器102的姿态设置的坐标轴定义的信息，并且指示深度传感器102在坐标系中的位置。表面模型也可以被认为是真实对象的表面上的点群的三维位置信息(与被摄体三维位置信息相对应)。这里，点群是例如包括由深度信息获取单元130获取的深度图像中的多个像素的像素群。设置点群的任何分辨率。与真实对象相对应的点群的分辨率可以低于捕获图像中的真实对象的分辨率。在这种情况下，与所有捕获图像由点群配置(即，捕获图像被表示为点云)的情况相比，可以减少传输数据量并增加用户观看的真实对象的分辨率。当然，在本技术中，捕获图像可以被表示为点云。

表面模型可以是满足预定条件的真实对象的点群在表面上的三维位置信息。满足预定条件的真实对象是例如VR内容中涉及空间交互的真实对象，并且在图2所示的示例中是舞台16和演出者18。在这种情况下，预定条件是在空间交互中涉及真实对象的条件，具体地，预定条件是该真实对象为具有大小超过预定阈值的表面的移动体，或者该真实对象为前景的条件。例如，表面模型获取单元140通过对深度图像应用图像识别等来指定满足预定条件的真实对象。表面模型获取单元140通过从深度图像提取满足预定条件的真实对象的表面上的点群并删除其它点群，来获取从满足预定条件的真实对象的表面上的点群的三维位置信息形成的表面模型。因此，在形成表面模型的点数中，仅可以删除与空间交互中涉及的真实对象相对应的点。因此，可以防止从记录装置10向再现装置20传输内容配置信息的延迟。

表面模型获取单元140还可以用于预先通过图像识别处理来检测假设发生演出者18的手等的交互的区域，并且减少传输延迟。例如，表面模型获取单元140可以通过仅设置假设发生交互的区域来生成表面模型，并且将该表面模型记录在内容配置信息中。

表面模型获取单元140可以用于检测区域——例如演出者18的身体的除了手之外的预定部分，其中通过图像识别处理预先防止出现交互，并且用于减少传输延迟。例如，表面模型获取单元140可以通过排除要防止表面模型生成目标出现交互的区域来禁止在内容配置信息中记录该部分的表面模型信息。

表面模型可以是与内容配置信息的传输速度相对应的数目的点的三维位置信息。在这种情况下，表面模型获取单元140执行抽取，直到形成表面模型的点群的粒度变为根据传输速度的预定粒度。例如，表面模型获取单元140在传输速度慢时从点群中抽取大量点，并且在传输速度快时从点群中抽取少量点。因此，可以防止内容配置信息从记录装置10到再现装置20的传输延迟而不会有过度或不足。

表面模型获取单元140可以去除点群的噪声。这里，噪声是例如离其它点相当远的点。通过减少包括在点群中的点数，可以减少从从记录装置10到再现装置20的传输延迟。这样，生成真实对象的表面模型。

(内容配置信息生成单元150)

内容配置信息生成单元150具有基于来自流处理单元120和表面模型获取单元140的输出生成内容配置信息的功能。内容配置信息生成单元150将生成的内容配置信息输出至传输单元160。

内容配置信息是包括用于在再现装置20侧配置VR内容的各种信息的信息。内容配置信息生成单元150基于该信息，通过将捕获图像、表面模型和用于在再现装置20侧配置VR内容的各种信息进行集装箱化来生成内容配置信息。内容配置信息包括捕获图像、表面模型和用于将捕获图像中的真实对象与表面模型相关联的虚拟空间关联信息。虚拟空间关联信息是用于交互的信息，其中涉及在虚拟空间中显示的捕获图像中的真实对象。下面将描述内容配置信息的格式。

内容配置信息生成单元150生成与在再现装置20侧选择的视点相对应的内容配置信息。具体地，内容配置信息生成单元150基于与在再现装置20侧选择的视点相对应的、来自传感器装置(第一传感器装置11或第二传感器装置12)的感测结果来生成内容配置信息。

(传输单元160)

传输单元160具有将信息传输至其它装置的功能。具体地，传输单元160将由内容配置信息生成单元150生成的内容配置信息传输至再现装置20。

<2.2.2.内容配置信息的格式>

图5是示出根据实施方式的内容配置信息的格式的示例的图。如图5所示，内容配置信息包括VR图像信息和空间交互配置信息。图5示出了内容配置信息的格式，其中将表面模型和具有帧号1至n的帧的图像进行集装箱化。在下文中，将详细描述该格式。

-VR图像信息

VR图像信息包括从流式处理单元120输出的图像和与该图像相关的信息。

VR图像信息包括L图像(立体图像的左图像)和每帧的帧号，以及R图像(立体图像的右图像)和每帧的帧号。帧号是与图像的成像时刻相对应的信息，并且对应于虚拟空间关联信息。

VR图像信息包括图像的元数据。元数据包括内容ID。内容ID是VR内容的标识信息。内容ID也可以被视为指示记录目标空间中的视点的信息。换言之，内容ID还可以是指示哪个传感器装置(VR相机101)捕获了捕获图像的信息，即，捕获该捕获图像的传感器装置的标识信息。内容ID是将捕获图像与表面模型相关联的标识信息，并且对应于虚拟空间关联信息。

-空间交互配置信息

空间交互配置信息包括每帧的表面模型、表面模型的属性信息和帧号。每帧的表面模型是包括在每帧的图像中的真实对象的表面模型。即，空间交互配置信息包括每帧的图像中包括的真实对象的表面上的多个点的三维位置信息。属性信息是指示包括在每帧的图像中的真实对象的物理系数的信息，例如反射系数、摩擦系数或法线方向。可以为包括在表面模型中的每个点设置属性信息。帧号是与表面模型的检测时刻(即，深度信息的检测时刻)相对应的信息，并且对应于虚拟空间关联信息。在特定时间捕获的捕获图像的帧号优选地与在同一时间检测的表面模型的帧号匹配。因此，容易建立捕获图像与表面模型之间的时间同步(在下文中也称为定时同步)。

空间交互配置信息包括元数据。元数据包括：内容ID、视点切换对象信息、传感器装置位置和姿态信息、以及反馈设置信息。

内容ID是VR内容的标识信息。内容ID也可以被视为指示记录目标空间中的视点的信息。换言之，内容ID可以是指示表面模型是否基于由传感器装置(深度传感器102)检测的深度信息而生成的信息，即，检测深度信息的传感器装置的标识信息。内容ID是将捕获图像与表面模型相关联的标识信息，并且对应于虚拟空间关联信息。

视点切换对象信息是关于视点切换对象的信息，并且用于切换视点。视点切换对象是与用于切换视点的碰撞体相关联的虚拟对象。视点切换对象信息包括视点切换对象的ID、视点切换对象的三维位置信息和与视点切换对象相关联的内容ID。内容ID是当基于视点切换对象切换视点时切换目的地的VR内容的内容ID。

传感器装置位置和姿态信息是关于捕获捕获图像的成像装置的坐标系和检测表面模型的传感器的坐标系的信息(即，深度信息)，并且对应于虚拟空间关联信息。即，根据实施方式的传感器装置位置和姿态信息是关于VR相机101的坐标系和深度传感器102的坐标系的信息。VR相机101的坐标系由基于VR相机101的位置设置的源和基于VR相机101的姿态设置的坐标轴定义。深度传感器102的坐标系由基于深度传感器102的位置设置的源和基于深度传感器102的姿态设置的坐标轴定义。

传感器装置位置和姿态信息可以包括指示VR相机101和深度传感器102的位置和姿态的信息，该信息是用于定义坐标系的信息。传感器装置位置和姿态信息可以包括指示坐标系之间的偏差的信息，例如VR相机101和深度传感器102的位置与姿态之间的差。可以基于例如VR相机101和深度传感器102的安装情况来手动地设置传感器装置位置和姿态信息。可以通过将捕获图像中的识别目标的位置和姿态与当识别目标由VR相机101成像并由深度传感器102感测时深度图像中的识别目标的位置和姿态进行比较来获取传感器装置位置和姿态信息。作为识别目标，可以举例说明固定有预定方格图案的面板或立方体机构。

即使在同一第一传感器装置11中所包括的VR相机101和深度传感器102中，位置和姿态也会偏离。在再现装置20侧配置VR内容时，该偏差可以导致布置在虚拟空间中的捕获图像中的真实对象与和真实对象相关联的表面模型之间的偏差。从这一点上，通过在内容配置信息中包括传感器装置位置和姿态信息，可以校正再现装置20侧的偏差。

反馈设置信息是用于设置在执行其中涉及在虚拟空间中显示的捕获图像中的真实对象的交互时的反馈内容的信息。反馈设置信息包括用于设置视觉地、触觉地、听觉地或嗅觉地反馈的内容的信息。具体地，反馈设置信息可以包括视觉反馈设置信息，其中设置了视觉反馈的内容。视觉反馈设置信息包括例如指示表示在碰撞时要显示的碰撞的图标的信息。反馈设置信息包括触觉反馈设置信息，其中设置了触觉反馈的内容。触觉反馈设置信息可以包括例如指示在碰撞时要输出的振动的频率、幅度和振动时间的信息。反馈设置信息可以包括听觉反馈设置信息，其中设置了听觉反馈的内容。听觉反馈设置信息包括例如指示在碰撞时要输出的声音的信息。反馈设置信息可以包括嗅觉反馈设置信息，其中设置了嗅觉反馈的内容。嗅觉反馈设定信息包括例如指示在碰撞时要输出的诸如炸药或香水的气味的信息。反馈设置信息包括视点移动设置信息，其中设置了在虚拟空间中的视点移动时反馈的内容。视点移动设置信息包括例如用于指定视点切换位置的信息和用于指定视点移动之后的视野的旋转量的信息。通过将反馈设置信息包括在内容配置信息中，可以向用户提供VR内容的制作者想要的反馈。

这里，当在捕获图像中包括空间交互中涉及的多个真实对象时，空间交互配置信息还可以包括每个真实对象的表面模型、表面模型的属性信息、以及元数据的集合。空间交互配置信息还可以包括每个真实对象的反馈设置信息。在这种情况下，真实对象的识别信息与每个真实对象的信息相关联。

可以在帧之间转移表面模型。在这种情况下，空间交互信息包括转移的表面模型和用于识别转移表面模型的时期的信息。例如，当存在在预定时间内不移动的真实对象时，内容配置信息生成单元150与预定时间的开始帧相关联地记录表面模型，并且记录关于表面模型的转移的时间信息(例如，预定时间的结束帧)。因此，由于可以减少传输量，所以可以减少传输延迟。

<2.2.3.记录处理的流程>

图6是示出由根据实施方式的记录装置10执行的记录处理的流程的示例的流程图。如图6所示，图像获取单元110首先获取真实空间的捕获图像，并且深度信息获取单元130获取深度信息(步骤S102)。

此后，表面模型获取单元140基于深度信息生成表面模型。具体地，表面模型获取单元140基于深度信息提取满足预定条件的形成真实对象的表面的点群(例如，像素群)(步骤S104)。这里，预定条件是例如真实对象为具有大小超过预定阈值的表面的运动体、真实对象为前景、真实对象为假设出现交互的区域、以及/或者真实对象不是要防止出现交互的区域的条件。随后，表面模型获取单元140抽取点，直到点群变为预定粒度为止(步骤S106)。随后，表面模型获取单元140以帧为单位去除点群的噪声(步骤S108)。这样，表面模型获取单元140生成表面模型。

然后，内容配置信息生成单元150基于捕获图像和表面模型生成内容配置信息(步骤S110)。此后，传输单元160将内容配置信息传输至再现装置20(步骤S112)。

<2.3.再现装置的技术特征>

<2.3.1.再现装置的功能配置示例>

图7是示出根据实施方式的再现装置20的功能配置的示例的框图。如图7所示，再现装置20包括：接收单元210、内容配置信息分析单元220、定时同步单元230、坐标转换单元240、虚拟对象控制单元250、输出控制单元260、以及选择单元270。

图7还示出了HMD 21和控制器22的功能配置的示例。如图7所示，HMD 21包括：显示单元201、位置和姿态检测单元202、声音输出单元203、声音输入单元204。控制器22包括位置和姿态检测单元205以及振动输出单元206。

在下文中，将描述功能配置。

(1)HMD 21

(显示单元201)

显示单元201具有显示VR内容的功能。显示单元201基于输出控制单元260的控制来显示VR内容。例如，显示单元201可以由液晶显示器(LCD)、有机发光二极管(OLED)等实现。

(位置和姿态检测单元202)

位置和姿态检测单元202具有检测HMD 21(即，佩戴HMD 21的用户的头部)的位置和姿态的功能。例如，位置和姿态检测单元202包括陀螺仪传感器和加速度传感器，基于角速度检测姿态，并且通过使用角速度和加速度的惯性导航系统(INS)计算来检测位置。位置和姿态检测单元202将指示检测的HMD 21的位置和姿态的信息输出至再现装置20的输出控制单元260。

(声音输出单元203)

声音输出单元203具有输出与VR内容相关的声音的功能。例如，声音输出单元203包括扬声器或耳机、放大器和数模转换器(DAC)。声音输出单元203基于输出控制单元260的控制再现四种声音。

(声音输入单元204)

声音输入单元204具有输入用户的语音的功能。例如，声音输入单元204包括麦克风、麦克风放大器、模数转换器(ADC)，并且生成指示用户的语音的数字信号。声音输入单元204将指示用户的输入语音的信息输出至虚拟对象控制单元250。

(2)控制器22

(位置和姿态检测单元205)

位置和姿态检测单元205具有检测控制器22的位置和姿态的功能。例如，位置和姿态检测单元205包括陀螺仪传感器和加速度传感器，基于角速度检测姿态，并且通过使用角速度和加速度的惯性导航系统(INS)计算来检测位置。位置和姿态检测单元205将指示检测的控制器22的位置和姿态的信息输出至虚拟对象控制单元250。

(振动输出单元206)

振动输出单元206具有输出振动的功能。振动输出单元206基于输出控制单元260的控制输出振动。例如，振动输出单元206可以由偏心电机、线性谐振致动器(LRA)、音圈电机(VCM)等实现。

(3)再现装置20

(接收单元210)

接收单元210具有从其它装置接收信息的功能。更具体地，接收单元210用作从记录装置10获取内容配置信息的获取单元。接收单元210接收与所选视点相对应的内容配置信息，即，基于来自与所选视点相对应的第一传感器装置11或第二传感器装置12的感测结果生成的内容配置信息。接收单元210将接收的内容配置信息输出至内容配置信息分析单元220。

(内容配置信息分析单元220)

内容配置信息分析单元220具有从内容配置信息中提取各种信息的功能。例如，内容配置信息分析单元220从内容配置信息中分离并提取VR图像信息和空间交互配置信息，并且输出VR图像信息和空间交互配置信息。

(定时同步单元230)

定时同步单元230具有在包括在VR图像信息中的捕获图像与包括在空间交互配置信息中的表面模型之间建立定时同步的功能。具体地，定时同步单元230通过将捕获图像与检测时刻和捕获图像的成像时刻相同的表面模型相关联，来建立捕获图像与表面模型之间的定时同步。此时，定时同步单元230基于捕获图像的帧号和表面模型的帧号建立捕获图像与表面模型之间的定时同步。定时同步单元230将建立了定时同步的捕获图像和表面模型——即，检测时刻与捕获图像的成像时刻相同的捕获图像和表面模型——输出至坐标转换单元240。

(坐标转换单元240)

坐标转换单元240具有在包括在VR图像信息中的捕获图像与包括在空间交互配置信息中的表面模型之间建立坐标系的同步的功能。坐标转换单元240对表面模型应用坐标变换处理，以校正VR相机101的坐标系与由传感器装置位置和姿态信息指示的深度传感器102的坐标系之间的偏差。具体地，坐标转换单元240将形成表面模型的点群的三维位置转换为用基于VR相机101的位置而设置的源和基于VR相机101的姿态而设置的坐标轴定义的VR相机101的坐标系上的三维位置。因此，布置在虚拟空间中的捕获图像中的真实对象的三维位置可以匹配真实对象的表面模型的三维位置。坐标转换单元240将建立了定时同步和坐标系同步的捕获图像和表面模型输出至输出控制单元260和虚拟对象控制单元250。

(虚拟对象控制单元250)

虚拟对象控制单元250具有对虚拟对象执行各种控制的功能。

-位置和姿态的控制

虚拟对象控制单元250控制虚拟对象的位置和姿态。具体地，虚拟对象控制单元250计算虚拟对象的位置和姿态。关于操作器41，虚拟对象控制单元250基于从位置和姿态检测单元205输出的指示控制器22的位置和姿态的信息来计算操作器41的位置和姿态。

虚拟对象控制单元250对虚拟对象执行物理计算。例如，虚拟对象控制单元250计算虚拟对象在虚拟空间中的移动，并且计算当虚拟对象相互碰撞或者虚拟对象被投掷时在移动之后虚拟对象的位置和姿态。在涉及布置在虚拟空间中的捕获图像中的真实对象的物理计算中，考虑诸如与真实对象相关联的物理系数的属性信息。

虚拟对象控制单元250将虚拟对象的位置和姿态的计算结果输出至输出控制单元260。

-碰撞体的关联

虚拟对象控制单元250将碰撞体与虚拟对象相关联。特别地，虚拟对象控制单元250将碰撞体与布置在虚拟空间中的捕获图像中的真实对象相关联。因此，可以检测真实对象与布置在虚拟空间中的捕获图像中的其它虚拟对象之间的碰撞。在下文中，将详细描述碰撞体的关联。

虚拟对象控制单元250将表面模型与布置在虚拟空间中的捕获图像相关联，用捕获图像建立该表面模型的定时同步和坐标系同步。更简单地，虚拟对象控制单元250将真实对象的表面模型与布置在虚拟空间中的捕获图像中的真实对象相关联。

虚拟对象控制单元250将碰撞体与布置在虚拟空间中的表面模型相关联，更具体地，与包括在表面模型中的每个点相关联。具体地，虚拟对象控制单元250使用表面模型的三维位置信息作为碰撞体的三维位置信息。因此，可以确定与布置在虚拟空间中的捕获图像中的真实对象的碰撞。

此外，虚拟对象控制单元250将诸如物理系数的属性信息与布置在虚拟空间中的表面模型相关联。因此，可以表示布置在虚拟空间中的捕获图像中的虚拟对象与真实对象之间碰撞时的感觉和回弹等。

-碰撞检测

虚拟对象控制单元250还用作检测虚拟对象之间的碰撞的碰撞检测单元。例如，虚拟对象控制单元250通过确定与虚拟对象相关联的碰撞体之间的碰撞来检测虚拟对象之间的碰撞。

虚拟对象控制单元250还检测虚拟对象与布置在虚拟空间中的捕获图像中的真实对象之间的碰撞。在这种情况下，虚拟对象控制单元250基于其它虚拟对象的3维位置信息和表面模型来检测在虚拟空间中显示的捕获图像中的其它虚拟对象与真实对象之间的碰撞。具体地，虚拟对象控制单元250检测与和布置在虚拟空间中的捕获图像中的真实对象相关联的表面模型相关联的碰撞体和与虚拟对象相关联的碰撞体之间的碰撞。

虚拟对象控制单元250可以基于虚拟对象的位置和姿态的时间变化来获取关于碰撞情况的信息，例如碰撞时的相对速度和碰撞角度。

虚拟对象控制单元250将关于碰撞的存在或不存在以及碰撞情况的信息输出至输出控制单元260。

-其他

虚拟对象控制单元250可以基于用户输入到声音输入单元204的语音指令来控制虚拟对象。例如，虚拟对象控制单元250生成从指示用户语音的文本信息形成的虚拟对象，并且在虚拟空间中移动虚拟对象或者移动与用户相对应的化身的虚拟对象的嘴。

(输出控制单元260)

输出控制单元260具有基于内容配置信息在虚拟空间中显示捕获图像的功能。例如，输出控制单元260通过将捕获图像布置在虚拟空间中来在虚拟空间中显示捕获图像。

输出控制单元260基于从位置和姿态检测单元202输出的指示HMD21的位置和姿态的信息，在虚拟空间内移动用户的位置或旋转视野。通过放大/缩小布置在虚拟空间中的捕获图像，可以实现用户在虚拟空间中的位置的移动。即，通过以与用户的位置处的移动矢量相反的矢量在虚拟空间中移动捕获图像来实现用户的位置在虚拟空间中的移动。可以通过移动布置在虚拟空间中的捕获图像中的显示单元201上显示的区域来实现虚拟空间中的视野的旋转。因此，用户可以在VR内容中自由移动，并且可以享受能够看到周围360度的体验。

输出控制单元260具有控制虚拟对象的显示的功能。例如，输出控制单元260以由虚拟对象控制单元250计算的位置和姿态显示虚拟对象。

输出控制单元260具有基于内容配置信息来控制与涉及虚拟空间中显示的捕获图像中包括的真实对象的交互相对应的反馈的输出的功能。例如，当检测到虚拟空间中显示的捕获图像中包括的其它虚拟对象与真实对象之间的碰撞时，输出控制单元260控制向用户输出与该碰撞相对应的视觉、触觉、听觉和/或嗅觉反馈。

-视觉反馈

当检测到虚拟对象之间的碰撞时，输出控制单元260可以使显示单元201输出视觉反馈。例如，当操作器41与虚拟空间中布置的捕获图像中的真实对象碰撞时，输出控制单元260使显示单元201输出指示该碰撞的信息。输出控制单元260可以基于关于碰撞情况的信息来控制使显示单元201输出的信息。当已经碰撞的虚拟对象之一是布置在虚拟空间中的捕获图像中的真实对象时，基于与表面模型相关联的物理系数和/或视觉反馈设置信息来确定使显示单元201输出的信息。

-触觉反馈

当检测到虚拟对象之间的碰撞时，输出控制单元260可以使振动输出单元206输出触觉反馈。例如，当操作器41与虚拟空间中布置的捕获图像中的真实对象碰撞时，输出控制单元260使振动输出单元206输出指示该碰撞的振动。输出控制单元260可以基于关于碰撞情况的信息指定与使振动输出单元206输出的振动相关的参数。作为与振动相关的参数，可以举例说明要输出的振动的频率、振幅、振动时间等。当已经碰撞的虚拟对象之一是布置在虚拟空间中的捕获图像中的真实对象时，基于与表面模型相关联的物理系数和/或触觉反馈设置信息来确定振动参数。

-听觉反馈

当检测到虚拟对象之间的碰撞时，输出控制单元260可以使声音输出单元203输出听觉反馈。例如，当操作器41与虚拟空间中布置的捕获图像中的真实对象碰撞时，输出控制单元260使声音输出单元203输出指示该碰撞的声音。输出控制单元260可以基于关于碰撞情况的信息指定与使声音输出单元203输出的声音相关的参数。作为与声音相关的参数，可以举例说明要再现的声音的种类和音量。当已经碰撞的虚拟对象之一是布置在虚拟空间中的捕获图像中的真实对象时，基于与表面模型相关联的物理系数和/或听觉反馈设置信息来确定与声音相关的参数。

-嗅觉反馈

当检测到虚拟对象之间的碰撞时，输出控制单元260可以使嗅觉输出装置(未示出)输出嗅觉反馈。例如，当操作器41与虚拟空间中布置的捕获图像中的真实对象碰撞时，输出控制单元260使嗅觉输出装置输出指示该碰撞的气味。输出控制单元260可以基于关于碰撞情况的信息指定与使嗅觉输出装置输出的气味相关的参数。作为与气味相关的参数，可以举例说明气味的种类和气味的强度。当已经碰撞的虚拟对象之一是布置在虚拟空间中的捕获图像中的真实对象时，基于与表面模型相关联的物理系数和/或嗅觉反馈设置信息来确定与气味相关的参数。

-补充

在检测到虚拟对象之间的碰撞之后，输出控制单元260可以使视觉/触觉/听觉/嗅觉反馈被输出，直到建立预定停止条件为止。预定停止条件是例如在碰撞发生之后经过预定时间、虚拟对象之间的距离超过预定距离等。因此，可以向用户提供碰撞的后果。

这样，实现了视觉、触觉、听觉或嗅觉交互，其中涉及布置在虚拟空间中的捕获图像中的真实对象。

(选择单元270)

选择单元270具有选择视点(即，切换要再现的VR内容)的功能。更具体地，选择单元270进行以下选择：作为要再现的VR内容的源的内容配置信息是否是基于来自某个传感器装置的感测结果而生成的内容配置信息。例如，当选择内容ID时，选择视点。选择单元270可以将指示选择结果的信息(例如，内容ID)传输至记录装置10，并且切换要接收的内容配置信息。

<2.3.2.空间交互>

(1)第一空间交互

第一空间交互是用户与布置在虚拟空间中的捕获图像中的真实对象之间的交互。以上已经参照图3描述了交互。具体地，在用户操作的操作器41与布置在虚拟空间中的捕获图像中的真实对象(舞台16或演出者18)碰撞时，再现装置20使控制器22输出与该碰撞相对应的触觉反馈。将参照图8描述与该交互相关的处理的流程。

图8是示出由根据实施方式的再现装置执行的第一空间交互过程的流程的示例的流程图。如图8所示，接收单元210首先接收与正被选择的视点相对应的内容配置信息(步骤S202)。随后，内容配置信息分析单元220从内容配置信息中提取VR图像信息和空间交互配置信息(步骤S204)。随后，定时同步单元230建立捕获图像与表面模型之间的定时同步，并且坐标转换单元240建立捕获图像与表面模型之间的坐标系同步(步骤S206)。随后，输出控制单元260将捕获图像布置在虚拟空间中(步骤S208)。

接下来，虚拟对象控制单元250通过将表面模型与布置在虚拟空间中的捕获图像交叠来布置碰撞体与物理系数相关联的表面模型(步骤S210)。随后，虚拟对象控制单元250基于控制器22的位置和姿态来控制操作器41在虚拟空间中的位置和姿态(步骤S212)。随后，虚拟对象控制单元250确定操作器41与布置在虚拟空间中的捕获图像中的真实对象之间的碰撞或非碰撞(步骤S214)。具体地，虚拟对象控制单元250确定与操作器41相关联的碰撞体和与布置在虚拟空间中的捕获图像交叠的表面模型相关联的碰撞体之间的碰撞或非碰撞。当确定没有发生碰撞时(步骤S216/否)，处理返回至步骤S202。当确定发生碰撞时(步骤S216/是)，输出控制单元260根据碰撞输出反馈(步骤S218)。具体地，输出控制单元260基于与表面模型相关联的物理系数和反馈设置信息来控制向用户输出视觉/触觉/听觉/嗅觉反馈。此后，处理返回至步骤S202。

(2)第二空间交互

第二空间交互是布置在虚拟空间中的捕获图像中的真实对象与除了操作器41之外的虚拟对象之间的交互。将参照图9详细描述该交互。

图9是示出根据实施方式的第二空间交互的示例的图。在图9所示的VR内容40中，将包括如图2所示的舞台16上的演出者18的捕获图像布置在虚拟空间中，并且表面模型与捕获图像中的舞台16和演出者18均相关联。用户能够在作为虚拟空间中的虚拟对象的球43的位置处执行握持操作器41的操作，并且通过控制器22投掷球。当执行握持操作时，球43成为操作器41的子对象，并且操作器41成为球43的父对象。子对象的移动与父对象链接。当执行投掷操作时，父-子关系被解除，并且子对象根据物理计算的结果在空中移动。当用户握持球43并将其投向演出者18时，球43与演出者18碰撞并回弹。此时，作为视觉反馈显示指示碰撞的图标44。此外，从演出者18回弹的球43与舞台16碰撞并滚动。此时，输出控制单元260可以在舞台16上显示球43的阴影或者输出滚动声音。将参照图10A和图10B描述与交互相关的处理的流程。

图10A和图10B是示出由根据实施方式的再现装置执行的第二空间交互过程的流程的示例的流程图。图10A所示的步骤S302至步骤S312的处理与图8所示的步骤S202至步骤S212的处理类似。此后，虚拟对象控制单元250确定球43与操作器41之间的碰撞或非碰撞，以及握持操作的存在或不存在(步骤S314)。具体地，虚拟对象控制单元250确定与球43相对应的碰撞体和与操作器41相对应的碰撞体之间的碰撞或非碰撞，并且确定是否输入了握持操作。当确定没有发生碰撞或者确定没有执行握持操作时(步骤S316/否)，处理返回至步骤S302。

当确定发生碰撞并且确定执行握持操作时(步骤S316/是)，如图10B所示，虚拟对象控制单元250将球43设置为操作器41的子对象，并且输出控制单元260显示球43与操作器41伴随移动的方面(步骤S318)。随后，虚拟对象控制单元250确定是否确定了投掷球43的操作(步骤S320)。当确定没有执行投掷操作时(步骤S320/否)，处理返回至步骤S318。当确定执行投掷操作时(步骤S320/是)，输出控制单元260基于虚拟对象控制单元250的物理计算的结果显示投掷的球43在空中的运动(步骤S322)。随后，虚拟对象控制单元250确定球43是否与布置在虚拟空间中的捕获图像中的真实对象(舞台16或演出者18)碰撞(步骤S324)。当确定没有发生碰撞时(步骤S326/否)，处理返回至步骤S322。

当确定发生碰撞时(步骤S326/是)，输出控制单元260基于虚拟对象控制单元250的物理计算的结果显示球43正在滚动的方面(步骤S328)。例如，虚拟对象控制单元250基于与确定碰撞的碰撞体相对应的点的属性信息来执行物理计算，并且输出控制单元260基于物理计算的结果来显示球43的滚动轨迹。此时，输出控制单元260可以基于与表面模型相关联的物理系数和反馈设置信息来控制向用户输出视觉/触觉/听觉/嗅觉反馈。例如，输出控制单元260显示指示碰撞的图标，显示球的阴影，并且再现球的滚动声音。此后，处理返回至步骤S302。

<2.3.3.视点切换>

选择单元270选择与用户在虚拟空间中的位置相对应的内容配置信息作为要由接收单元210获取的内容配置信息。即，选择单元270根据用户在虚拟空间中的位置来切换要再现的VR内容。选择单元270基于视点切换对象切换视点。在下文中，将详细描述这一点。

虚拟对象控制单元250基于视点切换对象信息在虚拟空间中设置视点切换对象。具体地，虚拟对象控制单元250将视点切换对象布置在视点切换对象信息中指定的三维位置，并且将碰撞体、内容ID和视点切换位置与视点切换对象相关联。内容ID是当执行基于视点切换对象的视点切换时切换目的地的VR内容的内容ID。视点切换位置是虚拟空间中的预定位置，并且可以被设置为视点移动设置信息。通常不显示视点切换对象。

虚拟对象控制单元250检测用户的视线与视点切换对象之间的碰撞。具体地，虚拟对象控制单元250基于与视点切换对象相关联的碰撞体来检测碰撞。这里，用户的视线可以是眼轴方向或脸部方向。在前者的情况下，虚拟对象控制单元250基于用户的眼睛的捕获图像的图像识别结果来识别用户的视线。在后者的情况下，虚拟对象控制单元250基于来自位置和姿态检测单元202的检测结果来识别用户的视线。

当检测到用户的视线与视点切换对象之间的碰撞时，输出控制单元260移动用户的位置。具体地，输出控制单元260将用户在虚拟空间中的位置连续移动到与视点切换对象相关联的视点切换位置。通过放大/缩小布置在虚拟空间中的捕获图像，执行用户位置的连续移动，直到获得与视点切换位置相对应的倍率。可以基于诸如摆动的用户操作来执行用户的位置到视点切换位置的移动。

然后，选择单元270将用户的位置到达虚拟空间中的视点切换位置设置为触发，并且切换要选择的内容配置信息。具体地，当布置在虚拟空间中的捕获图像的放大/缩小倍率变为预定倍率时，选择单元270切换要选择的内容配置信息。选择单元270选择与和到达的视点切换位置相对应的视点切换对象相关联的内容ID作为切换目的地的VR内容的内容ID。即，选择单元270选择具有与和到达的视点切换位置相对应的视点切换对象相关联的内容ID的内容配置信息作为用于生成要再现的VR内容的源的内容配置信息。

视点切换位置优选地是虚拟空间中与成像装置(即，VR相机101)的位置相对应的位置，该成像装置对作为切换目的地的内容配置信息的源的捕获图像进行成像。具体地，优选地，虚拟空间中的视点切换位置在预定距离内，或者与当捕获作为切换目的地的内容配置信息的源的捕获图像的VR相机101的位置被映射到虚拟空间时的位置匹配。在这种情况下，由于在切换前后到布置在虚拟空间中的捕获图像中的真实对象的距离相同，因此切换前后的真实对象的尺度感(scale sensation)相同。因此，可以防止用户感觉到诸如在切换视点时的瞬时视点移动的不适感。

将参照图11详细描述基于视点切换对象的视点切换。

图11是示出根据实施方式的基于视点切换对象的视点切换的图。如图11所示，假设VR内容#1为在被选择的视点处的VR内容。即，假设再现装置20再现VR内容#1。在VR内容#1中，布置与VR内容#2-1、VR内容#2-2以及VR内容#2-3相关联的视点切换对象。附接至VR内容的“#”之后紧接着的数字指示所选视点的层，并且“-”之后的数字是相同层中的索引。当基于与VR内容#2-1相关联的视点切换对象执行视点切换时，再现装置20再现VR内容#2-1。当基于与VR内容#2-2相关联的视点切换对象执行视点切换时，再现装置20再现VR内容#2-2。当基于与VR内容#2-3相关联的视点切换对象执行视点切换时，再现装置20再现VR内容#2-3。此后，类似地切换视点。

-具体示例

在下文中，将参照图12至图15具体描述视点切换的具体示例。

图12是示出根据实施方式的用户的位置的移动和切换的示例的图。图12示出了由再现装置20执行的用户位置的移动轨迹和视点切换的方面，以及用户视线到记录目标空间的映射的方面。如图12所示，将第一传感器装置11布置在演出者18所站立的舞台16上，将第二传感器装置12A布置在观众席17中舞台16附近，并且将第二传感器装置12B布置在离舞台16最远的位置。

图13是示出VR内容的视点切换的示例的图，其中使用如图12中那样布置的传感器装置捕获的捕获图像。VR内容40B是将由第二传感器装置12B捕获的捕获图像布置在虚拟空间中的VR内容。假设虚拟对象控制单元250将具有大小和3维位置并且包括演出者18的视点切换对象45B布置在VR内容40B中，并且使第二传感器装置12A的识别信息作为内容ID相关联。当用户的视线与视点切换对象45B碰撞并且用户的位置移动到视点切换位置时，选择单元270基于与视点切换对象45B相关联的内容ID来选择视点。具体地，选择单元270选择基于来自第二传感器装置12A的感测结果而生成的内容配置信息作为内容配置信息，该内容配置信息作为要再现的VR内容的源。结果，输出控制单元260将显示切换到VR内容40A，在该VR内容40A中，将由第二传感器装置12A捕获的捕获图像布置在虚拟空间中。

这里，虚拟空间中的视点切换位置优选地与和第二传感器装置12A在真实空间中的位置相对应的位置匹配。在这种情况下，当用户在虚拟空间中的位置到达与第二传感器装置12A在真实空间中的位置相对应的位置时，选择单元270执行到VR内容40A的切换。因此，由于在切换前后到演出者18的距离相同，因此在切换前后演出者18的尺度感相同。因此，可以防止用户在切换视点时感觉到诸如瞬时视点移动的不适感。

虚拟对象控制单元250将具有大小和3维位置并且包括演出者18的视点切换对象45A布置在VR内容40A中，使第一传感器装置11的识别信息作为内容ID相关联。当用户的视线与视点切换对象45A碰撞并且用户的位置移动到视点切换位置时，选择单元270基于与视点切换对象45A相关联的内容ID来选择视点。具体地，选择单元270选择基于来自第一传感器装置11的感测结果而生成的内容配置信息作为内容配置信息，该内容配置信息作为要再现的VR内容的源。结果，输出控制单元260将显示切换到VR内容，在该VR内容中，将由第一传感器装置11捕获的捕获图像布置在虚拟空间中。

这里，虚拟空间中的视点切换位置优选地与和第一传感器装置11在真实空间中的位置相对应的位置匹配。在这种情况下，当用户在虚拟空间中的位置到达与第一传感器装置11在真实空间中的位置相对应的位置时，选择单元270执行到VR内容的切换，在该VR内容中，将由第一传感器装置11捕获的捕获图像布置在虚拟空间中。因此，由于在切换前后到演出者18的距离相同，因此在切换前后演出者18的尺度感相同。因此，可以防止用户在切换视点时感觉到不适感。

这样，通过随着用户位置的移动而重复视点的切换，可以向用户提供在记录目标空间中连续移动的体验。通过使视点切换位置与VR相机101的位置匹配，可以防止用户感觉到由于视点的切换引起的感觉到不适感，并且防止用户体验的恶化。

-补充

图14是示出根据实施方式的用户位置的移动和视点的切换的示例的图。图14示出了其中由再现装置20执行的用户位置的移动轨迹和视点切换的方面，以及用户视线到记录目标空间的映射的方面。如图14所示，演出者18站在舞台16上，并且第二传感器装置12A至12D布置在观众席17中。

在图14所示的示例中，在第二传感器装置12D被设置为视点的VR内容中，视点切换位置被设置为第二传感器装置12C的位置。随着用户移动到被设置为视点切换位置的第二传感器装置12C的位置，执行到其中第二传感器装置12C被设置为视点的VR内容的切换。类似地，执行到其中第二传感器装置12B被设置为视点的VR内容的切换和到其中第二传感器装置12A被设置为视点的VR内容的切换。用户位置的移动轨迹优选地是视点之间的直线。另一方面，如图14所示，多个视点之间的移动轨迹可以不是直线。

图15是示出根据实施方式的用户位置的移动和视点的切换的示例的图。图15示出了其中由再现装置20执行的用户位置的移动轨迹和视点切换的方面，以及用户视线到记录目标空间的映射的方面。如图15所示，演出者18站在舞台16上，并且第二传感器装置12A和12B布置在观众席17中。在图15中，如图13所示的示例中，假设视点切换对象被布置成将执行者18包括在内。

假设再现装置20再现第二传感器装置12A被设置为视点的VR内容。如图15所示，假设用户将他或她的位置向后移动，使他或她的视线面向演出者18。通过缩小在第二传感器装置12A被设置为视点的VR内容中的虚拟空间中布置的捕获图像来实现用户位置的向后移动。当用户位置被移动到视点切换位置19时，执行从第二传感器装置12A被设置为视点的VR内容到第二传感器装置12B被设置为视点的VR内容的切换。在这种情况下，从视点切换位置19到第二传感器装置12A的位置，用户也可能感觉到诸如视点的瞬时移动的不适感。

因此，视点切换位置与布置在虚拟空间中的捕获图像中的预定真实对象之间的距离优选地和预定真实对象与虚拟空间中和成像装置(即，VR相机101)的位置相对应的位置之间的距离相同，该成像装置捕获作为切换目的地的内容配置信息的源的捕获图像。在图15所示的示例中，演出者18与视点切换位置19之间的距离优选地和演出者18与第二传感器装置12B的位置之间的距离相同。这同样意味着距离相等或者距离之间的差在预定范围内。在这种情况下，演出者18的尺度感在切换前后是相同的。因此，可以降低用户感觉到的不适感。

由于视点切换位置19与演出者18之间的角度不同于第二传感器装置12B的位置与演出者18之间的角度，所以移动前后可以改变看到演出者18的角度。因此，用户可能感觉到不适感。因此，输出控制单元260可以将捕获图像布置在虚拟空间中，使得在虚拟对象控制单元250切换VR内容之后，显示在虚拟空间中的捕获图像中的预定真实对象与用户的视线碰撞。具体地，输出控制单元260在切换视点时旋转视野使得演出者18位于用户的视线(例如，用户的正面)上。因此，由于切换前后用户观看演出者18的角度没有改变，所以可以减少用户感觉到的不适感。可以将移动之后的视野的旋转量设置为视点移动设置信息。

-处理的流程

接下来，将参照图16描述视点切换处理的流程的示例。

图16是示出由根据实施方式的再现装置20执行的视点切换过程的流程的示例的流程图。在基于图16所示的流程图的处理中，省略了视点切换中涉及的处理之外的处理。

如图16所示，接收单元210首先接收与正被选择的视点相对应的内容配置信息(步骤S402)。随后，内容配置信息分析单元220从内容配置信息中提取VR图像信息和空间交互配置信息(步骤S404)。随后，输出控制单元260将捕获图像布置在虚拟空间中(步骤S406)。随后，虚拟对象控制单元250基于视点切换对象信息在虚拟空间中布置视点切换对象(步骤S408)。

随后，虚拟对象控制单元250确定用户的视线是否与视点切换对象碰撞(步骤S410)。当确定用户的视线没有与视点切换对象碰撞时(步骤S410/是)，处理返回至步骤S402。当确定用户的视线与视点切换对象碰撞时(步骤S410/是)，输出控制单元260根据用户位置的移动来放大/缩小布置在虚拟空间中的捕获图像(步骤S412)。随后，虚拟对象控制单元250确定用户的位置是否移动到视点切换位置(步骤S414)。当确定用户位置没有移动时(步骤S414/否)，处理返回至步骤S402。当确定用户位置移动时(步骤S414/是)，选择单元270选择与视点切换对象相关联的内容ID(步骤S416)。因此，在步骤S402中接收的内容配置信息被切换到新选择的内容ID的内容配置信息，并且因此实现了视点的切换。此后，处理返回至步骤S402。

<<3.第二实施方式>

第二实施方式是通过将跟踪目标的三维位置信息与布置在虚拟空间中的捕获图像中的跟踪目标相关联，来实现其中涉及布置在虚拟空间中的捕获图像中的跟踪目标的空间交互的模式。在第一实施方式中，三维位置信息与真实对象的整个表面相关联，而在第二实施方式中，三维位置信息与真实对象中的和跟踪目标的三维位置相对应的一个点相关联。例如，与真实对象中的和跟踪目标的三维位置相对应的一个点相关联的三维位置信息是与对应于跟踪器的真实对象的三维位置相对应的预定坐标系的特定坐标。

<3.1.概览>

(1)记录装置的概览

图17是示出根据第二实施方式的记录装置10的记录装置的概览的图。图17示出了作为记录装置10的信息记录目标的空间的示例。如图17所示，在当前空间中，在观众席17中的许多观众的前面，佩戴跟踪器14的演出者18在舞台16上演唱。在当前空间中，第三传感器装置13被安装为涉及由记录装置10进行记录的装置。在当前空间中，还布置了监视器15。

-第三传感器装置13

第三传感器装置13是感测真实空间的装置。第三传感器装置13包括成像装置。以上已经关于第一传感器装置11描述了成像装置。

第三传感器装置13包括检测跟踪目标在真实空间中的位置和姿态的跟踪器传感器。例如，跟踪传感器将佩戴在演出者18的手腕上的跟踪器14设置为跟踪目标，并且检测跟踪器14的位置和姿态。在跟踪传感器的跟踪中，可以使用光学式、激光式或磁性式的任何跟踪技术。

-监视器15

以上已经在第一实施方式中描述了监视器15。

以上已经描述了安装在记录目标空间中的装置。

记录装置10基于来自第三传感器装置13的感测结果生成内容配置信息，该内容配置信息包括用于在再现装置20侧配置VR内容的各种信息。然后，记录装置10将生成的内容配置信息传输至再现装置20。

(2)再现装置的概览

图18是示出根据第二实施方式的再现装置20的概览的图。图18示出了作为在由再现装置20再现VR内容时涉及的装置的HMD 21和控制器22。以上已经在第一实施方式中描述了HMD 21和控制器22。

再现装置20基于从记录装置10接收的内容配置信息生成VR内容。在根据实施方式的VR内容中，将通过对真实空间进行成像而获得的捕获图像布置在虚拟空间中作为虚拟对象之一。此外，在根据实施方式的VR内容中，指示跟踪器14的三维位置的三维位置信息与布置在虚拟空间中的捕获图像中的跟踪器14相关联。因此，可以实现作为布置在虚拟空间中的捕获图像中的真实对象的跟踪器14的空间交互。在下文中，将详细描述这一点。

如图18所示，HMD 21显示由再现装置20生成的VR内容40。在VR内容40中，将包括在图17所示的舞台16上佩戴跟踪器14的演出者18的捕获图像布置在虚拟空间中，并且三维位置信息与捕获图像中的跟踪器14相关联。

当用户操作控制器22时，操作器41在虚拟空间中的位置和姿态根据控制器22在真实空间中的位置和姿态而改变。操作器41是指示用户在虚拟空间中的操作位置的虚拟对象。再现装置20基于操作器41在虚拟空间中的位置以及与跟踪器14相关联的三维位置信息，确定操作器41与跟踪器14在虚拟空间中的碰撞。当确定操作器41与跟踪器14碰撞时，再现装置20使控制器22输出与碰撞相对应的触觉反馈。

这样，根据实施方式的内容传送系统1可以实现其中涉及作为布置在虚拟空间中的捕获图像中的真实对象的跟踪目标的空间交互。

<3.2.记录装置的技术特征>

<3.2.1.记录装置的功能配置示例>

图19是示出根据实施方式的记录装置10的功能配置的示例的框图。如图19所示，记录装置10包括：图像获取单元110、流处理单元120、跟踪器位置获取单元170、内容配置信息生成单元150、以及传输单元160。

图19还示出了第三传感器装置13的功能配置的示例。如图19所示，第三传感器装置13包括VR相机101和跟踪器传感器103。

在下文中，将描述组成元件。将省略与第一实施方式中描述的组成元件相同的组成元件的描述，并且将描述与第一实施方式的组成元件的不同之处。

(1)第三传感器装置13

以上已经在第一实施方式中描述了VR相机101，并且以上已经参照图17描述了跟踪器传感器103。

(2)记录装置10

(图像获取单元110)

以上已经在第一实施方式中描述了图像获取单元110。

(流处理单元120)

以上已经在第一实施方式中描述了流处理单元120。

(跟踪器位置获取单元170)

跟踪器位置获取单元170具有从包括在第三传感器装置13中的跟踪器传感器103获取指示跟踪器14在真实空间中的位置的三维位置信息的功能。这里，三维位置信息是由基于跟踪器传感器103的位置设置的源和基于跟踪器传感器103的姿态设置的坐标轴定义的信息，并且指示跟踪器传感器103在坐标系中的位置。跟踪器14的三维位置信息是跟踪器14的一个点的(与被摄体三维位置信息相对应的)三维位置信息。跟踪器位置获取单元170将获取的跟踪器14的3维位置信息输出至内容配置信息生成单元150。

(内容配置信息生成单元150)

在内容配置信息生成单元150中，可以用跟踪器14的三维位置信息来代替第一实施方式的上述描述中的表面模型。

(传输单元160)

以上已经在第一实施方式中描述了传输单元160。

<3.2.2.内容配置信息的格式>

图20是示出根据第二实施方式的内容配置信息的格式的示例的图。如图20所示，内容配置信息包括VR图像信息和空间交互配置信息。图20示出内容配置信息的格式，其中将具有帧号1至n的帧的图像和跟踪器14的三维位置信息进行集装箱化。

-VR图像信息

以上已经在第一实施方式中描述了VR图像信息。

-空间交互配置信息

空间交互配置信息包括每帧跟踪器14的3维位置信息、跟踪器14的位置和姿态信息的属性信息、以及帧号。每帧跟踪器14的三维位置信息是指示跟踪器14在每帧图像中的位置的信息。属性信息是包括空间交互的物理系数的信息，例如反射系数、摩擦系数或法线方向。帧号是与跟踪器14的三维位置信息的检测时刻相对应的信息，并且对应于虚拟空间关联信息。在某一时间捕获的捕获图像的帧号优选地与同时检测的跟踪器14的三维位置信息的帧号匹配。因此，容易在捕获图像与跟踪器14的三维位置信息之间建立定时同步。

空间交互配置信息包括元数据。元数据包括：内容ID、视点切换对象信息、传感器装置位置和姿态信息、以及反馈设置信息。以上已经在第一实施方式中描述了内容ID、视点切换对象信息和反馈设置信息。

根据实施方式的传感器装置位置和姿态信息是关于捕获捕获图像的成像装置的坐标系和检测跟踪器14的三维位置信息的传感器的坐标系的信息，并且对应于虚拟空间关联信息。即，根据实施方式的传感器装置位置和姿态信息是关于VR相机101的坐标系和跟踪器传感器103的坐标系的信息。跟踪器传感器103的坐标系由基于跟踪器传感器103的位置设置的源和基于跟踪器传感器103的姿态设置的坐标轴定义。

传感器装置位置和姿态信息可以包括指示VR相机101和跟踪器传感器103的位置和姿态的信息，该信息是用于定义坐标系的信息。传感器装置位置和姿态信息可以包括指示坐标系之间的偏差的信息，例如VR相机101和跟踪器传感器103的位置与姿态之间的差。可以基于例如VR相机101和跟踪器传感器103的安装情况来手动地设置传感器装置位置和姿态信息。可以通过将捕获图像中的跟踪器14的位置和姿态与当跟踪器14由VR相机101成像并由跟踪器传感器103感测时由跟踪器传感器103检测的跟踪器14的位置和姿态进行比较来获取传感器装置位置和姿态信息。

即使在同一第三传感器装置13中所包括的VR相机101和跟踪器传感器103中，位置和姿态也会偏离。该偏差可以导致布置在虚拟空间中的捕获图像中的跟踪器14的位置和姿态与在再现装置20侧配置VR内容时与跟踪器14相关联的跟踪器14的三维位置信息之间的偏差。从这一点上，通过在内容配置信息中包括传感器装置位置和姿态信息，可以校正再现装置20侧的偏差。

这里，当在捕获图像中包括多个跟踪器14时，空间交互配置信息还可以包括每个跟踪器14的三维位置信息、属性信息和跟踪器14的一个点的元数据的集合。空间交互配置信息还可以包括每个跟踪器14的反馈设置信息。在这种情况下，跟踪器14的识别信息与每个跟踪器14的信息相关联。

跟踪器14的三维位置信息可以在帧之间转移。在这种情况下，空间交互信息包括跟踪器14的转移的三维位置信息和用于识别跟踪器14的三维位置信息被转移的时期的信息。例如，当存在在预定时间内不移动的跟踪器14时，内容配置信息生成单元150与预定时间的开始帧相关联地记录跟踪器14的三维位置信息，并且记录关于跟踪器14的三维位置信息的转移的时间信息(例如，预定时间的结束帧)。因此，由于可以减少传输量，所以可以减少传输延迟。

<3.2.3.记录处理的流程>

图21是示出由根据实施方式的记录装置10执行的记录处理的流程的示例的流程图。如图21所示，图像获取单元110首先获取真实空间的捕获图像，并且跟踪器位置获取单元170获取跟踪器14的三维位置信息(步骤S502)。随后，内容配置信息生成单元150基于捕获图像和跟踪器14的三维位置信息生成内容配置信息(步骤S504)。此后，传输单元160将内容配置信息传输至再现装置20(步骤S506)。

<3.3.再现装置的技术特征>

<3.3.1.再现装置的功能配置示例>

根据实施方式的再现装置20包括与图7所示的组成元件类似的组成元件。在每个组成元件中，第一传感器装置11和第二传感器装置12、深度传感器102、表面模型以及在第一实施方式的前述描述中的真实对象可以分别被第三传感器装置13、跟踪器传感器103、跟踪器14的三维位置信息以及跟踪器14替换。下面将描述该实施方式的其它特征点。

(输出控制单元260)

输出控制单元260基于跟踪器14的三维位置信息将虚拟对象交叠并显示在虚拟空间中显示的捕获图像中的跟踪器14上。因此，即使当演出者18移动并且跟踪器14因此移动时，虚拟对象也可以伴随跟踪器14的移动。

输出控制单元260可以基于跟踪器14的三维位置信息的准确性来控制与跟踪器14交叠的虚拟对象的大小和/或可见度。例如，当跟踪器14的三维位置信息的准确性较低时，输出控制单元260增加虚拟对象的大小和/或模糊虚拟对象。因此，即使当跟踪器14的三维位置信息的准确性较低并且VR内容中的跟踪器14与和跟踪器14交叠的虚拟对象之间发生偏差时，该偏差也不明显。相反，当跟踪器14的三维位置信息的准确性较高时，输出控制单元260减小虚拟对象的大小和/或强调虚拟对象。

(选择单元270)

选择单元270可以选择第三传感器装置13作为选择候选视点。即，选择单元270可以选择基于来自第三传感器装置13的感测结果而生成的内容配置信息作为内容配置信息，该内容配置信息作为要再现的VR内容的源。

<3.3.2.空间交互>

(1)第一空间交互

第一空间交互是用户与布置在虚拟空间中的捕获图像中的跟踪器14之间的交互。以上已经参照图18描述了交互。具体地，在用户操作的操作器41与布置在虚拟空间中的捕获图像中的跟踪器14碰撞时，再现装置20使控制器22输出与该碰撞相对应的触觉反馈。将参照图22描述与该交互相关的处理的流程。

图22是示出由根据实施方式的再现装置执行的第一空间交互过程的流程的示例的流程图。如图22所示，接收单元210首先接收内容配置信息(步骤S602)。随后，内容配置信息分析单元220从内容配置信息中提取VR图像信息和空间交互配置信息(步骤S604)。随后，定时同步单元230建立捕获图像与跟踪器14的三维位置信息之间的定时同步，并且坐标转换单元240建立捕获图像与跟踪器14的三维位置信息之间的坐标系同步(步骤S606)。随后，输出控制单元260将捕获图像布置在虚拟空间中(步骤S608)。

接下来，虚拟对象控制单元250将物理系数和碰撞体与布置在虚拟空间中的捕获图像中的跟踪器14相关联(步骤S610)。随后，虚拟对象控制单元250基于控制器22的位置和姿态来控制操作器41在虚拟空间中的位置和姿态(步骤S612)。随后，虚拟对象控制单元250确定操作器41与布置在虚拟空间中的捕获图像中的跟踪器14之间的碰撞或非碰撞(步骤S614)。具体地，虚拟对象控制单元250确定与操作器41相关联的碰撞体和布置在虚拟空间中的捕获图像中的跟踪器14相关联的碰撞体之间的碰撞或非碰撞。当确定没有发生碰撞时(步骤S616/否)，处理返回至步骤S602。当确定发生碰撞时(步骤S616/是)，输出控制单元260根据碰撞输出反馈(步骤S618)。具体地，输出控制单元260基于与跟踪器14相关联的物理系数和反馈设置信息来控制向用户输出视觉/触觉/听觉/嗅觉反馈。此后，处理返回至步骤S602。

(2)第二空间交互

第二空间交互是用户与真实对象之间的交互，该真实对象与布置在虚拟空间中的捕获图像中的跟踪器14相关联。将参照图23详细描述该交互。

图23是示出根据实施方式的第二空间交互的示例的图。在图23所示的VR内容40A中，将包括在图2所示的舞台16上佩戴跟踪器14的演出者18的捕获图像布置在虚拟空间中，并且三维位置信息与捕获图像中的跟踪器14相关联。输出控制单元260基于跟踪器14的三维位置信息将作为虚拟对象的礼盒(giftbox)47布置成在与跟踪器14的三维位置相对应的真实对象的三维位置处交叠。例如，在图23所示的示例中，输出控制单元260在佩戴跟踪器14的执行者的手掌的位置处布置礼盒47。因此，虚拟物控制单元250首先确定将与跟踪器14相对应的真实对象的三维位置信息作为预定偏移信息添加至跟踪器14的三维位置信息。例如，输出控制单元260使用作为跟踪器14的佩戴位置的手腕的位置和姿态与相对于手腕的手掌的位置和姿态之间的差作为位置偏移信息。然后，虚拟对象控制单元250将碰撞体与和跟踪器14相对应的真实对象的三维位置相关联。因此，可以将虚拟对象布置在佩戴跟踪器14的一方的手掌上并且确定碰撞。即使当演出者18移动并且跟踪器14因此移动时，礼盒47也可以伴随跟踪器14的移动。用户可以通过控制器22与操作器41一起在礼盒47的位置处执行接收操作。当执行接收操作时，礼盒47成为操作器41的子对象，并且操作器41成为球43的父对象。因此，如VR内容40B中所示，礼盒47与操作器41伴随移动。这样，实现了用户与布置在虚拟空间中的捕获图像中的演出者18之间的礼盒47的交换交互。将参照图24描述与该交互相关的处理的流程。

图24是示出由根据第二实施方式的再现装置20执行的第二空间交互过程的流程的示例的流程图。图24所示的步骤S702至步骤S708的处理与图22所示的步骤S602至步骤S608的处理类似。此后，虚拟对象控制单元250使用如上所述的位置偏移信息将物理系数和碰撞体与和跟踪器14相对应的真实对象(例如，手掌)的三维位置相关联(步骤S710)。随后，输出控制单元260将礼盒47布置在真实对象的三维位置处，该真实对象与布置在虚拟空间中的捕获图像中的跟踪器14相对应(步骤S712)。随后，虚拟对象控制单元250基于控制器22的位置和姿态来控制操作器41在虚拟空间中的位置和姿态(步骤S714)。

此后，虚拟对象控制单元250确定操作器41与和跟踪器14相对应的真实对象之间的碰撞或非碰撞以及接收操作的存在或不存在(步骤S716)。具体地，虚拟对象控制单元250确定和真实对象(例如，手掌)相关联的碰撞体与和操作器41相关联的碰撞体之间的碰撞或者非碰撞，并且确定是否输入了接收操作，该真实对象与布置在虚拟空间中的捕获图像中的跟踪器14相对应。当确定没有发生碰撞并且确定没有执行接收操作时(步骤S718/否)，处理返回至步骤S702。当确定发生碰撞并且确定执行接收操作时(步骤S718/是)，输出控制单元260将礼盒47设置为操作器41的子对象，并且显示礼盒47与操作器41伴随移动的方面(步骤S720)。此时，输出控制单元260可以基于与跟踪器14相关联的物理系数和反馈设置信息来控制向用户输出视觉/触觉/听觉/嗅觉反馈。此后，处理返回至步骤S702。

<<4.补充>>

(1)记录侧

当第一传感器装置11或第二传感器装置12的感测失败或感测停止时，记录装置10可以使用紧接的前一感测结果对感测结果进行预测或对感测结果进行插值。记录装置10可以通过组合深度传感器102和跟踪器传感器103来生成内容配置信息。即，可以组合第一实施方式和第二实施方式。例如，由记录装置10生成的内容配置信息可以包括表面模型数据和跟踪器的三维位置信息两者。

(2)再现侧

再现装置20可以根据用户调整操作器41的操作量。例如，再现装置20根据用户的手的长度来调整控制器22在真实空间中的位置的改变量与操作器41在虚拟空间中的位置的改变量之间的关系。具体地，对于手较短的用户，再现装置20通过控制器22的轻微移动来使操作器41大幅移动。另外，再现装置20可以自发地使操作器41接近操作目标。

(3)偏移处理

如在前述第二实施方式中描述的，当与跟踪器14相对应的真实对象是空间交互目标时，使用位置偏移信息来获取与跟踪器14相对应的真实对象的3维位置信息。该处理也称为偏移处理。

可以通过记录装置10侧来获取或者可以通过再现装置20侧来获取用于偏移处理并且指示跟踪器14的位置和姿态与和跟踪器14相对应的真实对象之间的关系的位置偏移信息。当通过记录装置10侧获取位置偏移信息时，内容配置信息生成单元150可以包括通过跟踪器位置获取单元170获取的跟踪器14的位置偏移信息和三维位置信息并将这些信息记录在内容配置信息中。即，内容配置信息包括跟踪器14的位置偏移信息和三维位置信息。再现装置20基于包括在接收的内容配置信息中的跟踪器14的位置偏移信息和三维位置信息获取与跟踪器14相对应的真实对象的三维位置信息。

在第二实施方式中，已经描述了记录装置10不执行偏移处理并且再现装置20执行偏移处理的示例。然而，本技术不限于该示例。例如，记录装置10可以执行偏移处理并且再现装置20不执行偏移处理。在这种情况下，内容配置信息生成单元150通过将位置偏移信息添加到通过跟踪器位置获取单元170获取的跟踪器14的三维位置信息来获取与跟踪器14相对应的真实对象的三维位置信息。内容配置信息生成单元150包括该三维位置信息并将其记录在内容配置信息中。即，内容配置信息包括与跟踪器14相对应的真实对象的三维位置信息。再现装置20基于接收的内容配置信息将碰撞体与和跟踪器14相对应的真实对象的三维位置相关联。

<<5.硬件配置示例>>

最后，将参照图25描述根据实施方式的信息处理装置的硬件配置。图25是示出根据实施方式的信息处理装置的硬件配置的示例的框图。图25所示的信息处理装置900可以实现例如图4、图7和图19所示的记录装置10或再现装置20。通过下面将描述的软件和硬件的协作来实现根据实施方式的记录装置10或再现装置20的信息处理。

如图25所示，信息处理装置900包括：中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903、以及主机总线904a。信息处理装置900包括：桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911、以及通信装置913。代替CPU 901或除了CPU 901之外，信息处理装置900可以包括诸如电子电路、DSP或ASIC的处理电路。

CPU 901用作算术处理装置和控制装置，并且根据各种程序控制信息处理装置900中的一般操作。CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、算术参数等。RAM 903临时存储在CPU 901的执行中使用的程序和在执行中适当改变的参数等。CPU 901可以用作例如图4或图19所示的图像获取单元110、流处理单元120、深度信息获取单元130、表面模型获取单元140、内容配置信息生成单元150以及跟踪器位置获取单元170。CPU 901可以用作例如图7所示的内容配置信息分析单元220、定时同步单元230、坐标转换单元240、虚拟对象控制单元250、输出控制单元260以及选择单元270。

CPU 901、ROM 902和RAM 903通过包括CPU总线的主机总线904a相互连接。主机总线904a经由桥接器904连接至诸如外围部件互连/接口(PCI)总线的外部总线904b。主机总线904a、桥接器904和外部总线904b不必相互分离，并且这些功能可以安装在一条总线上。

输入装置906例如由诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆的装置实现，用户向该装置输入信息。输入装置906可以是例如使用红外光或其它无线电波的遥控装置，或者可以是与信息处理装置900的操作相对应的诸如移动电话或PDA的外部连接装置。此外，输入装置906可以包括例如基于由用户使用输入装置输入的信息来生成输入信号并且将输入信号输出至CPU 901的输入控制电路。信息处理装置900的用户可以操作输入装置906以将各种数据输入至信息处理装置900或给出处理操作指令。

输出装置907由能够视觉或听觉地通知用户所获取的信息的装置形成。作为这种装置，存在诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、激光投影仪、LED投影仪以及灯的显示装置，诸如扬声器和耳机的声音输出装置，或打印机装置。输出装置907输出例如通过由信息处理装置900执行的各种处理而获得的结果。具体地，显示装置以诸如文本、图像、表格和图形的各种形式可视地显示通过由信息处理装置900执行的各种处理而获得的结果。另一方面，声音输出装置将由再现的声音数据或声学数据形成的音频信号转换为模拟信号，并且可听地输出该模拟信号。

存储装置908是形成为信息处理装置900的存储单元的示例的数据存储装置。存储装置908例如通过诸如HDD的磁存储装置、半导体存储装置、光学存储装置或磁光存储装置来实现。存储装置908可以包括存储介质、将数据记录在存储介质中的记录装置、从存储装置中读取数据的读取装置以及删除记录在存储介质上的数据的删除装置。存储装置908存储通过CPU 901执行的各种数据和程序以及从外部获取的各种数据段。

驱动器909是存储介质读取器或写入器，并且被嵌入或外部附接至信息处理装置900。驱动器909读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的安装的可移动存储介质上的信息，并且将该信息输出至RAM903。驱动器909可以在可移动存储介质上写入信息。

连接端口911是连接至外部装置的接口，并且是例如到能够通过通用串行总线(USB)传输数据的外部装置的连接端口。

通信装置913例如是由通信装置等形成的通信接口，并且连接至网络920。通信装置913例如是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡。通信装置913可以是用于光学通信的路由器、用于非对称数字用户线(ADSL)的路由器或用于各种通信的调制解调器。例如，通信装置913可以按照诸如TCP/IP的预定协议向因特网或另一通信装置传输信号等以及从因特网或另一通信装置接收信号等。通信装置913可以用作例如图4或图19所示的传输单元160。通信装置913可以用作例如图7所示的接收单元210。

网络920是用于从连接至网络920的装置传输的信息的有线或无线传输路径。例如，网络920可以包括：诸如因特网的公共线路网络、电话线路网络、或卫星通信网络、包括以太网(注册商标)的各种局域网(LAN)、以及广域网(WAN)。网络920可以包括诸如因特网协议-虚拟专用网络(IP-VPN)的专用线路网络。

以上已经描述了能够实现根据实施方式的信息处理装置900的功能的硬件配置的示例。组成元件可以使用通用部件来实现，或者可以通过专用于每个组成元件的功能的硬件来实现。因此，可以根据实施方式被执行时的技术水平适当地改变要被使用的硬件配置。

可以在PC等上产生和安装用于实现根据上述实施方式的信息处理装置900的每个功能的计算机程序。还可以提供一种其中存储有计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘或闪存。在不使用记录介质的情况下，可以经由例如网络来传送计算机程序。

<<6.结论>>

以上已经参照图1至图25详细描述了本公开内容的实施方式。如上所述，根据实施方式的记录装置10获取包括真实对象的捕获图像和该真实对象的三维位置信息。记录装置10生成内容配置信息，该内容配置信息包括捕获图像、真实对象的三维位置信息、以及虚拟空间关联信息，该虚拟空间关联信息是用于交互的信息，其中涉及在虚拟空间中显示的捕获图像中的真实对象，并且虚拟空间关联信息用于将捕获图像中的真实对象与真实对象的三维位置信息相关联。因此，再现装置20可以在将捕获图像布置在虚拟空间中的同时将三维位置信息与捕获图像中的真实对象相关联。再现装置20可以通过参照三维位置信息来实现在虚拟空间中显示的捕获图像中的真实对象与其它虚拟对象之间的空间交互。具体地，再现装置20可以基于在虚拟空间中显示的捕获图像中的真实对象的三维位置信息和其他虚拟对象的三维位置信息来检测碰撞，并且根据碰撞输出反馈。这样，可以更适当地实现摄影VR内容中的空间交互。

以上已经参照附图详细地描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于该示例。对于本公开内容的技术领域的技术人员而言显而易见的是，在权利要求中描述的技术精神和本质的范围内可以进行各种改变或修正，并且这些改变和修正当然被解释为属于本公开内容的技术范围。

在本说明书中参照流程图和顺序图描述的处理可以不必以图中示出的顺序执行。可以并行执行若干处理步骤。可以采用附加的处理步骤或者可以省略一些处理步骤。

本说明书中描述的有益效果仅仅是说明性的或示例性的，而不是限制性的。即，在根据本公开内容的技术中，除了前述有益效果或代替前述有益效果，从本说明书的描述中可以获得对本领域技术人员而言显而易见的其它有益效果。

以下配置属于本公开内容的技术范围。

(1)

一种信息处理装置，包括：

获取单元，被配置成获取包括被摄体的捕获图像和指示所述被摄体的三维位置的被摄体三维位置信息；以及

内容配置信息生成单元，被配置成生成包括所述捕获图像、所述被摄体三维位置信息、以及虚拟空间关联信息的内容配置信息，所述虚拟空间关联信息是用于交互的信息，在所述交互中涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联。

(2)

根据(1)所述的信息处理装置，其中，所述虚拟空间关联信息包括用于将所述捕获图像与所述被摄体三维位置信息相关联的标识信息。

(3)

根据(1)或(2)所述的信息处理装置，其中，所述虚拟空间关联信息包括关于捕获所述捕获图像的成像装置的坐标系和检测所述被摄体三维位置信息的传感器的坐标系的信息。

(4)

根据(1)至(3)中任一项所述的信息处理装置，其中，所述虚拟空间关联信息包括与所述捕获图像的成像时刻相对应的信息和与所述被摄体三维位置信息的检测时刻相对应的信息。

(5)

根据(1)至(4)中任一项所述的信息处理装置，其中，所述内容配置信息还包括反馈设置信息，所述反馈设置信息用于设置在执行交互时的反馈内容，在所述交互中涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体。

(6)

根据(5)所述的信息处理装置，其中，所述反馈设置信息包括用于设置视觉地、触觉地、听觉地或嗅觉地反馈的内容的信息。

(7)

根据(5)或(6)所述的信息处理装置，其中，所述反馈设置信息包括用于设置在所述虚拟空间中的视点移动时反馈的内容的信息。

(8)

根据(1)至(7)中任一项所述的信息处理装置，其中，所述内容配置信息包括指示所述被摄体的物理系数的信息。

(9)

根据(1)至(8)中任一项所述的信息处理装置，其中，所述被摄体三维位置信息是所述被摄体的表面上的多个点的三维位置信息。

(10)

根据(9)所述的信息处理装置，其中，所述被摄体三维位置信息是所述被摄体在表面上满足预定条件的多个点的三维位置信息。

(11)

根据(9)或(10)中所述的信息处理装置，其中，所述被摄体三维位置信息是与所述内容配置信息的传输速度相对应的数目的点的三维位置信息。

(12)

根据(1)至(11)中任一项所述的信息处理装置，其中，所述被摄体三维位置信息是跟踪目标的一个点的三维位置信息。

(13)

一种信息处理装置，包括：

获取单元，被配置成获取内容配置信息，所述内容配置信息包括包含被摄体的捕获图像、指示所述被摄体的三维位置的被摄体三维位置信息、以及虚拟空间关联信息，所述虚拟空间关联信息是用于交互的信息，在所述交互中涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联；以及

输出控制单元，被配置成基于所述内容配置信息在所述虚拟空间中显示所述捕获图像，并且控制与交互相对应的反馈输出，其中涉及在所述虚拟空间中显示的所述捕获图像中的被摄体。

(14)

根据(13)所述的信息处理装置，其中，所述虚拟空间关联信息包括用于将所述捕获图像与所述被摄体三维位置信息相关联的标识信息。

(15)

根据(13)或(14)所述的信息处理装置，其中，所述虚拟空间关联信息包括关于捕获所述捕获图像的成像装置的坐标系和检测所述被摄体三维位置信息的传感器的坐标系的信息。

(16)

根据(13)至(15)中任一项所述的信息处理装置，其中，所述虚拟空间关联信息包括与所述捕获图像的成像时刻相对应的信息和与所述被摄体三维位置信息的检测时刻相对应的信息。

(17)

根据(13)至(16)中任一项所述的信息处理装置，其中，所述内容配置信息还包括反馈设置信息，所述反馈设置信息用于设置在执行交互时的反馈内容，在所述交互中涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体。

(18)

根据(13)至(17)中任一项所述的信息处理装置，其中，所述内容配置信息包括指示所述被摄体的物理系数的信息。

(19)

根据(13)至(18)中任一项所述的信息处理装置，还包括坐标转换单元，被配置成将坐标转换处理应用于所述被摄体三维位置信息，所述坐标转换处理用于校正捕获所述捕获图像的成像装置的坐标系与检测所述被摄体三维位置信息的传感器的坐标系之间的偏差。

(20)

根据(13)至(19)中任一项所述的信息处理装置，还包括定时同步单元，被配置成在所述捕获图像与所述被摄体三维位置信息之间建立定时同步。

(21)

根据(13)至(20)中任一项所述的信息处理装置，其中，所述输出控制单元控制与在所述虚拟空间中显示的所述捕获图像中的所述被摄体和其它虚拟对象之间的碰撞相对应的反馈输出。

(22)

根据(21)所述的信息处理装置，其中，当在所述虚拟空间中显示的所述捕获图像中的所述被摄体与指示用户在所述虚拟空间中的操作位置的虚拟对象碰撞时，所述输出控制单元控制指示碰撞的触觉反馈输出。

(23)

根据(21)或(22)所述的信息处理装置，还包括碰撞检测单元，被配置成基于所述被摄体三维位置信息和所述其它虚拟对象的三维位置信息，检测在所述虚拟空间中显示的所述捕获图像中的所述被摄体与所述其它虚拟对象之间的碰撞。

(24)

根据(13)至(23)中任一项所述的信息处理装置，其中，所述输出控制单元基于所述被摄体三维位置信息，在所述虚拟空间中显示的所述捕获图像中的所述被摄体上交叠虚拟对象。

(25)

根据(24)所述的信息处理装置，其中，所述输出控制单元基于所述被摄体三维位置信息的精度来控制与所述被摄体交叠的所述虚拟对象的大小和/或可见度。

(26)

根据(13)至(25)中任一项所述的信息处理装置，还包括选择单元，被配置成选择与用户在所述虚拟空间中的位置相对应的所述内容配置信息作为要由所述获取单元获取的所述内容配置信息。

(27)

根据(26)所述的信息处理装置，其中，所述选择单元使用所述用户在所述虚拟空间中的位置到达预定位置作为触发来切换所选择的所述内容配置信息。

(28)

根据(27)所述的信息处理装置，其中，所述预定位置是所述虚拟空间中的与捕获作为切换目的地的所述内容配置信息的源的所述捕获图像的成像装置的位置相对应的位置。

(29)

根据(27)所述的信息处理装置，其中，所述预定位置与所述虚拟空间中显示的所述捕获图像中的预定真实对象之间的距离和所述预定真实对象与所述虚拟空间中的如下位置之间的距离相同：所述位置与捕获作为切换目的地的所述内容配置信息的源的所述捕获图像的成像装置的位置相对应。

(30)

根据(27)至(29)中任一项所述的信息处理装置，其中，所述输出控制单元将所述捕获图像布置在所述虚拟空间中，使得在由所述选择单元进行切换之后，在所述虚拟空间中显示的所述捕获图像中的预定真实对象与所述用户的视线碰撞。

(31)

根据(27)或(30)所述的信息处理装置，其中，当所述虚拟空间中的所述用户的视线与预定虚拟对象碰撞时，所述输出控制单元移动所述用户的位置。

(32)

一种由处理器执行的信息处理方法，所述方法包括：

获取包括被摄体的捕获图像和指示所述被摄体的三维位置的被摄体三维位置信息；以及

生成包括所述捕获图像、所述被摄体三维位置信息、以及虚拟空间关联信息的内容配置信息，所述虚拟空间关联信息是用于交互的信息，其中涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联。

(33)

一种由处理器执行的信息处理方法，所述方法包括：

获取内容配置信息，所述内容配置信息包括包含被摄体的捕获图像、指示所述被摄体的三维位置的被摄体三维位置信息、以及虚拟空间关联信息，所述虚拟空间关联信息是用于交互的信息，在所述交互中涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联；以及

基于所述内容配置信息在所述虚拟空间中显示所述捕获图像，并且控制与交互相对应的反馈输出，其中涉及在所述虚拟空间中显示的所述捕获图像中的被摄体。

(34)

一种程序，所述程序使计算机用作以下单元：

获取单元，被配置成获取包括被摄体的捕获图像和指示所述被摄体的三维位置的被摄体三维位置信息；以及

内容配置信息生成单元，被配置成生成包括所述捕获图像、所述被摄体三维位置信息、以及虚拟空间关联信息的内容配置信息，所述虚拟空间关联信息是用于交互的信息，在所述交互中涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联。

(35)

一种程序，所述程序使计算机用作以下单元：

获取单元，被配置成获取内容配置信息，所述内容配置信息包括包含被摄体的捕获图像、指示所述被摄体的三维位置的被摄体三维位置信息、以及虚拟空间关联信息，所述虚拟空间关联信息是用于交互的信息，在所述交互中涉及在所述虚拟空间中显示的所述捕获图像中的所述被摄体，并且所述虚拟空间关联信息用于将所述捕获图像中的所述被摄体与所述被摄体三维位置信息相关联；以及

输出控制单元，被配置成基于所述内容配置信息在所述虚拟空间中显示所述捕获图像，并且控制与交互相对应的反馈输出，其中涉及在所述虚拟空间中显示的所述捕获图像中的被摄体。

附图标记列表

1 内容递送系统

10 记录装置

110 图像获取单元

120 流处理单元

130 深度信息获取单元

140 表面模型获取单元

150 内容配置信息生成单元

160 传输单元

170 跟踪器位置获取单元

11 第一传感器装置

12 第二传感器装置

13 第三传感器装置

101 VR相机

102 深度传感器

103 跟踪器传感器

14 跟踪器

15 监视器

16 舞台

17 观众席

18 演出者

19 视点切换位置

20 再现装置

210 接收单元

220 内容配置信息分析单元

230 定时同步单元

240 坐标转换单元

250 虚拟对象控制单元

260 输出控制单元

270 选择单元

22 控制器

201 显示单元

202 位置和姿态检测单元

203 声音输出单元

204 声音输入单元

205 位置和姿态检测单元

206 振动输出单元