具体实施方式

(第1实施例)

下面参照附图对本发明披露的第1实施例进行说明。图1表示本实施例涉及的VR直播发布系统的概略图。图2表示本实施例中发布服务器构成的概略块状图框图。图3表示本实施例中数据服务器构成的概略块状图框图。图4表示本实施例中发布者终端构成的概略块状图框图。图5表示本实施例中观众终端构成的概略块状图框图。

(VR直播发布系统)

如图1所示，本实施例涉及的VR直播发布系统100，具备发布服务器1、数据服务器2、发布者终端3、观众终端4、以及互联网等网络5。发布服务器1通过网络5，可实现与发布者终端3以及观众终端4的通信。并且，发布者终端3通过网络5，不仅可以与发布服务器1、也与数据服务器2实现通信。

多台发布者终端3及观众终端4可与网络5连接，但是在本实施例中，为了方便说明，仅对1台发布者终端3连接到网络5的示例进行说明。

如图2所示，发布服务器1具备存储部10、控制部11、以及通信部12。存储部10，例如，由HDD(Hard Disk Drive)等构成。存储部10存储本发明涉及的发布服务器1的程序。并且，存储部10具备VR影像数据存储区10A、VR原始照片数据存储区10B、以及评论数据存储区10C。

VR影像数据存储区10A，存储从包括发布者终端3发送的虚拟形象的三维三维计算机绘制(以下也称为3DCG。)影像在内的VR影像中捕捉到的影像数据。VR原始照片数据存储区10B，存储发布者终端3发送的VR原始照片的数据。作为评论存储部的评论数据存储区10C，存储观众终端4发送的评论的数据。VR影像、捕捉到的VR影像、VR原始照片、以及评论的详细内容后续说明。

控制部11由CPU等构成，控制发布服务器1的全部动作。将上述各种数据存储于存储部10的动作，也由控制部11控制。并且，控制部11，具备影像数据发布部的VR影像数据发布部11A、VR原始照片数据发布部11B、以及作为影像数据发布部的评论数据发布部11C的功能。

VR影像数据发布部11A，通过通信部12，将从存储部10的VR影像数据存储区10A存储的VR影像中捕捉到的影像的数据，传输至发布者终端3及观众终端4。

VR原始照片数据发布部11B，通过通信部12，将存储部10中VR原始照片数据存储区10B存储的VR原始照片的数据，传输至发布者终端3及观众终端4。

评论数据发布部11C，通过通信部12，将存储部10中评论数据存储区10C存储的评论的数据，传输至发布者终端3。

通信部12是对使用网络5的数据进行通信的接口。作为一个例子，本实施例中，网络5使用的是互联网，通信部12，是通过互联网进行数据通信的接口。发布服务器1，通过网络5，可以与发布者终端3及观众终端4实现通信。

(数据服务器)

如图3所示，数据服务器2具备存储部20、控制部21，以及通信部22。存储部20，例如，由HDD(Hard Disk Drive)等构成。存储部20存储数据服务器2的程序。并且，存储部20具备虚拟形象数据存储区20A、以及3D空间数据存储区20B。

虚拟形象数据存储区20A，存储发布者终端3或观众终端4、或除发布者终端3及观众终端4以外的用户终端(无图示)发送的虚拟人物的虚拟形象的数据。3D空间数据存储区20B，存储发布者终端3或观众终端4、或除发布者终端3及观众终端4以外的用户终端发送的3D空间数据。虚拟形象的数据，以及3D空间数据的详细内容后续说明。

控制部21由CPU等构成，控制数据服务器2的全部动作。将上述各种数据存储于存储部10的动作也由控制部21控制。并且，控制部21，具备数据发布部21A的功能。

数据发布部21A，通过通信部22，将存储部20中的虚拟形象数据存储区20A存储的虚拟人物的虚拟形象数据，以及存储部20中的3D空间数据存储区20B存储的3D空间数据传输至发布者终端3。

通信部22是对使用网络5的数据进行通信的接口。作为一个例子，本实施例中，网络5使用的是互联网，通信部22，是通过互联网进行数据通信的接口。数据服务器2，通过网络5，可以与发布者终端3或观众终端4、或除发布者终端3及观众终端4以外的用户终端实现通信。

(发布者终端)

如图4所示，发布者终端3具备存储部30、控制部31、捕捉部32、显示部33、输入部34以及通信部35。存储部30，例如，由HDD(Hard Disk Drive)等构成。存储部30存储发布者终端3的程序。并且，存储部30具备虚拟形象数据存储区30A、3D空间数据存储区30B、评论数据存储区30C、以及VR原始照片数据存储区30D。作为发布者终端3的一个示例，可以列举个人计算机、或头戴显示器等装备的例子。

虚拟形象数据存储区30A，存储发布者终端3的用户(以下也称为发布者)从数据服务器2取得的虚拟人物的虚拟形象的数据。3D空间数据存储区30B，存储发布者从数据服务器2取得的3D空间数据。评论数据存储区30C，存储发布服务器1传输的评论数据。VR原始照片数据存储区30D，存储发布服务器1传输的VR原始照片数据。

控制部31由CPU等构成，控制发布者终端3的全部动作。将上述各种数据存储于存储部30的动作也由控制部31控制。并且，控制部31，具备动作数据生成部31A、渲染部31B、VR影像显示控制部31C、发布影像显示控制部31D、以及VR原始照片生成部31E的功能。

动作数据生成部31A，通过发布者手部及手指等配戴的控制器(无图示。以下，与此相同。)以及发布者头部配戴的VR用头戴式耳麦(无图示。以下，与此相同。)，进行动作捕捉，测量发布者身体各部位的坐标，并生成将发布者的身体动作显示为三维三维时间数列数据的动作数据。

渲染部31B将虚拟形象数据存储区30A存储的虚拟形象的数据与动作数据生成部31A生成的动作数据联动渲染。

VR影像显示控制部31C，使用3D空间数据存储区30B中存储的3D空间数据、评论数据存储区30C中存储的评论数据、以及渲染后的虚拟形象数据，对3D空间内存在的虚拟形象的3DCG VR影像的显示进行控制。VR影像显示在显示部33及显示部33连接的VR用头戴式耳麦上。

并且，VR影像显示控制部31C，基于发布服务器1传输的、VR原始照片数据存储区30D中存储的VR原始照片数据，将VR影像显示在显示部33以及与显示部33连接的VR用头戴式耳麦上。

发布影像显示控制部31D，将发布服务器1传输的、从VR影像中捕捉后的影像，显示在显示部33以及与显示部33连接的VR用头戴式耳麦上。

按下或点击作为摄影指示输入部的输入部34或与输入部34连接的控制器(无图示)上的快门键时，VR原始照片生成部31E，基于显示的3D空间、虚拟形象、以及评论的VR影像的数据，生成VR原始照片数据。并且，在按下或点击观众终端4上的快门键时，VR原始照片生成部31E，生成VR原始照片数据。

捕捉部32，将显示在显示部33及与显示部33连接的VR用头戴式耳麦上的VR影像，作为影像数据进行捕捉，通过通信部35，发送至发布服务器1。

显示部33，具备显示器及显示回路，显示部33可连接VR用头戴式耳麦。

输入部34，具备键盘、以及鼠标等定位装备、以及数据输入用的界面，输入部34连接捕捉动作用的控制器。

通信部35是使用网络5的数据通信接口。作为本实施例的一个示例，网络5使用互联网，通信部35，是通过互联网实施数据通信的接口。发布者终端3，通过网络5，可以与发布服务器1及数据服务器2实现通信。

(观众终端)

如图5所示，观众终端4具备存储部40、控制部41、显示部42、输入部43及通信部44。作为观众终端4的一个示例，列举个人计算机等装备。

存储部40，例如，由HDD(Hard Disk Drive)等构成。存储部40，存储观众终端4的程序。并且，存储部40，具备VR原始照片数据存储区40A。VR原始照片数据存储区40A，存储发布服务器1传输的VR原始照片数据。

控制部41由CPU等构成，控制观众终端4的全部动作。将上述VR原始照片数据存储于存储部40的动作也由控制部41控制。并且，控制部41，具备VR影像显示控制部41A、发布影像显示控制部41B、以及评论数据控制部41C的功能。

VR影像显示控制部41A，基于VR原始照片数据存储区40A存储的VR原始照片数据，对将VR原始照片的影像显示在显示部33的动作实施控制。

发布影像显示控制部41B，将在发布者终端3捕捉到的、传输至发布服务器1、并再次加入发布服务器1传输的评论后的3D空间内存在的虚拟形象的VR影像，显示在显示部42上。

评论数据控制部41C，通过通信部44，将作为观众的观众终端4的用户通过输入部43输入的评论的数据，发送至发布服务器1。

显示部42，具备显示器及显示回路，显示包括3D空间及评论在内的虚拟形象的VR影像、以及，VR原始照片的影像。

输入部43，具备键盘、以及鼠标等指示装备、以及数据输入用的界面。

通信部44是使用网络5的数据通信接口。作为一个例子，本实施例的网络5使用互联网，通信部44，是通过互联网实施数据通信的接口。观众终端4，通过网络5，可以与发布服务器1实现通信。

(VR影像传输)

(1)数据的选择

接下来，对本实施例涉及的VR影像传输进行说明。传输VR影像时，首先，发布者使用发布者终端3访问虚拟形象用平台，选择虚拟人物的虚拟形象以及获取虚拟形象的数据。

虚拟形象用平台，可通过网络浏览器访问。虚拟形象的制作人，通过使用与发布者终端3及观众终端4相同的终端设备访问浏览器，将制作完成的虚拟形象数据上传至数据服务器2。

虚拟形象的数据，包括Polygon多边形数据、以及制作虚拟人物外表面的纹理数据及骨架数据。所述数据，按照VRM等规定的文件格式，保存在数据服务器2的存储部20中的虚拟形象数据存储区20A。

上传的虚拟形象的数据，在虚拟形象用平台上，以图标或特色图像的形式一览显示。发布者终端3的用户，通过网页浏览器访问虚拟形象用平台，从一览显示的图标或特色图像中选取中意的虚拟形象，可以将虚拟形象的数据下载至发布者终端3。

此时，发布者终端3的控制部31，将下载的虚拟形象数据存储到存储部30的虚拟形象数据存储区30A。

在虚拟形象用平台，不仅可以选取虚拟形象的数据，还可以选取显示虚拟人物的虚拟形象所在的房间等3D空间的数据，以及放置在房间等内的花等装饰物的数据。

所述数据以VRM等规定的文件格式保存在数据服务器2的存储部20中的虚拟形象数据存储区20A。

发布者可以通过网页浏览器访问虚拟形象用平台，从一览显示的图标或特色图像中，选择中意的3D空间的数据或装饰物的数据，将所述数据下载到发布者终端3。此时，发布者终端3的控制部31，将下载的数据，存储至存储部30的空间数据存储区30B。

(2)VR影像传输

为了进行VR影像传输，发布者事先将VR用录像应用程序，以及对VR用录像应用程序生成的录像内容进行捕捉并投放的编码应用程序，下载并安装至发布者终端3。

VR用录像应用程序，为制作VR空间录像的应用程序，编码应用程序，为对VR用录像应用程序制作的录像内容进行捕捉并投放至传输平台的编码的应用程序。

发布者进行VR影像传输时，启动VR用录像应用程序。此时，发布者终端3连接VR用头戴式耳麦及控制器。

发布者事先选取已下载的虚拟形象的数据，并且，选择3D空间数据、以及根据需要选择装饰品的数据。

进行所述数据选取后，发布者终端3的渲染部31B，对虚拟形象数据存储区30A存储的虚拟形象数据、动作数据生成部31A生成的动作数据联动渲染处理。并且，发布者终端3的VR影像显示控制部31C，使用空间数据存储区30B存储的空间数据以及渲染后的虚拟形象数据，对显示3D空间内存在的虚拟形象的VR影像进行控制。VR影像显示在显示部33以及与显示部33连接的VR用头戴式耳麦上。

虚拟形象的动作反映出发布者头部配戴的VR用头戴式耳麦以及发布者两手操作的控制器的位置。并且，控制器上配备触控板时，通过操作触控板，可变更虚拟形象的表情。

VR用头戴式耳麦及控制器的动作，通过发布者终端3的动作数据生成部31A生成动作数据。针对装备了VR用头戴式耳麦及控制器的用户的每个动作，所分别存储的数据为动作数据，具体来说，是显示构成骨架数据的关节位置、以及与关节连接的骨架的位置其时间序列变化的数据。

因此，通过将动作数据适用于虚拟形象的数据，可对应发布者的动作，使虚拟形象做出走路、跑步、挥手、踏步等各种各样的动作。

发布者终端3的渲染部31B，对虚拟形象的数据及所述动作数据进行联动渲染处理，发布者终端3的VR影像显示控制部31C，使用渲染后的虚拟形象数据，显示3D空间内的虚拟形象的VR影像。

接下来，发布者按下VR用录像应用程序中的传输键，通过发布者终端3的捕捉部32，捕捉所述VR空间内显示的虚拟形象、3D空间以及装饰品的影像。捕捉部32，通过编码应用程序进行所述的捕捉动作。捕捉到的虚拟形象等的影像，通过发布者终端3的发布影像显示控制部31D，由发布者终端3传输至发布服务器1。通过发布者终端3访问传输平台，发布影像显示控制部31D进行所述控制动作。也可以通过网页浏览器访问传输平台。

发布服务器1的VR影像数据发布部11A，将发布者终端3传输的虚拟形象等的影像，传输至观众终端4。观众终端4的发布影像显示控制部41B，将发布服务器1传输的虚拟形象等的影像显示在显示部42上。如上所述，观众可以观看与发布者终端3的用户动作对应的虚拟形象等的影像。

并且，观众在观看虚拟形象等影像的同时，通过观众终端4的输入部43，可以输入评论。输入的评论，通过通信部44，由观众终端4的评论数据控制部41C，发送至发布服务器1。

发布服务器1的评论数据发布部11C，将从观众终端4接收的评论数据存储在存储部10的评论数据存储区10C，并进一步传输至发布者终端3。

发布者终端3的控制部31，将从发布服务器1接收的评论数据存储在存储部30的评论数据存储区30C，发布者终端3的VR影像显示控制部，例如，基于评论数据，将物体化的评论移动式的显示在VR空间内。

VR空间内显示的虚拟形象、3D空间、装饰物以及评论的影像，由发布者终端3的捕捉部32进行捕捉。捕捉的包括评论在内的虚拟形象等的影像，通过发布者终端3的发布影像显示控制部31D，由发布者终端3传输至发布服务器1。

发布服务器1的VR影像数据发布部11A，将从发布者终端3传输的包括评论在内的虚拟形象等的影像传输至观众终端4。观众终端4的发布影像显示控制部41B，将发布服务器1传输的包括评论在内的虚拟形象等的影像显示在显示部42上。如上所述，观众在观看与发布者终端3的用户动作对应的虚拟形象等的影像时，可同时观看观众输入的物体化后的评论。

(VR原始照片生成)

接下来，对本实施例涉及的VR原始照片的生成进行说明。本实施例中，可在虚拟形象等的VR影像传输中，生成VR原始照片。VR原始照片并非是从捕捉到的VR影像中截取1帧，而是截取按下快门键的瞬间，3D空间存在的所有物体的表面的坐标数据及纹理(包括颜色)数据，生成如3D立体模型感觉的3D空间全景的VR原始照片。也就是说，生成VR原始照片时，对虚拟形象及除此之外的家具等物体不做区分。

本实施例涉及的VR原始照片数据60，如图6所示，包括按下快门键的瞬间，3D空间内的所有物体的表面坐标数据60A，以及该瞬间的纹理(包括颜色)数据60B。如上所述，VR原始照片数据60，不包括多边形数据、动作数据及骨架数据。

接下来，根据图7的流程图，对本实施例涉及的VR原始照片数据的生成处理及传输处理进行说明。图7为表示本实施例涉及的VR原始照片数据的生成处理及传输处理流程图。

本实施例中，VR用录像应用程序，并非仅下载安装至发布者终端3，还下载安装到观众终端4。在发布者终端3或观众终端4启动VR用录像应用程序时，快门键显示在VR用录像应用程序上。通过发布者终端3或观众终端4的用户按下所述快门键(图7：S1；YES)，开始生成VR原始照片。

快门键可以仅设在发布者终端3的VR用录像应用程序上，根据观众终端4的用户请求、或发布者终端3的用户的声音，发布者终端3的用户按下快门键。

如上所述，按下快门键时，作为发布者终端3的外观数据构建部的VR原始照片数据生成部31E，截取包括虚拟形象在内的前述3D空间全景的外观数据，并存储于发布者终端3的存储部30中的VR原始照片数据存储区30D(图7：S2)。

发布者终端3的VR原始照片数据生成部31E，将包括VR原始照片数据存储区30D存储的虚拟数据在内的所述3D空间全景的外观数据，生成VR原始照片数据，通过通信部35，发送至发布服务器1(图7：S3)。

发布服务器1的VR原始照片数据发布部11B，将发布者终端3发送的VR原始照片数据，存储于存储部10的VR原始照片数据存储区10B(图7：S4)，并且，通过通信部12，将VR原始照片数据传输至观众终端4及发布者终端3(图7:S5,S6)。

观众终端4的控制部41，将发布服务器1传输的VR原始照片数据，存储于观众终端4的存储部40中的VR原始照片数据存储区40A。并且，观众终端4的VR影像显示控制部41A，基于VR原始照片数据存储区40A存储的VR原始照片数据，生成虚拟形象的VR原始照片图像，并显示在显示部42。并且，VR影像显示控制部41A，基于VR原始照片数据，生成3D空间、以及该3D空间可能存在的装饰品及评论的VR原始照片图像，显示在显示部42中。

发布者终端3的VR影像显示控制部31C，基于发布者终端3的存储部30的VR原始照片数据存储区30D中存储的VR原始照片数据，生成包括虚拟形象在内的3D空间全景VR原始照片图像，并显示在显示部33以及与显示部33连接的VR用头戴式耳麦上。

图8为表示观众终端4及发布者终端3中显示的VR原始照片图像50的示例图。如图8所示，VR原始照片图像50，包括虚拟形象51、3D空间—房间52以及装饰物—花53的图像。在图8的示例中，省略评论的图像。

VR原始照片图像50，如上所述，并非是从捕捉到的VR影像中截取1帧，而是基于VR原始照片数据生成的VR图像，因此，观众及发布者，可以旋转或变换角度观看VR原始照片图像。

此外，观众及发布者，还可以变化VR原始照片的取景范围，也即是可以观看拉伸的图像。图9为VR原始照片拉伸后的图像示例图。图9的示例中，将房间52所在的建筑物54的全景图像显示为VR原始照片。

并且，由本实施例可知，并非是传输捕捉3D空间的照片，而是可以保留3D数据的原貌并传输。3D空间全景的数据量较大，本实施例中，不使用骨架数据及动作数据，而是从虚拟形象的数据中仅截取多边形数据及纹理数据，生成VR原始照片数据并进行传输，因此可以减轻发布服务器1的负荷。

(第2实施例)

接下来，参照附图对本发明第2实施例进行说明。虽然对第1实施例中，在发布者终端3生成VR原始照片数据的方式进行了说明，但是，也可以在发布服务器1中生成并传输VR原始照片数据。

图10为表示本实施例涉及的发布服务器1的构成的概略块状框图。图11为表示本实施例涉及的发布者终端构成的概略块状图框图。如图10所示，本实施例涉及的发布服务器1，控制部11具有VR原始照片生成部11D的功能这一点与第1实施例不同。另外，本实施例涉及的发布者终端3，如图11所示，控制部31不具有VR原始照片生成部31E的功能这一点与第1实施例不同。

在本实施例中，在发布者终端3或观众终端4按下快门键时，发布者终端3的控制部31，从VR影像显示控制部31C生成的虚拟形象数据中，截取按下快门键的瞬间的多角多边形数据及纹理数据，并发送至发布服务器1。

发布者终端3的控制部31，还将包括按下快门键的瞬间的虚拟形象在内的3D空间全景的数据发送至发布服务器1。

发布服务器1的VR原始照片生成部11D，将包括从发布者终端3接收的虚拟形象在内的3D空间全景的数据，存储在存储部10的VR原始照片数据存储区10B。并且，VR原始照片生成部11D，将从发布者终端3接收的空间数据、以及可能存在的装饰品数据存储在存储部10的VR原始照片数据存储区10B。

发布服务器1的VR原始照片生成部11D，将VR原始照片数据存储区10B存储的包括虚拟形象在内的3D空间全景的数据构成的VR原始照片数据，通过通信部12，发送至发布者终端3及观众终端4。

观众终端4的控制部41，将发布服务器1发送的VR原始照片数据，存储在观众终端4的存储部40中的VR原始照片数据存储区40A。并且，观众终端4的VR影像显示控制部41A，基于VR原始照片数据存储区40A存储的VR原始照片数据，生成包括虚拟形象在内的3D空间全景的VR原始照片图像，并显示在显示部42。

发布者终端3的VR影像显示控制部31C，将发布服务器1发送的VR原始照片数据存储在发布者终端3的存储部30中的VR原始照片数据存储区30D。并且，VR影像显示控制部31C，基于VR原始照片数据存储区30D存储的VR原始照片数据，生成包括虚拟形象在内的3D空间全景的VR原始照片图像，并显示在显示部33及与显示部33连接的VR用头戴式耳麦上。

如上所述，生成VR原始照片数据的主体，除发布者终端3外，也可以是发布服务器1。此时，发布服务器1发布的可以并非是捕捉到的3D空间的照片，而是可以保留3D数据原貌，作为VR原始照片数据进行发送。3D空间全景数据量较大，但是本实施例中，仅截取包括虚拟形象在内的3D空间全景的数据，生成并传输VR原始照片数据，因此可以减轻发布服务器的负荷。

(第3实施例)

接下来，边参照附图边对本发明涉及的第3实施例进行说明。上述实施例中，虽然对直播VR影像的方式进行了说明，但是也可以在直播后的任意时间，重播VR影像，也就是说，进行3D录像回放。

图12是表示本实施例中发布服务器构成的概略块状图框图。图13是表示本实施例中发布者终端构成的概略块状图框图。图14是表示本实施例中观众终端构成的概略块状图框图。

如图12所示，本实施例中的发布服务器1与第1实施例不同之处在于，存储部10具备录像回放数据存储区10D这一点与第1实施例不同。并且另外，本实施例中的发布服务器1与第1实施例不同之处在于，控制部11具备录像回放数据发布部11E的功能这一点与第1实施例不同。

如图13所示，本实施例中的发布者终端3与第1实施例不同之处在于，存储部10具备录像回放数据存储区30E这一点与第1实施例不同。

如图14所示，本实施例中的观众终端4与第1实施例不同之处在于，存储部40具备录像回放数据存储区40B这一点与第1实施例不同。并且，本实施例中的观众终端4与第1实施例不同之处在于，控制部41具备渲染部41D、以及VR原始照片生成部41E的功能这一点与第1实施例不同。

本实施例中，为了进行3D录像回放，观众将VR用录像应用程序事先下载至观众终端4。

发布者，在进行VR影像直播时，事先选取已下载的虚拟形象的数据，并且，存在3D空间数据及装饰物的数据时，选取该数据。如上所述，已选择的数据，不仅用于VR影像直播，在本实施例中，为了实现3D录像回放，还发送该数据至发布服务器1。本实施例中的发布者终端3的控制部31，通过通信部35，将所述已选择的虚拟形象的数据、以及，必要时的3D空间数据及装饰物的数据，发送至发布服务器1。

发布服务器1的控制部11，将发布者终端3发送的虚拟形象的数据、3D空间数据及装饰物的数据存储至存储部10的录像回放数据存储区10D。

发布者终端3的动作数据生成部31A，在进行VR影像直播时，根据VR用头戴式耳麦及控制器的操作生成动作数据。生成的动作数据，不仅用于VR影像的直播，在本实施例中，还发送至发布服务器1。发布者终端3的控制部31，通过通信部35，将动作数据生成部31A生成的动作数据，发送至发布服务器1。

发布服务器1的控制部11，将发布者终端3发送的动作数据存储于存储部10的录像回放数据存储区10D。

如上所述，发布服务器1中的存储部10的录像回放数据存储区10D，存储VR影像直播所用的虚拟形象的数据、以及，发布者选择的3D空间数据及装饰物的数据。并且，录像回放数据存储区10D，存储VR影像直播所用的动作数据。

按下发布者终端3及观众终端4上安装的VR用录像应用程序上所设的3D录像回放键，进行3D录像回放。

(发布者终端3的3D录像回放)

发布者希望进行3D录像回放时，按下VR用录像应用程序上所设的3D录像回放键，发布者终端3的控制部31，将3D录像回放的请求发送至发布服务器1。

发布服务器1的控制部11，接收到发布者终端3发送的3D录像回放的请求时，通过通信部12，将存储部10的录像回放数据存储区10D存储的虚拟形象的数据、以及动作数据等组成的录像回放数据发送至发布者终端3。

发布者终端3的控制部11，将发布服务器1发送的虚拟形象数据，以及动作数据等组成的录像回放数据存储于存储部30的录像回放数据存储区30E。

发布者终端3的渲染部31B，对录像回放数据存储区30E存储的虚拟形象数据以及动作数据进行联动渲染处理。并且，发布者终端3的VR影像显示控制部31C，使用录像回放数据存储区30E存储的3D空间数据及渲染后的虚拟形象数据，对显示3D空间内存在的虚拟形象的VR影像进行控制。VR影像，显示在显示部33以及与显示部33连接的VR用头戴式耳麦上。

录像回放数据存储区30E存储的动作数据，为反映VR影像直播时的、发布者头部配戴的VR用头戴式耳麦以及发布者两手操作的控制器的位置的数据。因此，可以将VR影像直播的虚拟形象的动作等进行3D录像回放而再次显示。

(观众终端4的3D录像回放)

观众希望进行3D录像回放时，按下VR用录像应用程序上所设的3D录像回放键，观众终端4的控制部41，将3D录像回放的请求发送至发布服务器1。

发布服务器1的控制部11，接收到观众终端4发送的3D录像回放的请求时，通过通信部12，将存储部10的录像回放数据存储区10D存储的虚拟形象的数据、以及动作数据等组成的录像回放数据发送至观众终端4。

观众终端4的控制部41，将发布服务器1发送的虚拟形象数据，以及动作数据等组成的录像回放数据存储于存储部40的录像回放数据存储区40B。

观众终端4的渲染部41D，对录像回放数据存储区40B存储的虚拟形象数据以及动作数据进行联动渲染处理。并且，观众终端4的VR影像显示控制部41A，使用录像回放数据存储区40B存储的3D空间数据及渲染后的虚拟形象数据，对显示3D空间内存在的虚拟形象的VR影像进行控制。VR影像，显示在显示部42上。

录像回放数据存储区40B存储的动作数据，为反映VR影像直播时的、发布者头部配戴的VR用头戴式耳麦以及发布者两手操作的控制器的位置的数据。因此，可以将VR影像直播的虚拟形象的动作等进行3D录像回放而再次显示。

(3D录像回放中的VR原始照片生成)

接下来，对本实施例中3D录像回放中的VR原始照片的生成进行说明。本实施例中，3D录像回放中，可生成VR原始照片。

按下发布者终端3或观众终端4的VR用录像应用程序上所设的快门键，开始生成VR原始照片。

(发布者终端3的3D录像回放中的VR原始照片生成)

按下发布者终端3的快门键时，发布者终端3的VR原始照片生成部31E，截取按下快门键的瞬间，包括虚拟形象在内的3D空间全景的数据，存储于发布者终端3的存储部30中的VR原始照片数据存储区30D。

发布者终端3的VR影像显示控制部31C，基于发布者终端3的存储部30中的VR原始照片数据存储区30D存储的VR原始照片数据，生成包括虚拟形象在内的3D空间全景的VR原始照片图像，显示在显示部33以及与显示部33连接的VR用头戴式耳麦上。并且，VR影像显示控制部31C，基于VR原始照片数据，生成3D空间、以及3D空间内可能存在的装饰物及评论的VR原始照片图像，显示在显示部33以及与显示部33连接的VR用头戴式耳麦上。

(观众终端4的3D录像回放中的VR原始照片生成)

在3D录像回放中，按下观众终端4的快门键时，观众终端4的VR原始照片生成部41E，截取按下快门键的瞬间，包括虚拟形象在内的3D空间全景的数据，存储于观众终端4的存储部40中的VR原始照片数据存储区40A。

观众终端4的VR影像显示控制部41A，基于观众终端4的存储部40中的VR原始照片数据存储区40A存储的VR原始照片数据，生成包括虚拟形象在内的3D空间全景的VR原始照片图像，显示在显示部42上。

3D录像回放中生成的VR原始照片图像，如上所述，并非是从捕捉到的VR影像中截取1帧，而是基于VR原始照片数据生成的VR图像，因此，观众及发布者，可以旋转VR原始照片图像，或变换角度观看。

再次，观众及发布者，可以变化VR原始照片的取景范围，也就是说观看拉伸的图像。

并且，基于本实施例，将录像回放数据分别保存于发布者终端3及观众终端4，从基于录像回放数据的虚拟形象数据中，不使用骨架数据及动作数据，而是仅截取多边形及纹理数据，生成VR原始照片数据并进行传输，因此可以减轻发布服务器1的负荷。

(第4实施例)

接下来，对本发明涉及的第4实施例进行说明。在前述实施例中，传输VR原始照片数据时，对不简化房间及建筑物等3D空间数据而进行传输的形式进行了说明。但是，也可以对3D空间数据中可简化的数据进行简化后再传输。

例如，3D空间的数据，不仅只有上述建筑物，还有包括建筑物周围背景的情况。关于背景，将发布者所在的位置设为规定基准位置，可以分为与规定基准位置的距离在规定值以内的近景，以及与发布者终端3的距离超出规定值的远景。

关于与发布者的距离在规定值以内的近景，因为从发布者的位置来说也是清晰可见的背景，因此与上述实施例一样，对数据不进行简化并传输。但是，关于与发布者的距离超出规定值的远景，因为从发布者的位置来说是基本看不见的背景，因此可以简化数据。

如第1实施例所述，发布者终端3的VR原始照片生成部31E，将3D空间数据作为VR原始照片数据传输至发布服务器1时，VR原始照片生成部31E对数据进行简化。VR原始照片生成部31E，例如，将与发布者的距离超出规定值的远景3D空间数据作为2D平面的VR原始照片数据传输至发布服务器1。

如第2实施例所述，发布服务器1的VR原始照片生成部11D，将3D空间数据作为VR原始照片数据传输至发布者终端3及观众终端4时，VR原始照片生成部11D对数据进行简化。VR原始照片生成部11D，例如，将与发布者的距离超出规定值的远景3D空间数据作为2D平面的VR原始照片数据传输至发布服务器1。

简化后的数据，除上述背景数据外，还有物体化后的3D评论、房间内的备品等装饰物、或投放的其他内容。

基于本实施例，VR原始照片数据包括简化后的数据，因此可以进一步减轻发布服务器1的负荷。

(第5实施例)

接下来，对本发明涉及的第5实施例进行说明。在前述实施例中，对由发布者终端3进行渲染，生成VR原始照片数据的形式进行了说明。但是，本发明不仅限于所述形式，如本实施例所述，也可以由发布服务器1进行渲染，生成VR原始照片数据。

图15是表示本实施例中发布服务器构成的概略块状图框图。图16是表示本实施例中发布者终端构成的概略块状图框图。

如图15所示，本实施例的发布服务器1的存储部10，设有虚拟形象数据存储区10E以及3D空间数据存储区10F。并且，本实施例中的发布服务器1中的控制部11，具有渲染部11F、VR影像显示控制部11G、以及VR原始照片生成部11H的功能。

如图16所示，本实施例的发布者终端3的存储部10，设有虚拟形象数据存储区30A以及3D空间数据存储区30B。控制部11，具有渲染部31B以及VR原始照片生成部31E的功能。

发布者终端3的用户—发布者将从数据服务器2取得的虚拟人物的虚拟形象的数据，从发布者终端3或数据服务器2发送至发布服务器1。并且，发布者终端3的用户—发布者将从数据服务器2取得的3D空间数据，从发布者终端3或数据服务器2发送至发布服务器1。

发布者终端3的动作数据生成部31A，通过使用发布者手部及指尖等配戴的控制器，以及发布者头部配戴的VR用头戴式耳麦进行动作捕捉，测量发布者身体各部位的坐标，生成将发布者的身体动作作为三维三维时间序列数据显示的动作数据。并且，发布者终端3的动作数据生成部31A，将生成的动作数据发送至发布服务器1。

发布者终端3或数据服务器2发送至发布服务器1的虚拟形象数据，存储于发布服务器1的存储部10中的虚拟形象数据存储区10E。并且，发布者终端3或数据服务器2发送至发布服务器1的3D空间数据，存储于发布服务器1的存储部10中的3D空间数据存储区10F。

发布服务器1的渲染部11F，对虚拟形象数据存储区30A存储的虚拟形象数据及发布者终端3发送的动作数据进行联动渲染处理。

发布服务器1的VR影像显示控制部11G，使用3D空间数据存储区10F存储的3D空间数据、评论数据存储区10C存储的评论数据、以及渲染后的虚拟形象的数据，生成显示3D空间内存在的虚拟形象的3DCG VR影像的数据。并且，VR影像显示控制部11G，将显示生成的VR影像的数据，发送至发布者终端3。

发布者终端3的VR影像显示控制部31C，对显示发布服务器1发送的VR影像的数据进行控制，VR影像，显示在发布者终端3的显示部33以及与显示部33连接的VR用头戴式耳麦上。

在按下或点击与发布者终端3的输入部34或与输入部34连接的控制器(无图示)上配备的快门键时，发布服务器1的VR原始照片生成部11H，基于显示出来的3D空间、虚拟形象以及评论的VR影像的数据，生成VR原始照片数据。并且，在按下或点击观众终端4上配备的快门键时，VR原始照片生成部31E，也可以生成原始照片数据。再次，发布服务器1的VR原始照片生成部11H，将VR原始照片数据发送至发布者终端3及观众终端4。

发布者终端3的VR影像显示控制部31C，基于发布服务器1的VR原始照片生成部11J发送的VR原始照片数据存储区30D存储的VR原始照片数据，将VR原始照片的影像显示在显示部33、以及与显示部33连接的VR用头戴式耳麦上。

同样的，观众终端4的控制部41，将发布服务器1发送的VR原始照片数据存储在观众终端4的存储部40中的VR原始照片数据存储区40A。并且，观众终端4的VR影像显示控制部41A，基于VR原始照片数据存储区40A存储的VR原始照片数据，生成虚拟形象的VR原始照片图像，显示在显示部42上。并且，VR影像显示控制部41A，基于VR原始照片数据，生成3D空间、以及3D空间内可能存在的装饰物及评论的VR原始照片图像，并显示在显示部42上。

如上所述，由发布服务器1进行渲染，生成VR原始照片数据的场合，观众可以在观看对应发布者终端3的用户动作而活动的虚拟形象等的影像，同时观看观众输入的物体化后的评论。并且，观众及发布者，可以旋转VR原始照片图像，或是变换角度观看。

(变形例)

以上实施例仅为示例，在本发明涉及的范围内，存在各种各样的变形例。

在上述实施例中，虽然对VR用录像应用程序上显示出VR原始照片用快门键的方式进行了说明，但是，也可以将VR原始照片用的快门键作为VR原始照片拍摄倒计时用的3D选项，显示在3D空间内。例如，将如广告牌所示的3D选项显示在3D空间内，可以在该3D选项上显示“拍摄准备中”、“距离拍摄还剩O0秒”或“拍摄”等文字。或者，也可以用除文字以外的形式显示。例如，也可以在3D空间内显示灯等选项，显示为灯亮或灯灭。

再次，在发布者终端3显示的VR用录像的3D空间内，显示发布者用的操作面板，可以在操作面板上设快门键或拍摄倒计时开始键。并且，也可以在发布者使用的控制器上设快门键或拍摄倒计时开始键。

VR用录像应用程序，输入并检测发布者的规定动作或姿势，也可以在画面上显示“拍摄准备中”、“距离拍摄还剩O0秒”或“拍摄”等文字。或者，也可以通过图标等通知上述情况。

上述实施例中，虽然对在发布者终端3或观众终端4观看VR原始照片的情况进行了说明，但是，例如，发布者也可以将VR原始照片数据上传到虚拟形象用平台上。

上述实施例中，虽然对向观众终端4传输VR原始照片数据的所有形式进行了说明，但是，也可以仅向氪金观众、或被选中的观众等提供VR原始照片数据。并且，并非是直接传输VR原始照片数据，也可以采取提供可阅览VR原始照片的URL等的方式。

上述实施例中，虽然对发布者终端3及观众终端4分别独立观看VR原始照片的形式进行了说明，但是，发布者也可以在VR影像直播中，将VR原始照片放映到播放画面中。

可以对VR原始照片进行一些加工或增加效果、或给虚拟人物取名，在VR原始照片上签名。并且，可以在VR原始照片上加上时间戳。还可以随机变更部分3D空间内的备品，生成VR原始照片数据。而且，为了明确是哪位的节目，还可以在VR原始照片数据中加上节目标题、或水印等。

上述实施例中，虽然对分别具有物理上的传输服务器1及数据服务器2，由此构成服务器的情况进行了说明。然而，本发明不仅限于上述形式，上述服务器也可以由同一个服务器构成，或者任何两种类型的服务器可以由一个服务器配置。

上述实施例涉及的各种服务器的程序以及发布者终端3及观众终端4的应用程序，可以通过将其存储在计算机可读取的存储媒介的方式，提供并安装到计算机中。存储器，例如，为非暂时性(non-transitory)的存储器，虽然CD-ROM等光学存储器较适宜，但是也包括半导体存储器及电磁存储器等公众所知的任意方式的存储器。此外，可以通过借由通信网的传输方式，提供前述程序并安装至计算机。

以上，虽然对本发明实施例涉及的VR直播发布系统、发布服务器、发布服务器的控制方法、以及VR原始照片数据的数据结构进行了说明，但是本发明，不仅限于此，在本发明要旨范围内，可以进行各种各样的变更。

工业上的可应用性

本发明可用于VR动画发布服务领域。