具体实施方式

接下来，通过附图对本发明涉及的实施例进行说明。

(第1实施例)

参照图1，对第1实施例中的直播服务整体系统结构示例进行说明。

本实施例所述的直播服务，指发布者在VR空间内化身为虚拟形象，并发布直播节目的直播服务。并且，本直播服务中，观众与发布者一样，可化身为观众虚拟形象在与发送者相同的VR空间内参与节目。通过使用与网络连接的服务器1、发布者终端3以及观众终端5提供直播服务。图1中，观众终端5的数量有5台，但实际上观众终端5的数量更多，观众终端5的数量是任意的。

服务器1通过网络从发布者终端3接收VR空间的直播影像，并将该直播影像传输至观众终端5。具体来说，服务器1从发布者终端3接收发布者虚拟形象的动作数据，并将该动作数据传输至观众终端5。观众终端5，将接收的动作数据反映到发布者虚拟形象上，并渲染VR空间。由观众终端5渲染并显示VR空间时，观众终端5保存渲染VR空间所需的模型数据。例如，观众终端5，可以从服务器1接收VR空间内存在的虚拟形象等模型数据，也可以事先保存模型数据。

观众参与节目时，服务器1从观众终端5接收观众虚拟形象的动作数据，

并将该动作数据传输至发布者终端3及其他观众终端5。发布者终端3及其他观众终端5将接收的动作数据反映到观众虚拟形象上，并渲染VR空间。观众虚拟形象的模型数据，可以在观众参与节目时，从服务器1接收，也可以事先由发布者终端3及观众终端5保存。

参与节目的观众，可以通过观众的虚拟形象应援发布者。发布者的虚拟形象对实施应援的观众的虚拟形象做出回应。

服务器1在传输发布者的虚拟形象对应援做出的回应时，使发布者的虚拟形象对实施了应援的观众的虚拟形象的动作与对未应援的观众的虚拟形象的动作不同。具体来说，服务器1将部分发布者的虚拟形象的动作替换成回应动作的动作数据传输给实施了应援的观众的观众终端5，并将一般的动作数据传输给未应援的观众的观众终端5。也就是说，在发布者的虚拟形象做出回应时，应援的观众及未应援的观众，看到的发布者的虚拟形象的动作是不同的。

发布者终端3为发布者直播用的终端。可以将连接HMD的个人计算机作为发布者终端3使用。

如图2所示，发布者配戴HMD100，双手手持控制器101，控制发布者的虚拟形象。

HMD100检测发布者的头部动作。HMD100将检测到的头部动作反映到发布者的虚拟形象上。发布者转动头部，环视VR空间。HMD100渲染发布者面向的VR空间。HMD100通过使右眼用图像与左眼用图像具有视差，使发布者可以看到三维VR空间。

控制器101，检测发布者的手部动作。控制器101将检测到的手部动作反映到发布者的虚拟形象上。

发布者终端3将检测到的反映到发布者的虚拟形象上的发布者动作数据发送至服务器1。服务器1将动作数据传输至观众终端5。并且，发布者终端3从服务器1接收参与发布者节目的观众虚拟形象的动作数据。

发布者终端3，将接收的动作数据反映到观众的虚拟形象上，并渲染VR空间。

控制器101，配备按钮等操作装置。发布者操作按钮，可以使发布者的虚拟形象做出预先确定的动作。与本实施例相关的操作，例如，指定对观众应援做出回应的时间的操作。当观众的虚拟形象应援发布者的虚拟形象，发布者指定做出回应的时间时，发布者终端3将回应信号发送至服务器1。服务器1根据回应信号，对应援发布者的虚拟形象的观众做出回应，使得对实施了应援的观众虚拟形象的回应动作、与对未应援的观众虚拟形象做出的动作不同。

观众终端5是观众观看直播所用的终端。与发布者终端3相同，可使用与HMD连接的个人计算机作为观众终端5。

观众可以参与发布者的节目。具体来说，观众进行参与节目的操作时，观众可控制的观众虚拟形象出现在发布者虚拟形象所在的VR空间。如图2所示，观众也配戴HMD100，双手手持控制器101以控制观众的虚拟形象。参与节目的观众的视点为VR空间内观众的虚拟形象的视点。也就是说，HMD100通过观众的虚拟形象的视点渲染VR空间。

观众可以通过操作控制器101或类似装置应援发布者。观众应援发布者时，观众终端5将应援信号发送至服务器1。

接下来，将参照图3，对服务器1、发布者终端3以及观众终端5的结构示例进行说明。

图3所示的服务器1，具备传输部11、回应部12、应援检测部13以及回应数据存储部14。

传输部11，发送及接收直播服务所需的数据。具体来说，传输部11，从发布者终端3接收发布者的声音及发布者虚拟形象的动作数据，并将声音及动作数据传输至观众终端5。另外，传输部11从参与节目的观众的观众终端5接收观众虚拟形象的动作数据，并将该动作数据传输至发布者终端3及观众终端5。传输部11也可以接收并传输观众的声音。传输部11也可以接收并传输输入的评论(文字信息)。

回应部12，在规定的时间点，将一般动作替换为回应动作发送至实施了应援的观众的观众终端5。一般动作指HMD100及控制器101检测到的发布者的动作相一致的动作。回应动作，指后述的回应数据存储部14存储的回应动作。回应部12，从回应数据存储部14读取回应动作，将其转换成对实施了应援的观众的虚拟形象做出的个别的回应动作，发送至应援观众的观众终端5。例如，作为发布者的虚拟形象做出的回应示例，发布者的虚拟形象视线(脸部)面向观众的虚拟形象，做出眨眼的动作。观众以观众的虚拟形象的视点渲染VR空间，因此，对于应援，观众可以感觉到发布者的虚拟形象的视线是看着自己的。发布者的虚拟形象看着观众的虚拟形象时，也可以在视线方向显示线束或者桃心等效果。

作为回应的示例，也有其他动作，比如发布者的虚拟形象的身体面向观众的虚拟形象、发布者的虚拟形象靠近观众的虚拟形象等。也可以根据观众的应援量(例如刷礼物的量)改变回应。回应动作从后述的回应数据存储部14存储的动作数据中选择。做出回应动作时，发布者的虚拟形象也可以不面向未应援的观众虚拟形象的方向。

回应部12根据从发布者终端3接收的回应信号，决定发布者的虚拟形象做出回应的时间点。或者，也可以不管回应信号如何，将检测出应援后的规定的时间作为回应时间点。回应部12也可以根据发布者的动作决定回应时间点。例如，发布者的虚拟形象两手上举时作为回应时间点。

发布者也可以发送回应动作。在这种情况下，将从发布者终端3接收的回应动作发送至实施了应援的观众的观众终端5，并将回应动作替换为一般动作发送至未应援的观众的观众终端5。

应援检测部13检测出应援了发布者的观众，并通知回应部12对该观众的虚拟形象做出回应动作。例如，应援检测部13，通过从观众终端5接收应援信号，检测出观众的应援。应援检测部13也可以基于观众的虚拟形象的动作检测出对发布者的应援。例如，当观众虚拟形象向发布者挥手时，应援检测部13检测出了观众应援发布者。或者，应援检测部13，检测出观众的声援时，也可以作为检测出了观众对发布者的应援。

回应数据存储部14存储回应动作数据。回应数据存储部14可以存储多种回应动作。

发布者终端3，具备VR功能部31以及回应指示部32。

VR功能部31具有渲染VR空间的功能、将发布者的动作反映到VR空间内的发布者虚拟形象上的功能等在VR空间内进行直播所需的功能。例如，VR功能部31基于HMD100检测出的发布者的头部动作及控制器101检测出的发布者的手部动作，决定发布者的虚拟形象的动作，并将动作数据发送至服务器1。

回应指示部32接收发布者的回应操作，并将回应信号发送至服务器1。例如，当操作控制器101的按钮时，向服务器1发送回应信号。由服务器1判断对应援的回应时间点时，发布者终端3不需要直接从发布者接受回应操作。

观众终端5具备VR功能部51及应援指示部52。

VR功能部51具有渲染VR空间的功能、将观众的动作反映到VR空间内的观众虚拟形象上的功能等观看在VR空间内的直播所需的功能。

应援指示部52，接收观众的应援操作，将应援信号发送至服务器1。应援指示部52，根据需要，让观众的虚拟形象做出应援动作。

观众的应援，例如，有刷礼物，挥手等行为。观众刷礼物时，由应援指示部52向服务器1发送应援信号。可以将应援操作配置在控制器101的按钮中，当观众操作该按钮时，发送应援信号，同时也可以让观众的虚拟形象做出应援动作。

服务器1、发布者终端3以及观众终端5具备的各部分，由配备演算处理装置、存储装置等的计算机构成，各部分的处理可以通过程序实施。该程序存储在服务器1、发布者终端3以及观众终端5配备的存储装置中，可以储存在磁盘、光盘、半导体内存等存储介质中，也可以通过网络提供。

接下来，参照图4的片段图，对直播的开始以及观众的参与进行说明。

发布者使用发布者终端3开始直播的操作时，发布者终端3，通知服务器1开始直播(步骤S11)。

开始直播时，发布者终端3检测出发布者的操作及动作，将控制发布者虚拟形象的动作数据发送至服务器1(步骤S12)。服务器1将动作数据传输至观看直播的观众终端5A～5C。直播期间，持续从发布者终端3向服务器1发送动作数据，以及从服务器1向观众终端5A～5C传输动作数据。

观众A使用观众终端5A进行参与节目的操作时，观众终端5A通知服务器1参与节目(步骤S13)。

观众A参与节目时，观众终端5A检测出观众的操作及动作，将控制观众虚拟形象的动作数据发送至服务器1(步骤S14)。服务器1将动作数据传输至发布者终端3及其他观众终端5B、5C。参与节目期间，持续从观众终端5A向服务器1发送动作数据，以及从服务器1向发布者终端3及观众终端5B、5C传输动作数据。

以下，与观众A的情况相同，观众B使用观众终端5B进行参与节目的操作时，观众终端5B通知服务器1参与节目(步骤S15)。将控制观众B的虚拟形象的动作数据发送至服务器1(步骤S16)。

观众C使用观众终端5C进行参与节目的操作时，观众终端5C通知服务器1参与节目(步骤S17)。将控制观众C的虚拟形象的动作数据发送至服务器1(步骤S18)。

图5表示观众参与的VR空间的样貌。如该图所示，VR空间内，并非仅有舞台上的发布者的虚拟形象300，舞台下还有参与节目的观众的虚拟形象500A～500E。观众并非仅仅看到发布者虚拟形象300，还可以看到参与节目的观众A～E的虚拟形象500A～500E。

发布者可以将发布者的虚拟形象300的位置作为视点观看VR空间。观众A～E，可以将观众虚拟形象500A～500E各自的位置作为视点观看VR空间。也就是说，发布者终端3，基于发布者的虚拟形象300的面部位置及面部朝向渲染VR空间，观众终端5，基于观众的虚拟形象500A～500E各自的面部位置及面部朝向渲染VR空间。图5所示的场合，观众A～E，分别从不同的位置不同的角度观看发布者的虚拟形象300。

未参与节目的观众的视点，例如，可以是发布者在VR空间内任意位置设定的虚拟照相机的位置。

接下来，参照图6的序列图，对观众应援及发布者回应进行说明。

观众A操作观众终端5A应援发布者时，观众终端5A向服务器1发送应援信号，服务器1通知(步骤S21)发布者终端3观众A做出了应援这一讯息。此时，假设观众B、C未应援。

发布者确认观众A对自己实施了应援的事宜，操作发布者终端3向服务器1发送(步骤S22)回应信号。发布者发送回应信号进行回应操作时，发布者自身无需回应。发布者终端3，根据发布者的动作向服务器1发送(步骤S23)一般动作。此外，服务器1决定回应时间点时，无需进行步骤S22所述的回应信号发送处理。

服务器1，接收到回应信号时，将一般动作替换为回应动作发送至发出应援信号的观众终端5A(步骤S24)，对于未发送应援信号的观众终端5B、5C，则发送一般动作(步骤S25、S26)。存在多个发送应援信号的观众终端5时，分别向发送应援信号的每一个观众终端5发送专用的回应动作。

图7为发布者回应时的VR空间的样貌。该图中，假设观众A,E(观众的虚拟形象500A，500E)实施了应援。

在发布者的虚拟形象300对应援回应的时间点，对于实施了应援的观众的虚拟形象500A,500E，发布者的虚拟形象300分别对观众的虚拟形象500A,500E进行回应。具体来说，服务器1在发布者的虚拟形象300做出回应时，向观众虚拟形象500A的观众终端5A发送观众虚拟形象500A专用的回应动作，向观众虚拟形象500E的观众终端5E发送观众虚拟形象500E专用的回应动作。向观众终端500B,500C,500D的观众终端5B,5C,5D发送通用的一般动作。观众A观看到的VR空间中发布者的虚拟形象，为靠近观众虚拟形象500A的发布者虚拟形象300A的状态。观众E观看到的VR空间中发布者的虚拟形象，为靠近观众虚拟形象500E的发布者虚拟形象300E的状态。观众B,C,D观看到的VR空间中发布者的虚拟形象，为位于舞台中央的发布者虚拟形象300的状态。也就是说，发布者的虚拟形象做出回应时，观众A看到的发布者的虚拟形象300A是专用于观众虚拟形象500A的回应动作，观众E看到的发布者的虚拟形象300E是专用于观众虚拟形象500E的回应动作，观众B,C,D看到的是做出一般动作的发布者虚拟形象300。发布者虚拟形象的回应结束时，向观众终端5A～5E传输通用的发布者虚拟形象的一般动作。

此外，回应动作中，也可以不移动发布者虚拟形象300的位置，将视线面向观众的虚拟形象500A,500E，分别挥手致意等动作。此时，也同样分别向实施了应援的观众虚拟形象500A,500E发送专用的回应动作。

如上所述，发布者的虚拟形象300回应应援时，通过让发布者的虚拟形象300A、300E向实施了应援的观众虚拟形象500A、500E做出专用回应动作，与对未应援的观众虚拟形象500B、500C、500D做出的动作不同，观众A、E分别得到发布者虚拟形象的回应。

(第2实施例)

第2实施例中，由观众终端进行替换处理—将发布者虚拟形象的一般动作替换为回应动作。整体的系统构成与第1实施例相同。

参照图8，对第2实施例中直播所用的服务器1、发布者终端3以及观众终端5的构成示例进行说明。

服务器1配备传输部11。传输部11与第1实施例中的服务器1的传输部11相同，发送及接收直播服务所需的数据。

发布者终端3配备VR功能部31。VR功能部31与第1实施例中的发布者终端3的VR功能部31相同，具有在VR空间内直播所需的功能。

观众终端5，具备VR功能部51、应援指示部52、回应部53以及回应数据存储部54。

VR功能部51与第1实施例中的观众终端5的VR功能部31相同，具有在VR空间内直播所需的功能。并且，VR功能部51，根据回应部53的指示，将从服务器1接收的发布者虚拟形象的一般动作替换为回应动作，渲染VR空间。

应援指示部52，接收观众的应援操作并通知回应部53。应援指示部52根据需要，让观众的虚拟形象做出应援动作。与第1实施方式不同的是，不向服务器1发送应援信号。此外，应援指示部52，与第1实施例相同，也可以将应援信号发送至服务器1。

应援指示部52输入应援操作时，回应部53在规定的时间点，将服务器1传输的发布者虚拟形象的动作替换为回应动作。规定的时间点由回应部53判断确定。例如，规定的时间点可以考虑是发布者的虚拟形象在应援动作结束之时。也可以从服务器1或发布者终端3接收回应信号以确定回应的时间点。

回应数据存储部54，与第1实施例中的服务器1的回应数据存储部14相同，用于存储回应动作的数据。

接下来，参照图9的流程图，对观众终端5的处理过程进行说明。

应援指示部52输入应援操作时，观众虚拟形象在对发布者虚拟形象应援的同时，通知回应部53应援了发布者这一事宜(步骤S31)。也可以将观众实施了应援这一事宜通知发布者。

回应部53，判断确定是否为回应时间点(步骤S32)。

到达回应时间点时，回应部53将服务器1传输的发布者虚拟形象的动作替换为回应数据存储部14存储的回应动作(步骤S33)。

接下来，参照图10的片段图，对观众应援做出的回应进行说明。

观众A在观众终端5A输入应援操作(步骤S41)。

发布者终端3向服务器1发送一般动作(步骤S42)，服务器1将一般动作传输至观众终端5A～5C(步骤S43～S45)。

观众终端5A，在回应时间点时，将服务器1传输的一般动作替换为回应动作(步骤S46)。

如上所述，观众终端5A检测出应援，并且观众终端5A自身将发布者虚拟形象的动作替换为回应动作，观众也可以得到发布者虚拟形象的回应。

(第3实施例)

第3实施例中，由发布者终端将发布者虚拟形象的一般动作替换为回应动作。第3实施例中，发布者终端3，不通过服务器1，直接对观众终端5进行直播。当然，也可以通过服务器1进行直播。此外，在第2实施例中，也可以不通过服务器1进行直播。

参照图11，对第3实施例中直播服务所用的发布者终端3、以及观众终端5的构成示例进行说明。图11中仅1台观众终端5，但是实际上，发布者终端3向多台观众终端5进行直播。

发布者终端3具备VR功能部31、回应指示部32、回应部33、应援检测部34以及回应数据存储部35。

VR功能部31，与第1实施例中的发布者终端3的VR功能部31相同，具有在VR空间内直播所需的功能。

回应指示部32，接收发布者的回应操作，并通知回应部33。

回应部33，根据回应指示部32的指示，将一般动作替换为回应动作，发送至实施了应援的观众终端5。

应援检测部34，检测出应援发布者的观众，并将应援了发布者的观众通知回应部33。

回应数据存储部35，与第1实施例中服务器1的回应数据存储部14相同，存储回应动作的数据。

接下来，参照图12的流程图，对发布者终端3的处理过程进行说明。

应援检测部34检测出观众的应援时，则通知回应部33(步骤S51)，回应部33等待回应指示部32的指示(步骤S52)。

回应指示部32接收回应操作并通知回应部33，回应部33向实施了应援的观众的观众终端5发送回应数据存储部35存储的回应动作(步骤S53)，向未实施应援的观众的观众终端5发送一般动作(步骤S54)。

接下来，参照图13的片段图，对观众应援的回应进行说明。

观众A操作观众终端5A应援发布者时，观众终端5A向发布者终端3发送应援信号(步骤S61)。

发布者确认观众A对自己实施了应援后，向发布者终端3输入回应操作(步骤S62)。

发布者终端3向发送了应援信号的观众终端5A发送回应动作(步骤S63)，向其他观众终端5B、5C发送一般动作(步骤S64、S65)。

虽然上述各实施例为实时传输，但是不仅限于实时传输，过去已经直播的、或者播放准备好的VR空间内的直播节目(也称为“录像回放”)等也适用于各实施例。录像回放中，将包括发布者虚拟形象的动作数据在内的用于渲染VR空间所需的数据提前存储于服务器或其他装置中。服务器根据观众终端的请求，将VR空间内的节目播放所需的数据(例如，发布者的声音及发布者虚拟形象的动作数据等)传输至观众终端。观众终端基于接收的数据渲染VR空间播放节目。录像回放中也可以实施暂时停止、倒回、快进等操作。

虽然已事先存储了用于录像回放的节目数据，但是通过适用各实施例，发布者的虚拟形象可对观众的应援作出回应。如第2实施例所示，在回应动作数据存储于观众终端的情况下，观众终端检测到观众的应援操作时，立即或经过规定的时间后，读取观众终端事先存储的发布者虚拟形象的回应动作数据，并将服务器传输的发布者虚拟形象的动作数据替换为回应动作数据。由此，观众可以看到发布者对观众的应援做出回应的演出。也可以设定禁止替换发布者虚拟形象动作的区间。例如，发布者虚拟形象唱歌期间禁止替换动作，间奏期间作出回应。录像回放中，当观众没有参与节目时，观众未参与节目时，发布者也可以向观众终端渲染VR空间时的虚拟照相机做出回应动作。

录像回放适用于第1实施例及第3实施例时也与上述情况相同，存储了回应动作数据的服务器或发布者终端，检测观众的应援，将发布者虚拟形象的动作替换为回应动作，仅向该观众终端发送。

如上所述，本实施例中，检测出观众虚拟形象对发布者虚拟形象的应援，发布者虚拟形象对应援做出回应时，通过向实施了应援的观众虚拟形象做出回应动作，向未实施应援的观众虚拟形象做出一般动作而非回应动作，可对实施了应援的观众虚拟形象单独做出回应动作，因此，观众可以更加准确的得到发布者的回应。

此外，各实施例中，说明了将包括替换后的数据在内的VR空间的动作数据、外观数据、骨架数据等从服务器1或分发者终端3发送至观众终端5，由接收了数据的观众终端5进行渲染的结构。在通过直播以及录像回放的任一种实施例中，服务器1或发布者终端3都可以渲染VR空间。例如，由服务器1进行动作替换的第1实施例中，也可以由发布者终端3或观众终端5向服务器1发送虚拟照相机的位置以及摄影方向等的信息，服务器1基于虚拟照相机的信息，渲染VR空间生成图像，并向观众终端5发送生成的图像。无论是哪一种构成，检测出应援的观众终端5，可以看到将一般动作替换为回应动作后的渲染图像。同样，第3实施例，也可以由发布者终端3渲染VR空间并发送图像。