具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

在本实施例中的一种自由视角的视频直播方法应用于在云直播控制系统的架构中，在此架构中，在云直播控制系统中包括云手机服务器、云直播控制台、推拉流服务器、云导播台以及摆设在拍摄对象对应不同视角位置的拍摄设备，且上述拍摄设备按相邻拍摄设备之间夹角在预设夹角范围内进行放置，预设夹角为6°～10°，即不同视角下的相邻拍摄设备之间的夹角度数为6°～10°之间。云手机服务器上设置有与拍摄设备同等数量的云手机，每台云手机与唯一的拍摄设备连接，上述云直播控制台可以设置在任意一台手机或平板电脑或台式电脑中，因此导播或导演即使不在直播现场也可以对整场直播进行控制，云导播台也可以设置在任意一台手机或平板电脑或台式电脑，摆脱了传统直播过程中直播控制者的对直播的控制受到直播场地的限制。

如图1所示，本申请中的一种自由视角的视频直播方法，包括以下具体步骤：

远程控制拍摄设备，云直播控制台根据导播输入的远程控制指令控制摆设在拍摄对象对应不同视角位置的拍摄设备进行音视频拍摄以及将拍摄得到音视频数据上传至对应的云手机中。在本实施例中，拍摄设备为摄像机或手机，拍摄设备均安装有用于执行云直播控制台的操作指令以及连接云直播控制台的云直播控制服务程序，云直播控制台通过云直播控制服务程序发送远程控制指令至对应的拍摄设备中，拍摄设备根据对应的远程控制指令对拍摄对象进行拍摄。在本实施例中每台拍摄设备均与云手机服务器中对应的云手机建立通信连接，拍摄设备将拍摄的音视频数据实时上传至对应的云手机中，再拍摄设备上传音视频数据时，会以拍摄设备的时间为基准为拍摄的每一帧音视频数据记录一个时间戳，得到与音视频数据对应的第一时间戳信息，并将第一时间戳信息添加在音视频数据的头部信息区里面。每台云手机接收的音视频数据的头部信息区里面均含有对应的第一时间戳信息。

接收音视频数据，云手机服务器控制每台云手机接收对应拍摄设备上传的拍摄对象对应视角的音视频数据包并存储至对应的缓冲队列中，每台云手机接收到的音视频数据包均包含与拍摄设备时间为基准的第一时间戳信息。

发送多路音视频同步指令，云直播控制台获取导播通过终端设备输入的多路音视频同步指令并发送至云手机服务器。

接收多路音视频同步指令，云手机服务器接收云直播控制台发送的多路音视频同步指令，所述多路音视频同步指令由导播通过终端设备(手机或平板电脑等终端识别)输入至云直播控制台。

生成预设时钟矫正值，所述生成预设时钟矫正值具体包括以下步骤：

计算第一时钟差值，在本实施例中，云手机分别与云手机服务器以及拍摄设备连接；云手机服务器发送第一测试数据包至云手机以及接收云手机根据第一测试数据包发送的第一回复数据包，根据第一测试数据包和第一回复数据包的发送时间和接收时间计算出云手机与云手机服务器之间的时间差值并记为第一时钟差值；具体为：云手机服务器发送第一测试数据包至云手机以及接收云手机根据第一测试数据包发送的第一回复数据包，将云手机服务器发送第一测试数据包的时间记录为第一发送时间，将云手机接收第一测试数据包的时间作为第一接收时间，将云手机发送第一回复数据包的时间记录为第二发送时间，将云手机服务器接收到第一回复数据包的时间记录为第二接收时间，根据第一发送时间、第一接收时间、第二发送时间以及第二接收时间计算出云手机与云手机服务器之间的第一时钟差值。在本实施例中，令第一发送时间为Ta1，第一接收时间为Tb1，第二发送时间为Tb2，第二接收时间为Ta2，令云手机与云手机服务器之间的第一时钟差值为deltaT1，令数据包在云手机端和同步服务器之间的一来一回传输耗时为RTT1，第一时钟差异为deltaT1，则RTT1＝(Tb1-Ta1)+(Ta2-Tb2)，deltaT1＝Ta1+(RTT1/2)-Tb1。

计算第二时钟差值，云手机服务器控制云手机发送第二测试数据包至对应拍摄设备以及控制云手机接收对应拍摄设备根据第二测试数据包发送的第二回复数据包，根据第二测试数据包和第二回复数据包的发送时间和接收时间计算出拍摄设备与对应云手机之间的时间差值并记为第二时钟差值。具体为：云手机服务器控制云手机发送第二测试数据包至对应拍摄设备以及控制云手机接收对应拍摄设备根据第二测试数据包发送的第二回复数据包，将云手机发送第二测试数据包的时间记录为第三发送时间，将对应拍摄设备接收第二测试数据包的时间作为第三接收时间，将对应拍摄设备发送第二回复数据包的时间记录为第四发送时间，将云手机接收到第二回复数据包的时间记录为第四接收时间，根据第三发送时间、第三接收时间、第四发送时间以及第四接收时间计算出拍摄设备与对应云手机之间的第二时钟差值。令第三发送时间为Tc1，第三接收时间为Td1，第四发送时间Td2，第四接收时间为Tc2，数据包在云手机和拍摄设备(客户端)之间的一来一回传输耗时为RTT2，第二时钟差异为RTT2＝(Td1-Tc1)+(Tc2-Td2)，则RTT2＝(Td1-Tc1)+(Tc2-Td2)，则，RTT2＝(Td1-Tc1)+(Tc2-Td2)；deltaT2＝Tc1+(RTT2/2)-Td1。

计算预设时钟矫正值，根据第一时钟差值和第二时钟差值计算出拍摄设备与云手机服务器之间的时间差值并记为预设时钟矫正值。根据上述计算可得到拍摄设备与云手机服务器之间的时间差异值，即预设时钟校正值，则预设时钟矫正值＝第一时钟差值+第二时钟差值。云手机服务器时间＝拍摄设备时间值+预设时钟矫正值。

同步音视频数据，云手机服务器根据多路音视频同步指令控制每台云手机根据预设时钟矫正值将第一时间戳信息转换为以云手机服务器的时间为基准的第二时间戳信息，实质为将第一时间戳信息中的时间加上预设时钟矫正值即为以云手机服务器为基准的时间从而得到第二时间戳信息。具体步骤如下：云手机服务器控制每台云手机将接收到的音视频数据放入缓冲队列，且将音视频数据中每帧数据包的头部信息区的第一时间戳信息转换为以云手机服务器为基准的第二时间戳信息，并将第二时间戳信息上报至云手机服务器，云手机接收到每台云手机上报的第二时间戳信息后，放入预设时间戳队列中，云手机服务器内部有一个定时器，每隔一段固定时间会从预设时间戳队列里面选取一个时间段里面的若干时间戳信息，并把这些时间戳信息发送给多个云手机上，云手机收到来自云手机服务器的时间戳信息后，会从自身的缓冲队列里面，筛选匹配时间戳的音视频数据，从而实现音视频数据的同步，由于云手机服务器是定时触发，所以云手机是以固定时间间隔收到时间戳信息，而音视频数据也通过时间戳的匹配，达到音视频同步的效果，并能以均匀的速度进行对外发送数据，克服了从拍摄端到云端的网络延时以及抖动引入的音视频不同步，多个拍摄机位画面不同步等问题。

发送自由视角直播指令，云直播控制台获取导播通过终端设备输入的自由视角直播指令并将直播视角指令发送至云手机服务器。

接收自由视角直播指令，云手机服务器接收云直播控制台发送的直播视角指令，所述自由视角直播指令由导播通过终端设备输入至云直播控制台。

自由视角直播，云手机服务器根据自由视角直播指令控制云手机对所有拍摄设备上传的同一时刻的音视频数据中视频数据进行图像重建，得到含有虚拟视点的视频数据，将经过图像重建后含有虚拟视点的视频数据发送至推拉流服务器并由推拉流服务器推送至直播平台中单一直播窗口进行自由视角的视频播放。在本实施例中，自由视角直播指令为全程自由视角指令或精彩时刻自由视角指令，所述全程自由视角指令为任意时刻对应的音视频数据中的视频数据均需要进行自由视角直播，所述精彩时刻自由视角指令为将精彩时刻作为需要进行自由视角播放的时间点，精彩时刻为导播或导演认为拍摄对象直播过程中较为精彩的时刻。当自由视角直播指令为全程自由视角指令时，所述自由视角直播具体为：云手机服务器控制云手机将所有音视频数据发送至预设图像处理服务器中根据预设图像重建算法对每一时刻所有拍摄设备上传的视频数据中的图像进行图像重建，得到含有虚拟视点的视频数据，将每一时刻经过图像重建后的视频数据发送至推拉流服务器并由推拉流服务器推送至直播平台进行自由视角的视频播放。当自由视角直播指令为精彩时刻自由视角指令时，所述自由视角直播具体为：云手机服务器控制云手机将精彩时刻对应的所有音视频数据发送至预设图像处理服务器，预设图像处理器根据预设图像重建算法将精彩时刻对应的音视频数据中的图像进行图像重建，得到含有虚拟视点的视频数据并记为精彩时刻视频数据，将精彩时刻视频数据由预设图像处理器发送至云导播台并由云导播台根据对应时间点推送至直播平台进行播放。

在本实施例中，云导播台作为导播控制直播视角的平台可以设置在任意的手机或其他电子终端，云导播台执行以下步骤：

接收精彩时刻视频数据，云导播台接收由预设图像处理器发送的精彩时刻视频数据并保存；

推送精彩时刻视频数据，导播通过云导播台根据与精彩时刻对应的时间点将精彩时刻视频数据发送至推拉流服务器由推拉流服务器推送至直播平台进行播放。

在本实施例中，视频直播可以供不同的观看者观看，具体为观看者通过自己的终端设备(手机或平板电脑或电视或电脑)登录到指定的直播平台并向此直播平台发送直播请求，直播请求中含有观看者地址，观看者地址为观看者终端设备的身份信息用于区分不同的观看者，直播平台根据直播请求以及预先存储的推拉流地址与推拉流服务器建立连接，并接收推拉流服务器发送的经过图像重建后的视频数据。观看者在观看直播视频过程中可以通过点击不同的虚拟点位实现对直播画面的旋转，从而在单一的直播窗口观看到不同视角下的拍摄对象。

本申请中的一种自由视角的视频直播方法，通过云直播控制台根据导播输入的统一的远程控制指令来控制拍摄设备的拍摄，简化了视频直播中的对拍摄设备的操作流程，另外将拍摄设备拍摄的音视频数据上传至云直播控制台中，而且允许将音视频数据上传至一个云手机中，方便拍摄管理员通过云手机转发的低清流进行监控拍摄工作情况；高清数据保存在云端，为后期制作精彩时刻做准备提供数据支撑，本申请中还提供了精彩时刻视频数据自由视角播放的功能，增加了用户的体验感，云手机服务器接收安装在导播的终端设备中的云直播控制台以及导播台实现对直播进程的控制，使整个视频直播中导播可以在任何地方对直播进行远程控制，摆脱了视频直播受到直播场地条件限制的困扰，提高了视频直播的效率，另外通过将经过图像重建后含有虚拟视点的视频数据发送至推拉流服务器并由推拉流服务器推送至直播平台进行自由视角的视频播放，实现了观看者可以在单一窗口观看不同视角的直播画面，增强了观看者的体验感。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。