用于提供多个虚拟现实视图的系统
阅读说明：本技术 用于提供多个虚拟现实视图的系统 (System for providing multiple virtual reality views ) 是由 姜宗贤 尹硕铉 于 2018-03-22 设计创作，主要内容包括：提供了一种用于虚拟现实(VR)客户端的设备、方法和计算机可读介质以及一种用于实时虚拟现实事件的内容服务器。内容服务器从场所处的每个360°摄像机接收馈送。内容服务器将第一流中的主第一360°视频和第二流中的转换后的辅非360°视频发送到VR客户端。VR客户端确定每个非360°视频的相对位置,以便在第一360°视频中显示非360°视频的渲染的缩略图。VR客户端将对非360°视频的选择发送到内容服务器。内容服务器在第一流中发送与该选择有关的第二360°视频,并在第二流中发送转换后的第一非360°视频。(An apparatus, method, and computer-readable medium for a Virtual Reality (VR) client and a content server for real-time virtual reality events are provided. The content server receives feeds from each 360 camera at the site. The content server sends the primary first 360 ° video in the first stream and the converted secondary non-360 ° video in the second stream to the VR client. The VR client determines the relative position of each non-360 ° video in order to display a rendered thumbnail of the non-360 ° video in the first 360 ° video. The VR client sends a selection of non-360 ° videos to the content server. The content server sends a second 360 ° video related to the selection in the first stream and sends the converted first non-360 ° video in the second stream.)
技术领域
本公开总体上涉及用于提供内容的系统。更具体地，本公开涉及用于使用虚拟现实(VR)设备提供内容的系统。
背景技术
大多数事件，例如音乐会、音乐剧、舞台表演、体育运动(例如，足球、橄榄球、棒球、曲棍球、篮球等)等，都是用多个摄像机记录的。制作团队实时地从那些可用的视频流中合成单个流，并且用户观看合成的流。需要用户控制的内容流。
发明内容
附图说明
为了更完整理解本公开及其优点，现结合附图来参考以下描述，在附图中：
图1A、图1B和图1C示出了其中可以实现本公开的各种实施例的示例性VR客户端；
图2示出了根据本公开实施例的示例性网络配置；
图3示出了根据本公开实施例的在具有多个摄像机的场所处的示例性事件；
图4示出了根据本公开实施例的用于从多个摄像机接收馈送并向VR客户端提供输出的内容服务器的示例性架构；
图5示出了根据本公开实施例的来自第一摄像机的360°视频的示例性广播台可选视图，其中多个非360°视频根据相应摄像机的位置而定位；
图6示出了根据本公开实施例的具有推荐预览的示例性体验；
图7示出了根据本公开实施例的每个摄像机的示例性默认视角；
图8示出了根据本公开实施例的基于主摄像机的焦点来聚焦辅摄像机的默认视角的示例；
图9示出了根据本公开实施例的由VR客户端对实时虚拟现实事件的示例性处理；以及
图10示出了根据本公开实施例的由内容服务器对实时虚拟现实事件的示例性处理。
本发明的最佳实施方式
在一个实施例即VR客户端实施例中，提供了一种用于实时虚拟现实事件的电子设备。该电子设备包括显示器、收发器、可操作地耦接到收发器的处理器以及可操作地耦接到处理器的存储器。存储器存储指令，该指令在被执行时使得处理器经由收发器从内容服务器接收：在场所处的第一位置拍摄的第一360°视频的第一流、和从在场所处的第二位置拍摄的第二360°视频提取的第二非360°视频的第二流。该指令还使得处理器：在第一360°视频的帧上的所选位置处渲染第二非360°视频的缩略图，其中，所选位置相对于第一位置与第二位置相对应；在显示器或外部显示器上显示具有渲染的缩略图的第一360°视频的一部分；从用户接收对渲染的缩略图的选择；向内容服务器发送对第二非360°视频的选择；以及从内容服务器接收第二360°视频的第三流，并中止接收第一360°视频的第一流。
在第二实施例中，提供了一种用于针对实时虚拟现实事件操作电子设备的方法。该方法包括从内容服务器接收：在场所处的第一位置拍摄的第一360°视频的第一流、和从在场所处的第二位置拍摄的第二360°视频提取的第二非360°视频的第二流。该方法还包括：在第一360°视频的帧上的所选位置处渲染第二非360°视频的缩略图，其中，所选位置相对于第一位置与第二位置相对应；显示具有渲染的缩略图的第一360°视频的一部分；从用户接收对渲染的缩略图的选择；向内容服务器发送对第二非360°视频的选择；以及从内容服务器接收第二360°视频的第三流，并中止接收第一360°视频的第一流。
在第三实施例中，提供了一种用于实时虚拟现实事件的体现计算机程序的非暂时性介质。程序代码在由至少一个处理器执行时使得处理器从内容服务器接收：在场所处的第一位置拍摄的第一360°视频的第一流、和从在场所处的第二位置拍摄的第二360°视频提取的第二非360°视频的第二流。程序代码在由至少一个处理器执行时还使得处理器：在第一360°视频的帧上的所选位置处渲染第二非360°视频的缩略图，其中，所选位置相对于第一位置与第二位置相对应；显示具有渲染的缩略图的第一360°视频；从用户接收对渲染的缩略图的选择；向内容服务器发送对第二非360°视频的选择；以及从内容服务器接收第二360°视频的第三流，并中止接收第一360°视频的第一流。
在第四实施例中，提供了一种用于实时虚拟现实事件的系统。该系统包括网络接口、耦接到网络接口的至少一个处理器以及可操作地耦接到处理器的至少一个存储设备。存储设备存储指令，该指令在被执行时使得处理器经由网络接口接收：来自第一摄像机的在场所处的第一位置拍摄的第一360°视频的第一馈送、和来自第二摄像机的在场所处的第二位置拍摄的第二360°视频的第二馈送。该指令还使得处理器：从第二360°视频中提取第二非360°视频；经由网络接口向外部电子设备发送第一360°视频的第一流和所提取的第二非360°视频的第二流；从外部电子设备接收对第二非360°视频的选择；响应于该选择，向外部电子设备发送第二360°视频的第三流；以及中止发送第一360°视频的第一流。
在示例性实施例中，第二流包括周期性更新的二维(2D)快照。
在示例性实施例中，2D快照是来自第一360°视频和第二360°视频的推荐的焦点时刻。
在示例性实施例中，第一流的第一大小大于第二流的第二大小。
在示例性实施例中，第一流的第一帧率大于第二流的第二帧率。
在示例性实施例中，存储设备还包括使得处理器执行以下操作的指令：识别第一360°视频中的感兴趣对象；将推荐视图确定为非360°视频；以及向外部设备提供对该非360°视频的推荐进行指示的信息，以将该非360°视频的缩略图与所显示的其他非360°视频的缩略图区分开。
在示例性实施例中，存储设备还包括使得处理器执行以下操作的指令：识别第一360°视频的主视角的焦点；基于主视角来确定第二非360°视频的辅视角；以及基于所确定的辅视角，向外部设备提供信息以调整缩略图。
在第五实施例中，提供了一种用于实时虚拟现实事件的方法。该方法包括：接收来自第一摄像机的在场所处的第一位置拍摄的第一360°视频的第一馈送、以及来自第二摄像机的在场所处的第二位置拍摄的第二360°视频的第二馈送。该方法还包括：从第二360°视频中提取第二非360°视频；向外部电子设备发送第一360°视频的第一流和所提取的第二非360°视频的第二流；从外部电子设备接收对第二非360°视频的选择；响应于该选择，向外部电子设备发送第二360°视频的第三流；以及中止发送第一360°视频的第一流。
在示例性实施例中，第二流包括周期性更新的二维(2D)快照。
在示例性实施例中，2D快照是来自第一360°视频和第二360°视频的推荐的焦点时刻。
在示例性实施例中，第一流的第一大小大于第二流的第二大小。
在示例性实施例中，第一流的第一帧率大于第二流的第二帧率。
在示例性实施例中，包括：识别第一360°视频中的感兴趣对象；将推荐视图确定为非360°视频；以及向外部设备提供对该非360°视频的推荐进行指示的信息，以将该非360°视频的缩略图与所显示的其他非360°视频的缩略图区分开。
在示例性实施例中，该方法还包括：识别第一360°视频的主视角的焦点；基于主视角来确定非360°视频的辅视角；以及基于所确定的辅视角，向外部设备提供信息以调整缩略图。
在第六实施例中，提供了一种用于实时虚拟现实事件的体现计算机程序的非暂时性介质。程序代码在被执行时使得处理器接收：来自第一摄像机的在场所处的第一位置拍摄的第一360°视频的第一馈送、以及来自第二摄像机的在场所处的第二位置拍摄的第二360°视频的第二馈送。程序代码在被执行时还使得处理器：从第二360°视频中提取第二非360°视频；向外部电子设备发送第一360°视频的第一流和所提取的第二非360°视频的第二流；从外部电子设备接收对第二非360°视频的选择；响应于该选择，向外部电子设备发送第二360°视频的第三流；以及中止发送第一360°视频的第一流。
根据下面的附图、描述和权利要求，其他技术特征对本领域技术人员而言可以是容易理解的。
具体实施方式
参考附图描述下面讨论的图1至图10以及本公开的各种实施例。然而，应理解，本公开不限于这些实施例，并且对这些实施例的所有改变和/或等同或替换也属于本公开的范围。贯穿说明书和附图，相同或相似的附图标记可以用于指代相同或相似的元件。
在进行下面的详细描述之前，阐述贯穿本专利文档所使用的某些词语和短语的定义可能是有利的。术语“发送”、“接收”和“通信”及其派生词包括直接通信和间接通信这二者。术语“包含”和“包括”及其派生词意味着在没有限制的情况下的包含。术语“或”是包含性的，意味着和/或。短语“与...相关联”及其派生词意味着包括、被包括在...内、与...互连、包含、被包含在...内、连接到...或与...连接、耦接到...或与...耦接、可与...通信、与...协作、交织、并置、接近...、绑定到...或与...绑定、具有、具有...的属性、具有与...的关系或与...具有关系等。
此外，下文所描述的各种功能可以由一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并被实施在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其适于在适当的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，其中包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、高密度盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质排除了传输瞬时电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括其中能够永久存储数据的介质和其中能够存储数据且随后能够被重写的介质，诸如可重写的光盘或可擦除的存储器设备。
如本文所使用的，术语“具有”、“可以具有”、“包括”或“可以包括”特征(例如，数字、功能、操作或诸如部件的组件)指示存在该特征，而不排除其他特征的存在。
如本文所使用的，术语“A或B”、“A和/或B中的至少一项”或“A和/或B中的一个或多个”可以包括A和B的所有可能组合。例如，“A或B”、“A和B中的至少一项”或“A或B中的至少一项”可以指示以下所有情形：(1)包括至少一个A，(2)包括至少一个B，或者(3)包括至少一个A和至少一个B。
如本文所使用的，术语“第一”和“第二”可以修饰各种组件而与重要性无关，并且不限制这些组件。这些术语仅用来将组件彼此区分开。例如，第一用户设备和第二用户设备可以指示彼此不同的用户设备，而与设备的重要性或顺序无关。例如，在不脱离本公开范围的情况下，第一组件可以被表示为第二组件，反之亦然。
应该理解，当一元件(例如，第一元件)被称为(操作地或者通信地)“耦接至”或者“连接至”另一元件(例如，第二元件)时，该元件可以直接耦接或连接至该另一元件，或者可以经由第三元件耦接或连接至该另一元件。相反，将理解的是，当一元件(例如，第一元件)被称为“直接耦接至”或者“直接连接至”另一元件(例如，第二元件)时，没有其他元件(例如，第三元件)介于该元件和该另一元件之间。
如本文所使用的，根据情况，术语“被配置(或设置)为”可以与术语“适合于”、“具有...的能力”、“被设计为”、“适于”、“被制作为”或者“能够”互换使用。术语“被配置(或设置)为”不是在本质上意味着“在硬件方面被专门设计为”。更确切地说，术语“被配置为”可以意指一设备能够与另一设备或部件一起执行操作。
例如，术语“被配置(或设置)为执行A、B和C的处理器”可以表示可以通过执行存储在存储器设备中的一个或多个软件程序来执行操作的通用处理器(例如，CPU或应用处理器)、或者用于执行操作的专用处理器(例如，嵌入式处理器)。
本文使用的术语仅被设置为描述其一些实施例，而不限制本公开的其他实施例的范围。将理解，单数形式“一”、“一个”和“该”包括复数指代，除非上下文另外清楚地说明。本文使用的包括技术和科学术语的所有术语具有与本公开实施例所属领域的普通技术人员通常所理解的意义相同的意义。还将理解，诸如在常用词典中定义的术语等的术语应被解释为其含义与在相关技术的上下文中的含义相一致，而不应将其解释为理想的或过于形式的意义，除非本文明确地如此定义。在一些情况下，本文中定义的术语可以被解释为排除本公开的实施例。
例如，根据本公开实施例的电子设备的示例可以包括以下项中的至少一个：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、PDA(个人数字助理)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、摄像机和可穿戴设备(例如，智能眼镜、头戴式设备(HMD)、电子服装、电子手镯、电子项链、电子配饰、电子纹身、智能镜子或智能手表)。
贯穿本专利文档提供了对其他某些词语和短语的定义。本领域普通技术人员应理解：在许多情况下(如果不是大多数情况)，这样的定义适用于这样定义的词语和短语的先前以及将来的使用。
根据本公开实施例，电子设备可以是智能家电。智能家电的示例可以包括以下项中的至少一个：电视、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机项盒、家庭自动控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM、PlayStationTM)、电子词典、电子钥匙、摄录机或电子相框。
根据本公开实施例，电子设备的示例可以包括以下项中的至少一个：各种医疗设备(例如，多功能便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像设备或超声设备)、导航设备、全球定位系统(GPS)接收器、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、汽车信息娱乐设备、航海电子设备(例如，航海导航设备或陀螺罗盘)、飞行电子设备、安全设备、车辆头部单元、工业或家庭机器人、自动柜员机(ATM)、销售点(POS)设备或物联网设备(例如，灯泡、各种传感器、电表或燃气表、洒水器、火警、恒温调节器、街灯、烤面包机、健身器材、热水箱、加热器或烧水壶)。
根据本公开的各种实施例，电子设备的示例可以包括以下项中的至少一个：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量设备(例如，用于测量水、电、燃气或电磁波的设备)。
根据本公开实施例，电子设备可以是以上所列设备之一或组合。根据本公开实施例，电子设备可以是柔性电子设备。本文公开的电子设备不限于以上所列设备，并且可以根据技术的发展包括新电子设备。
在下文中，根据本公开的各种实施例，参考附图对电子设备进行描述。如本文所使用的，术语“用户”可以表示使用电子设备的人或另一设备(例如，人工智能电子设备)。
图1A、图1B和图1C示出了其中可以实现本公开的各种实施例的示例性虚拟现实(VR)客户端(替代地称为“VR客户端设备”、“VR设备”或“头戴式显示器(HMD)”)10、11和12。图1A、图1B和图1C所示的VR客户端10、11和12的实施例仅用于说明。图1A、图1B和图1C不将本公开的范围限于电子设备的任何特定实施例。VR客户端可以是独立式VR客户端10、***式VR客户端11或栓系式VR客户端12之一。
独立式VR客户端10在单个单元中包括接收和渲染VR内容所必需的所有组件(例如，处理器、存储器、显示器和无线通信电路)。独立式VR客户端10可以通过收发器接收图像、Web内容、视频流、视听数据或媒体文件(以下，统称为“内容”)中的至少一个，使用处理器处理要在VR中渲染的内容，并将渲染的内容显示在显示器上。
***式VR客户端11包括可拆卸地安装到不包括显示器的HMD设备或框架20中的电子设备15(其包括处理器、存储器和显示器)。例如，电子设备15可以是智能电话。电子设备15可以从内容服务器接收至少一个内容并对内容进行处理以供观看。电子设备15还被用于在安装在HMD框架20中的同时显示处理后的内容。
栓系式VR客户端12包括栓系到电子设备15的HMD设备20。HMD设备20包括显示器和通信接口，但是不包括处理用于VR的内容的处理器。电子设备15(例如，智能电话或PC)经由线缆连接到HMD设备20，并且将处理后的内容提供给HMD设备20。例如，电子设备15从内容服务器接收内容，并且对内容进行处理以用于VR。然后，电子设备15将处理后的内容提供给HMD设备20以供观看。
图2示出了根据本公开的各种实施例的示例性网络配置100。图2所示的网络配置100的实施例仅用于说明。在不脱离本公开范围的情况下，可以使用网络配置100的其他实施例。
根据本公开的实施例，电子设备101包括在网络环境100中。电子设备101可以包括总线110、处理器120、存储器130、输入/输出(IO)接口150、显示器160或通信接口170中的至少一个。在一些实施例中，电子设备101可以不包括这些组件中的至少一个，或者可以添加另一组件。
在某些实施例中，图1A的独立式VR设备10、图1B的电子设备15和图1C的电子设备15可以具有所示出的电子设备101的配置。在另一实施例中，图1C的栓系式HMD设备20可以具有与电子设备101的配置相同或相似的配置，除了栓系式设备20不包括具有处理VR内容的完整处理能力的处理器(例如，图1C的处理器120)。
总线110包括用于将组件120至170彼此连接且在组件之间传输通信(例如，控制消息和/或数据)的电路。
处理器120包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。处理器120能够对电子设备101的至少一个其他组件执行控制，和/或执行与通信相关的操作或数据处理。
例如，VR客户端10的处理器120可以确定接收到的360°视频和接收到的每个非360°视频的位置。VR客户端10的处理器120可以为每个非360°视频渲染缩略图。VR客户端10的处理器120可以将渲染的每个缩略图放置在360°视频中，以显示给用户，作为实时事件的体验。内容服务器的处理器120可以将360°视频转换为非360°视频。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他组件相关的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。程序140包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145中的至少一部分可以被表示为操作系统(OS)。
例如，内核141可以控制或管理为执行在其他程序(例如，中间件143、API 145或应用程序147)中实现的操作或功能所使用的系统资源(例如，总线110、处理器120或存储器130)。内核141提供允许中间件143、API 145或应用147访问电子设备101的各个组件的接口以控制或管理系统资源。
例如，中间件143可以作为中继器，以允许API 145或应用147与内核141进行数据通信。可以提供多个应用147。中间件143能够例如通过将使用电子设备101的系统资源(例如，总线110、处理器120或存储器130)的优先级分配给多个应用134中的至少一个，来控制从应用147接收到的工作请求。
API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API133包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。
IO接口150用作可以例如向电子设备101的其他组件传送从用户或其他外部设备输入的命令或数据的接口。此外，IO接口150可以向用户或其他外部设备输出从电子设备101的其他组件接收到的命令或数据。
显示器160包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或微机电系统(MEMS)显示器或电子纸显示器。显示器160能够向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并可以接收例如通过使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。
例如，通信接口170能够建立电子设备101和外部电子设备(例如，第一电子设备102、第二电子设备104或服务器106)之间的通信。例如，通信接口170可以通过无线或有线通信与网络162或164相连接以与外部电子设备通信。通信接口170可以是有线或无线收发器、或用于发送和接收诸如视频馈送或视频流的信号的任何其他组件。
VR客户端的通信接口170可以接收360°视频和非360°视频的多个流。VR客户端的通信接口170可以发送参考信号以指示要作为360°视频从内容服务器发送的主视频。
内容服务器的通信接口170可以从多个摄像机接收360°视频和非360°视频的馈送。内容服务器的通信接口170发送作为360°视频的主视频的流和作为非360°视频的辅视频的第二流。
第一外部电子设备102或第二外部电子设备104可以是可穿戴设备或可安装电子设备101的可穿戴设备(例如，头戴式显示器(HMD))。当电子设备101安装在HMD(例如，电子设备102)中时，电子设备101能够检测在HMD中的安装并以虚拟现实模式操作。当电子设备101安装在电子设备102(例如，HMD)中时，电子设备101可以通过通信接口170与电子设备102通信。电子设备101可以直接与电子设备102连接以与电子设备102通信而不涉及单独的网络。
无线通信能够使用以下各项中的至少一个作为蜂窝通信协议：例如，长期演进(LTE)、高级长期演进(LTE-A)、第五代无线系统(5G)，毫米波或60GHz无线通信、无线USB、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。有线连接可以包括以下至少一项：通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)或普通老式电话服务(POTS)。
网络162包括至少一个通信网络，例如，计算机网络(例如局域网(LAN)或广域网(WAN))、互联网或电话网络。
第一外部电子设备102和第二外部电子设备104以及服务器106均可以是与电子设备101相同或不同类型的设备。根据本公开的实施例，服务器106可以包括具有一个或多个服务器的组。根据本公开的实施例，在电子设备101上执行的全部操作或一些操作可以在另一其他电子设备或多个其他电子设备(例如，电子设备102和104或服务器106)上执行。根据本公开的实施例，当电子设备101应自动地或者根据请求执行某个功能或服务时，作为其自身执行该功能或服务的替代或者附加地，电子设备101可以请求另一设备(例如，电子设备102和104或服务器106)执行与该功能或服务相关联的至少一些功能。其他电子设备(例如，电子设备102和104或服务器106)能够执行所请求的功能或附加功能，并向电子设备101传送执行的结果。电子设备101可以通过按原样或附加地处理接收到的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
尽管图2示出了电子设备101包括通信接口170以经由网络162与外部电子设备104或106通信，但是根据本公开的实施例，电子设备101可以独立地操作而没有单独的通信功能。
服务器106可以通过执行在电子设备101上实现的操作(或功能)中的至少一个来支持驱动电子设备101。例如，服务器106可以包括可以支持在电子设备101中实现的处理器120的处理模块或处理器。
尽管图2示出了通信系统100的一个示例，但是可以对图2进行各种改变。例如，系统100可以包括任何数量的、具有任何合适布置的各种组件。通常，计算和通信系统具有各种各样的配置，且图2不将本公开的范围限制于任何特定配置。虽然图2示出了其中可以使用本专利文档中所公开的各种特征的一个操作环境，但是这些特征可以用于任何其他合适的系统中。
图3示出了根据本公开实施例的在具有多个摄像机310的场所(足球场)305处的示例性事件(足球比赛)300。图3所示的事件300的实施例仅用于说明。图3不将本公开的范围限于任何特定实施例。
事件的示例可以包括但不限于音乐会、戏剧、体育运动、音乐剧、舞台表演、典礼、展览、辩论或任何其他活动。事件可以在不同的场所305举行，例如体育场、球场、竞技场、音乐厅、剧院、礼堂等。另外，本公开实施例不限于某些事件，而是可以适于提供用于各种目的的内容，例如，查看建筑结构、历史古迹、建筑工地、校园或公园。
在所示的实施例中，可以使用在场所305周围的不同位置315处的多个360°摄像机310来记录事件300。每个360°摄像机可以包括面对不同方向的多个摄像机，并且可以被配置为拼接来自多个摄像机的图像。每个360°摄像机310可以对来自其多个摄像机的图像执行实时拼接。360°摄像机310的不同位置315提供事件300的不同视角。
在另一实施例中，一个或多个非360°摄像机310可以单独地或与360°摄像机结合地用于记录事件300。在一个示例中，这种非360°摄像机可以仅包括具有所选视场范围的单个摄像机。在另一示例中，非360°摄像机可以包括面对所选方向范围的多个摄像机，并拼接来自多个摄像机的图像，从而提供大于单个摄像机视场但小于360°摄像机视场的视场。
在某些实施例中，360°摄像机310可以包括足够的摄像机以捕获场所305的相关部分。例如，位于场所305的外边界上的360°摄像机310可以不包括面对场所305外部的摄像机。在某些实施例中，每个360°摄像机被编程为将用户的视野范围限制到场所305的内部或场所305的正在进行事件300的部分。
图4示出了用于VR内容服务的系统400的示例性架构。根据本公开的实施例，系统400可以包括：VR内容服务器405，接收来自多个摄像机310的馈送并将输出提供给VR客户端410。图4所示的系统400的实施例仅用于说明。图4不将本公开的范围限于任何特定实施例。
将拼接的360°视频作为馈送415从摄像机310提供给服务器405的拼接视频数据库406。根据操作者或用户通过VR客户端410的请求，服务器405可以处理360°视频430的第一流440，并将第一流440提供给VR客户端410。VR客户端410可以处理视频430以在VR中渲染，并且在其显示器或相关联的显示器上显示渲染的视频430。在某些实施例中，视频430可以是用于某种事件类型的默认视频。在另一实施例中，服务器405可以经由VR客户端410从操作者或用户425接收选择420，以将拼接的360°视频之一或所选事件300流式传输到VR客户端410以渲染为第一流440中的360°视频430。
默认地或可选地，服务器405还可以向VR客户端410提供快照或非360°视频(诸如参照图3描述的)435的至少一个第二流441。VR客户端410可以将快照或非360°视频435渲染为360°视频430内的缩略图以供观看。可以将缩略图放置在360°视频430中与拍摄缩略图的快照或视频的摄像机的物理位置相对应的位置处。在一个实施例中，服务器405可以向VR客户端410提供指示这种位置的元数据，并且VR客户端410可以使用元数据在特定位置处渲染缩略图。
在其他实施例中，服务器405还可以向VR客户端410提供场所地图、场所处的摄像机列表、起点选项列表(例如，广播台视图、感兴趣对象视图、完整场所视图等)等。
另外，VR客户端410还可以提供用户接口以选择缩略图之一。可以使用例如语音识别、VR客户端410上的触摸板、手势识别、视线检测、头部跟踪或手持控制器中的至少一个来实现用户接口。
如上所述，在示出的实施例中，流式传输的360°视频430可以与其他预览的非360°视频435组合地渲染在VR客户端410处，其中非360°视频435作为事件300处的不同位置的缩略图或帧，以提供替代视角。在某些实施例中，服务器405可以处理包括具有快照或非360°视频的缩略图的360°视频在内的合并视频，并向VR客户端410提供该合并视频。VR客户端410可以简单地渲染合并视频以用于VR并显示渲染的视频，而无需单独处理这样的快照或非360°视频。
在某些实施例中，第二流441可以包含360°或非360°视频。在这样的实施例中，VR客户端410可以进一步处理视频(例如，提取视频的各部分)以生成快照或帧的缩略图。可以使用如上所述的元数据或使用图像识别和/或机器学习技术，将非360°视频435的缩略图定位在视角事件300中相应的起源位置315处。
在某些实施例中，非360°视频435的第二流441由服务器405以与第一流440中的360°视频430相比较低的帧率或分辨率提供给VR客户端410。某些实施例包括：为重叠的且小于流式传输的360°视频430的非360°视频435提供单独的观看区域。第二流441还可以包含常规馈送，例如广播台视图、记分板、统计页面等。在某些实施例中，重放功能可一致用于所有视频，360°视频430、非360°视频435或特定的非360°视频435。
在一些实施例中，服务器405可以从默认视角广播(与提供点播服务相对)360°视频作为第一流440，并且从不同视角广播其他视频或快照作为第二流441。然后，根据用户的选择，系统400提供点播服务。
在某些实施例中，360°视频430的焦点自动地跟随动作、指定的球员或由内容服务器405或VR客户端410规定的其他标准。在某些实施例中，对于第二流441中的每个非360°视频435，每几秒钟(例如，每n秒)生成快照，其中“n”是预定时段，即1、2、3等等。在某些实施例中，“n”可以是变化的范围。快照可以在第二流441中广播到VR客户端410。快照可以是360°图像的一小部分，例如图像的中央、预定对象的周围等。
如上所述，VR客户端410可以合并来自第一流440的360°视频430和来自第二流441的非360°视频435，并将结果在显示器上显示给观看者。观看者可以执行诸如调整视野、放大/缩小、选择非360°视频以更改实时事件的视角等动作。在某些实施例中，来自每个流的音频可能在视频与视频之间不同，使得用户可能根据通过缩略图对特定视频的选择而具有不同的声音。
图5示出了根据本公开实施例的来自第一摄像机的360°视频的示例性广播台可选视图500，其中多个非360°视频或快照的缩略图根据相应摄像机的位置而定位。图5所示的广播台可选视图500的实施例仅用于说明。图5不将本公开的范围限于任何特定实施例。
在某些实施例中，主屏幕是广播台可选视图500，其基于广播台的摄像机选择而改变。广播台可选视图500包括360°视频505和至少一个非360°视频510。这仍可以基于非360°视频505的相应缩略图向观看者提供对不同视角之一的选择。每个非360°视频510都是用户可选的，以切换为新的360°视频。当选择了非360°视频510时，将360°视频505的起始切换到相应的摄像机位置，并且将转换后的非360°视频和其他非360°视频相应地放置在新的360°视频中。替代地，在选择缩略图之一后，VR客户端可以仅显示所选视图的完整VR屏幕，而不显示缩略图。
图6示出了根据本公开实施例的示例性屏幕，该示例性屏幕示出了具有推荐预览615的用户体验(UX)600。图6所示的体验600的实施例仅用于说明。图6不将本公开的范围限于任何特定实施例。
UX 600包括360°视频605和至少一个非360°视频610a～610d。在UX 600中提供了推荐预览615，以指示所建议的非360°视频610a，供用户潜在地选择作为主流，以观看为新的360°视频。推荐预览615将所建议的非360°视频610a与未建议的非360°视频610b区分开。推荐预览615可以被显示为：所建议的非360°视频610a周围的形状(例如，框)或边界，增大所建议的非360°视频610a的亮度或可见度或者降低其他非360°视频610b的亮度，增大所建议的非360°视频610a的尺寸，以彩色显示所建议的非360°视频610a或以黑白色显示未建议的非360°视频610b，改变所建议的非360°视频610a的形状或未建议的非360°视频610b的形状，在所建议的非360°视频610a上显示图标或其他标记或者在未建议的非360°视频610b上显示图标和标记，等等。
推荐预览615可以基于观看者感兴趣的事件的有趣发生、动作或其他方面。在某些实施例中，可以使用机器学习来基于识别出感兴趣的对象或人620而确定推荐预览615，例如跟踪诸如球位置、球员等的目标。感兴趣的对象620还可以在360°视频605和每个非360°视频610上识别出，仅在360°视频605上识别出，或者在360°视频605和所建议的非360°视频610a上识别出。在某些实施例中，可以在服务器405(图4)处执行针对推荐预览615和/或跟踪视频中的对象的操作(如下所述)。在某些实施例中，可以至少部分地在VR客户端410处执行这样的操作。
可以仅与非360°视频610相比，或者与当前360°视频605和非360°视频610相比，来确定推荐预览615。例如，推荐预览615可以指示360°视频605的最佳替代视图或总体最佳视图。当推荐预览615指示总体最佳视图时，仅当基于与所识别的对象或机器学习优先级相关的因素使非360°视频610排名较高时，才出现推荐预览615。排名因素可以包括：距感兴趣对象的距离、对感兴趣对象视图的遮挡、特定时间处的默认视图(例如，从球场侧面高视角拍摄的摄像机在篮球比赛中翻倒)、感兴趣对象的位置、观看多个感兴趣对象(例如，观看足球的球和球门)、感兴趣对象的类型(例如，观看冰球比赛)、用户偏好等。
可以使用各种机器学习和计算机视觉技术来学习体育比赛的实时信息。该信息用于快照和流推荐。例如，可以结合特征提取、对象识别和光流来跟踪球和球员的位置。为了识别和跟踪特定球员，有必要进行进一步处理。可以通过面部识别和/或文本提取来识别球员，例如，从球员的制服识别球员的姓名/编号、球队名称等。各种机器学习技术可以适用于实现执行缩略图的选择和突出显示的过程，例如跟踪学习检测、基于运动的多对象跟踪、大规模分析球员的赛中运动、从对抗性多主体轨迹中学习的篮球投篮预测、使用神经网络对比赛进行分类等。
图7示出了根据本公开实施例的每个摄像机710的示例性默认视角715。图7所示的系统700的实施例仅用于说明。图7不将本公开的范围限于任何特定实施例。
缩略图可以基于这些默认视角。在另一实施例中，缩略图中的至少一个可以基于对视场715的选择、缩放量等。可以利用机器学习来计算不同摄像机的角度。
应当注意的是，附图示出的区域仅是示例。另外，应当注意，尽管以上图示以二维示出，但是区域通常是三维的。还应注意，为了清楚和易于说明，附图不一定按比例绘制。
图8示出了根据本公开实施例的改变摄像机810a～810d的视角815a～815d以用于缩略图视图的示例性方法。图8所示的改变视角的实施例仅用于说明。图8不将本公开的范围限于任何特定实施例。
场所805包括多个摄像机810a～810d，其可以被编程为将各自的视角815a～815d聚焦在默认的或由操作者或用户选择的运动或静态焦点820上。用于生成缩略图的非360°视频或快照可以基于这些视角815。在某些实施例中，可以基于对视场的选择、缩放量等动态地调整视角。可以利用机器学习来计算不同摄像机810的角度。例如，确定焦点820的位置和距焦点820的距离。
应当注意的是，附图示出的区域仅是示例。另外，应当注意，尽管以上图示以二维示出，但是区域通常是三维的。还应注意，为了清楚和易于说明，附图不一定按比例绘制。
图9示出了根据本公开实施例的由VR客户端对实时虚拟现实事件的示例性处理900。例如，图9中描绘的处理900可以由图1中的VR客户端10、11和12或图4中的VR客户端410执行。
在操作905中，VR客户端410从内容服务器接收：在场所或事件处的第一位置拍摄的第一360°视频的第一流、以及在事件场所处的第二位置拍摄的第二视频的第二流。第一360°视频是由第一位置处的一个或多个摄像机拍摄的。从内容服务器接收第一360°视频，该视频是从由在第一位置处的一个或多个摄像机捕获的视频拼接而成的。第一流的大小大于第二流的大小，并且第一流的帧率大于第二流的帧率。
第二流可以包括至少一个非360°视频，该至少一个非360°视频可以是帧、快照或从场所处的每个摄像机转换的未被选择为主视图的二维视频。VR客户端可以根据第二流生成帧或快照。第二流包括来自场所中的每个辅摄像机的非360°视频。
在操作910中，VR客户端410使用例如来自服务器的元数据来确定第二非360°视频在第一360°视频中相对于第一位置与第二位置相对应的位置。在一些实施例中，可以基于从内容服务器接收到的信息来确定位置，例如GPS坐标、场所中摄像机位置的映射，内容服务器基于视频中的标识符确定位置或定位等。摄像机的位置也可以由VR客户端使用视频中的标识符、或附接到场所中每个摄像机且在视频中可识别的专用标记直接确定。
在操作915中，VR客户端410在第一360°视频中的所选位置处渲染第二非360°视频的缩略图，其中所选位置相对于第一位置与第二位置相对应。可以根据非360°视频以降低的分辨率生成缩略图，或者可以在内容服务器处针对第二流中传输的辅助非360°视频生成缩略图。可以按不同的时间间隔生成缩略图，以进一步减小第二流中所需的带宽。
在操作920中，VR客户端410显示具有所渲染的缩略图的第一360°视频的一部分。每个缩略图显示在360°视频上与摄像机的位置相关的位置处，其中所述摄像机捕获与相应缩略图相关的转换后的非360°视频。第一360°视频可以显示在VR客户端410的显示器上。
VR客户端410识别第一360°视频中的感兴趣对象。VR客户端将推荐视图确定为第二非360°视频。VR客户端410将第二非360°视频的缩略图与显示器上的其他非360°视频的缩略图区分开。
VR客户端410识别第一360°视频的主视角的焦点。VR客户端410基于主视角来确定非360°视频的辅视角。VR客户端410使缩略图基于所确定的辅视角进行调整。
在操作925中，VR客户端410从用户接收对所渲染的缩略图的选择。VR客户端410可以结合VR客户端410上的其他物理输入或独立地跟踪眼睛的运动。该选择可以基于推荐预览。推荐预览将所建议的非360°视频与所显示的未建议的非360°视频区分开。
在操作930中，VR客户端410将对第二流的选择发送到内容服务器405。该选择指示用户想要将所选的非360°视频切换到主视角。内容服务器将第一流切换到已转换为所选非360°视频的第二视频，并将第一360°视频转换为第二流中的非360°视频。
在操作935中，VR客户端410接收第二360°视频的第三流，并且中止接收第一360°视频的第一流。
尽管图9示出了用于在VR客户端处显示事件的各种VR内容的示例性处理900，但是可以对图9进行各种改变。例如，虽然被示出为一系列步骤，但是每个图中的各种步骤可以重叠，并行发生，以不同顺序发生，或多次发生。
图10示出了根据本公开实施例的用于在内容服务器处提供VR内容的示例性处理1000。例如，图10中描绘的处理1000可以由图4中的内容服务器405执行。
在操作1505中，内容服务器405接收来自第一摄像机的在场所或事件处的第一位置拍摄的第一360°视频的第一馈送、以及来自第二摄像机的在场所或事件处的第二位置拍摄的第二360°视频的第二馈送。内容服务器可以接收来自多个摄像机的馈送。例如，可以根据以下项来确定主360°视频：对于场所的默认设置、对于事件类型的默认设置、历史用户偏好的摄像机馈送、广播台对事件的选择、对流进行的分析、在VR客户端连接到事件时其他用户的量、在VR客户端410附近的其他VR客户端或指定用户等。主360°视频在第一流440上发送到VR客户端410。
在操作1510中，内容服务器405可以从第二360°视频中提取第二非360°视频。内容服务器405可以将接收到的每个摄像机馈送转换为非360°视频，除主馈送之外。内容服务器405可以根据每个非360°视频生成帧、快照或视频。
在操作1515中，服务器405将第一流中的第一360°视频和第二流中的转换后的第二非360°视频发送到VR客户端。非360°视频可以在第二流上合并发送。替代地，可以使用多个流来发送这样的非360°视频。第二流具有与第一流相比较小的大小或与第一流相比较小的帧率或其组合。快照是来自第一360°视频和第二360°视频的推荐的焦点时刻。
在某些实施例中，内容服务器405可以识别第一360°视频中的感兴趣对象。VR客户端410将推荐视图确定为第二非360°视频。内容服务器405可以使VR客户端410将第二非360°视频的缩略图与显示器上的其他非360°视频的缩略图区分开。
在某些实施例中，内容服务器405可以识别第一360°视频的主视角的焦点。内容服务器405基于主视角来确定非360°视频的辅视角。内容服务器405可以使缩略图基于所确定的辅视角进行调整。
在操作1520中，内容服务器405从VR客户端410接收对第二非360°视频的选择。该选择可以基于推荐预览615。推荐预览615将所建议的非360°视频与所显示的未建议的非360°视频区分开。
可选地，在操作1525中，服务器405可以从第一360°视频中提取第一非360°视频。在操作1530中，服务器405发送第二360°视频的流、以及所提取的第一非360°视频和来自不同视角的其他非360°视频的另一流。
尽管图10示出了由内容服务器对实时虚拟现实事件的示例性处理1000，但是可以对图10进行各种改变。例如，虽然被示出为一系列步骤，但是每个图中的各种步骤可以重叠，并行发生，以不同顺序发生，或多次发生。