阅读说明：本技术 信息处理装置、信息处理方法和存储介质 (Information processing apparatus, information processing method, and storage medium ) 是由 松林一弘 于 2019-08-28 设计创作，主要内容包括：本发明提供信息处理装置、信息处理方法和存储介质。本发明的信息处理装置是如下信息处理装置,其输出用于生成虚拟视点图像的视点信息,虚拟视点图像基于通过多个摄像装置从彼此不同的方向进行摄像而获得的图像数据,所述信息处理装置包括：获取单元,其被构造为获取具有多个虚拟视点参数集的视点信息,所述多个虚拟视点参数集分别表示虚拟视点在多个时间点的位置和朝向；改变单元,其被构造为,基于在回放根据由获取单元获取的视点信息的虚拟视点图像期间的用户操作,来改变视点信息中包括的虚拟视点参数集；以及输出单元,其被构造为输出具有由改变单元改变的虚拟视点参数集的视点信息。(The invention provides an information processing apparatus, an information processing method, and a storage medium. An information processing apparatus of the present invention is an information processing apparatus that outputs viewpoint information for generating a virtual viewpoint image based on image data obtained by imaging from different directions from each other by a plurality of imaging devices, the information processing apparatus including: an acquisition unit configured to acquire viewpoint information having a plurality of virtual viewpoint parameter sets respectively representing positions and orientations of virtual viewpoints at a plurality of points in time; a changing unit configured to change a virtual viewpoint parameter set included in the viewpoint information based on a user operation during playback of the virtual viewpoint image according to the viewpoint information acquired by the acquiring unit; and an output unit configured to output the viewpoint information with the virtual viewpoint parameter set changed by the changing unit.)

信息处理装置、信息处理方法和存储介质

技术领域

本发明涉及一种在生成虚拟视点图像时进行操作以指定任意虚拟视点的技术。

背景技术

近年来，一种技术引起了人们的注意，该技术通过在不同位置安装多个相机以从多个视点进行同步摄像、并使用通过摄像获得的多视点图像，来生成根据任意视点的虚拟视点图像(而不仅仅是依据相机布置位置处的图像)。对基于多视点图像的虚拟视点图像的生成和浏览，是通过将由多个相机拍摄的图像一起放在诸如服务器的图像处理单元中，在图像处理单元中基于虚拟视点进行诸如渲染的处理，并进一步在用户终端上显示虚拟视点图像来实现的。

在虚拟视点图像中，通过控制器操作布置在虚拟三维空间上的虚拟相机的位置和朝向来进行视点的改变。具体地，通过X、Y和Z这三个轴来控制虚拟相机的位置，并且通过平转(pan)、倾斜(tile)和滚动(roll)这三个轴来控制虚拟相机的朝向(orientation)。此外，通过变焦轴来控制虚拟相机的视角，并且通过时间轴来控制回放速度。

传统上，改变虚拟视点图像中的视点的操作被划分为由多个操作者中的各操作者进行对各操作轴的操作，以便操作上述各操作轴。另选地，一个操作者通过使用双手来同时操作两个控制器，或者通过使用能够同时操作上述各操作轴的控制器来进行操作。此外，国际公开第2016/178340号公开了一种系统，该系统存储由其他用户在过去进行的操作历史，并且将操作历史作为推荐来进行呈现(分发)，以便获取根据期望视点的视频图像，同时减轻操作的负担。

然而，在操作被划分给多个操作者的情况下，担心一个操作者进行与其他操作者所期待的操作不同的操作。因此，存在无法获得期望的相机参数的情况。此外，在同时创建大量虚拟视点图像的情况下，在操作者数量大的状况下，还担心由于劳动力成本升高而提高生产成本。

另一方面，在一个操作者同时操作上述各操作轴的情况下，难以精确地调整所有操作轴的值。此外，在期望通过仅指定一部分操作轴的值来编辑(调整)曾经创建的相机参数的情况下，需要从头开始对所有操作轴再次进行操作，因此，难以获得期望的虚拟视点图像。这在国际公开第2016/178340号中是相同的，即，存在对虚拟视点操作的自由度的限制。

发明内容

为了解决上述问题，本发明的信息处理装置是如下信息处理装置，其输出用于生成虚拟视点图像的视点信息，虚拟视点图像基于通过多个摄像装置从彼此不同的方向进行摄像而获得的图像数据，所述信息处理装置包括：

获取单元，其被构造为获取具有多个虚拟视点参数集的视点信息，所述多个虚拟视点参数集分别表示虚拟视点在多个时间点的位置和朝向；

改变单元，其被构造为，基于在回放根据由获取单元获取的视点信息的虚拟视点图像期间的用户操作，来改变视点信息中包括的虚拟视点参数集；以及

输出单元，其被构造为输出具有由改变单元改变的虚拟视点参数集的视点信息。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1A是示出图像处理系统的整体构造的图；

图1B是示出信息处理装置的硬件构造的图；

图2是信息处理装置的输入/输出单元的示意图；

图3是用于说明相机视图窗口的图；

图4是用于说明导航窗口的导航标签的图；

图5是用于说明导航窗口的相机控制标签的图；

图6A是摘录了在选择相机控制标签的情况下的导航窗口的一部分的图；

图6B是摘录了在选择相机控制标签的情况下的导航窗口的一部分的图；

图7是用于说明重放窗口的图；

图8是用于说明3轴控制器的图；

图9是用于说明变焦控制器的图；

图10是用于说明重放控制器的图；

图11A至图11F各自是用于说明虚拟相机的操作轴的图；

图12是示出信息处理装置的功能块的图；

图13是示出图13A与图13B的关系的图；

图13A是示出信息处理装置中的处理过程的流程图；

图13B是示出信息处理装置中的处理过程的流程图；

图14A是示出编辑相机参数的结果的图；

图14B是示出编辑相机参数的结果的图；

图15A至图15F各自是用于说明虚拟相机的操作轴的图；并且

图16是用于说明虚拟相机的操作轴的图。

具体实施方式

下面将参照附图来说明本发明的实施例。下面的实施例并不限制本发明，并且并非这些实施例中说明的特征的全部组合均是本发明的解决方案所必须的。另外，不偏离本发明的实质的范围中的各种方面也包括在本发明中，并且还可以适当地组合以下实施例中的一部分。

图1A和图1B是用于说明图像处理系统10的图。更详细地，图1A是示出图像处理系统10的整体构造的图，图1B是示出图像处理系统10的信息处理装置103的硬件构造的图。以下说明图1A和图1B中的各个。

如图1A所示，图像处理系统10包括摄像系统101、虚拟视点图像生成服务器102和信息处理装置103。图像处理系统10可以生成虚拟视点图像。

摄像系统101将多个相机(摄像装置)中的各个布置在不同位置，并且从多个视点同步地拍摄多个图像。摄像系统101将从多个视点同步拍摄的多个图像发送到虚拟视点图像生成服务器102。

虚拟视点图像生成服务器102获取从多个视点同步拍摄的多个图像的图像数据，并基于该多个图像生成从虚拟相机观看的虚拟视点图像。这里，虚拟相机指的是能够在摄像空间内自由移动的虚拟相机。也就是说，虚拟相机可以从与摄像空间内的所有安装(布置)的相机的视点不同的任何视点拍摄图像。然而，也可以对虚拟相机的位置和朝向施加某些限制。通过稍后描述的信息处理装置103确定的相机参数来操作虚拟相机的视点。

虚拟视点图像生成服务器102根据多个接收图像依次生成虚拟视点图像。因此，例如，可以生成实时虚拟视点图像。在图像处理系统10中生成的实时虚拟视点图像是基于在考虑摄像系统101和虚拟视点图像生成服务器102中相对于当前时间的处理延迟时，由摄像系统101拍摄到的拍摄图像的虚拟视点图像。

此外，虚拟视点图像生成服务器102包括预定数据库，并且具有记录多个接收图像的功能。因此，根据多个记录图像，可以生成过去的虚拟视点图像，即，重放的虚拟视点图像(即，基于由摄像系统101在任意时间拍摄到的拍摄图像的虚拟视点图像)。

作为补充，在以下说明中，除非特别指出，否则假设术语“图像”包括运动图像和静止图像两者的概念。也就是说，图像处理系统10可以对静止图像和运动图像二者进行处理。

信息处理装置103控制虚拟相机并确定指示虚拟相机的视点的相机参数。虚拟相机的相机参数包括用于指定虚拟相机的位置、朝向、变焦和时间中的至少一个的参数。

由相机参数指定的虚拟相机的位置例如由三维坐标等指示。具体地，可以通过X轴、Y轴和Z轴这三个轴的笛卡尔坐标系的坐标来指示虚拟相机的位置。在这种情况下，由相机参数指定的虚拟相机的三维位置表示坐标，并且包括与X轴、Y轴和Z轴这三个轴对应的三种参数。此外，还可以在摄像空间内的任何位置处取原点。

由相机参数指定的虚拟相机的朝向例如由平转、倾斜和滚动三个轴形成的角度等表示。在这种情况下，由相机参数指定的虚拟相机的朝向包括平转、倾斜和滚动这三个轴的参数。由相机参数指定的虚拟相机的变焦由焦距的单轴参数表示。此外，时间同样由单轴参数表示。

如上所述，虚拟相机的相机参数是包括与八个轴对应的八个参数的参数集。此外，信息处理装置103可以通过改变具有与多个连续时间点中的各个时间点相对应的多个相机参数的视点信息，来控制这八个轴随时间序列而改变的虚拟相机。相机参数可以包括调节其他元件的参数，或者可以不包括八个轴的上述参数中的至少一个。

信息处理装置103将所确定的虚拟相机的相机参数发送到虚拟视点图像生成服务器102。在接收到虚拟相机的相机参数时，虚拟视点图像生成服务器102基于接收到的相机参数生成虚拟视点图像，并且进一步将生成的虚拟视点图像发送到信息处理装置103。然后，信息处理装置103将所接收的虚拟视点图像显示在相机视图301上。还可以如在本实施例中那样由一个信息处理装置103生成实时虚拟视点图像和重放的虚拟视点图像，或者也可以通过使用两个信息处理装置分别生成实时虚拟视点图像和重放的虚拟视点图像。此外，在上述图1A中，虚拟视点图像生成服务器102和信息处理装置103被构造为单独的单元，但是也可以接受如下构造：虚拟视点图像生成服务器102被包括在信息处理装置103中。

接下来，通过使用图1B，说明信息处理装置103的硬件构造。信息处理装置103包括CPU 111、RAM 112、ROM 113、通信单元114和输入/输出单元115作为其硬件构造。

CPU(中央处理单元)111通过使用存储在RAM 112中的数据和存储在ROM 113中的计算机程序来控制信息处理装置103的操作。RAM(随机存取存储器)112临时存储从ROM 113读取的计算机程序、作为计算的中途结果的中间数据、经由通信单元114从外部供给的数据等。ROM(只读存储器)113存储不需要改变的计算机程序和数据。假设ROM 113还包括非易失性存储器，用于存储即使电源被切断也需要存储的数据。

通信单元114包括诸如以太网和USB(通用串行总线)的通信单元，并且进行与虚拟视点图像生成服务器102的通信。输入/输出单元115包括用于控制虚拟相机的多个控制器和显示虚拟相机的状态等的多个显示单元。

图2是信息处理装置103的输入/输出单元115的示意图。如图2所示，输入/输出单元115包括三个显示单元(201a、201b、201c)。显示单元201a显示相机视图窗口。相机视图窗口是用于显示从虚拟视点图像生成服务器102接收的虚拟视点图像的窗口。显示单元201b显示导航窗口。导航窗口是用于控制虚拟相机的窗口。显示单元201c显示重放窗口。重放窗口是用于生成和编辑重放的虚拟视点图像的窗口。

在以下说明中，存在将显示单元201a、201b和201c统一描述为显示单元201的情况。此外，信息处理装置103还可以包括未示意性地示出的触摸面板、鼠标、键盘等，以便对上述各窗口进行操作。

此外，如图2所示，输入/输出单元115包括四个控制器202a、202b、203和204。输入/输出单元115接收根据用户对控制器的操作用于进行对虚拟相机的控制的指令。也就是说，输入/输出单元115接收用于改变(用于控制)虚拟相机的位置、朝向等的指令。

3轴控制器202a和3轴控制器202b是控制(操作)三个轴的控制器。可以通过设置向3轴控制器的各轴分配任意控制。可以将用于指定虚拟相机位置的例如X轴、Y轴和Z轴的控制分配给3轴控制器202a的各个轴。此外，可以将用于指定虚拟相机的朝向的例如平转、倾斜和滚动的控制分配给3轴控制器202b的各个轴。

变焦控制器203是控制虚拟相机的变焦的控制器。重放控制器204是控制用于生成重放的虚拟视点图像的功能的控制器。此外，还向重放控制器204分配对虚拟相机的时间的控制。

在图2中，对于输入/输出单元115，示出了包括三个显示单元的构造作为其示例，但是也可以接受包括一个、两个或四个或更多个显示单元的构造。类似地，在图2中，对于输入/输出单元115，示出了包括四个控制器的构造作为其示例，但是也可以接受包括三个以下或五个以上的控制器的构造。

图3是用于说明相机视图窗口的图。如上所述，相机视图窗口显示在显示单元201a上。相机视图301是显示从虚拟视点图像生成服务器102接收的虚拟视点图像的显示区域。该虚拟视点图像是从用户控制的虚拟相机观看的虚拟视点图像。此外，信息处理装置103还可以通过控制虚拟相机的时间来显示过去的虚拟视点图像。

场景时间302是用于生成要在相机视图301上显示的虚拟视点图像的拍摄图像的摄像时间。即，场景时间302是在相机视图301上显示的虚拟视点图像的时间。

场景回放速度303是在相机视图301上显示的虚拟视点图像的回放速度。在场景回放速度303是100％的情况下，以正常回放速度回放虚拟视点图像。此外，在场景回放速度303小于100％的情况下，以慢速回放虚拟视点图像。例如，在两秒内回放一秒的实时视频图像的情况下，场景回放速度为50％。此外，在场景回放速度303大于100％的情况下，通过快进回放虚拟视点图像。

在场景回放速度303是0％的情况下，在时间停止的状态下在相机视图301上显示特定摄像时间的虚拟视点图像，并且场景时间302不改变。然而，即使在场景回放速度303是0％的情况下，也可以控制虚拟相机。具体地，例如，在足球比赛中，可以生成在特定运动员踢球的瞬间从在该特定运动员周围移动的视点观看的虚拟视点图像。

相机视图状态304是在相机视图301上显示的虚拟视点图像的状态。具体地，例如，作为相机视图状态304，存在如下五种状态(“Review replay clip(回顾重放剪辑)”、“Live(实时)”、“Recording(记录)”、“Edit repaly(编辑重放)”、“None(无)”)。

“回顾重放剪辑”是回放重放剪辑的虚拟视点图像的状态。“实时”是回放实时虚拟视点图像的状态。“记录”是记录重放剪辑的状态。“编辑重放”是编辑记录的重放剪辑的状态。“无”是其他状态。

图4是用于说明导航窗口的导航标签的图。如上所述，导航窗口显示在显示单元201b上。切换按钮401是用于切换要在导航窗口中显示的内容的按钮，并且包括导航标签和相机控制标签。在选择导航标签的情况下，在显示单元201b上主要显示虚拟相机的状态。在选择相机控制标签的情况下，在显示单元201b上主要显示与虚拟相机的控制有关的信息。

环境视图408是以鸟瞰方式显示由用户控制的虚拟相机的位置、朝向等的显示区域。在图4所示的示例中，导航窗口包括四个环境视图408。如图4所示，在左上环境视图408中，显示从正上方观看的场地图像，并且在左下环境视图408中，显示从左上环境视图408的左侧沿着长边方向观看的场地图像。此外，在右下环境视图408中，显示从左上环境视图408的下侧沿着短边方向观看的场地图像，并且在右上环境视图408中，显示从斜上方观看的场地图像。

这些图像是通过使用例如体育场模型的CG(计算机图形)图像生成的。另选地，还可以通过为环境视图408单独准备虚拟相机来生成虚拟视点图像。用户通过检查环境视图408可以容易地掌握虚拟相机在摄像空间(例如，体育场)中的位置、朝向等。

相机参数显示410显示虚拟相机的相机参数。这里，显示指示虚拟相机的位置的坐标值，指示虚拟相机的朝向的平转、倾斜和滚动，变焦等，作为虚拟相机的相机参数。在GUI(图形用户界面)上接收与各种参数中的各个对应的条的操作的情况下，信息处理装置103可以改变相机参数的值。在相机参数中，虚拟相机的时间显示在场景时间302中。虚拟相机视角显示412是指示虚拟相机在摄像空间内的位置和朝向的CG。

图5是用于说明导航窗口的相机控制标签的图。X轴控制设置501是被构造为进行与虚拟相机在X轴方向(水平方向)上的移动有关的各种设置的设置单元。Y轴控制设置502是被构造为进行与虚拟相机在Y轴方向(前后方向)上的移动有关的各种设置的设置单元。Z轴控制设置503是被构造为进行与虚拟相机在Z轴方向(垂直方向)上的移动有关的各种设置的设置单元。

平转控制设置504是被构造为进行与虚拟相机在平转方向上的旋转有关的各种设置的设置单元。倾斜控制设置505是被构造为进行与虚拟相机在倾斜方向上的旋转有关的各种设置的设置单元。滚动控制设置506是被构造为进行与虚拟相机在滚动方向上的旋转有关的各种设置的设置单元。变焦控制设置507是被构造为进行与虚拟相机的变焦有关的各种设置的设置单元。

图6A和图6B各自是摘录了在选择图5中的相机控制标签的情况下的导航窗口的一部分的图。在图6A和图6B中，操作轴名称511表示各操作轴的项目名称。相机参数值512表示根据对各操作轴的操作而确定的各相机参数的当前值。滑动条513是用于进行各种设置(例如，针对控制器的操作量的相机参数的改变速度(与参数改变有关的灵敏度))的滑动条。

On开关514是用于启动各操作轴的编辑操作(用于使对应于操作轴的参数成为改变对象)的开关，并且Off开关515是用于禁用各操作轴的编辑操作(用于从改变对象中排除与操作轴对应的参数)的开关。具体地，在点击On开关514的情况下，进入可以通过操作轴进行编辑操作的状态(On状态)，并且操作轴的On开关514被突出显示，同时操作轴的Off开关515未突出显示。此外，在点击Off开关515的情况下，进入无法通过操作轴进行编辑操作的状态(Off状态)，并且操作轴的Off开关515被突出显示，同时操作轴的On开关514未突出显示。图6A示出了所有操作轴都处于On状态的情况，图6B示出了用于指定虚拟相机的位置的X轴、Y轴和Z轴处于Off状态而其他操作轴处于On状态的情况。在处于On状态的操作轴上进行用户操作的情况下，根据设置的灵敏度和对应于用户操作的改变量，来改变对应于操作轴的参数。

只要为各操作轴的编辑操作安装了在有效和无效之间切换的功能，该方面不必限于上述方面(即，On开关514、Off开关515)。因此，各操作轴的编辑操作可以通过一个开关、按钮等在有效和无效之间切换。此外，还可以在其他窗口(例如，在选择图4中的导航标签的情况下的导航窗口的相机参数显示410等)中显示On开关514和Off开关515。

图7是用于说明重放窗口的图。重放窗口显示主要与重放剪辑的生成有关的信息。重放剪辑列表604是用于管理由用户生成的重放剪辑605的列表。在图7中的重放剪辑列表604中，从最近的重放剪辑605开始按顺序显示重放剪辑605。

重放剪辑605记录虚拟相机的相机参数。也就是说，信息处理装置103将重放剪辑605记录为相机参数，而不是记录为图像。然后，通过按顺序生成所记录的相机参数的虚拟视点图像来获得重放图像。

在重放窗口中按下重放剪辑编辑按钮606的情况下，开始编辑重放剪辑。在重放剪辑编辑中，重新操作和修改曾经创建的相机参数，以使这些相机参数成为更好的相机参数。然后，在所创建的相机参数的这种修改中，仅改变在虚拟相机的操作轴当中的指定操作轴的值，并且针对其他操作轴维持(存储)先前的值。由此，可以减少在一次操作(修改)中操作的目标操作轴的数量，因此，可以提高虚拟视点操作的自由度，并且由此可以减轻操作的负担和操作者的数量。

在时间线607上，根据比赛进度，针对各帧记录虚拟相机的相机参数。在时间线607上，如下记录虚拟相机的参数。在信息处理装置103用于生成实时虚拟视点图像的情况下，在时间线607上记录此时虚拟相机的相机参数。在信息处理装置103用于生成重放虚拟视点图像的情况下，不在时间线607上记录虚拟相机的相机参数。

在点击时间线607上的一个点的情况下，时间跳转到点击时间，并且在虚拟相机中设置对应于该时间的帧的相机参数的值。在相机参数没有记录在相应帧中的情况下，应用点击时虚拟相机的相机参数。也就是说，在这种情况下，只有时间跳跃而位置和朝向保持不变。

图8是用于说明3轴控制器202的图。一个3轴控制器202能够控制三个轴，并且一个3轴控制器202包括六个旋钮801至806、六个按钮807至812、跷跷板开关813和3轴操纵杆814。在本实施例中，通过使用两个3轴控制器202，来分配六个轴的控制。在下文中，X、Y和Z这三个轴的控制被分配给两个3轴控制器202中的一个(即3轴控制器202a)，平转、倾斜和滚动这三个轴的控制被分配给另一个3轴控制器202(即3轴控制器202b)。

接下来，说明向3轴控制器202a的旋钮、按钮、跷跷板开关和3轴操纵杆分配的功能。在3轴控制器202a中，向按钮807分配X轴的开/关，向按钮808分配Y轴的开/关，并且进一步向按钮809分配Z轴的开/关。此外，向跷跷板开关813分配Z轴，并且向3轴操纵杆814分配X轴(对于向左右的倾斜)并分配Y轴(对于向前后的倾斜)。在3轴控制器202a中未分配向左右的扭转。

类似地，说明向3轴控制器202b的旋钮、按钮、跷跷板开关和3轴操纵杆分配的功能。在3轴控制器202b中，向按钮807分配平转的开/关，向按钮808分配倾斜的开/关，并且进一步向按钮809分配滚动的开/关。此外，向3轴操纵杆814分配平转(用于向左右的倾斜)，分配倾斜(用于向前和向后的倾斜)，并分配滚动(用于向左和向右的扭转)。在3轴控制器202b中，未向跷跷板开关813分配预定功能。

另外，作为补充，对于操纵杆，还可以使用能够控制四个或更多个操作轴的操纵杆。例如，还可以分配X轴(用于向左和向右的平移)、Y轴(用于向前和向后平移)、Z轴(用于拉起/按下)、平转(用于向左和向右的倾斜)、倾斜(用于向前和向后的倾斜)和滚动(用于向左和向右的扭转)。

图9是用于说明变焦控制器203的图。变焦控制器203包括两个旋钮901和902、四个按钮903至906、拨盘907和跷跷板开关908。在变焦控制器203中，向按钮903分配变焦开/关，向拨盘907分配聚焦，并且向跷跷板开关908分配变焦。

图10是用于说明重放控制器204的图。重放控制器204包括13个按钮1001至1013、滑块1014、转轮1015和指轮1016。下面说明在重放控制器204中分配的功能。

向按钮1010分配REC，并且在按下该按钮1010的情况下，开始重放剪辑的创建，此后，由用户操作的虚拟相机的参数被记录为重放剪辑。向按钮1011分配PLAY(播放)/PAUSE(暂停)，并且通过该按钮1011进行场景的回放和暂停。在暂停期间，停止虚拟相机的时间。此外，向按钮1012分配REVIEW(回顾)，并且在按下该按钮1012的情况下，开始重放剪辑的回放。

滑块1014是用于设置场景回放速度的滑块。在通过该滑块1014设置场景回放速度的情况下，根据设置的场景回放速度改变虚拟相机的时间。转轮1015用于设置时间。通过该转轮1015，进行时间的倒回、快进等。指轮1016用于以帧为单位设置时间。通过该指轮1016，以帧为单位进行时间的倒回、快进等。也就是说，利用指轮1016，可以比转轮1015更精细地控制时间。

在控制器202、203和204中，除了上述之外的旋钮、按钮、开关等与本实施例无关，因此省略其说明。此外，除了上述功能之外，例如还可以分配诸如景深调整和聚焦调整的功能。在下文中，参照图11A至图16说明各实施例。

[第一实施例]

图11A至图11F是用于说明虚拟相机的操作轴的图。在操作轴当中，X轴703、Y轴704和Z轴705对应于虚拟相机的移动操作方向。X轴703、Y轴704和Z轴705彼此垂直，并且不管虚拟相机701的朝向如何，Z轴705始终是垂直于地面702的方向。因此，不管相机的朝向如何，X轴703和Y轴704始终在与地面702平行的方向上。X轴703和Y轴704根据虚拟相机701的朝向而改变方向。虚拟相机701的光轴投影到与地面702平行的面上的方向是Y轴704，并且垂直于虚拟相机701的光轴的方向是X轴703。在操作轴当中，分别地，Pan(平转)轴706对应于以Z轴705为旋转轴的旋转操作方向，Tilt(倾斜)轴707对应于以X轴703为旋转轴的旋转操作方向，并且Roll(滚动)轴708对应于以Y轴704为旋转轴的旋转操作方向。

图11A和图11B是从Z轴方向观看的虚拟相机701的图。在虚拟相机从图11A中的状态平转(即，绕作为旋转轴的Z轴旋转)的情况下，获得图11B中的状态。图11C和图11D是从Y轴方向观看的虚拟相机701的图。在虚拟相机从图11C中的状态滚动(即，绕作为旋转轴的Y轴旋转)的情况下，获得图11D中的状态。图11E和图11F是从X轴方向观看的虚拟相机701的图。在虚拟相机从图11E中的状态倾斜(即，绕作为旋转轴的X轴旋转)的情况下，获得图11F中的状态。

各相机参数如何根据各操作轴的操作而改变取决于：在选择图6A和图6B所示的相机控制标签的情况下导航窗口中的滑动条513的设置。此外，操作轴和相机参数项并不总是以一对一的方式彼此对应。例如，操作轴的X轴在虚拟相机的水平方向上，而Y轴在虚拟相机的前后方向上，但也可以在地面的长边方向上取相机参数的X轴，并在地面的短边方向上取Y轴。在这种情况下，通过以交互的方式将相机参数的X轴的当前值和Y轴的当前值与操作轴的X轴的值和Y轴的值组合，确定编辑后的相机参数的X轴的值和Y轴的值。具体地，例如，在X轴被设置为Off(不可编辑)并且Y轴被设置为On(可编辑)的情况下，在虚拟相机在前后方向上移动的条件下，相机参数的X轴的值和Y轴的值中的各个都相对于地面在倾斜方向上的移动而改变。

图12是示出信息处理装置103的功能块的图。输入/输出单元120是由包括上述控制器202a至204和显示单元201a至201c的输入/输出单元115实现的功能，并且显示用于控制虚拟相机的多个控制器和虚拟相机的状态等。

设置单元121根据控制器的操作设置各种相机参数。例如，在选择了相机控制标签的情况下图6A和图6B中所示的导航窗口中的各种设置、以及通过图8中的3轴控制器的各种按钮进行的设置对应于各种相机参数。在设置单元121中设置的值存储在设置存储单元122中。

相机参数编辑单元123根据用户经由输入/输出单元120的操作来编辑相机参数。具体地，相机参数编辑单元123通过在从运动图像的场景开始的时间点到场景结束的时间点的各帧中，根据输入/输出单元120中的操作设置虚拟相机的位置和视野，来编辑相机参数。相机参数存储单元124将由相机参数编辑单元123编辑的相机参数与三维对象数据的经过时间相关联地存储。

窗口控制单元125进行各种窗口(例如相机视图窗口、导航窗口和重放窗口)的显示控制。窗口控制单元125在相机视图窗口中从相机参数存储单元124读取各帧中的相机参数，并将相机参数传递到虚拟视点图像生成服务器102。此外，窗口控制单元125将由虚拟视点图像生成服务器102生成的虚拟视点图像显示在输入/输出单元115的显示单元201a的相机视图窗口内。此外，窗口控制单元125在导航窗口中从相机参数存储单元124中读取各帧中的相机参数，并根据相机参数的位置和朝向绘制虚拟相机视角显示412。

图13A和图13B是示出信息处理装置103中的处理过程的流程图。在下文中，假设在流程图的说明中的符号“S”表示步骤。也就是说，这里，流程图中的处理步骤S101至步骤S114中的各个被缩写为S101至S114。

在S101，相机参数编辑单元123从已经存储在相机参数存储单元124中的相机参数中读取由操作者指定的一个相机参数。具体地，相机参数编辑单元123显示在图7中所示的重放窗口中显示的重放剪辑列表604，并且操作者从列表中选择(指定)一个重放剪辑605。

在S102，相机参数编辑单元123将场景的开始帧设置为处理对象。在S103，相机参数编辑单元123读取场景的开始帧中的虚拟相机参数。在S104，窗口控制单元125从相机参数存储单元124中读取虚拟相机参数，并通过更新相机视图窗口和导航窗口，来回放与相机参数相对应的虚拟视点图像。在更新相机视图窗口时，窗口控制单元125将虚拟相机参数传递到虚拟视点图像生成服务器102，并在相机视图窗口(相机视图)中显示在虚拟视点图像生成服务器102中生成的虚拟视点图像。此外，在更新导航窗口时，窗口控制单元125根据相机参数的位置和朝向来绘制虚拟相机视角显示412。S104至S114的处理是对运动图像场景的各帧进行的处理。

在S105，相机参数编辑单元123获取在虚拟视点图像的回放期间控制器对各操作轴的操作。在S106，相机参数编辑单元123将相机参数的第一操作轴作为处理对象。具体地，例如，在以X轴、Y轴、Z轴、Pan轴、Tilt轴、Roll轴和Zoom(变焦)轴的顺序进行处理的情况下，相机参数编辑单元123首先将X轴作为处理对象。

在S107，相机参数编辑单元123通过参照存储在设置存储单元122中的信息(设置值)来确定操作轴(处理对象操作轴)是否被设置为可编辑(On)。即，相机参数编辑单元123确定是否可以进行编辑。在操作轴被指定为可编辑的情况下(S107中的是)，信息处理装置103将处理移动到S108，并且在操作轴未被指定为可编辑的情况下(S107中的否)，信息处理装置103将处理移动到S109。S107至S112的处理是对各操作轴进行的处理。

在S108，相机参数编辑单元123基于在S105获取的控制器操作来导出(计算)操作轴的相机参数的值。另一方面，在S109，相机参数编辑单元123从相机参数存储单元124读取在S101中指定的已经存在的相机参数的帧的操作轴的参数的值。

在S110，相机参数编辑单元123将在上述S108计算的值或在S109获取的值，作为正在编辑的相机参数的帧的操作轴的值存储在相机参数存储单元124中。

在S111，相机参数编辑单元123确定操作轴(处理对象操作轴)是否是处理顺序中的最后操作轴。在操作轴是处理顺序中的最后操作轴的情况下(S111中的是)，信息处理装置103将处理移动到S113，并且在操作轴不是处理顺序中的最后操作轴的情况下(S111中的否)，信息处理装置103将处理移动到S112。

在S112，相机参数编辑单元123将下一个操作轴设置为处理对象，并且进一步将处理返回到S107。具体地，在以X轴、Y轴、Z轴、Pan轴、Tile轴、Roll轴和Zoom轴的顺序进行处理的情况下，在当前处理对象是X轴的条件下，Y轴被重新设置为下一个处理对象(操作轴)。

在S113，相机参数编辑单元123确定当前帧是否是场景的最后帧(最终帧)。在当前帧是最后帧的情况下，信息处理装置103终止图13A和图13B所示的流程图的处理，而在当前帧不是最后帧的情况下，信息处理装置103将处理移至S114。在S114，相机参数编辑单元123将当前帧的下一帧设置为编辑对象，并进一步将处理返回到S104。通过信息处理装置103重复S104至S114的处理并对场景的所有帧进行S110的处理，具有基于用户操作改变的相机参数的视点信息被输出到相机参数存储单元124。信息处理装置103还可以将视点信息输出到其他输出目的地。

图14A和图14B是示出编辑相机参数的结果的图。在图14A和图14B中，对象1402沿轨迹1405移动，并且操作者沿轨迹1404移动虚拟相机1401以跟随对象1402。这里，假设X轴、Y轴和Z轴的操作被分配给3轴控制器202a，Pan轴、Tilt轴和Roll轴的操作被分配给3轴控制器202b，并且Zoom轴的操作被分配给变焦控制器203。

在第一操作中，如图6A所示，X轴、Y轴、Z轴、Pan轴、Tilt轴、Roll轴和Zoom轴都进入可编辑(On)状态。操作者在主要观看导航窗口的环境视图408的同时，用一只手操作3轴控制器202a以调整X轴、Y轴和Z轴的值并精确地移动虚拟相机，使得虚拟相机绘制期望的轨迹。同时，操作者用另一只手操作3轴控制器202b来调整Pan轴、Tilt轴和Roll轴的值，但是通过第二操作精确调整这些操作轴的值，因此，没有必要在第一操作中进行精确的操作(调整)。此外，在第二操作中进行由变焦控制器203对Zoom轴的调整，因此，在第一操作中不进行Zoom轴的调整。由第一操作输出的相机参数在图7中的重放窗口中显示为重放剪辑605。

在第一操作中，如图14A所示，虚拟相机1401的朝向稍微偏离期望的朝向(朝向对象的朝向)，因此，不能充分地获得期望的构图。因此，在第二操作中，通过按下重放窗口的重放剪辑编辑按钮606来开始重放剪辑605的编辑。此外，在第二操作中，如图6B所示，X轴、Y轴和Z轴进入不可编辑(Off)状态。

在第二操作中，操作者在主要观看相机视图窗口的相机视图301的同时，用一只手操作3轴控制器202b并且精确地调整Pan轴、Tilt轴和Roll轴的值。同时，操作者用另一只手操作变焦控制器203并精确地调整Zoom轴的值。通过如上所述调整值，如图14B所示，虚拟相机的位置和朝向进入期望状态。因此，可以获得期望的构图。作为补充，在上述操作轴当中存在需要进一步微调的操作轴的情况下，也可以类似地通过仅使操作轴进入可编辑状态(On状态)来再次进行编辑。此外，根据编辑对象操作轴，还可以通过检查导向窗口(虚拟相机的位置和朝向)和相机视图窗口中的一个来操作操作轴。此外，在通过用户操作改变特定时间的相机参数的情况下，还可以改变与用户操作的时间点之后的多个时间点中的各个相对应的多个相机参数。例如，在进行将虚拟相机在特定帧中的位置在x轴方向上移位一米的用户操作的情况下，信息处理装置103也可以将虚拟相机在各后续帧中的位置在x轴方向上移位一米。

如上所述，通过减少要同时控制的操作轴的数量并通过将操作划分成针对各操作轴的多次来进行操作，可以减轻操作的负担并减少操作者的数量。此外，通过如上所述进行操作，可以针对各操作轴精确且容易地调整相机参数。尤其是，如上所述，通过单独进行在观看环境视图时的操作和在观看相机视图时的操作，操作者可以将注意力集中在特定视图上，因此可以容易地进行精确的操作。此外，在期望对相机参数进行微调的情况下，不需要从头开始对所有操作轴再次进行操作，并且可以仅调整(改变)操作者期望进行微调的操作轴，因此可以减轻调整时的负担。

[第二实施例]

接下来，参照图15A至图15F说明第二实施例。图15A至图15F是用于说明虚拟相机的操作轴的图。在操作轴当中，X轴703、Y轴704和Z轴705分别对应于虚拟相机701的侧面方向、正面方向(光轴方向)和上面方向上的移动操作方向，并且X轴703、Y轴704和Z轴705相互垂直。此外，在操作轴当中，平转轴706、倾斜轴707和滚动轴708分别对应于以Z轴705、X轴703和Y轴704作为旋转轴的旋转操作方向。

在上述第一实施例中，在进行通过3轴控制器202a向前移动虚拟相机的操作(即，在Y轴方向上的移动)的情况下，虚拟相机始终与地面702平行移动，而与虚拟相机的镜头在垂直方向上的朝向无关(即，与倾斜无关)。另一方面，在本实施例(第二实施例)中，在类似地进行通过3轴控制器202a向前移动虚拟相机的操作(即，在Y轴方向上的移动)的情况下，虚拟相机在虚拟相机的光轴方向上移动。因此，在虚拟相机相对于水平方向面向下的情况下(即，倾斜值为负)，虚拟相机以更接近地面的方式移动(即，Z值变小)。此外，相反，在虚拟相机相对于水平方向面向上的情况下(即，倾斜值为正)，虚拟相机以远离地面的方式移动(即，Z值变大)。

[第三实施例]

接下来，参照图16说明第三实施例。图16是用于说明虚拟相机的操作轴的图。在操作轴当中，X轴703、Y轴704和Z轴705始终对应于固定方向，而不依赖于虚拟相机的位置和朝向。具体地，在诸如足球场的设施的情况下，X轴703、Y轴704和Z轴705分别对应于地面的长边方向、地面的短边方向和垂直于地面的方向上的移动操作方向(即，各操作轴对应于设施的形状)。

X轴703、Y轴704和Z轴705彼此垂直。此外，在这种情况下，可以使操作轴的平转轴706、倾斜轴707和滚动轴708分别对应于以Z轴、X轴和Y轴作为旋转轴的旋转操作方向，如上述第一实施例和第二实施例的情况一样。然而，该示例不限于此，并且还可以设置平转轴706、倾斜轴707和滚动轴708，使得X轴703与平转轴706不一致，Y轴704与倾斜轴707不一致，并且Z轴705与滚动轴708不一致。例如，即使在X轴703是以足球场的长边方向为基准的坐标轴、并且Y轴704是以足球场的短边方向为基准的坐标轴的情况下，也可以以虚拟相机的光轴的朝向为基准来设置滚动和倾斜的旋转轴。

[第四实施例]

接下来，说明第四实施例。在上述实施例中，说明了通过针对已拍摄图像编辑相机参数来提供从各种视点观看的重放视频图像的示例，但是这里，说明如下示例：通过在进行摄像的同时实时生成相机参数，来提供实时视频图像。

例如，存在预先确定场景(诸如音乐视频图像和戏剧视频图像)的情况。在这种情况下，拍摄排练并且预先创建针对排练的相机参数。具体地，基于通过排练的摄像而获得的图像数据，在基于虚拟视点图像的回放期间的用户操作，来确定针对排练的相机参数。然后，在实际表演中，通过与场景的进度同步地编辑针对排练的相机参数来创建(生成)针对实际表演的相机参数。也就是说，通过基于对实际表演的摄像而获得的图像数据(这不同于通过排练的摄像而获得的图像数据)，在基于虚拟视点图像的回放期间的用户操作来改变针对排练的相机参数，来生成针对实际表演的相机参数。在排练和实际表演之间表演者的行为有微小差异，因此，在调整虚拟相机的朝向(例如仅调整平转、倾斜和滚动)时创建针对实际表演的相机参数，以便根据该差异获得期望的构图。此外，进行广播和分发作为实时视频图像(实时图像)。

[第五实施例]

接下来，说明第五实施例。如上所述，作为操作轴之一，存在重放控制器204的时间轴(更详细地，控制回放速度的时间轴)。在编辑包括诸如慢速回放和暂停的虚拟相机操作的相机参数的情况下，还可以使重放控制器204能够在能够调整(编辑)回放速度和不能调整(编辑)回放速度之间切换。

在能够进行编辑的情况下，不管已经存在的相机参数的回放速度如何，在通过操作重放控制器204重新调整回放速度的同时，通过进一步控制3轴控制器202和变焦控制器203来调整任意操作轴。此外，在不能进行编辑的情况下，根据已经存在的相机参数的回放速度的变化，进一步调整任意操作轴。

如以上在第一至第五实施例中所说明的，在生成虚拟视点图像时，通过提高虚拟视点操作的自由度，可以减轻操作的负担。此外，操作轴的定义不必限于上述第一至第五实施例中描述的定义。

[其他实施例]

还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以进行上述实施例中的一个或更多个的功能、并且/或者包括用于进行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以进行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路进行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并进行程序的方法。

根据上述实施例，提高了虚拟视点的可操作性。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。