阅读说明：本技术 显示控制设备、显示控制方法和程序 (Display control apparatus, display control method, and program ) 是由 四方靖 岩切良树 于 2018-06-18 设计创作，主要内容包括：一种显示控制设备,其被配置为显示与多个摄像设备有关的信息,多个摄像设备被配置为拍摄用于生成虚拟视点图像的图像,所述显示控制设备包括：获取部件,其被配置为获取与多个摄像设备有关的信息；以及显示控制部件,其被配置为进行显示控制,以使显示单元显示基于获取部件所获取到的信息的、与用于发送多个摄像设备各自所拍摄的图像的多个摄像设备的通信连接有关的信息。(A display control apparatus configured to display information on a plurality of image capturing apparatuses configured to capture an image for generating a virtual viewpoint image, the display control apparatus comprising: an acquisition section configured to acquire information on a plurality of image capturing apparatuses; and a display control section configured to perform display control to cause the display unit to display information on communication connections of the plurality of image pickup apparatuses for transmitting images picked up by the respective plurality of image pickup apparatuses based on the information acquired by the acquisition section.)

显示控制设备、显示控制方法和程序

技术领域

本发明涉及一种显示控制设备、显示控制方法和程序。

背景技术

近年来，已经特别关注一种技术，其中在该技术中，多个摄像设备被安装在不同的位置，并且多个摄像设备同步地拍摄被摄体的图像。使用从多个视点拍摄的图像，不仅获得从摄像设备的安装位置看到的图像，而且还生成了从任意视点看到的虚拟视点图像。

可以例如如下这样生成并观看基于多个视点图像的虚拟视点图像。首先，在诸如服务器等的图像生成设备处收集由多个摄像设备拍摄的图像。然后，图像生成设备使用由多个摄像设备拍摄的图像来进行诸如基于虚拟视点的绘制等的处理以生成虚拟视点图像，并在用户的观看终端上显示虚拟视点图像。

可以通过从足球或篮球比赛的拍摄图像生成从图像内容制作者指定的视点看到的虚拟视点图像，来制作从该视点看到的有冲击力的内容表现。正在观看内容的用户可以使用针对观看终端所提供的控制器或平板装置等自由地改变视点。作为响应，图像生成设备生成从视点看到的虚拟视点图像。因此，用户可以从他/她期望的视点观看比赛。因此，在使用虚拟视点图像的服务中，用户可以感觉到仿佛他/她实际上在场景中，这是不能自由地改变视点的传统拍摄图像所不能实现的。

日本特开2014-236896公开了一种技术，其中在该技术中，使得用户能够基于一个或多个图像来选择期望的视点，并且根据该图像和与所选择的视点有关的信息来生成虚拟视点图像。专利文献1还公开了一种被用户用来选择期望的视点的UI(用户界面)。

发明内容

发明要解决的问题

然而，存在用户不能容易地知晓用于生成虚拟视点图像的系统的构成要素的状态的可能性。

例如，在多个摄像设备中的至少一个发生故障或不能正常拍摄图像、或者不能输出拍摄的图像的情况下，可能发生诸如虚拟视点图像的质量降低等的问题。此外，在多个摄像设备中的各个摄像设备中没有适当设置用于指定摄像范围和/或曝光条件等的摄像参数的情况下，也可能发生诸如虚拟视点图像的质量降低等的问题。然而，如果用户可以掌握这些摄像设备的状态，则可以进行修复或设置摄像参数，因此可以减少诸如虚拟视点图像的质量降低等的问题的发生。注意，构成要素不限于摄像设备。例如，用于生成虚拟视点图像的系统中所包括的交换机、路由器和网络线缆等以及用于生成虚拟视点图像的服务器等也可以是构成要素。

鉴于上述问题，本发明的目的是提供使用户能够容易地知晓被配置为生成虚拟视点图像的系统的构成要素的状态的技术。

用于解决问题的方案

本发明提供一种显示控制设备，其被配置为进行显示控制，以显示与多个摄像设备有关的信息，所述多个摄像设备被配置为拍摄用于生成虚拟视点图像的图像，所述显示控制设备包括：获取部件，其被配置为获取与所述多个摄像设备有关的信息；以及显示控制部件，其被配置为使显示单元显示基于所述获取部件所获取到的信息的、与用于发送所述多个摄像设备各自所拍摄的图像的所述多个摄像设备的通信连接有关的信息。

附图说明

图1是示出显示系统的结构的图。

图2是示出摄像设备的布置的图。

图3是示出摄像设备的硬件结构的图。

图4是示出摄像设备的功能结构的第一示例的图。

图5是示出摄像设备的操作的第一示例的流程图。

图6A是示出前景图像数据和背景图像数据的图。

图6B是示出前景图像数据和背景图像数据的图。

图6C是示出前景图像数据和背景图像数据的图。

图7是示出设备的硬件结构的图。

图8是示出图像生成设备的功能结构的第一示例的图。

图9是示出图像生成设备的操作的流程图。

图10是示出信息显示设备的功能结构的第一示例的图。

图11是示出信息显示设备的操作的第一示例的流程图。

图12是示出存储在信息显示设备的数据存储单元中的数据的示例的图。

图13是示出存储在信息显示设备的数据存储单元中的数据的示例的图。

图14是示出存储在信息显示设备的数据存储单元中的数据的示例的图。

图15是示出由信息显示设备显示的显示图像的示例的图。

图16是示出由信息显示设备的UI生成单元进行的处理的流程图。

图17是示出由信息显示设备的UI生成单元生成的显示图像的示例的图。

图18是示出由信息显示设备的UI生成单元生成的显示图像的示例的图。

图19是示出由信息显示设备的UI生成单元生成的显示图像的示例的图。

图20是示出由信息显示设备的UI生成单元生成的显示图像的示例的图。

图21是示出由信息显示设备的UI生成单元生成的显示图像的示例的图。

图22是示出由信息显示设备的UI生成单元生成的显示图像的示例的图。

图23A是示出表示由信息显示设备的UI生成单元进行的处理的显示图像的示例的图。

图23B是示出表示由信息显示设备的UI生成单元进行的处理的显示图像的示例的图。

图24是示出由信息显示设备的UI生成单元进行的层描绘处理的示例的图。

图25是示出由信息显示设备进行的处理的流程图。

图26是示出信息显示设备的UI生成单元的显示切换的显示图像的示例的图。

图27A是示出表示显示图像上的摄像设备的状态的示例的图。

图27B是示出表示显示图像上的摄像设备的状态的示例的图。

图27C是示出表示显示图像上的摄像设备的状态的示例的图。

图27D是示出表示显示图像上的摄像设备的状态的示例的图。

图27E是示出表示显示图像上的摄像设备的状态的示例的图。

图28是示出显示图像上的摄像设备的状态的列举描述的示例的图。

图29是示出由信息显示设备进行的显示处理的流程图。

图30是示出摄像设备的状态的列举描述的示例的图。

图31是示出列表视图的切换操作的概念图。

图32是示出用于操作摄像设备的操作UI的示例的图。

图33是示出用于操作摄像设备的操作UI的示例的图。

图34是示出信息显示设备的功能结构的变形例的图。

图35是示出由信息显示设备进行的图像显示处理的示例的流程图。

图36是示出由信息显示设备显示的显示图像的示例的图。

图37是示出由信息显示设备显示的显示图像的示例的图。

图38是示出由信息显示设备显示的显示图像的示例的图。

图39是示出使用信息显示设备的操作UI来设置摄像设备的处理的流程图。

图40是示出由信息显示设备显示的显示图像的示例的图。

图41是示出由信息显示设备显示的显示图像的示例的图。

图42是示出由信息显示设备显示的显示图像的示例的图。

图43是示出由信息显示设备显示的显示图像的示例的图。

图44是示出由信息显示设备显示的显示图像的示例的图。

具体实施方式

下面参考附图描述实施例。下面通过示例的方式针对显示用于模拟体育场的图像、并且在模拟体育场的该图像上还显示表示以下至少之一的信息的情况来描述实施例：各摄像设备的安装位置；摄像设备之间的网络连接关系；以及各摄像设备和摄像对象区域之间的关系。

图1是示出根据本实施例的显示系统的结构示例的图。根据本实施例的显示系统包括摄像系统100(其包括多个摄像设备100-1、100-2、……、和100-M)、图像生成设备200、用户终端300、信息显示设备400和分发设备500。各个设备经由用于发送图像和控制信息的发送线缆可通信地彼此连接。发送线缆的具体示例包括根据IEEE标准的诸如GBE(千兆以太网)或10GBE等的ETHERNET(以太网)(注册商标)。然而，发送线缆不限于这些，并且可以使用其它类型的线缆。各设备可以进行无线通信。

摄像系统100包括M个摄像设备(摄像设备100-1、100-2、……、和100-M)。在下文中，在描述是一般性的而不是关于特定摄像设备的描述的情况下，摄像设备100-1、100-2、……、和100-M将统称为摄像设备100-X。注意，M、N(稍后描述)和X均取整数。

位于彼此相邻的位置的摄像设备100-X(例如，摄像设备100-1和摄像设备100-2)经由发送线缆互相连接。摄像设备100-X将拍摄图像和摄像设备100-X的状态信息发送到图像生成设备200和信息显示设备400。注意，状态信息将在后面描述。在图1中，摄像设备100-1与摄像设备100-2互相连接。摄像设备100-2还与位于与摄像设备100-2相邻的位置的另一摄像设备(未示出)以及摄像设备100-1互相连接。摄像设备100-N与位于与摄像设备100-N相邻的位置的摄像设备(未示出)互相连接。摄像设备100-N还与分发设备500互相连接。尽管在这里示出的示例中，摄像设备是以菊花链方式连接的，但是摄像设备可以以诸如星形连接等的其它连接形式连接。在本实施例中，存在两个这样的连接组。即，另一连接组是包括以同样的方式连接的摄像设备100-(N+1)至摄像设备100-M的摄像系统。连接组的数量不限于两个，并且连接组的数量可以是一个或三个或更多个。

摄像设备100-X被设置为围绕诸如足球场等的体育场或特定被摄体。图2是示出摄像设备100-X的布置的示例的图。在图2所示的示例中，布置多个摄像设备100-X，使得由多个摄像设备100-X对诸如足球场等的体育场210的全部或一部分进行摄像。

多个摄像设备100-X例如是数字照相机，并且基于来自同步设备(未示出)的同步信号在相同的定时进行摄像。由摄像设备100-X拍摄的图像经由发送线缆和分发设备500被发送到图像生成设备200和信息显示设备400。摄像设备100-X可以是被配置为拍摄静止图像的照相机、被配置为拍摄运动图像的照相机、或者被配置为拍摄静止图像和运动图像这两者的照相机。在本实施例中，除非另有说明，否则术语“图像”将用于描述静止图像和运动图像这两者。

图像生成设备200经由分发设备500与摄像设备100-X互相连接。图像生成设备200还与用户终端300和信息显示设备400互相连接。图像生成设备200累积由摄像设备100-X拍摄的图像。当图像生成设备200接收到基于用户终端300的操作的虚拟视点信息时，图像生成设备200使用由多个摄像设备100-X拍摄的图像来生成与虚拟视点信息相对应的虚拟视点图像。图像生成设备200将所生成的虚拟视点图像发送到用户终端300。注意，虚拟视点信息至少包括位置信息和方向信息。位置信息是表示相对于诸如体育场210的中央等的预定位置的相对位置(例如，相对于预定位置的前后方向、左右方向以及上下方向的位置)的信息。注意，位置信息可以是表示绝对坐标的信息。方向信息是表示从预定位置起的方向(例如，在以预定位置定义了原点并且在前后方向、左右方向和上下方向上具有轴的三维正交坐标系中相对于各轴的角度)的信息。注意，方向信息可以是表示绝对方向的信息。虚拟视点信息是表示生成虚拟视点图像所基于的视点的位置和视线的方向的信息。虚拟视点信息也是表示拍摄虚拟视点图像的虚拟照相机的位置和姿势的信息。

图像生成设备200例如是服务器设备，并且具有数据库功能(稍后描述为图像存储单元202)和图像处理功能(稍后描述为虚拟视点图像生成单元203)。图像生成设备200所使用的数据库预先存储通过对在没有诸如选手等的特定被摄体的状态下(例如，如在比赛开始之前的状态下)的比赛场地的场景进行摄像而获得的图像作为背景图像数据。背景图像数据用在用于从拍摄图像中提取特定被摄体的前景背景分离处理中。

用户终端300具有用于操作的控制器。用户终端300基于用户对控制器的操作来接收用于改变虚拟视点的位置或视线的方向的指示或用于切换视点的指示，并且用户终端300向图像生成设备200发送表示接收到的指示的内容的发送信号。用户终端300在用户终端300上所提供的显示屏上显示从图像生成设备200接收到的虚拟视点图像。虚拟视点图像可以是静止图像或运动图像。用户终端300例如是PC(个人计算机)或平板装置。控制器包括例如鼠标、键盘、六轴控制器和触摸面板中的至少一个。

信息显示设备400经由分发设备500与摄像设备100-X和图像生成设备200互相连接。信息显示设备400接收由摄像设备100-X拍摄的拍摄图像和摄像设备100-X的状态信息，并将它们显示在稍后描述的显示屏(显示单元404)上。此外，信息显示设备400从数据库中获取摄像设备100-X的安装位置、摄像设备之间的连接关系、以及与摄像设备所属的组有关的信息等，并将所获取到的信息显示在显示屏上。信息显示设备400还接收图像生成设备200的状态信息，并将该状态信息显示在显示屏上。监视负责人观看在信息显示设备400上显示的信息。监视负责人基于在信息显示设备400的显示屏上显示的拍摄图像等来定期监视摄像系统100和图像生成设备200的状态。

分发设备500将从摄像设备100-X接收到的拍摄图像分发到图像生成设备200和信息显示设备400。

接着，下面描述摄像设备100-X的结构示例。图3是示出摄像设备100-X的硬件结构的示例的图。摄像光学系统301(光学透镜系统)聚焦来自被摄体的光，以在图像传感器302上形成图像。图像传感器302将形成图像的光转换为电信号，并且将所得到的电信号输出至A/D转换器303。A/D转换器303将输入的电信号转换成数字信号，并且将转换后的数字信号输入到图像处理电路304。图像传感器302是用于针对相应位置处的各光接收像素来将在光接收面上形成的图像的光信号转换为电信号的光电转换装置。

系统控制器308包括例如CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)等。系统控制器308通过执行存储在ROM中的计算机程序来控制摄像设备100-X。

图像处理电路304对从A/D转换器303输入的数字信号(图像信号)进行各种图像处理。图像处理包括例如白平衡调整、颜色校正和伽马校正。由图像处理电路304进行了图像处理的图像信号被存储在存储介质307中或由显示设备305显示。图像处理电路304从自摄像单元102输入的拍摄图像中的在体育场210在比赛期间拍摄的图像中提取诸如选手等的被摄体。

摄像光学系统控制电路306基于来自系统控制器308的控制信号来驱动摄像光学系统301中所包括的透镜等。注意，摄像设备100-X的所示结构仅是示例。该结构不一定需要包括所有这些部件，并且可以包括其它部件。例如，显示设备305不是摄像设备100-X的必要组件。

图4是示出根据本实施例的摄像设备100-X的功能结构的示例的图。图5是示出根据本实施例的摄像设备100-X的操作的示例的流程图。例如，每当由摄像设备100-X获得拍摄图像时，执行图5的流程图中所示的处理。注意，图5的流程图中所示的处理由系统控制器308通过计算信息并控制各种硬件来实现。注意，图5中的流程图的至少一部分步骤可以由专用硬件执行。专用硬件可以是例如ASIC或FPGA。

如图4所示，摄像设备100-X包括镜头单元101、摄像单元102、前景背景分离单元103、状态信息存储单元104、输出单元105、控制单元106和控制信号输入单元107。这些单元经由内部总线108互相连接，并且可以在控制单元106的控制下相互发送和接收数据。图4中的镜头单元101对应于图3中的摄像光学系统301和摄像光学系统控制电路306，并且图4中的摄像单元102对应于图3中的图像传感器302和A/D转换器303。要由图4中的前景背景分离单元103执行的处理由图3中的图像处理电路304进行。图4中的状态信息存储单元104、输出单元105、控制单元106和控制信号输入单元107的功能由图3中的系统控制器308实现。图5中所示的处理由图3中的系统控制器308通过读出存储在存储介质307中的各种程序并执行该程序以控制各种部件来实现。下面详细描述各部件的结构示例。

镜头单元101设置在摄像单元102的前级中，并且将来自摄像对象的入射光聚焦在摄像单元102上，从而在摄像单元102上形成图像。镜头单元101在镜头的变焦和调焦方面是可调节的。摄像单元102对经由镜头单元101形成的图像的入射光进行曝光操作，并将入射光转换为电信号。此外，摄像单元102还对转换后的信号进行诸如对来自传感器的输出的损失的校正以及对透镜光学特性的变化的校正等的信号处理。此外，摄像单元102基于信号处理的结果将拍摄图像转换为诸如RAW、JPEG(联合图像专家组)或BMP(位图图像)等的格式。拍摄图像被输出到前景背景分离单元103。在本实施例中，如上所述获取拍摄图像(S501)。

前景背景分离单元103从自摄像单元102输入的拍摄图像中的在体育场210在比赛期间拍摄的图像中提取诸如选手等的特定被摄体，并将该特定被摄体作为“前景图像数据”输出至位于后级的输出单元105(S502)。此外，前景背景分离单元103将通过对不存在被摄体的状态下(例如，在比赛开始前)的体育场210的场景进行摄像而获得的图像作为“背景图像数据”输出至输出单元105(S502)。注意，前景背景分离单元103可以将从拍摄图像中去除了特定被摄体之后剩余的图像作为背景图像数据输出到输出单元105。在下文中，尚未进行前景背景分离的拍摄图像被称为“前景背景预分离图像”，以将其与“前景图像数据”和“背景图像数据”区分开。

图6是示出“前景背景预分离图像数据”、“前景图像数据”和“背景图像数据”的示例的概念图。图6A是示出“前景背景预分离图像数据”的示例的图。在该示例中，前景背景预分离图像数据是在体育场210的足球场中包括两个选手611和612、足球620和足球球门630的拍摄图像。图6B是示出“前景图像数据”的示例的图。在图6B中，作为示例，提取两个选手611和612以及足球620作为“前景图像数据”。这些中的每一个都被视为单独的“前景图像数据”。即，在图6B中，生成了三个前景图像数据。在本实施例中，“前景图像数据”被视为矩形数据(参见图6B中的虚线)。图6C是示出“背景图像数据”的示例的图。在比赛期间几乎不随时间变化的被摄体(诸如足球球门630等)被视为“背景图像数据”。

作为分离特定被摄体的前景图像的方法，允许使用包括被摄体提取处理的图像处理方法。通过提取拍摄图像和背景图像之间的差异来进行被摄体提取。前景图像不仅可以是进行比赛的选手的图像，而且还可以是例如其它特定人物(例如，替补选手、指导者和裁判中的至少一个)的图像。前景图像可以是预先确定了图像图案的诸如球或球门等的物体的图像。检测前景图像的其它方法可以是例如检测运动物体。

状态信息存储单元104存储摄像设备100-X的状态信息，并且当状态发生改变时将信息输出到输出单元105(S503)。状态信息包括以下至少之一：

-摄像设备100-X的通信连接状态(连接、断开等)

-摄像设备100-X的摄像状态(摄像操作中、准备操作中、电源断开操作中、电源接通操作中等)

-摄像设备100-X的操作状态(变焦操作、调焦操作、光阑设置等)

-摄像设备100-X的输出状态(将“前景图像数据”或“背景图像数据”输出到图像生成设备200等)

-摄像设备100-X的错误状态(正常、温度错误、透镜错误等)

-摄像设备的结构(就使用照相机平台、麦克风、变焦透镜等而言)

-摄像设备的摄像参数(光圈值(光阑)、快门速度、白平衡、曝光值、ISO感光度、变焦、调焦、ND滤波器、摄像模式等)

状态信息可以是表示摄像设备100-X位于菊花链上的什么级的信息、地址信息、或者表示诸如所属网络的网络标识符等的网络配置的信息。

输出单元105经由分发设备500以预定帧频将从前景背景分离单元103输出的“前景图像数据”或“背景图像数据”输出到图像生成设备200和信息显示设备400(S504)。输出单元105还将从状态信息存储单元104输出的状态信息经由其它摄像设备100-X和分发设备500输出到信息显示设备400(S504)。在状态之一发生改变的情况下或在摄像设备100-X启动的情况下进行输出。输出单元105可以在根据摄像设备100-X拍摄图像的帧频的定时输出数据。

控制单元106基于来自控制信号输入单元107或用户I/F单元(未示出)的控制信息向摄像设备100-X的各单元发出控制指示。例如，当控制单元106从用户I/F单元或控制信号输入单元107接收到用于诸如光阑或ISO调整等的曝光调整的调整参数时，控制单元106对摄像单元102进行曝光控制。

控制信号输入单元107从稍后描述的信息显示设备400接收控制信号，并且将该控制信号输出到控制单元106。来自信息显示设备400的控制信号可以是用于设置摄像参数的信号。例如，摄像参数包括与变焦、调焦、光阑、ISO、快门速度和ND滤波器切换等有关的参数。

注意，图示的摄像设备100-X的一部分结构可以在其它设备中实现。例如，前景背景分离单元103可以在不同于摄像设备100-X的设备中实现。输出单元105可以在可以输出从摄像设备100-X获取到的数据的其它设备中实现。

接着，下面描述图像生成设备200、信息显示设备400和用户终端300的结构示例。图7是示出图像生成设备200、信息显示设备400和用户终端300的结构示例的图。设备7000(用户终端300、图像生成设备200或信息显示设备400)包括控制器单元700、操作单元709和显示设备710。

控制器单元700包括CPU 701。CPU 701使用存储在ROM 702中的引导程序来启动OS(操作系统)。CPU 701在该OS上执行存储在HDD(硬盘驱动器)704中的应用程序。CPU 701通过执行应用程序来实现各种处理。RAM 703用作CPU 701的工作区。HDD 704存储应用程序等。

CPU 701经由系统总线708与ROM 702、RAM 703、操作单元I/F 705、显示单元I/F706和通信I/F 707互相连接。操作单元I/F 705是与操作单元709的接口。操作单元I/F 705将用户经由操作单元709输入的信息发送到CPU 701。操作单元709包括例如鼠标和键盘等。显示单元I/F 706将要在显示设备710上显示的图像数据输出到显示设备710。显示设备710包括计算机显示器。通信I/F 707例如是用于进行通信的以太网(Ethernet)(注册商标)接口，并且连接到发送线缆。通信I/F 707经由发送线缆从外部设备输入信息或向外部设备输出信息。通信I/F 707可以是用于进行无线通信的电路或天线。设备7000还可以进行显示控制，以在经由线缆或网络连接的外部显示设备710上显示图像。在这种情况下，设备7000通过将显示数据输出到显示设备710来实现显示控制。注意，在图像生成设备200或信息显示设备400中不一定需要图7所示的所有部件。例如，在图像生成设备200中，显示设备710不是必需的部件。

图8是示出根据本实施例的图像生成设备200的功能结构的示例的图。图9是示出根据本实施例的图像生成设备200的操作的示例的流程图。如图8所示，图像生成设备200包括图像输入单元201、图像存储单元202、虚拟视点图像生成单元203、输出单元204、控制单元205和用户输入单元206。这些单元经由内部总线207互相连接，并且可以在控制单元205的控制下相互发送和接收数据。注意，图8中的图像输入单元201对应于图7中的通信I/F707，图8中的用户输入单元206对应于图7中的操作单元I/F 705，并且图8中的输出单元204对应于图7中的显示单元I/F 706和通信I/F 707。图8中的图像存储单元202对应于图7中的ROM 702、RAM 703和HDD 704，并且控制单元205对应于CPU 701。图9所示的处理由图7中的CPU 701通过读出存储在ROM 702中的各种程序并执行这些程序以控制各种部件来实现。下面详细描述各部件的示例。注意，图9中的流程图的至少一部分步骤可以由专用硬件执行。专用硬件可以是例如ASIC或FPGA。

图像输入单元201经由分发设备500以不同的预定帧频输入从摄像设备100-X输出的“前景图像数据”和“背景图像数据”(S901)。图像输入单元201将输入的“前景图像数据”和“背景图像数据”输出到图像存储单元202。在没有输入从摄像设备100-X输出的“前景图像数据”和“背景图像数据”的情况下，跳过S902，并且处理流程进入稍后描述的S903。

图像存储单元202是数据库，并且存储从图像输入单元201输入的“前景图像数据”和“背景图像数据”(S902)。图像存储单元202将由稍后描述的虚拟视点图像生成单元203指定的“前景图像数据”和“背景图像数据”输出到虚拟视点图像生成单元203。

虚拟视点图像生成单元203判断是否已经从控制单元205输入了虚拟视点信息(S903)。稍后将描述生成虚拟视点信息的方法的示例。在判断结果表示没有从控制单元205输入虚拟视点信息的情况下，处理流程返回到S901。另一方面，当从控制单元205输入了虚拟视点信息时，虚拟视点图像生成单元203从图像存储单元202获取与虚拟视点信息相对应的“前景图像数据”和“背景图像数据”(S904)。

然后，虚拟视点图像生成单元203通过利用图像处理对从图像存储单元202获取到的“前景图像数据”和“背景图像数据”进行合成来生成虚拟视点图像，并将虚拟视点图像输出至输出单元105(S905)。

作为生成虚拟视点图像的方法，例如，可以采用基于模型的绘制(MODEL-BASERENDERING：MBR)。MBR是使用基于通过从多个方向拍摄被摄体而获得的多个拍摄图像而生成的三维模型来生成虚拟视点图像的方法。具体而言，MBR是如下技术：使用通过诸如视体交叉(visual volume intersection)方法或MULTI-VIEW-STEREO(多视角立体视觉)(MVS)等的三维形状重建方法而获得的对象场景的三维形状(模型)，生成将从虚拟视点看到的图像。生成虚拟视点图像的方法不限于使用MBR的方法。例如，可以使用除MBR之外的绘制方法，诸如基于图像的绘制等。

输出单元204将从虚拟视点图像生成单元203输入的虚拟视点图像转换为可以被发送到用户终端300的发送信号，并且输出该发送信号(S906)。

如上所述，用户终端300基于用户对与用户终端300连接的控制器的操作，接收用于改变虚拟视点的位置或视线的方向的指示、或者用于切换视点的指示。用户终端300将表示该指示的内容的发送信号发送到图像生成设备200。用户输入单元206将以上述方式经由用户终端300接收到的发送信号转换为可处理的虚拟视点信息。然后，用户输入单元206将虚拟视点信息输出到控制单元205。

控制单元205基于从用户输入单元206给出的虚拟视点信息向图像生成设备200的各个部件发出控制指示。例如，当从用户输入单元206接收到与虚拟视点有关的信息时，将该信息作为控制信息发送到虚拟视点图像生成单元203。如上所述，当输入了虚拟视点信息时，虚拟视点图像生成单元203生成并输出虚拟视点图像。

注意，图示的图像生成设备200的一部分结构可以在其它设备中实现。例如，图像存储单元202和虚拟视点图像生成单元203可以被配置为单独的设备。

用户终端300从用户接收虚拟视点的位置和方向，并且经由图像生成设备200根据从用户接收到的虚拟视点的位置和方向来在用户终端300的显示屏上显示虚拟视点图像。因此，用户从基于他/她的操作的视点观看内容。如上所述，用户终端300例如是PC(个人计算机)或平板装置，并且控制器是例如鼠标、键盘、六轴控制器或触摸面板。通过使用这些，用户操作虚拟视点以在用户终端300上提供的显示屏上显示从任意视点看到的虚拟视点图像。

接着，下面描述信息显示设备400的结构的示例。图10是示出根据本实施例的信息显示设备400的功能结构的示例的图。图11是示出根据本实施例的信息显示设备400的操作的示例的流程图。信息显示设备400是基于稍后描述的数据存储单元401中存储的信息和由状态获取单元405获取到的信息来显示摄像设备100-X和/或图像生成设备200的状态的显示设备的示例。信息显示设备400包括数据存储单元401、数据读取单元402、UI生成单元403、显示单元404、状态获取单元405、控制单元406、用户输入单元407和控制信号输出单元408。这些单元经由内部总线409互相连接，并且可以在控制单元406的控制下相互发送和接收数据。注意，图10中的数据存储单元401对应于图7中的HDD 704，并且图10中的数据读取单元402、UI生成单元403和控制单元406对应于图7中的CPU 701。图10中的状态获取单元405和控制信号输出单元408对应于图7中的通信I/F 707，并且图10中的显示单元404对应于显示I/F和显示设备710。注意，图11所示的处理和后面描述的由信息显示设备400进行的处理由图7所示的CPU 701通过读出存储在ROM 702中的各种程序并执行这些程序以控制各种部件来实现。下面详细描述各部件的结构示例。注意，图11所示的处理或信息显示设备400根据稍后描述的流程图进行的处理的至少一部分步骤可以由专用硬件执行。专用硬件可以是例如ASIC或FPGA。

数据存储单元401存储UI生成单元403显示UI所需的数据。该数据包括以下至少之一：

-体育场210的布局数据

-用于识别摄像设备100-X的识别信息

-与摄像设备100-X所属的组有关的连接组信息

-摄像设备100-X的连接目的地

-摄像设备100-X的安装区域

-摄像设备100-X的安装坐标信息

-要由摄像设备100-X拍摄的摄像对象区域

-要由摄像设备100-X拍摄的摄像对象区域的中心坐标信息

-要由摄像设备100-X拍摄的摄像对象区域的有效区域信息

-摄像设备100-X的安装区域的区域信息

图12示出存储在数据存储单元401中的数据的示例。在图12所示的数据中，例如，“摄像设备100-1”属于命名为“L1”的通信连接组，并且摄像设备100-1”与“摄像设备100-2”互相连接并安装在命名为“R1”的区域中的坐标(x1，y1)处。安装坐标信息是将预定位置(例如，体育场210的中央)设置为原点的XY坐标信息。

图13示出存储在数据存储单元401中的数据的另一示例。区域中心坐标(表示图12所示的摄像对象区域的中心的坐标的信息)是将预定位置(例如，体育场210的中央)设置为原点的XY坐标信息。注意，设置用于拍摄共同摄像对象区域的图像的摄像设备100-X的组，使得其光轴指向由区域中心坐标表示的位置。即，对于任何摄像设备100-X，由拍摄同一摄像对象区域的任何一个摄像设备100-X所拍摄的图像的中心位于由同一区域中心坐标表示的位置。有效区域信息表示从中心坐标的半径所定义的区域。使用由用于拍摄共同摄像对象区域的摄像设备100-X所拍摄的图像来生成虚拟视点图像。

图14示出存储在数据存储单元401中的数据的另一示例。顶点坐标包括至少三个或更多个顶点的坐标信息，并且由这些坐标信息围绕的区域是安装区域的区域。

数据存储单元401可以经由用户进行的输入操作来获取这些信息，或者可以基于从摄像设备100-X给出的状态信息来获取这些信息。注意，数据存储单元401不需要设置在信息显示设备400中，而是可以设置在外部存储设备中。用于存储与摄像设备100-X有关的信息的数据存储单元401可以单独地设置在各摄像设备100-X中。

数据读取单元402从数据存储单元401读取各种数据，并将数据输出到UI生成单元403(S1101)。UI生成单元403基于从数据读取单元402输出的数据和从状态获取单元405输出的状态信息，生成作为表示系统或摄像设备100-X的状态的信息的UI图像(S1102)。注意，稍后将描述状态信息和UI图像的示例。UI生成单元403将生成的UI图像作为显示图像输出到显示单元404。

显示单元404包括帧缓冲器和显示面板。显示单元404将从UI生成单元403输出的显示图像存储(覆盖)在帧缓冲器中。显示单元404以预定的刷新率读出存储在帧缓冲器中的显示图像，并且在显示面板上显示所读取的图像(S1103)。显示面板例如是液晶面板或有机EL面板。

状态获取单元405获取各摄像设备100-X的状态信息和图像生成设备200的状态信息，并将状态信息输出到UI生成单元403。当状态信息已经发生改变时，UI生成单元403更新所生成的UI图像(S1104、S1105)。

控制单元406基于经由用户输入单元407给出的操作信息，向信息显示设备400的各个单元发出控制指示。例如，当控制单元406从用户输入单元407接收到表示用于切换显示图像类型的指示的操作信息时，控制单元406将操作信息转换为相应的显示图像类型，并将该显示图像类型发送给UI生成单元403。稍后将描述显示图像的具体内容的示例。

用户输入单元407接收从控制器(未示出)输入的操作信息，并将该操作信息输出到控制单元406。控制器是例如键盘、鼠标和触摸面板中的至少一个。控制信号输出单元408将从控制单元406给出的控制信号输出到外部。输出目的地是例如摄像设备100-X。控制信号例如是用于设置摄像设备100-X的在变焦，调焦、光阑、ISO、快门速度和ND滤波器切换等方面的摄像参数的信号。

(体育场布局的显示描述)

图15是示出根据本实施例的信息显示设备400所显示的显示图像的示例的图。在图15中，下述信息被显示在表示体育场210的信息(1201)上。

-安装摄像设备100-X的安装区域(例如，由1202表示的区域)

-摄像设备100-X及其安装位置(例如，由1203表示的圆圈)

-摄像设备100-X之间的连接关系和连接状态(例如，由1204表示的线)

-摄像对象区域(例如，由1205表示的虚线圆形区域)

-摄像对象区域的中心点(例如，由1206表示的六边形)

-摄像设备100-X要拍摄的摄像对象区域(例如，由1207表示的虚线)

在图15中，信息显示设备400显示图像生成设备200或信息显示设备400与摄像设备100-X之间的连接状态。注意，根据情况，信息显示设备400和/或图像生成设备200等可以安装在位于体育场外部的户外广播车等中，因此在图15中，信息显示设备400和/或图像生成设备200等被描述为户外广播车。

信息显示设备400以如图15所示的方式显示信息，因此用户可以一眼就掌握与包括多个摄像设备的摄像系统有关的显示信息。此外，信息显示设备400能够显示各个摄像设备位于哪里以及这些摄像设备如何彼此连接。此外，例如，当在通信路径线1204中发生通信错误时，信息显示设备400不显示该线1204。此外，例如，信息显示设备400显示信息，以使得表示能够拍摄图像的摄像设备100-X的圆圈1203与表示处于故障状态或处于调整操作中、因此不能拍摄图像的摄像设备100-X的圆圈1203区分开。信息显示设备400可以不显示与处于不能拍摄图像的状态的摄像设备100-X相对应的圆圈1203。当存储在数据存储单元401中的数据与由从摄像设备100-X获取到的状态信息所表示的数据不一致时，信息显示设备400可以显示错误。例如，当存储在数据存储单元401中的摄像设备100之间的连接关系与由状态信息所表示的摄像设备100-X之间的实际连接关系不同时，显示警告。这使得用户可以容易地识别出有故障的摄像设备，并容易地掌握其位于哪里。信息显示设备400显示表示多个摄像设备中的各个摄像设备的摄像对象区域的信息，因此当摄像设备发生故障时，用户可以掌握有问题的虚拟视点的位置。信息显示设备400显示表示多个摄像设备中的各个摄像设备的摄像对象区域的信息，因此用户可以判断摄像系统是否可以拍摄用于生成正确的虚拟视点图像的图像。

注意，信息显示设备400不必显示通过图15中的示例所示的所有信息，而可以仅显示信息的一部分。即，信息处理设备400可以显示多种类型的信息中的至少一种，该多种类型的信息包括与摄像设备100-X的安装位置有关的信息、与摄像设备100-X之间的通信连接有关的信息、以及与摄像设备100-X的摄像对象区域有关的信息。例如，通过显示表示摄像设备100-X的安装位置的信息，摄像系统100的信息处理设备400可以使用户容易地掌握摄像系统100的多个摄像设备设置在哪个区域中以及如何设置该多个摄像设备。此外，信息显示设备400可以通过显示与摄像设备之间的通信连接有关的信息，使用户能够容易地掌握网络配置。通过显示与摄像设备100-X之间的通信连接有关的信息，当发生网络故障时，用户可以容易地识别受故障影响的摄像设备100-X，并立即采取诸如修复等的行动。此外，信息显示设备400可以通过显示与摄像设备100-X的摄像对象区域有关的信息，来使用户能够容易地掌握摄像系统100的多个摄像设备各自所瞄准的摄像区域。显示与摄像设备100-X的摄像对象区域有关的信息使得用户可以容易地判断是否正良好地进行从生成虚拟视点图像所需的各种角度的多视点摄像。图16示出由信息显示设备400的UI生成单元403进行的用以生成图15中的显示图像的处理流程。图17至图22示出流程中的各处理所描绘的具体显示图像。注意，处理顺序不限于图17至22所示的示例。通过由图7中的CPU 701读出存储在ROM702中的各种程序并执行这些程序以控制各种部件，来实现图16所示的处理和稍后描述的显示处理。下面详细描述各部件的结构示例。注意，图16中的或稍后描述的显示处理中的流程图的步骤的至少一部分可以由专用硬件执行。专用硬件可以是例如ASIC或FPGA。

UI生成单元403描绘从数据读取单元402输出的体育场210的布局数据(S1401，图17)。UI生成单元403描绘从摄像设备100-X输出的体育场210的布局数据(S1402，图18)。在本示例中，存在四个安装区域(R1、R2、R3和R4)。这些区域是基于图14中所示的坐标信息的。此后，UI生成单元403将摄像设备100-X放置在各个所属安装区域中(S1403，图19)。这些是基于图12所示的安装区域和安装坐标信息的。此后，UI生成单元403描绘摄像设备100-X之间的连接关系(S1404，图20)。在该示例中，存在两个连接组(L1、L2)。这些是基于图12所示的连接组信息和连接目的地信息的。UI生成单元403可以基于从摄像系统100获取到的状态信息来动态地生成表示摄像系统100的网络连接的显示图像。当所生成的摄像系统100的网络连接与预先存储的正确的网络配置不同时，UI生成单元403可以显示错误。此后，UI生成单元403描绘要由各个摄像设备100-X拍摄的区域(S1405，图21)。在本示例中，存在两个摄像对象区域。这些摄像对象区域各自具有摄像区域的中心点(1206)和摄像区域的有效区域(1205)。有效区域表示适合于生成虚拟视点图像的区域。这些是基于图13中所示的信息的。注意，如稍后描述地，图17至22所示的图像被描绘在不同的层中。此后，UI生成单元403使用用作表示各摄像设备100-X与摄像对象区域之间的关联的信息的线来连接它们(S1406，图22)。在同一区域中存在大量摄像设备100-X的情况下，则如图23A所示，存在摄像设备100-X(1203-2)和摄像对象区域之间的线(1207-2)与另一摄像设备100-X(1203-1)交叉的可能性。UI生成单元403检查是否发生这种交叉(S1407)。当检测到交叉时，UI生成单元403将具有交叉的摄像设备100-X的描绘位置重新布置到同一区域中的使得不发生交叉的位置(S1408)。即，信息显示设备400控制显示，使得在连接表示摄像设备100-X的信息和摄像对象区域的中心点的线之间不发生交叉。这使得用户可以容易地知晓各摄像设备100-X的摄像对象区域。然而，摄像设备100-X的位置可能不会移动。

(显示层并通过用户操作切换显示)

当UI生成单元403根据图16所示的处理流程描绘显示图像时，显示图像基于图12至14中的信息被划分为多个层。注意，这些层是具有与UI生成单元403中包括的帧缓冲器相同大小的多个存储区域，并且更具体地，这些层形成在图7的RAM 703的一部分中。UI生成单元403通过叠加多个描绘层来生成图15所示的显示图像。

具体地，在各个描绘层中描绘以下：

-体育场210(S1401，图17所示)

-各区域(S1402，图18所示)

-各摄像设备100-X(S1403，图19所示)。

-各连接区域(S1404，图20所示)

-各摄像对象区域(S1405，图21所示)

-在摄像设备100-X和摄像对象区域之间的线连接(S1406，图22所示)

如上所述，存在根据本实施例的摄像设备的四个安装区域，即R1、R2、R3和R4。因此，在S1402中，使用四个层。存在两个连接组L1和L2。因此，在S1403中，使用两个层。图24示出由UI生成单元403进行的层描绘处理的图像的示例。对应于图17中的1201的体育场210被描绘在最低层中，并且各个区域的层被重叠在该最低层上。各个摄像设备100-X和相应的最小摄像区域之间的连接被描绘成层并重叠在顶部上。层的叠加顺序可以适当地改变。注意，并不总是需要重叠多个层。例如，诸如图15所示的显示图像可以通过将图18至22所示的内容添加至图17所示的图像来生成。然而，单独描绘多个层使得可以容易地切换显示图像。下面给出进一步的详细描述。

图25示出根据经由用户输入单元407输入的操作信息来切换图15中描绘的显示图像的处理流程。当经由诸如键盘等的控制器输入操作信息时，用户输入单元407将信息输出至控制单元406(S2501)。当控制单元406接收到操作信息时，控制单元406基于该操作信息来确定要显示或不显示的内容，并且将表示对该内容的确定的显示切换指示输出到UI生成单元403(S2502)。控制单元406预先存储针对各操作信息要显示或不显示的内容。

例如，当在键盘上按下键“A”时，操作信息具有表示要显示属于连接组L1的照相机的内容。当UI生成单元403接收到显示切换指示时，UI生成单元403添加或删除对应的描绘层，并叠加剩余的描绘层。UI生成单元403将结果输出到显示单元404(S2503)。

图26示出作为图25所示的处理结果而获得的UI图像的示例。这是进行显示切换以仅显示属于连接组L1的摄像设备100-X的结果。图25所示的处理可以控制信息显示设备400显示仅与安装在区域R1中的摄像设备100-X有关的信息。图25中的处理可以控制信息显示设备400显示仅与任意摄像设备100-X有关的信息。图25中的处理可以控制信息显示设备400显示仅与设置了共同摄像对象区域的摄像设备100-X有关的信息。

在上述示例中，通过示例的方式假设用户选择了要显示的层。然而，本发明不限于此，并且信息显示设备400可以自动选择要显示的层。例如，当信息显示设备400接收到表示系统中的至少一个设备处于在制作虚拟视点图像时可能发生问题的状态的信息时，信息显示设备400可以弹出警告。在这种情况下，除了弹出警告之外，信息显示设备400还可以自动选择并显示适合于显示该设备具有导致难以制作虚拟视点图像的问题的状态的层。这使得用户可以理解在虚拟视点图像中可能发生质量下降或其它问题并采取行动。

如上所述，信息显示设备400在显示摄像系统的状态时适当地组合或删除层。因此，即使当摄像系统具有许多摄像设备时，信息显示设备400也能够仅显示期望的摄像设备组的状态，这使得可以提供更好的可视性。此外，除了按各层描绘图像之外，UI生成单元403还能够改变各层的背景颜色。例如，当信息显示设备400设置在照度低的户外广播车中时，背景颜色可以是基于黑色的，以提高可视性。在信息显示设备400设置在照度高的室外环境中的情况下，可以采用基于白色的背景以确保良好的可视性。在上述示例中，尽管通过示例的方式假设选择了要显示的层，但是可以在无需进行选择的情况下固定地显示图15所示的全部或部分信息。

(摄像设备100-X的显示状态的描述)

图27示出图15所示的显示图像上显示的摄像设备100-X的状态的示例。当信息显示设备400的状态获取单元405从摄像设备100-X的状态信息存储单元104获取到与摄像设备100-X有关的状态信息时，状态获取单元405将状态信息输出到UI生成单元403。UI生成单元403基于状态信息来更新在图15中的显示图像上的摄像设备100-X的显示。更具体地，在图27所示的示例中，显示了特定连接组上的摄像设备100-X的一部分(1204)。例如，可以显示的摄像设备100-X的状态包括以下状态：

-摄像设备100-X与信息显示设备400或其它摄像设备100-X可通信地连接的状态(图27A中的2401)

-摄像设备100-X没有与信息显示设备400或其它摄像设备100-X可通信地连接的状态(图27A中的2402)

除了图27A所示的状态外，信息显示设备400还显示摄像设备100-X本身的状态。

-摄像设备100-X处于错误状态(图27B中的2403)

-摄像设备100-X处于警告状态(图27B中的2404)

-摄像设备100-X处于旁路状态(图27B中的2405)

错误状态是摄像设备100-X或光学透镜内部的温度发生异常的状态。错误状态可以是摄像设备100-X不能进行摄像或者在摄像中可能发生问题的状态。警告状态是可能发生错误状态的如下状态：尽管操作上没有问题，但是温度发生了特定量的上升或者与外部同步设备(未示出)的同步发生了特定量的偏差。旁路状态是不使用摄像设备100-X而仅保持其连接状态的状态。旁路状态可以是不允许摄像设备100-X执行摄像或图像处理、而仅进行数据发送的状态。

除了图27A和27B所示的状态外，信息显示设备400还显示摄像设备100-X的配置状态。

-变焦透镜被安装到了摄像设备100-X(图27C中的2406)

-声音采集麦克风被安装到了摄像设备100-X(图27C中的2407)

-照相机平台被安装到了摄像设备100-X(图27C中的2408)

此外，除了图27A、27B和27C所示的状态外，信息显示设备400还显示摄像设备100-X的输出状态。

-由摄像设备100-X拍摄的“前景图像数据”和“背景图像数据”经由分发设备500以预定帧频正被输出到图像生成设备200和信息显示设备400(图27D中的2409)。

在存在摄像设备100-X输出数据的多个输出目的地和/或存在多个输出帧频的情况下，信息显示设备400可以显示表示这些的信息。信息显示设备400可以显示与由摄像设备100-X输出的图像的质量有关的信息(诸如数据大小、图像大小、文件格式等)。

除了图27A、27B、27C和27D所示的状态外，信息显示设备400还显示摄像设备100-X的机械状态。

-摄像设备100-X的变焦透镜正在操作(图27E中的2410)

该状态还包括照相机平台操作和自动调焦操作。

上面已经描述了摄像设备100-X的显示状态的示例。然而，显示状态不限于这些示例。例如，可以显示各摄像设备100-X和同步设备之间的同步状态。除了上述状态信息外，还可以显示在各摄像设备中进行的设置的内容和/或操作完成状态等。

在上述示例中，摄像设备100-X的状态由诸如图27所示的2401至2410等的图标表示。然而，可以使用消息来显示各摄像设备100-X的状态。在表示各摄像设备100-X的状态的各种信息中，这些信息的项可以是可选择的。此外，可以选择是否显示各摄像设备100-X的状态。信息显示设备400可以显示表示与用户操作的用以发出指示的光标的位置相对应的特定摄像设备100-X的状态的信息。信息显示设备400可以显示与用户在触摸面板上所进行的指示操作相对应的特定摄像设备100-X的状态的信息。信息显示设备400可以显示摄像设备100-X中所设置的摄像参数作为表示摄像设备100-X的状态的信息。信息显示设备400可以在摄像设备100-X处于难以生成虚拟视点图像的状态(诸如错误状态、警告状态、无法通信状态或者无法输出数据的状态等)的情况下单独显示警告。在摄像设备100-X处于制作虚拟视点图像存在问题的状态的情况下，信息显示设备400可以通过使用图像、颜色或消息来显示警告。在系统的不限于摄像设备100-X的某些部分存在可能导致难以生成虚拟视点图像的问题的情况下，信息显示设备400可以显示诸如“系统处于可能导致虚拟视点图像出现问题的状态。请尽快检查设置并解决该问题。”等的警告消息，从而给出警告并提示解决该问题。

根据本实施例，信息显示设备400显示表示如图27所示显示的摄像设备100-X的状态的信息，这使得用户能够掌握与包括多个摄像设备的摄像系统有关的信息。此外，信息显示设备400使得用户能够容易地掌握哪个摄像设备处于什么状态。此外，例如，信息显示设备400可识别地显示摄像时发生错误的摄像设备100-X，因此用户可以掌握发生错误的摄像设备100-X。

(组概述列表视图的描述)

图28示出以列表形式示出在图15的显示图像上表示的摄像设备100-X的状态的另一示例。更具体地，图28示出表示被设置为拍摄(经由线连接的)特定摄像对象区域(1205和1206)的图像的一组或多组摄像设备100-X的状态的概述的列表。在下文中，将该组称为摄像对象区域组。图28所示的列表视图被称为组状态概述列表视图。

例如，摄像对象区域组的组概述列表的内容包括以下：

-摄像对象区域组中的摄像设备之间的连接状态(连接/未连接)

-摄像对象区域组中的各摄像设备的错误状态(发生/未发生)

-摄像对象区域组中的各摄像设备的警告状态(发生/未发生)

-摄像对象区域组中的各摄像设备的旁路状态(旁路/非旁路)

-摄像对象区域组中的各摄像设备的结构(在使用照相机平台、麦克风等方面)

-摄像对象区域组中的各摄像设备的输出状态(正输出/未输出)

-摄像对象区域组中的各摄像设备的机械操作状态(正运行/未运行)

这些内容与图27的示例中所示的内容相同。在图28所示的列表视图中，还显示以下：

-摄像对象区域组中的各摄像设备的ISO值

-摄像对象区域组中的各摄像设备的光阑值

-摄像对象区域组中的各摄像设备的快门速度值

-摄像对象区域组中的各摄像设备的ND(NEUTRAL DENSITY(中性密度))滤波器值

图29是由信息显示设备400的状态获取单元405和UI生成单元403显示图28所示的组状态概述列表的处理的流程图。当接收到用户的预定操作时，开始该流程图的处理。状态获取单元405针对所有摄像设备100-X从状态信息存储单元104获取与该摄像设备100-X有关的状态信息，并将结果输出到UI生成单元403(S2901、S2902)。UI生成单元403识别属于要以列表形式显示的摄像对象区域组的摄像设备100-X(S2903)，并且将状态信息彼此进行比较(S2904)。在所有摄像设备100-X的状态信息相同的情况下，显示状态信息(S2905)。如果一个或多个摄像设备100-X的状态信息不同，则显示警告(S2906)。在图28所示的示例中，显示的警告包括摄像对象区域组V2的错误状态和摄像对象区域组V1的光阑值。这些表示在一个或多个摄像设备100-X中已经发生错误，或者光阑值与其它摄像设备100-X的光阑值不同。在图28所示的示例中，尽管通过使用星号标记来表示警告，但是可以通过其它信息来表示警告。例如，可以通过显示诸如“摄像对象区域组中的摄像设备之间的曝光条件不同，因此在虚拟视点图像中可能发生问题”等的消息来给出警告。可以通过显示表示警告的图像或颜色来给出警告。

如上所述，根据本实施例，显示与摄像对象区域组有关的摄像对象组状态概述列表。因此，可以使用户容易地识别由于用于拍摄用于生成虚拟视点图像的多个图像的摄像设备之间的曝光条件的不同而导致虚拟视点图像可能存在问题的可能性，并使用户采取行动。

(组详细列表视图的描述)

图30示出以列表形式显示属于图28所示的摄像对象区域组V2的各个摄像设备100-X的状态的示例(该列表视图被称为组状态详细列表视图)。与组状态概述列表视图不同，组状态详细列表视图表示属于该组的各摄像设备100-X的状态。因此，当在组状态概述列表视图中发现警告时，可以通过将视图切换到组状态详细列表视图来识别具体警告位置。图30表示摄像设备100-2具有温度错误，因此图28显示警告。信息显示设备400不需要显示图30中描述的所有信息，而是可以显示该信息的某些部分。

图31示出UI生成单元403在组状态概述列表视图和组状态详细列表视图之间切换视图的操作。UI生成单元403基于经由用户输入单元407输入的操作信息(视图切换操作)来在组状态概述列表视图和组状态详细列表视图之间切换视图。例如，当信息显示设备400正在显示摄像对象组状态概述列表时，如果从用户接收到在与作为摄像对象区域组的识别信息的“V2”相对应的位置处的轻击操作或指示，信息显示设备400将视图切换到组状态详细列表视图。另一方面，当信息显示设备400正在显示组状态详细列表时，如果接收到在与“返回”消息图标(未示出)相对应的位置处的轻击操作或指示，则信息显示设备400将视图切换到摄像对象组状态概述列表视图。

上面已经描述了将摄像设备100-X的状态显示为摄像对象区域组列表视图的示例。注意，显示的内容不限于示例中描述的内容。可以显示各摄像设备100-X和同步设备之间的同步状态。除了上述状态信息外，还可以显示各摄像设备中进行的设置的内容、和/或操作完成状态等。该组不限于摄像对象区域组。可以针对各连接组来显示列表，或者可以将各安装区域视为组，并且可以针对各安装区域组来显示列表。

(操作UI的描述)

图32和33是各自示出用于操作由根据本实施例的信息显示设备400显示的摄像设备100-X的操作UI的示例的图。图32示出用于接收用于操作信息显示设备400所显示的各个摄像设备100-X的指示的UI。信息显示设备400向摄像设备100-X发送用于根据用户的操作来设置摄像设备100-X的摄像参数并操作摄像设备100-X的信息。使用操作UI，可以至少设置摄像设备100-X的变焦、调焦、用于确定曝光条件的ISO、光阑、快门速度和ND滤波器。另外，当摄像设备100-X具有照相机平台时，可以设置PAN(平摇)和TILT(俯仰)。

图33是用于集体地操作属于摄像对象区域组的所有摄像设备100-X的操作图像。在该操作图像上，可以至少设置用于确定曝光条件的ISO、光阑、快门速度和ND滤波器。如上所述，信息显示设备400可以从用户接受属于摄像对象区域组的多个摄像设备的设置和操作，并将它们反映在摄像设备上。

图39是示出用于使信息显示设备400显示操作UI并且在摄像设备100-X上反映从用户接受的设置的处理的流程图。信息显示设备400判断是否已经接收到用于指定要由操作UI操作的摄像设备100-X的用户操作(S4001)。

在S4001中，例如，在如图15所示正在显示用于显示与摄像设备100-X有关的信息的层的情况下，判断是否已经对圆圈1203进行了用于显示操作UI的操作。在这种情况下，将与进行了该操作的圆圈1203相对应的摄像设备100-X判断为要显示为操作UI的对象设备的摄像设备100-X。此外，在如图15所示正在显示用于显示摄像对象区域的描绘层的情况下，判断是否对摄像对象区域1205或1206进行了用于显示操作UI的操作。在这种情况下，将属于与进行了该操作的摄像对象区域相对应的摄像对象区域组的摄像设备100-X判断为要显示为操作UI的对象设备的摄像设备100-X。

此外，在如图15所示正在显示用于显示连接组的描绘层的情况下，判断是否对表示连接组的线1204进行了用于显示操作UI的操作。在这种情况下，将属于与进行了该操作的连接组相对应的连接组的摄像设备100-X判断为要显示为操作UI的对象设备的摄像设备100-X。

此外，在如图28所示正在显示组状态概述列表视图的情况下，判断是否对摄像对象区域组V1或V2进行了用于显示操作UI的操作。在这种情况下，将属于与进行了该操作的摄像对象组相对应的摄像对象组的摄像设备100-X判断为要显示为操作UI的对象设备的摄像设备100-X。

在如图30所示正在显示组状态详细列表视图的情况下，还判断是否已经对摄像设备100-1至100-n之一进行了用于显示操作UI的操作。在这种情况下，将进行了该操作的摄像设备100-X判断为要显示为操作UI的对象设备的摄像设备100-X。

当接收到用于指定要由操作UI操作的摄像设备100-X的操作时，信息显示设备400显示如图32或图33所示的操作UI(S4002)。信息显示设备400判断是否已经经由操作UI接收到用于设置或操作摄像设备的用户操作(S4003)。当经由操作UI接收到用于设置或操作摄像设备的用户操作时，信息显示设备400发送用于将设置或操作反映在摄像设备上的指示(S4004)。当在S4004中信息显示设备400发送指示时，信息显示设备400基于从指示已经被发送至的摄像设备100-X接收到的表示是否反映了该指示的信息，来进行关于是否在摄像设备100-X中反映了该指示的判断(S4005)。在S4005中判断为在摄像设备100-X中反映了该指示的情况下，信息显示设备400更新信息以表示在摄像设备100-X中反映了该指示以及表示对摄像设备100-X的设置或操作的信息，并且信息显示设备400显示更新后的信息(S4006)。另一方面，在S4005中判断为摄像设备100-X中没有反映该指示的情况下，信息显示设备400显示错误(S4007)。

在本实施例中，如上所述，信息显示设备400在体育场210的地图上链接地显示多个摄像设备100-X、连接关系、安装区域和摄像对象区域。此外，各摄像设备100-X的状态也一起显示。因此，即使摄像设备100-X的数量增加，用户也可以一眼就掌握诸如连接状态、安装状态和摄像的影响范围等的系统状态。

此外，在本实施例中，可以相对于当前显示的信息适当地添加或删除期望的信息，使得例如仅显示连接组或仅显示摄像对象区域组等。因此，即使摄像设备100-X的数量或连接组的数量增加，也使得能够仅显示特定组。

此外，在本实施例中，可以以连接组或摄像对象区域组为单位来检查状态。当生成虚拟视点图像时，如果在属于摄像对象区域组的摄像设备100-X中发生问题，则虚拟视点图像的生成受到很大影响。本实施例使得能够掌握对虚拟视点图像的生成的这种影响的程度。

此外，在本实施例中，可以以连接组或摄像对象区域组为单位来控制摄像设备100-X的诸如ISO和光阑等的摄像参数。如果在摄像期间外部光条件发生变化，则在很多情况下，对于对同一对象区域进行摄像的各摄像对象区域组，将曝光条件相等地设置为相同的曝光条件。在这种情况下，可以以摄像对象区域组为单位相等地进行控制，因此可以快速改变摄像设备100-X的设置，以实现适合于生成虚拟视点图像的设置。

(变形例)

接着，描述上述实施例的变形例。在变形例中，从摄像设备100-X输出的拍摄图像被叠加并显示在UI上。这使得可以更容易地掌握摄像设备100-X的状态。

图34是示出根据变形例的信息显示设备400的功能结构的示例的图。根据变形例的信息显示设备400包括数据存储单元601、数据读取单元602、UI生成单元603、显示单元604、状态获取单元605、控制单元606、用户输入单元607、控制信号输出单元608和图像获取单元610。这些单元经由内部总线609互相连接，并且可以在控制单元606的控制下相互发送和接收数据。除了图像获取单元610外，图34所示的功能结构与图10所示的功能结构相同，因此省略对这些功能结构的描述。图像获取单元610获取从各摄像设备100-X输出的拍摄图像，并将所获取到的图像输出到UI生成单元603。

图35是示出由信息显示设备400进行的图像显示处理的示例的流程图。下面在假设信息显示设备400显示图15所示的信息的情况下给出进一步的描述。信息显示设备400获取用于选择摄像设备100-X的操作信息。信息显示设备400接受由用户(监视负责人)进行的用于从UI上所显示的摄像设备100-X(1203)、连接组(1204)、摄像对象区域(1205、1206)和安装区域(1202)选择摄像设备100-X(1203)、连接组(1204)、摄像对象区域(1205、1206)或安装区域(1202)的操作。当用户(监视负责人)使用诸如键盘和鼠标等的控制器选择摄像设备100-X时，用户输入单元607将表示该选择的操作信息输出至控制单元606(S3501)。控制单元606基于操作信息和显示图像来识别所选择的摄像设备100-X、或组、或区域(S3502)。然后，控制单元606经由图像获取单元610获取由所识别的摄像设备100-X或包括在组或区域中的摄像设备100-X拍摄的图像，并将该图像输出至UI生成单元603(S3503)。UI生成单元603显示由摄像设备100-X拍摄的输入图像，以使该输入图像叠加在显示图像上(S3504)。在图像是运动图像的情况下，重复进行S3503和S3504(S3505)。

图36至38是各自示出用于以叠加方式显示由信息显示设备400显示的拍摄图像的操作UI的示例的图。图36示出用户(监视负责人)选择显示图像上的各个摄像设备100-X的情况的示例。显示由所选择的摄像设备100-X拍摄的图像。图37示出选择显示图像上的摄像对象区域的中心点的示例。显示属于所选择的摄像对象区域的所有摄像设备100-X的图像的列表。图38示出选择显示图像上的连接组的示例。显示属于所选择的连接组的所有摄像设备100-X的图像列表。

在下面描述的下一示例中，还显示用于检查摄像设备100-X的姿势的引导表示、用于检查曝光条件的引导表示以及用于检查调焦的引导表示，以使这些引导表示叠加在由图36至38所示的信息显示设备400显示的拍摄图像上。图40示出在拍摄图像上显示作为用于检查摄像设备100-X的姿势的引导表示的中心标记的示例。使得用户能够通过检查如图40所示的用于检查摄像设备100-X的姿势的引导表示，来检查是否正确安装了摄像设备100-X。

图41示出在拍摄图像上显示作为用于检查摄像设备100-X的曝光状态的引导表示的曝光引导条4101的示例。图41所示的曝光引导条4101是表示在摄像设备100-X中设置的曝光量是大于还是小于由摄像设备100-X的曝光计所测量到的适当曝光的引导表示。曝光引导条4101例如是滑动条。在曝光引导条4101上，刻度为零表示适当的曝光。滑块向正方向偏移的区域是曝光过度区域。滑块向负方向偏移的区域是曝光不足区域。当信息显示设备400从用户接收到用于改变曝光引导条4101的滑块的位置的操作时，信息显示设备400可以发送用于指示摄像设备100-X根据该操作进行曝光校正的信息。使得用户能够通过检查拍摄图像和图41所示的用于检查在摄像设备100-X中设置的曝光条件的引导表示，来检查在摄像设备100-X中是否适当地设置了曝光量。

图42示出在拍摄图像上显示用于检查摄像设备100-X的调焦状态的调焦状态表示4201的示例。图42所示的调焦状态表示4201是用于表示摄像设备100-X的聚焦位置并且用于调节焦点的引导表示。在图42所示的调焦状态表示4201中，水平轴表示调焦透镜位置信息。摄像设备100-X的聚焦位置随着调焦透镜的移动而变化。在图42所示的调焦状态表示4201中，纵轴表示作为调焦透镜位置信息的函数的拍摄图像的频率信息。聚焦位置越合适，拍摄图像的频率越高。拍摄图像具有最高频率的透镜位置由“峰值”表示。当前透镜位置由“当前值”表示。当“峰值”和“当前值”偏离时，拍摄图像很可能模糊。当信息显示设备400接收到用户对调焦状态表示4201进行的用于改变当前值的操作时，信息显示设备400可以发送用于指示摄像设备100-X根据该操作改变调焦透镜的位置的信息。使得用户能够通过检查拍摄图像和图42所示的用于检查摄像设备100-X的调焦状态表示的引导表示，来检查在摄像设备100-X中是否正确设置了聚焦位置。

图43示出图40所示的中心标记和图41所示的曝光引导条被叠加在图37或图38所示的摄像设备100-X的图像列表上的UI的示例。当操作曝光引导条之一时，信息显示设备400可以将曝光校正的指示发送到相应的摄像设备100-X。如上所述，通过将表示摄像设备100-X的状态的信息列表与拍摄图像一起显示，用户可以一次性准确地掌握多个摄像设备的姿势和曝光条件。在图43中，还可以叠加图42所示的调焦状态表示。注意，显示上述引导表示的形式仅是示例，并且引导表示可以以诸如字符或数值等的其它形式显示。在变形例中，如上所述，显示了由所选择的摄像设备100-X拍摄的图像或由属于摄像对象区域或连接组的所有摄像设备100-X拍摄的图像。因此，还可以检查由链接到区域或组的摄像设备100-X输出的实际拍摄图像，并且可以更准确地掌握系统的状态。

下面参考图44描述变形例的另一示例。图44是示出由信息显示设备400显示的显示图像的示例的图。下面详细描述与上面参考图15描述的显示图像的不同之处。在图44中，44001至4404表示变焦透镜被安装到对应的各摄像设备100-X。在图44中，通过安装有变焦透镜由此具有相对较小的视角的摄像设备100-X(44001至4404)拍摄的区域由实线或粗线表示，这与未安装变焦透镜的摄像设备100-X的表示方式不同。如上所述，通过显示包括与如图44中的示例所示的摄像设备100-X的视角有关的信息的显示图像，用户可以容易地掌握多个摄像设备100-X之间的视角差异。注意，与多个摄像设备100-X各自的视角有关的信息可以以诸如字符或数值等的其它形式显示。

在以上实施例中，通过示例而非限制的方式关注于显示与摄像设备100-X有关的信息的情况来进行描述。即，除摄像设备100-X之外，根据本实施例的信息显示设备400还可以显示与用于生成虚拟视点图像的系统有关的装置的状态，或者根据本实施例的信息显示设备400还可以不显示摄像设备100-X，而显示与用于生成虚拟视点图像的系统有关的装置的状态。与用于生成虚拟视点图像的系统有关的装置的示例可以包括诸如交换机和/或路由器等的网络装置、图像生成设备200和同步设备，并且可以通过信息显示设备400来显示这些装置的状态。即，信息显示设备400可以显示表示用于生成虚拟视点图像的系统的组件的状态的图像。在上述示例中，通过示例而非限制的方式关注于信息显示设备400基于从摄像设备100-X提供的状态信息而检测状态信息的改变的发生的情况来进行描述。例如，当在预定时间期间未从摄像设备100-X接收到状态信息时，可以判断为该摄像设备100-X的状态已经发生了改变。

还应注意，上述实施例中描述的组件仅是示例，并且本发明的范围不限于此。以上在实施例中描述的构成要素的所有组合不一定是解决问题的手段所必需的。在权利要求书中描述的本发明的范围内，可以进行各种修改和改变。例如，在上述实施例中，可以允许仅显示上述显示图像的一部分，利用其它信息代替显示图像的一部分，以及/或者在显示图像上叠加附加信息。

(其它实施例)

本发明还可通过以下方式来实现：经由网络或存储介质向系统或设备提供用于实现实施例的一个或多个功能的程序，并通过设置在该系统或设备的计算机中的一个或多个处理器来读取并执行该程序。本发明还可以通过被配置为实现一个或多个功能的电路(例如，ASIC等)来实现。可以经由存储有程序的计算机可读存储介质来提供程序。

本发明不限于上述实施例，而是可以在不脱离本发明的精神和范围的情况下进行各种改变和修改。因此，所附权利要求书公开了本发明的范围。

本申请要求2017年6月23日提交的日本专利申请2017-123318和2018年2月9日提交的日本专利申请2018-022067的优先权，其全部内容通过引用而合并于此。