具体实施方式

以下将描述用于实施本发明的模式(以下称为“实施例”)。注意，将按以下顺序给出描述。

1.实施例

2.应用

3.变更例

<1.实施例>

[图像分发系统]

图1示出根据实施例的图像分发系统10的配置示例。图像分发系统10包括分发侧设备和用作接收侧设备的显示设备200。显示设备200的可能示例包括HMD(头戴式显示器)和平板机。

分发侧设备包括多照相机101、宽视角图像转换单元102、编码器103和分发服务器104。

多照相机101获得球形拍摄图像的图像数据。例如，多照相机101通过使用两个照相机通过背靠背方法执行成像，以获得分别具有180°或更大的视角并且通过使用鱼眼透镜拍摄的宽视角前面图像和后面图像作为球形拍摄图像。

宽视角图像转换单元102对由多照相机101获得的球形拍摄图像执行平面打包，以获得矩形投影图像(投影图片)。该投影图像是对应于具有360°或更小的视角的宽视角图像的图像。在这种情况下，例如，选择等矩形(equirectangular)格式等作为投影图像的格式类型。注意，宽视角图像转换单元102根据需要缩放投影图像以获得具有预定分辨率的投影图像。

编码器103例如对从宽视角图像转换单元102接收的投影图像的图像数据执行HEVC或其它编码以获得编码图像数据，并且生成包含该编码图像数据的视频流。在该阶段中，编码器103针对视频流中的每一帧将推荐视点信息插入到视频流中。

例如，推荐视点在例如包含由位置传感器或图像识别估计的演员的范围内被自动设定，或者在例如由导演手动指定的范围内被设定。这里设定的推荐视点不限于仅仅一个点，而且可以设定于多个点上。

图2(a)示出对应于球形拍摄图像的球面。图2(b)示意性地示出采用等矩形格式类型的情况下的矩形投影图像。该投影图像的中心位于(0，0)。

例如，如图2(c)所示，推荐视点信息包括帧号、中心角信息、水平角信息、垂直角信息和推荐视点号等。中心角信息、水平角信息和垂直角信息是与球形拍摄图像相关联的各角度信息(参见图2(a))。

返回到图1，分发服务器104将由编码器103生成的视频流作为分发数据传送到显示设备200。注意，可以任意地通过广播或通过通信实现该分发。

图3示出显示设备200的配置示例。显示设备200包括接收单元201、解码器202、视野绘制单元203、陀螺仪传感器204、视点偏移信息计算单元205、迁移计算单元206和显示单元207。这里的迁移计算单元206构成输出范围确定单元，而视野绘制单元203构成输出单元。

接收单元201接收从传送侧设备传送的视频流作为分发数据。解码器202对由接收单元201接收的视频流进行解码，以获得投影图像(图像数据)。另外，解码器202从接收的视频流获得推荐视点信息作为插入到视频流的各帧中的信息。

陀螺仪传感器204检测容纳陀螺仪传感器204的设备(即这里的显示设备200)的旋转角度的变化。视点偏移信息计算单元205基于陀螺传感器204的检测输出计算视点偏移信息。视点偏移信息计算单元205构成检测视点位置改变指示的检测单元。

在该配置中，在穿戴HMD的用户通过转动颈部、旋转用户的平板机或其它操作导致视点偏移的情况下，视点偏移信息计算单元205计算指示该视点偏移的视点偏移信息。

另外，还可以考虑用户通过在触摸面板上执行滑动等导致视点偏移。在这种情况下，视点偏移信息计算单元205基于指示对触摸面板执行的操作的信息计算视点偏移信息。

迁移计算单元206基于与下一帧相关联的从解码器202获得的推荐视点信息以及从视点偏移信息计算单元205获得的视点偏移信息，针对各帧计算下一帧的视点位置。在这里的由用户操作导致了视点偏移的情况下，迁移计算单元206使视点位置偏移以反映由视点偏移信息指示的视点偏移，并将偏移后的视点位置指定为下一帧的视点位置。

另一方面，在没有由用户操作导致视点偏移的情况下，迁移计算单元206在由推荐视点信息指示的推荐视点方向上迁移视点位置。在这种情况下，通过球面线性内插对从当前视点到推荐视点的路线进行插值，并且，如图4所示，前进一步的位置被指定为下一帧的视点位置。一步的偏移量取决于返回到推荐视点以进行内插需要多少步，并因此变为表示返回的容易度的参数。并且，在这种情况下，执行速度控制，使得逼近速度随着当前视点和推荐视点之间的差的增大而增大，并且使得逼近速度随着该差的减小而减小。换言之，在位置差较大的情况下，与位置差较小的情况相比，使得迁移速度更高。

图5(a)示出矩形投影图像中的推荐视点和当前视点(显示视点)之间的位置关系的示例。当在当前视点作为图示的用户操作的结果偏离推荐视点的状态下没有用户操作导致视点偏移时，如图5(b)所示，当前视点在与由用户执行的移动的方向相反的方向上向推荐视点移动。图示的示例指示t-4帧的当前视点通过4个帧返回到t帧的推荐视点的示例。通过降低当前视点接近推荐视点的偏移速度，当前视点平滑地返回到推荐视点。

视野绘制单元203从通过解码器202获得并且与下一帧相关联的投影图像数据切割并呈现由迁移计算单元206计算的包含在下一帧中的视点位置范围中的图像数据，并且获得对应于下一帧的视点位置的显示图像数据。显示单元207显示对应于由视野绘制单元203获得的各个帧的显示图像数据的图像。

图6(a)示出矩形投影图像的示例。图6(b)示出投影图像中的视点位置范围的示例。在这种情况下，如图6(c)所示，在显示单元207中显示对应于视点位置的图像。

将简要描述图3所示的显示设备200的动作。从传送侧设备传送的分发数据由接收单元201接收，并且被传送到解码器202。解码器202对视频流进行解码，以依次获得各帧的投影图像数据。该投影图像数据被传送到视野绘制单元203。另外，解码器202从视频流获得推荐视点信息作为针对视频流的各帧插入的信息。该推荐视点信息被传送到迁移计算单元206。

并且，陀螺仪传感器204检测容纳陀螺仪传感器204的显示设备200(例如，HMD或平板机)的旋转角度的变化。由此获得的检测输出被传送到视点偏移信息计算单元205。

视点偏移信息计算单元205基于检测的陀螺传感器204的输出计算视点偏移信息。在穿戴HMD的用户通过转动颈部、旋转用户的平板机或这里的其它操作导致视点偏移的情况下，视点偏移信息计算单元205计算指示该视点偏移的视点偏移信息。该视点偏移信息被传送到迁移计算单元206。

迁移计算单元206基于与下一帧相关联的从解码器202获得的推荐视点信息以及从视点偏移信息计算单元205获得的视点偏移信息，计算各帧的下一帧的视点位置。在这里的由用户操作导致了视点偏移的情况下，迁移计算单元206使视点位置偏移以反映由视点偏移信息指示的视点偏移，并将偏移后的视点位置指定为下一帧的视点位置。并且，在没有由用户操作导致视点偏移的情况下，通过球面线性内插插值从当前视点到推荐视点的路线，使得视点位置在由推荐视点信息指示的推荐视点方向上迁移，并且，步进的位置被指定为下一帧的视点位置。

由迁移计算单元206针对各帧获得的下一帧的视点位置被传送到视野绘制单元203。视野绘制单元203从通过解码器202获得并且与下一帧相关联的投影图像数据切割并呈现包含在下一帧中并且由迁移计算单元206计算的视点位置范围中的图像数据，并且获得对应于各帧的下一帧的视点位置的显示图像数据。

由视野绘制单元203获得的各个帧的显示图像数据被传送到显示单元207。显示单元207显示对应于各个帧的显示图像数据的图像，即，对应于当前视点位置的图像。

在图7中展现的流程图表示由显示设备200执行的显示处理步骤的示例。在步骤ST1中，显示设备200响应于例如由用户执行的视频剪辑再现开始操作而开始处理。

随后，在步骤ST2中，显示设备200显示对应于推荐视点(推荐范围)的范围作为输出范围。此后，在步骤ST3中，显示设备200确定是否由用户操作导致了视点偏移。

在由用户操作导致了视点偏移的情况下，在步骤ST4中，显示设备200在操作方向上偏移视点，并然后进行到步骤ST5中的处理。另外，在由用户操作导致的视点偏移的偏移量小并且等于预定值或更小的情况下，这里可以执行用于确定没有由用户操作导致视点偏移的处理(阈值处理)。以这种方式，即使在例如穿戴HMD的头轻微移动的情况下，也可以实现稳定的显示操作。另一方面，在没有由用户导致视点偏移的情况下，在步骤ST6中，显示设备200计算推荐视点方向上的路线，沿着计算的路线在推荐视点方向上偏移视点，并然后进行到步骤ST5中的处理。在步骤ST5中，显示设备200显示对应于当前视点的范围作为输出范围。

随后，在步骤ST7中，显示设备200确定视频再现或分发是否已经结束。当确定视频再现或分发尚未结束时，显示设备200返回到步骤ST3中的处理，并反映下一帧的处理。另一方面，当确定视频再现或分发已经结束时，一系列处理在步骤ST8结束。

注意，如上所述的由显示设备200执行的一系列处理可以由硬件执行，或者可以由软件执行。在由软件执行一系列处理的情况下，在计算机中安装构成软件的程序。这里的计算机的示例包括集成在专用硬件中的计算机以及能够根据安装在计算机中的各种程序执行各种功能的计算机，诸如通用个人计算机。

图8是示出根据程序执行上述一系列处理的计算机400的硬件配置示例的框图。

计算机400包括经由总线404彼此连接的CPU(中央处理单元)401、ROM(只读存储器)402和RAM(随机存取存储器)403。

输入/输出接口405进一步连接到总线404。输入单元406、输出单元407、记录单元408、通信单元409和驱动器410连接到输入/输出接口405。

输入单元406包括输入开关、按钮、麦克风和成像元件等。输出单元407包括显示器和扬声器等。记录单元408包括硬盘和非易失性存储器等。通信单元409包括网络接口等。驱动器410驱动诸如磁盘、光盘、磁光盘和半导体存储器的可去除介质411。

根据如上所述配置的计算机400，例如，CPU 401经由输入/输出接口405和总线404将存储在记录单元408中的程序加载到RAM 403中，并运行加载的程序以执行上述一系列处理。

例如，由计算机400(CPU 401)执行的程序允许被记录在作为包介质等的可去除介质411中，并以这种形式被提供。另外，允许通过有线或无线传输介质(诸如局域网、因特网和数字卫星广播)提供程序。

在计算机中，允许通过将可去除介质411附着到驱动器410经由输入/输出接口405将程序安装到记录单元408中。并且，允许经由有线或无线传输介质通过通信单元409接收程序，并将其安装在记录单元408中。并且，允许预先将程序安装在ROM 402或记录单元408中。

注意，由计算机执行的程序可以是按照在本说明书中描述的顺序以时间序列执行处理的程序，或者可以是并行地或在诸如调用的场合的必要定时执行处理的程序。

如上所述，图1所示的图像分发系统10的显示设备200能够在将推荐范围(对应于推荐视点的范围)指定为输出范围之后根据由用户操作导致的视点偏移改变输出范围，并且在没有由用户操作导致的视点偏移的状态下在输出范围偏离推荐范围的情况下在推荐范围的方向上迁移输出范围。因此，可以在不通过使用帧等显示推荐视点的位置的情况下实现推荐视点和自由视点的组合使用。

<2.应用>

根据本公开的技术适用于各种产品。例如，根据本公开的技术适用于手术室系统。

图9是示意性地示出可以应用根据本公开的实施例的技术的手术室系统5100的一般配置的视图。参照图9，手术室系统5100被配置为使得安装在手术室中的一组设备通过视听(AV)控制器5107和手术室控制装置5109被连接以进行相互协作。

在手术室中，可以安装各种装置。在图9中，作为示例，示出用于内窥镜手术的各种装置组5101、天花板照相机5187、手术场照相机5189、多个显示装置5103A～5103D、记录器5105、病床5183和照明5191。天花板照相机5187被设置在手术室的天花板上，并且将外科医生的手成像。手术场照相机5189被设置在手术室的天花板上，并且将整个手术室的状态成像。

在所提及的装置中，装置组5101属于下文描述的内窥镜手术系统5113，并且包括内窥镜和显示由内窥镜拾取的图像的显示装置等。属于内窥镜手术系统5113的各种装置也被称为医疗设备。同时，显示装置5103A～5103D、记录器5105、病床5183和照明5191是例如与内窥镜手术系统5113分开地配备在手术室中的装置。不属于内窥镜手术系统5113的装置也被称为非医疗设备。视听控制器5107和/或手术室控制装置5109相互协作地控制医疗设备和非医疗设备的动作。

视听控制器5107整体地控制与图像显示有关的医疗设备和非医疗设备的处理。具体地，设置在手术室系统5100中的装置中的装置组5101、天花板照相机5187和手术场照相机5189中的每一个可以是具有发送要在手术期间显示的信息的功能的设备(这样的信息在下文中被称为显示信息，并且提到的装置在下文中被称为发送源的装置)。同时，显示装置5103A～5103D中的每一个可以是向其输出显示信息的装置(该装置在下文中也称为输出目的地的装置)。并且，记录器5105可以是兼用作发送源的装置和输出目的地的装置的装置。视听控制器5107具有控制发送源的装置和输出目的地的装置的动作以从发送源的装置获取显示信息并将显示信息发送到输出目的地的装置以进行显示或记录的功能。应当注意，显示信息包括在手术期间拾取的各种图像和与手术有关的各种信息(例如，患者的身体信息、过去的检查结果或关于手术步骤的信息)等。

具体地，对于视听控制器5107，可以从装置组5101传送与由内窥镜成像的患者体腔中的手术区域的图像有关的信息作为显示信息。并且，从天花板照相机5187，可以传送与由天花板照相机5187拾取的外科医生的手的图像有关的信息作为显示信息。并且，从手术场照相机5189，可以传送与由手术场照相机5189拾取的图像有关并且示出整个手术室的状态的信息作为显示信息。应当注意，如果在手术室系统5100中存在具有图像拾取功能的不同装置，则视听控制器5107也可以从不同的装置获取与由不同装置拾取的图像有关的信息作为显示信息。

或者，例如，在记录器5105中，由视听控制器5107记录与过去拾取的上述这种图像有关的信息。视听控制器5107可以从记录器5105获取与过去拾取的图像有关的信息作为显示信息。应当注意，也可以在记录器5105中预先记录与手术有关的各条信息。

视听控制器5107控制作为输出目的地的装置的显示装置5103A～5103D中的至少一个，以显示获取的显示信息(即，在手术期间拾取的图像或与手术有关的各条信息)。在示出的示例中，显示装置5103A是被安装为从手术室的天花板悬吊的显示装置；显示装置5103B是安装在手术室的墙面上的显示装置；显示装置5103C是安装在手术室的桌子上的显示装置；并且显示装置5103D是具有显示功能的移动装置(例如，平板个人计算机(PC))。

并且，尽管在图9中没有示出，但是手术室系统5100可以包括手术室外部的装置。手术室外部的装置可以是例如连接到在医院内部和外部构建的网络的服务器、医务人员使用的PC或安装在医院会议室中的投影仪等。在这种外部装置位于医院外部的情况下，视听控制器5107还能够通过远程会议系统等导致显示信息显示在不同医院的显示装置上，以执行远程医疗。

手术室控制装置5109整体地控制与非医疗设备上的图像显示有关的处理以外的处理。例如，手术室控制装置5109控制病床5183、天花板照相机5187、手术场照相机5189和照明5191的驱动。

在手术室系统5100中，设置集中操作面板5111，使得能够通过集中操作面板5111向视听控制器5107发出关于图像显示的指令或者向手术室控制装置5109发出关于非医疗设备的动作的指令。通过在显示装置的显示面上设置触摸面板配置集中操作面板5111。

图10是示出集中操作面板5111上的操作画面图像的显示的示例的示图。在图10中，示出对应于在手术室系统5100中设置两个显示装置作为输出目的地的装置的情况的操作画面图像。参照图10，操作画面图像5193包括发送源选择区域5195、预览区域5197和控制区域5201。

在发送源选择区域5195中，以相互关联的方式显示设置在手术室系统5100中的发送源装置和表示发送源装置具有的显示信息的缩略图画面图像。用户可以从在发送源选择区域5195中显示的发送源装置中的任一个选择要在显示装置上显示的显示信息。

在预览区域5197中，显示在作为输出目的地的装置的两个显示装置(监视器1和监视器2)上显示的画面图像的预览。在示出的示例中，关于一个显示装置，通过画中画(PinP)显示，显示四个图像。四个图像对应于从在发送源选择区域5195中选择的发送源装置发送的显示信息。四个图像中的一个以相对大的尺寸显示为主图像，而其余三个图像以相对小的尺寸显示为子图像。用户可以通过从在区域中显示的四个图像中适当地选择图像中的一个在主图像和子图像之间进行交换。并且，状态显示区域5199被设置在其中显示四个图像的区域的下方，并且，与手术有关的状态(例如，手术的经过时间和患者的身体信息等)可以适当地显示在状态显示区域5199中。

发送源操作区域5203和输出目的地操作区域5205被设置在控制区域5201中。在发送源操作区域5203中，显示用于对发送源的装置执行操作的图形用户界面(GUI)部分。在输出目的地操作区域5205中，显示用于对输出目的地的装置执行操作的GUI部分。在示出的示例中，用于对具有图像拾取功能的发送源的装置中的照相机执行各种操作(平移、倾斜和变焦)的GUI部分被设置在发送源操作区域5203中。用户可以通过适当地选择GUI部分中的任一个控制发送源的装置的照相机的动作。应当注意，尽管没有示出，但是当在发送源选择区域5195中选择的发送源的装置是记录器的情况下(即，当在预览区域5197中显示过去记录在记录器中的图像的情况下)，用于执行诸如图像的再现、再现的停止、倒带和快进等的操作的GUI部分可以被设置在发送源操作区域5203中。

并且，在输出目的地操作区域5205中，设置用于执行用于在作为输出目的地的装置的显示装置上显示的各种显示操作(交换、翻转、颜色调整、对比度调整、以及二维(2D)显示和三维(3D)显示之间的切换)的GUI部分。用户可以通过适当地选择GUI部分中的任一个来操作显示装置的显示。

应当注意，要在集中操作面板5111上显示的操作画面图像不限于示出的示例，并且，用户可能能够通过集中操作面板5111对可以由设置在手术室系统5100中的视听控制器5107和手术室控制装置5109控制的各装置执行操作输入。

图11是示出应用上述手术室系统的手术的状态的示例的示图。天花板照相机5187和手术场照相机5189被设置在手术室的天花板上，使得它可以将对病床5183上的患者5185的受影响区域执行治疗的外科医生(医生)5181的手和整个手术室成像。天花板照相机5187和手术场照相机5189可以包括倍率调整功能、焦距调整功能和成像方向调整功能等。照明5191被设置在手术室的天花板上并且至少照射到外科医生5181的手上。照明5191可以被配置为使得可以适当地调整照射光量、照射光的波长(颜色)和光的照射方向等。

如图9所示，内窥镜手术系统5113、病床5183、天花板照相机5187、手术场照相机5189和照明5191通过视听控制器5107和手术室控制装置5109(图11中未示出)相互连接以进行协作。集中操作面板5111被设置在手术室中，并且，用户可以通过如上所述的集中操作面板5111适当地操作存在于手术室中的装置。

以下，详细描述内窥镜手术系统5113的配置。如图所示，内窥镜手术系统5113包括内窥镜5115、其它手术工具5131、其上支撑内窥镜5115的支撑臂装置5141和上面安装各种内窥镜手术装置的推车5151。

在内窥镜手术中，代替切开腹壁以进行剖腹手术，使用多个称为套管针5139a～5139d的管状孔径设备以穿刺腹壁。然后，内窥镜5115的镜筒5117和其它手术工具5131通过套管针5139a～5139d被插入患者5185的体腔中。在示出的示例中，作为其它手术工具5131，气腹管5133、能量设备5135和钳子5137被插入患者5185的体腔中。并且，能量设备5135是用于通过高频电流或超声波振动执行组织的切开和剥离或者血管的密封等的治疗工具。然而，示出的手术工具5131仅仅是示例，并且，作为手术工具5131，可以使用通常在内窥镜手术中使用的各种手术工具，诸如例如镊子或牵开器。

由内窥镜5115拾取的患者5185的体腔中的手术区域的图像显示在显示装置5155上。外科医生5181将使用能量设备5135或钳子5137，同时在实时的基础上观看在显示装置5155上显示的手术区域的图像，以执行诸如例如受影响区域的切除的治疗。应当注意，尽管未示出，但是气腹管5133、能量设备5135和钳子5137在手术期间由外科医生5181或助手等支撑。

(支撑臂装置)

支撑臂装置5141包括从基座单元5143延伸的臂单元5145。在示出的示例中，臂单元5145包括关节部分5147a、5147b和5147c以及连杆5149a和5149b，并且在臂控制装置5159的控制下被驱动。内窥镜5115由臂单元5145支撑，使得内窥镜5115的位置和姿势被控制。因此，可以实现内窥镜5115的位置的稳定固定。

(内窥镜)

内窥镜5115包括从其远端的预定长度的区域要被插入患者5185的体腔中的透镜筒5117以及连接到透镜筒5117的近端的照相机头5119。在示出的示例中，内窥镜5115被示为具有硬类型的透镜筒5117的刚性内窥镜。然而，内窥镜5115可以另外被配置为具有柔性类型的透镜筒5117的柔性内窥镜。

透镜筒5117在其远端具有适配物镜的开口。光源装置5157连接到内窥镜5115，使得由光源装置5157产生的光通过在透镜筒5117内部延伸的光导管被引至透镜筒5117的远端，并且被通过物镜朝向患者5185的体腔中的观察目标施加。应当注意，内窥镜5115可以是前视内窥镜或者可以是斜视内窥镜或者侧视内窥镜。

光学系统和图像拾取元件被设置在照相机头5119的内部，使得来自观察目标的反射光(观察光)通过光学系统会聚在图像拾取元件上。观察光由图像拾取元件光电转换以产生对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为RAW数据被传送到CCU 5153。应当注意，照相机头5119具有加入其中的用于适当地驱动照相机头5119的光学系统以调整倍率和焦距的功能。

应当注意，为了建立与例如立体视觉(3D显示)的兼容性，可以在照相机头5119上设置多个图像拾取元件。在这种情况下，为了将观察光引导到多个相应的图像拾取元件，可以在透镜筒5117的内部设置多个中继光学系统。

(加入推车中的各种装置)

CCU 5153包括中央处理单元(CPU)或图形处理单元(GPU)等，并且整体地控制内窥镜5115和显示装置5155的动作。具体地，CCU 5153对从照相机头5119接收的图像信号执行用于基于图像信号显示图像的各种图像处理，诸如例如显影处理(去马赛克处理)。CCU5153向显示装置5155提供执行了图像处理的图像信号。并且，图9所示的视听控制器5107连接到CCU 5153。CCU 5153还向视听控制器5107提供已经执行了图像处理的图像信号。并且，CCU 5153向照相机头5119传送控制信号以控制照相机头5119的驱动。控制信号可以包括与图像拾取条件有关的信息，诸如倍率或焦距。与图像拾取条件有关的信息可以通过输入装置5161被输入，或者可以通过上述的集中操作面板5111被输入。

显示装置5155在CCU 5153的控制下基于由CCU 5153执行了图像处理的图像信号显示图像。如果内窥镜5115准备好进行诸如4K(水平像素数3840×垂直像素数2160)或8K(水平像素数7680×垂直像素数(4320)等)等的高分辨率成像和/或准备好用于3D显示，则可以使用能够进行高分辨率和/或3D显示的相应显示的显示装置作为显示装置5155。在装置准备好诸如4K或8K的高分辨率成像的情况下，如果用作显示装置5155的显示装置具有等于或不小于55英寸的尺寸，则可以获得更沉浸的体验。并且，可以根据目的设置具有不同分辨率和/或不同尺寸的多个显示装置5155。

光源装置5157包括诸如例如发光二极管(LED)的光源，并向内窥镜5115供给用于手术区域的成像的照射光。

臂控制装置5159包括诸如例如CPU的处理器，并且根据预定程序动作，以根据预定控制方法控制支撑臂装置5141的臂单元5145的驱动。

输入装置5161是用于内窥镜手术系统5113的输入界面。用户可以通过输入装置5161执行输入到内窥镜手术系统5113的各种类型的信息或指令的输入。例如，用户将通过输入装置5161输入与手术有关的各种类型的信息，诸如患者的身体信息和关于手术的手术步骤的信息等。并且，用户会通过输入装置5161输入例如驱动臂单元5145的指令、改变内窥镜5115的图像拾取条件(照射光类型、倍率或焦距等)的指令或驱动能量设备5135的指令等。

输入装置5161的类型不受限制，并且可以是各种已知输入装置中的任何一种。作为输入装置5161，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5171和/或杆等。在使用触摸面板作为输入装置5161的情况下，它可以被设置在显示装置5155的显示面上。

或者，输入装置5161是要安装在用户身上的设备，诸如例如眼镜型可穿戴设备或头戴式显示器(HMD)，并且，响应于由提到的设备中的任一个检测的用户的手势或视线执行各种类型的输入。并且，输入装置5161包括可以检测用户的运动的照相机，并且，响应于从由照相机拾取的视频检测的用户的手势或视线执行各种类型的输入。并且，输入装置5161包括可以收集用户的声音的麦克风，并且，通过麦克风以声音执行各种类型的输入。通过以这种方式配置输入装置5161使得能够以非接触方式输入各种类型的信息，特别是属于清洁区域的用户(例如，外科医生5181)能够以非接触方式操作属于不清洁区域的装置。并且，由于用户可以在不从其手上松开所持有的手术工具的情况下操作装置，因此提高了用户的便利性。

治疗工具控制装置5163控制用于组织的烧灼或切开或者血管的密封等的能量设备5135的驱动。为了确保内窥镜5115的视野并确保外科医生的工作空间，气腹装置5165通过气腹管5133将气体馈送到患者5185的体腔中以使体腔膨胀。记录器5167是能够记录与手术有关的各种类型的信息的装置。打印机5169是能够以诸如文本、图像或图形的各种类型的形式打印与手术有关的各种类型的信息的装置。

以下，特别地，更详细地描述内窥镜手术系统5113的特征配置。

(支撑臂装置)

支撑臂装置5141包括用作基座的基座单元5143和从基座单元5143延伸的臂单元5145。在示出的示例中，臂单元5145包括多个关节部分5147a、5147b和5147c以及通过关节部分5147b彼此连接的多个连杆5149a和5149b。在图11中，为了简化说明，以简化形式描绘臂单元5145的配置。实际上，关节部分5147a～5147c和连杆5149a和5149b的形状、数量和布置以及关节部分5147a～5147c的旋转轴的方向等可以被适当地设定，使得臂单元5145具有期望的自由度。例如，可以优选地包括臂单元5145，使得它具有等于或不小于6个自由度的自由度。这使得能够在臂单元5145的可移动范围内自由地移动内窥镜5115。因此，变得能够将内窥镜5115的透镜筒5117从希望的方向插入患者5185的体腔中。

致动器被设置在关节部分5147a～5147c中，并且，关节部分5147a～5147c包括使得它们可以通过致动器的驱动绕其预定旋转轴旋转。致动器的驱动由臂控制装置5159控制，以控制关节部分5147a～5147c中的每一个的旋转角度，由此控制臂单元5145的驱动。因此，可以实现内窥镜5115的位置和姿势的控制。因此，臂控制装置5159可以通过诸如力控制或位置控制的各种已知控制方法控制臂单元5145的驱动。

例如，如果外科医生5181通过输入装置5161(包括脚踏开关5171)适当地执行操作输入，则臂单元5145的驱动可以由臂控制装置5159响应于操作输入被适当地控制，以控制内窥镜5115的位置和姿势。在臂单元5145的远端的内窥镜5115通过刚刚描述的控制从任意位置移动到不同的任意位置之后，内窥镜5115可以被固定地支撑在移动后的位置处。应当注意，臂单元5145能够以主从方式操作。在这种情况下，用户可以通过位于远离手术室的地方的输入装置5161远程控制臂单元5145。

并且，在施加力控制的情况下，臂控制装置5159可以执行功率辅助控制以驱动关节部分5147a～5147c的致动器，使得臂单元5145可以接收来自用户的外力并跟随外力平滑地移动。这使得当用户直接接触并移动臂单元5145时，能够以相对微弱的力移动臂单元5145。因此，对于用户，变得能够通过更简单和更容易的操作更直观地移动内窥镜5115，并且，可以提高用户的便利性。

这里，通常在内窥镜手术中，内窥镜5115由称为镜师(scopist)的医生支撑。相反，在使用支撑臂装置5141的情况下，能够以更高的确定度固定内窥镜5115的位置而无需手，因此，可以稳定地获得手术区域的图像，并且可以平稳地执行手术。

应当注意，臂控制装置5159可能不必被设置在推车5151上。并且，臂控制装置5159可能不必是单个装置。例如，臂控制装置5159可以被设置在支撑臂装置5141的臂单元5145的关节部分5147a～5147c中的每一个中，使得多个臂控制装置5159彼此协作以实现臂单元5145的驱动控制。

(光源装置)

光源装置5157在手术区域成像时向内窥镜5115提供照射光。光源装置5157包括白光源，该白光源包括例如LED、激光光源或它们的组合。在这种情况下，在白光源包括红、绿和蓝(RGB)激光光源的组合的情况下，由于可以针对各颜色(各波长)以高精度控制输出强度和输出定时，因此可以通过光源装置5157执行拾取图像的白平衡调整。并且，在这种情况下，如果将来自RGB激光光源的激光束分时地施加到观察目标上并且与照射定时同步地控制照相机头5119的图像拾取元件的驱动，则可以分时地拾取分别对应于R、G和B颜色的图像。根据刚刚描述的方法，即使没有对图像拾取元件设置滤色器，也可以获得彩色图像。

并且，可以控制光源装置5157的驱动，使得针对各预定时间改变要输出的光的强度。通过与光强度的变化的定时同步地控制照相机头5119的图像拾取元件的驱动以分时地获取图像并且合成图像，可以创建没有曝光不足的遮挡阴影和曝光过度的高光的高动态范围的图像。

并且，光源装置5157可以被配置为供给准备用于特殊光观察的预定波长带的光。在特殊光观察中，例如，通过利用身体组织的光吸收的波长依赖性，通过施加比普通观察时的照射光(即白光)更窄的波长带的光，执行以高对比度成像预定组织(诸如粘膜的表面部分的血管等)的窄带光观察(窄带成像)。或者，在特殊光观察中，也可以执行用于从由激发光的照射产生的荧光获得图像的荧光观察。在荧光观察中，能够通过在身体组织上照射激励光来执行来自身体组织的荧光的观察(自体荧光观察)、或者通过将试剂(诸如吲哚菁绿(ICG))局部注入身体组织并且在身体组织上照射对应于试剂的荧光波长的激励光来获得荧光图像。光源装置5157可以被配置为供给适于上述的特殊光观测的这种窄带光和/或激励光。

(照相机头和CCU)

参照图12更详细地描述内窥镜5115的照相机头5119和CCU5153的功能。图12是示出图11中所示的照相机头5119和CCU 5153的功能配置的示例的框图。

参照图12，照相机头5119具有透镜单元5121、图像拾取单元5123、驱动单元5125、通信单元5127和照相机头控制单元5129作为其功能。并且，CCU 5153具有通信单元5173、图像处理单元5175和控制单元5177作为其功能。照相机头5119和CCU 5153通过传输线缆5179被连接以能够相互双向通信。

首先，描述照相机头5119的功能配置。透镜单元5121是设置在照相机头5119与透镜筒5117的连接位置处的光学系统。从透镜筒5117的远端摄取的观察光被引入照相机头5119并进入透镜单元5121。透镜单元5121包括包含变焦透镜和聚集透镜的多个透镜的组合。透镜单元5121具有被调整使得观察光会聚在图像拾取单元5123的图像拾取元件的光接收面上的光学特性。并且，变焦透镜和聚焦透镜包括使得其在它们的光轴上的位置可移动以调整所拾取图像的倍率和焦点。

图像拾取单元5123包括图像拾取元件，并且被设置在透镜单元5121的后段处。已经通过透镜单元5121的观察光会聚在图像拾取元件的光接收面上，并且，通过光电转换产生对应于观察图像的图像信号。由图像拾取单元5123产生的图像信号被提供给通信单元5127。

作为由图像拾取单元5123包括的图像拾取元件，使用具有Bayer阵列并且能够拾取彩色图像的例如互补金属氧化物半导体(CMOS)类型的图像传感器。应当注意，作为图像拾取元件，可以使用例如准备好用于成像等于或不小于4K的高分辨率图像的图像拾取元件。如果以高分辨率获得手术区域的图像，则外科医生5181能够以增强的细节理解手术区域的状态，并且可以更平稳地进行手术。

并且，由图像拾取单元5123包括的图像拾取元件被配置为使得它具有用于获取与3D显示兼容的右眼和左眼的图像信号的一对图像拾取元件。在应用3D显示的情况下，外科医生5181能够以更高的精确度理解手术区域中的活体组织的深度。应当注意，如果图像拾取单元5123被配置为多板类型的图像拾取单元，则对应于图像拾取单元5123的各单个图像拾取元件地设置透镜单元5121的多个系统。

图像拾取单元5123可能不必被设置在照相机头5119上。例如，图像拾取单元5123可以被设置在透镜筒5117内部的物镜的正后方。

驱动单元5125包括致动器，并且在照相机头控制单元5129的控制下沿光轴将透镜单元5121的变焦透镜和聚焦透镜移动预定距离。因此，可以适当地调整由图像拾取单元5123拾取的图像的倍率和焦点。

通信单元5127包括用于向CCU 5153发送和从CCU 5153接收各种类型的信息的通信装置。通信单元5127通过传输线缆5179将从图像拾取单元5123获取的图像信号作为RAW数据传送到CCU 5153。因此，为了以低延迟显示拾取的手术区域的图像，优选地，通过光通信传送图像信号。这是因为，由于在手术时外科医生5181在通过拾取的图像观察受影响区域的状态的同时执行手术，因此，为了实现更高程度的安全性和确定性的手术，要求尽可能实时地显示手术区域的运动图像。在应用光通信的情况下，用于将电信号转换为光信号的光电转换模块被设置在通信单元5127中。在图像信号通过光电转换模块被转换为光信号之后，它通过传输线缆5179被传送到CCU 5153。

并且，通信单元5127从CCU 5153接收用于控制照相机头5119的驱动的控制信号。该控制信号包括与图像拾取条件有关的信息，诸如例如指定拾取图像的帧速率的信息、指定图像拾取时的曝光值的信息以及/或者指定拾取图像的倍率和焦点的信息。通信单元5127将接收的控制信号提供给照相机头控制单元5129。应当注意，也可以通过光通信传送来自CCU 5153的控制信号。在这种情况下，用于将光信号转换为电信号的光电转换模块被设置在通信单元5127中。在控制信号通过光电转换模块被转换为电信号之后，它被提供给照相机头控制单元5129。

应当注意，由CCU 5153的控制单元5177基于获取的图像信号自动设定诸如帧速率、曝光值、倍率或焦点的图像拾取条件。换句话说，在内窥镜5115中加入自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制单元5129基于通过通信单元5127接收的来自CCU5153的控制信号控制照相机头5119的驱动。例如，照相机头控制单元5129基于指定拾取图像的帧速率的信息和/或指定图像拾取时的曝光值的信息控制图像拾取单元5123的图像拾取元件的驱动。并且，例如，照相机头控制单元5129控制驱动单元5125以基于指定拾取图像的倍率和焦点的信息适当地移动透镜单元5121的变焦透镜和聚焦透镜。照相机头控制单元5129可以包括用于存储用于识别透镜筒5117和/或照相机头5119的信息的功能。

应当注意，通过将诸如透镜单元5121和图像拾取单元5123的部件设置在具有高气密性和高防水性的密封结构中，可以使照相机头5119具有耐高压灭菌处理的能力。

现在，描述CCU 5153的功能配置。通信单元5173包括用于向照相机头5119传送和从照相机头5119接收各种类型的信息的通信装置。通信单元5173接收通过传输线缆5179从照相机头5119向其传送的图像信号。从而，可以优选地通过上述的光通信传送图像信号。在这种情况下，为了与光通信兼容，通信单元5173包括用于将光信号转换为电信号的光电转换模块。通信单元5173将转换成电信号后的图像信号提供给图像处理单元5175。

并且，通信单元5173向照相机头5119传送用于控制照相机头5119的驱动的控制信号。也可以通过光通信传送控制信号。

图像处理单元5175对从照相机头5119向其传送的RAW数据形式的图像信号执行各种图像处理。图像处理包括诸如例如显影处理、图像质量改善处理(带宽增强处理、超分辨率处理、噪声降低(NR)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)的各种已知的信号处理。并且，图像处理单元5175对用于执行AE、AF和AWB的图像信号执行检测处理。

图像处理单元5175包括诸如CPU或GPU的处理器，并且当处理器根据预定程序动作时，可以执行上述的图像处理和检测处理。应当注意，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号有关的信息，使得由多个GPU并行地执行图像处理。

控制单元5177执行与内窥镜5115对手术区域的图像拾取和拾取的图像的显示有关的各种类型的控制。例如，控制单元5177生成用于控制照相机头5119的驱动的控制信号。因此，如果由用户输入图像拾取条件，则控制单元5177基于用户的输入生成控制信号。可选地，在内窥镜5115具有并入其中的AE功能、AF功能和AWB功能的情况下，控制单元5177响应于图像处理单元5175的检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。

并且，控制单元5177控制显示装置5155以基于图像处理单元5175已经对其执行了图像处理的图像信号显示手术区域的图像。从而，控制单元5177通过使用各种图像识别技术识别手术区域图像中的各种对象。例如，控制单元5177可以通过检测包含于手术区域图像中的对象的边缘的形状和颜色等识别诸如钳子的手术工具、特定活体区域、出血和使用能量设备5135时的雾等。控制单元5177在其控制显示装置5155以显示手术区域图像时导致通过利用识别结果使各种类型的手术支持信息与手术区域的图像以重叠方式被显示。在手术支持信息以重叠方式被显示并呈现给外科医生5181的情况下，外科医生5181可以更安全和确定地进行手术。

将照相机头5119和CCU 5153彼此连接的传送线缆5179是准备好进行电信号通信的电信号线缆、准备好进行光通信的光纤或其复合线缆。

这里，虽然在示图中示出的示例中通过使用传输线缆5179的有线通信执行通信，但是可以通过无线通信执行照相机头5119和CCU5153之间的通信。在通过无线通信执行照相机头5119和CCU 5153之间的通信的情况下，不需要在手术室中铺设线缆5179。因此，可以消除传送线缆5179干扰手术室中医务人员的移动的情况。

上面描述了可以应用根据本公开的实施例的技术的手术室系统5100的示例。应当注意，尽管应用手术室系统5100的医疗系统是内窥镜手术系统5113的情况已经被描述为示例，但是手术室系统5100的配置不限于上述示例的配置。例如，作为内窥镜手术系统5113的替代，手术室系统5100可以被应用于用于检查的软内窥镜系统或显微手术系统。

根据本公开的技术适合应用于上述配置中的、作为显示手术区域的单元的构建手术室系统的显示单元。在这种情况下，手术区域对应于推荐范围(对应于推荐视点的范围)。当根据本公开的技术被应用于显示手术区域的显示单元时，还允许用户在检查其它病变部位和周围情况的同时视野不被妨碍的情况下适当地检查手术区域。并且，根据本公开的技术不仅适用于例如在操作期间输入到HMD，而且还适用于在操作之后使用的内容。例如，根据本公开的技术适用于在将操作视频指定为推荐视点(手术部分、外科医生视点)的同时拍摄为用于医疗的教学材料内容的操作视频。

<3.变更例>

尽管在上述实施例中描述了当前视点在与通过用户的移动方向相反的方向上偏移以逼近推荐视点的示例，但是也可以考虑在对应于最短距离的方向上将当前视点偏移到推荐视点。例如，在如图13(a)所示的当前视点存在于通过由用户操作导致的弯曲视点偏移而偏离推荐视点的位置处的情况下，如图13(b)所示，当前视点可以向推荐视点线性偏移。

并且，尽管在以上实施例中描述了当前视点在与通过用户的移动方向相反的方向上偏移以逼近推荐视点的示例，但是在已经为偏移路线设定遮蔽范围的情况下，可以考虑沿着不经过遮蔽范围的路线偏移当前视点。在这种情况下，例如，可以将遮蔽的范围信息与推荐视点信息一起预先添加到视频流中。

虽然上面没有描述，但是也可以考虑显示设备200在存储器中临时累积接收的视频流，并且从存储器读取视频流和在任何后续定时使用视频流。在这种情况下，还能够通过用户操作在显示设备200侧设定遮蔽范围。

例如，在如图14(a)所示的在与通过用户的移动方向相反的方向上存在遮蔽范围的情况下，当前视点不在逼近推荐视点的该方向上偏移。在这里参照的图14(a)中，虚线箭头表示没有遮蔽范围的情况下的偏移方向。在这种情况下，如图14(b)所示，获得不经过遮蔽范围的路线，并且，当前视点沿着获得的路线偏移以逼近推荐视点。示图所示的示例指示t-2帧的当前视点通过两帧返回到t帧的推荐视点的示例。注意，仅作为示例呈现示图所示的示例的偏移路线。也可考虑呈现在向上或向下避开遮蔽范围的同时在与示图所示的偏移方向相反的方向上返回的路线。

图15所示的流程图表示在路线不经过遮蔽范围的情况下由显示设备200执行的显示处理步骤的示例。

在步骤ST11中，显示设备200响应于例如由用户执行的视频剪辑再现开始操作而开始处理。随后，在步骤ST12中，显示设备200显示对应于推荐视点(推荐范围)的范围作为输出范围。此后，在步骤ST13中，显示设备200确定是否由用户操作导致了视点偏移。

在由用户导致了视点偏移的情况下，在步骤ST14中，显示设备200在操作方向上偏移视点，并然后进行到步骤ST15中的处理。另一方面，在用户没有执行视点偏移操作的情况下，显示设备200进行到步骤ST16中的处理。

在步骤ST16中，显示设备200计算推荐视点方向上的路线。随后，在步骤ST17中，显示设备200确定路线是否经过遮蔽范围。在路线不经过遮蔽范围的情况下，显示设备200进行到步骤ST18的处理。另一方面，在路线经过遮蔽范围的情况下，在步骤ST19中，显示设备200再次计算不经过遮蔽范围的路线，并然后进行到步骤ST18中的处理。

注意，如果在步骤ST16中显示设备200计算不经过遮蔽范围的路线，则步骤ST17和ST9中的处理是不必要的。

在步骤ST18中，显示设备200沿着计算的路线在推荐视点方向上偏移视点，并然后进行到步骤S15中的处理。在步骤ST15中，显示设备200显示对应于当前视点的范围作为输出范围。

随后，在步骤ST20中，显示设备200确定视频再现或分发是否已经结束。当确定视频再现或分发尚未结束时，显示设备200返回到步骤ST13中的处理，并反映下一帧的处理。另一方面，当确定视频再现或分发已经结束时，一系列处理在步骤ST21结束。

尽管上面没有描述遮蔽范围位于由用户操作引起的视点偏移的路线中的情况，但是，例如，也可以考虑在不避开遮蔽范围的情况下经过遮蔽范围或者计算避开遮蔽范围的路线并沿计算的路线偏移。另外，在视点在经过遮蔽范围时偏移的情况下，例如，遮蔽范围中的图像可以被遮蔽，或者可以在不遮蔽的情况下被显示。

并且，尽管在以上实施例中描述了当前视点在与通过用户的移动方向相反的方向上偏移以逼近推荐视点的示例，但是，在设定了通过点的情况下，可以考虑沿着不经过通过点的路线偏移当前视点。在这种情况下，例如，可以将通过点信息与推荐视点信息一起预先添加到视频流。

虽然上面没有描述，但是也可以考虑显示设备200在存储器中临时累积接收的视频流，并且从存储器读取视频流和在任何后续定时使用视频流。在这种情况下，还可以考虑通过用户操作在显示设备200侧设定通过点。

例如，假设如图16(a)所示的那样设定通过点。在这种情况下，如图16(b)所示，获得经过通过点的路线，并且当前视点偏移以沿着路线逼近推荐视点。示图所示的示例是t-4帧的当前视点通过四帧返回到t帧的推荐视点的示例。

图17所示的流程图表示在路线经过通过点的情况下由显示设备200执行的显示处理步骤的示例。

在步骤ST31中，显示设备200响应于例如由用户执行的视频剪辑再现开始操作而开始处理。随后，在步骤ST32中，显示设备200显示对应于推荐视点(推荐范围)的范围作为输出范围。此后，在步骤ST33中，显示设备200确定是否由用户操作导致了视点偏移。

在由用户导致了视点偏移的情况下，在步骤ST34中，显示设备200在操作方向上偏移视点，并然后进行到步骤ST35中的处理。另一方面，在不执行通过用户的视点偏移操作的情况下，显示设备200进行到步骤ST36中的处理。

在步骤ST36中，显示设备200计算沿推荐视点方向延伸并经过通过点的路线。随后，在步骤ST37中，显示设备200沿着计算的路线在推荐视点方向上偏移视点，并然后进行到步骤ST35中的处理。在步骤ST35中，显示设备200显示对应于当前视点的范围作为输出范围。

随后，在步骤ST38中，显示设备200确定视频再现或分发是否已经结束。当确定视频再现或分发尚未结束时，显示设备200返回到步骤ST33中的处理，并反映下一帧的处理。另一方面，当确定视频再现或分发已经结束时，一系列处理在步骤ST39结束。

并且，虽然在以上实施例中以示例的方式描述了存在一个推荐视点的情况，但是可以具有存在多个推荐视点的情况。例如，多个演员可以出现在同一图像中，并且各个演员的位置可以被设定为推荐视点。

在如上所述的存在多个推荐视点的情况下，可以考虑向多个推荐视点中位置最接近的推荐视点偏移或者向用户在从当前视点返回到推荐视点时预先选择的推荐视点偏移。

图18(a)示出存在多个推荐视点的示例。图18(b)示出当前视点在从当前视点返回到推荐视点时向多个推荐视点中位置最接近的推荐视点偏移的示例。在本示例中，推荐视点RVP(3)位置最接近。因此，当前视点向推荐视点RVP(3)偏移。图18(c)示出当前视点在从当前视点返回到推荐视点时向用户在多个推荐视点中选择的推荐视点偏移的示例。在本示例中，用户选择推荐视点RVP(1)。因此，当前视点向推荐视点RVP(1)偏移。

图19中的流程图给出显示设备200在当前视点向多个推荐视点中位置最接近的推荐视点偏移的情况下执行的显示处理步骤的示例。

在步骤ST41中，例如，显示设备200响应于由用户执行的视频剪辑再现开始操作而开始处理。随后，步骤ST42中的显示设备200将对应于推荐视点(推荐范围)的范围显示为输出范围。例如，这里的推荐视点是预先确定的推荐视点。

此后，在步骤ST43中，显示设备200确定是否由用户操作导致了视点偏移。在由用户导致了视点偏移的情况下，显示设备200在步骤ST44中在操作方向上偏移视点，并然后进行到步骤ST45中的处理。

另一方面，在用户没有执行视点偏移操作的情况下，显示设备200进行到步骤ST46中的处理。在这里的步骤ST46中，显示设备200计算当前视点与推荐视点RVP(1～N)中的每一个之间的距离。

此后，显示设备200在步骤ST47中计算最逼近当前视点的推荐视点方向上的路线，沿计算的路线在推荐视点方向上偏移视点，并然后进行到步骤ST45中的处理。在步骤ST45中，显示设备200将对应于当前视点的范围显示为输出范围。

随后，显示设备200在步骤ST48中确定视频再现或分发是否结束了。当确定视频再现或分发尚未结束时，显示设备200返回到步骤ST43中的处理，并且反映下一帧的处理。另一方面，当确定视频再现或分发结束时，一系列处理在步骤ST49中结束。

图20中的流程图示出在向用户在多个推荐视点中选择的推荐视点偏移的情况下由显示设备200执行的显示处理步骤的示例。

在步骤ST51中，例如，显示设备200响应于由用户执行的视频剪辑再现开始操作而开始处理。随后，显示设备200在步骤ST52中将推荐视点号(RVP号)i设定为诸如“1”的初始值。此后，显示设备200在步骤ST53中将对应于推荐视点RVP(i)的范围(推荐范围)显示为输出范围。

然后，显示设备200在步骤ST54中确定是否通过用户操作选择了推荐视点。在没有通过用户操作选择推荐视点的情况下，显示设备200立即进行到步骤ST55中的处理。另一方面，当确定通过用户操作选择了推荐视点时，显示设备200在步骤ST55中将推荐视点号(RVP号)i更改为由用户选择的数字，并然后进行到步骤ST55中的处理。

此后，显示设备200在步骤ST55中确定是否由用户操作导致了视点偏移。在由用户导致了视点偏移的情况下，显示设备200在步骤ST56中在操作方向上偏移视点，并然后进行到步骤ST57中的处理。

另一方面，在用户没有导致视点偏移操作的情况下，显示设备200在步骤ST58中计算朝向推荐视点RVP(i)的方向上的路线，沿计算的路线在推荐视点方向上偏移视点，并然后进行到步骤ST57中的处理。在步骤ST57中，显示设备200将对应于当前视点的范围显示为输出范围。

随后，显示设备200在步骤ST59中确定视频再现或分发是否已经结束。当确定视频再现或分发尚未结束时，显示设备200返回到步骤ST54中的处理，并反映下一帧的处理。另一方面，当确定视频再现或分发已经结束时，一系列处理在步骤ST60结束。

并且，在以上实施例中描述了基于当前视点(输出范围)偏离推荐视点(推荐范围)即当前视点与推荐视点不同的条件在推荐视点方向上偏移当前视点的示例。

图21中的流程图示出在基于是否显示了推荐视点而向推荐视点偏移的情况下由显示设备200执行的显示处理步骤的示例。在步骤ST71中，显示设备200响应于例如由用户执行的视频剪辑再现开始操作而开始处理。

随后，在步骤ST72中，显示设备200显示对应于推荐视点(推荐范围)的范围作为输出范围。然后，在步骤ST73中，显示设备200确定当前视点是否是推荐视点。

在当前视点是推荐视点的情况下，显示设备200进行到步骤ST74中的处理。另一方面，在当前视点不是推荐视点的情况下，显示设备200在步骤ST75中计算推荐视点方向上的路线，沿着计算的路线在推荐视点方向上偏移视点，并然后进行到步骤ST74中的处理。在步骤ST74中，显示设备200显示对应于当前视点的范围作为输出范围。

随后，在步骤ST76中，显示设备200确定视频再现或分发是否已经结束。当确定视频再现或分发尚未结束时，显示设备200返回到步骤ST73中的处理，并反映下一帧的处理。另一方面，当确定视频再现或分发已经结束时，一系列处理在步骤ST77中结束。

注意，在图21的流程图中，在步骤S72中显示推荐视点并且在步骤ST73中确定当前视点是否是推荐视点。这些操作是在假设可能发生基于步骤ST73中的时间(帧)包括从步骤ST72前进的时间(帧)的事实当前视点从推荐视点偏移并且位于与推荐视点不同的位置的情况下执行的。当前视点与推荐视点不同的情况的可能示例包括用户在当前帧之前的帧中改变了视点的情况。

并且，以下条件中的每一个可以被视为用于在推荐视点方向上偏移当前视点的条件。

例如，可以考虑在当前视点偏离推荐视点的状态下即在当前视点与推荐视点不同的状态下经过了预定时间这样的条件。

图22中的流程图示出在基于是否不显示推荐视点地经过了预定时间向推荐视点偏移的情况下由显示设备200执行的显示处理步骤的示例。在步骤ST81中，显示设备200响应于例如由用户执行的视频剪辑再现开始操作而开始处理。

随后，在步骤ST82中，显示设备200显示对应于推荐视点(推荐范围)的范围作为输出范围。然后，在步骤ST83中，显示设备200确定当前视点是否是推荐视点。在当前视点是推荐视点的情况下，显示设备200进行到步骤ST84中的处理。

另一方面，在当前视点不是推荐视点的情况下，显示设备200在步骤ST85中确定是否在当前视点不是推荐视点的状态下经过了预定时间或更长时间。所述预定时间可以被预先设定，或者可以由用户更改为任何时间。在尚未经过预定时间或更长时间的情况下，显示设备200进行到步骤ST84。另一方面，在经过了预定时间或更长时间的情况下，显示设备200在步骤ST86中计算推荐视点方向上的路线，沿着计算的路线在推荐视点方向上偏移视点，并然后进行到步骤ST84中的处理。

在步骤ST84中，显示设备200显示对应于当前视点的范围作为输出范围。随后，显示设备200在步骤ST87中确定视频再现或分发是否已经结束。当确定视频再现或分发尚未结束时，显示设备200返回到步骤ST83中的处理，并反映下一帧的处理。另一方面，当确定视频再现或分发已经结束时，一系列处理在步骤ST88中结束。

并且，例如，被视为偏移条件的情况可以是尚未检测到由用户操作发出的视点位置改变指令的情况。并且，例如，被视为偏移条件的可以是当前视点位于图像中的特定范围内的情况。这里的特定范围是例如后表面方向上的图像区域。

另外，例如，被认为是偏移条件的情况可以是在图像包含于特定帧的图像中的状态下输出范围偏离推荐范围这样的情况。在这种情况下，例如，可以将图像是否包含于特定帧的图像中与推荐的视点信息一起预先添加到视频流中。此外，例如，被认为偏移条件的可以是在当前视点偏离推荐视点的状态下用户发出了向推荐视点迁移的指令这样的情况。

图23所示的流程图表示由显示设备200执行的显示处理步骤的示例，在步骤ST101中，显示设备200响应于例如由用户执行的视频剪辑再现开始操作而开始处理。

随后，在步骤ST102中，显示设备200显示对应于推荐视点(推荐范围)的范围作为输出范围。然后，在步骤ST103中，显示设备200确定当前视点是否是推荐视点。在当前视点是推荐视点的情况下，显示设备200进行到步骤ST111中的处理。

另一方面，在当前视点不是推荐视点的情况下，在步骤ST104中，显示设备200确定是否经过了预定时间。在没有经过预定时间的情况下，在步骤ST105中，显示设备200确定是否由用户操作导致了视点偏移。在导致了视点偏移的情况下，在步骤ST106中，显示设备200确定偏移后的视点位置是否位于特定位置。

该确定不是在实际偏移之后进行的，而是用于确定偏移目的地是否位于接收用户操作时的特定位置。例如，特定位置的示例包括对应于推荐视点的后表面的位置以及距推荐视点一定距离或更长距离的位置。

在偏移后的视点位置不是特定位置的情况下，在步骤ST107中，显示设备200确定视点位置是否包含在特定帧中。在视点位置不包含在特定帧中的情况下，在步骤ST108中，显示设备200在操作方向上偏移视点，并然后进行到步骤ST109中的处理。

当在步骤ST104中经过了预定时间的情况下，当步骤ST105中没有导致视点偏移的情况下，当在步骤ST106中偏移后的视点位置是特定位置的情况下，或者当步骤ST107中视点位置包含在特定帧中的情况下，在步骤ST110中，显示设备200计算推荐视点方向上的路线，沿着计算的路线在推荐视点方向上偏移视点，并然后进行到步骤ST109中的处理。在步骤ST109中，显示设备200显示对应于当前视点的范围作为输出范围。

随后，在步骤ST111中，显示设备200确定视频再现或分发是否已经结束。当确定视频再现或分发尚未结束时，显示设备200返回到步骤ST103中的处理，并反映下一帧的处理。另一方面，当确定视频再现或分发已经结束时，一系列处理在步骤ST112中结束。

并且，在上述实施例中描述的情况是，执行速度控制使得逼近速度随着当前视点和推荐视点之间的位置差的增大而增大，并且逼近速度随着该位置差的减小而减小。换言之，与位置差较小的情况相比，在位置差较大的情况下，使迁移速度更高。然而，例如，可以考虑以在某时间内返回到推荐视点的方式执行速度控制。并且，例如，还可以考虑以按某速度返回到推荐视点的方式执行速度控制。

并且，虽然在上述实施例中用于从当前视点迁移到推荐视点的路线通过球形线性插值被插值，但是可以考虑通过线性插值来插值该迁移路线。

并且，在上述实施例中描述的情况是，在从当前视点到推荐视点的迁移时，当前视点偏移以便逐渐逼近推荐视点。然而，可以考虑在该迁移时将当前视点瞬时地偏移到推荐视点。

并且，尽管在上述实施例中描述了将VR图像作为宽视角图像处理的示例，但是可以类似地考虑处理全景图像的示例。并且，尽管在上述实施例中描述的是处理二维图像的示例，但是可以类似地考虑处理三维图像的示例。

另外，虽然已经参考附图详细描述了本发明的优选实施例，但是本发明的技术范围不限于该示例。对于在本公开的技术领域中具有普通知识的人来说清楚的是，在权利要求书中描述的技术精神的范围内可以出现各种修改和校正的示例。不用说，应当理解，这些修改和校正也属于本公开的技术范围。

并且，在本说明书中描述的有利效果仅用于给出解释或示例，而不是作为受限的有利效果。因此，除上述有利效果之外或替代上述有利效果，根据本发明的技术可以提供根据本说明书对本领域技术人员清楚的其它有利效果。

另外，本技术可以具有以下的配置。

(1)一种图像处理装置，包括：

根据视点位置改变指令检测视点偏移信息的检测单元；

基于推荐视点信息和视点偏移信息确定包含推荐视点信息的图像的输出范围的输出范围确定单元；和

基于所确定的输出范围将图像的一部分作为显示图像输出到显示单元的输出单元，

其中，输出范围确定单元确定输出范围，使得：在显示图像满足预定条件的情况下，显示图像位于由推荐视点信息指示的推荐范围内。

(2)根据上述的(1)所述的图像处理装置，其中，输出范围确定单元确定输出范围，使得显示图像在朝向推荐范围的方向上迁移。

(3)根据上述的(1)或(2)所述的图像处理装置，其中，预定条件包括显示图像与推荐范围不同的情况。

(4)根据上述的(1)或(2)所述的图像处理装置，其中，预定条件包括显示图像在预定时间或更长时间内与推荐范围不同的情况。

(5)根据上述的(3)所述的图像处理装置，其中，预定条件还包括未检测到视点偏移信息的情况。

(6)根据上述的(1)或(2)所述的图像处理装置，其中，预定条件包括显示图像位于图像中的特定范围内的情况。

(7)根据上述的(1)或(2)所述的图像处理装置，其中，预定条件包括在图像包含于特定帧的图像中的状态下显示图像与推荐范围不同的情况。

(8)根据上述的(1)或(2)所述的图像处理装置，其中，预定条件包括显示图像与推荐范围不同并且还发出了迁移到推荐范围的指令作为视点偏移信息的情况。

(9)根据上述的(2)～(8)中的任一项所述的图像处理装置，其中，输出范围确定单元基于显示图像和推荐范围之间的位置差控制迁移的速度，使得在位置差大的情况下迁移的速度变得比在位置差小的情况下更高。

(10)根据上述的(2)～(8)中的任一项所述的图像处理装置，其中，输出范围确定单元控制迁移的速度，使得在某时间内实现返回到推荐范围。

(11)根据上述的(2)～(8)中的任一项所述的图像处理装置，其中，输出范围确定单元控制迁移的速度，使得按某速度实现返回到推荐范围。

(12)根据上述的(2)～(11)中的任一项所述的图像处理装置，其中，输出范围确定单元通过球面线性插值来对迁移的路线进行插值。

(13)根据上述的(2)～(11)中的任一项所述的图像处理装置，其中，输出单元通过线性插值来对迁移的路线进行插值。

(14)根据上述的(2)～(13)中的任一项所述的图像处理装置，其中，在作为基于视点偏移信息改变视点位置的结果显示图像与推荐范围不同的情况下，输出范围确定单元确定输出范围，使得在迁移时沿着与对应于视点位置的改变的视点位置改变方向相反的方向上的路线实现偏移。

(15)根据上述的(2)～(13)中的任一项所述的图像处理装置，其中，输出范围确定单元确定输出范围，使得在迁移时沿着从显示图像到推荐范围的最短路线实现偏移。

(16)根据上述的(2)～(15)中的任一项所述的图像处理装置，其中，在图像包含指示遮蔽范围的遮蔽范围信息的情况下，输出范围确定单元确定输出范围，使得在迁移时沿着不经过遮蔽范围的路线实现偏移。

(17)根据上述的(2)～(16)中的任一项所述的图像处理装置，其中，在图像包含指示通过点的通过点信息的情况下，输出范围确定单元确定输出范围，使得在迁移时沿着经过通过点的路线实现偏移。

(18)根据上述的(1)～(17)中的任一项所述的图像处理装置，其中，在推荐视点信息包含多个推荐范围的情况下，输出范围确定单元确定输出范围，使得在迁移时朝向多个推荐范围之中位于最接近显示图像的位置处的推荐范围或朝向位于由用户选择的位置处的推荐范围实现偏移。

(19)一种图像处理方法，包括：

用于根据视点位置改变指令检测视点偏移信息的步骤；

用于基于推荐视点信息和视点偏移信息确定包含推荐视点信息的图像的输出范围的步骤；和

用于基于所确定的输出范围将图像的一部分作为显示图像输出到显示单元的步骤，

其中，在用于确定输出范围的步骤中，输出范围被确定为使得：在显示图像满足预定条件的情况下，显示图像位于由推荐视点信息指示的推荐范围内。

(20)一种程序,使得计算机作为：

根据视点位置改变指令检测视点偏移信息的检测手段；

基于推荐视点信息和视点偏移信息确定包含推荐视点信息的图像的输出范围的输出范围确定手段；和

基于所确定的输出范围将图像的一部分作为显示图像输出到显示单元的输出手段，

其中，输出范围确定手段确定输出范围，使得：在显示图像满足预定条件的情况下，显示图像位于由推荐视点信息指示的推荐视点范围内。

[附图标记清单]

10：图像分发系统

101：多照相机

102：宽视角图像转换单元

103：编码器

104：分发服务器

200：显示设备

201：接收单元

202：解码器

203：视野绘制单元

204：陀螺传感器

205：视点偏移信息计算单元

206：迁移计算单元

207：显示单元