阅读说明：本技术 显示控制装置、显示控制方法及程序 (Display control unit, display control method and program ) 是由 武笠知幸 于 2017-03-29 设计创作，主要内容包括：本发明将减轻提供扩增实境(Augmented Reality)的计算机的处理负荷。显示控制装置(10)的获取机构(110)获取能够在现实空间中移动的摄影机构以特定帧率拍摄所得的摄影图像。第1显示控制机构(121)基于摄影图像推定摄影机构的当前位置与朝向,将表示从基于推定结果的虚拟视点观察到的虚拟三维物体的情况的虚拟图像与摄影图像合成后予以显示。第2显示控制机构(122)在第1显示控制机构(121)进行显示控制之后的帧中,基于与摄影机构的移动相关的移动信息对虚拟图像进行加工,并与摄影图像合成后予以显示。(Mitigation is provided the processing load of the computer of augmented reality (Augmented Reality) by the present invention.The acquisition mechanism (110) of display control unit (10) obtains the camera mechanism that can be moved in realistic space and shoots resulting photographs with specific frame per second.Current location and direction of the 1st display control mechanism (121) based on photographs presumption camera mechanism, are shown after virtual image the case where expression from the virtual three-dimensional object that the virtual view based on presumption result is observed is synthesized with photographs.2nd display control mechanism (122) is in the frame after the 1st display control mechanism (121) carries out display control, virtual image is processed based on mobile message relevant to the movement of camera mechanism, and is shown after being synthesized with photographs.)

显示控制装置、显示控制方法及程序

技术领域

本发明涉及一种显示控制装置、显示控制方法及程序。

背景技术

近年来，已知有如下技术：通过将相机拍摄现实空间所得的摄影图像与表示虚拟三维物体的虚拟图像合成而提供扩增实境。例如也已知有如下技术：将专用标记印刷在纸等之上，并利用相机拍摄标记，由此推定相机的位置与朝向，并对虚拟空间中的虚拟视点进行控制。

另外，例如在非专利文献1及专利文献1中，记载了基于摄影图像的特征点的变化来推定相机的当前位置与朝向的被称作SLAM(Simultaneous Localization and Mapping，同步定位与地图构建)的技术。例如，提供扩增实境的计算机实时显示出以特定帧率摄影所得的摄影图像，利用SLAM以进行与相机相同的移动的方式控制虚拟视点，由此，即使不利用标记，也能够推定相机的位置与朝向。

现有技术文献

非专利文献

非专利文献1：Andrew J.Davison,"Real-Time Simultaneous Localization andMapping with a Single Camera",Proceedings of the 9th IEEE InternationalConference on Computer Vision Volume 2,2003,pp.1403-1410

专利文献

专利文献1：日本专利特开2011-159163号公报

发明内容

[发明要解决的问题]

然而，在先前技术中，必须每帧都执行利用SLAM推定相机的位置与朝向的处理。该处理的计算量较多，会导致提供扩增实境的计算机的处理负荷变高。因此，低性能计算机中有可能处理跟不上、例如虚拟图像的更新不及时而导致显示的流畅性降低，或即使相机移动而被摄体的视觉表现发生改变，虚拟三维物体的视觉表现也不发生改变而将变得不自然。

本发明是鉴于所述课题完成的，其目的在于减轻提供扩增实境的计算机的处理负荷。

[解决问题的技术手段]

为了解决所述课题，本发明的显示控制装置的特征在于包含：获取机构，获取由能够在现实空间中移动的摄影机构以特定的视频帧率拍摄所得的摄影图像；第1显示控制机构，基于所述摄影图像推定所述摄影机构的当前位置与朝向，将表示从基于推定结果的虚拟视点观察到的虚拟三维物体的情况的虚拟图像与所述摄影图像合成后予以显示；及第2显示控制机构，在所述第1显示控制机构进行显示控制之后的帧中，基于与所述摄影机构的移动相关的移动信息对所述虚拟图像进行加工，并与所述摄影图像合成后予以显示。

在本发明的一态样中，特征在于：第1显示控制帧多次重复到来，第1显示控制帧为所述第1显示控制机构进行显示控制的帧，在各第1显示控制帧之后，至少设定1个第2显示控制帧，第2显示控制帧为所述第2显示控制机构进行显示控制的帧。

在本发明的一态样中，特征在于：所述第2显示控制机构基于关于所述摄影机构相对于所述多次重复到来的所述第1显示控制帧中最近的所述第1显示控制帧的移动的所述移动信息，对该最近的第1显示控制帧中产生的所述虚拟图像进行加工。

在本发明的一态样中，特征在于：所述第2显示控制机构基于所述摄影图像的特征点的变化获取所述移动信息。

在本发明的一态样中，特征在于：所述第2显示控制机构将所述摄影图像中的与所述虚拟图像的显示位置对应的区域设为所述特征点的提取对象。

在本发明的一态样中，特征在于：所述第2显示控制机构基于能够检测所述摄影机构的位置变化的传感器的检测结果与能够检测所述摄影机构的朝向变化的传感器的检测结果的至少一个，获取所述移动信息。

在本发明的一态样中，特征在于：第1显示控制帧多次重复到来，第1显示控制帧为所述第1显示控制机构进行显示控制的帧，在各第1显示控制帧之后，设定至少1个第2显示控制帧，第2显示控制帧为所述第2显示控制机构进行显示控制的帧，所述第2显示控制机构基于利用所述第1显示控制机构所得的所述摄影机构的位置与朝向的推算结果的变化，获取所述移动信息。

在本发明的一态样中，特征在于：所述第2显示控制机构基于所述移动信息，进一步决定加工后的所述虚拟图像的显示位置，在该显示位置显示加工后的所述虚拟图像。

在本发明的一态样中，特征在于：所述第1显示控制机构基于能够检测所述摄影机构的位置变化的传感器的检测结果与能够检测所述摄影机构的朝向变化的传感器的检测结果的至少一个，推定所述摄影机构的当前位置与朝向。

在本发明的一态样中，特征在于：所述获取机构实时获取由所述摄影机构拍摄所得的所述摄影图像，所述第1显示控制机构将实时获取的所述摄影图像与所述虚拟图像合成后予以显示，所述第2显示控制机构将实时获取的所述摄影图像与加工后的所述虚拟图像合成后予以显示。

在本发明的一态样中，特征在于：第1显示控制帧多次重复到来，第1显示控制帧为所述第1显示控制机构进行显示控制的帧，在各第1显示控制帧之后，设定至少1个第2显示控制帧，第2显示控制帧为所述第2显示控制机构进行显示控制的帧，且该第2显示控制帧的数量可变，所述显示控制装置进而包含决定机构，该决定机构基于特定条件决定所述第1显示控制帧到来的频率。

在本发明的一态样中，特征在于：在所述虚拟空间，配置着多个所述虚拟三维物体，针对每个所述虚拟三维物体，所述第1显示控制帧到来的频率是可变的，所述决定机构针对每个所述虚拟三维物体，基于该虚拟三维物体的位置决定所述第1显示控制帧到来的频率。

在本发明的一态样中，特征在于：所述第1显示控制机构产生比所述摄影图像大的所述虚拟图像，所述第2显示控制机构能够对在所述第1显示控制机构的显示控制中未曾显示的所述虚拟图像的部分进行加工后予以显示。

在本发明的一态样中，特征在于：所述现实空间为房间内部，在所述摄影图像中拍摄了所述房间内部的情况，所述虚拟三维物体为虚拟家具，所述虚拟图像是表示从所述虚拟视点观察到的所述虚拟家具的情况的图像。

本发明的显示控制方法的特征在于包含：获取步骤，获取由能够在现实空间中移动的摄影机构以特定的视频帧率拍摄所得的摄影图像；第1显示控制步骤，基于所述摄影图像推定所述摄影机构的当前位置与朝向，将表示从基于推定结果的虚拟视点观察到的虚拟三维物体的情况的虚拟图像与所述摄影图像合成后予以显示；及第2显示控制步骤，在所述第1显示控制步骤中进行显示控制之后的帧中，基于与所述摄影机构的移动相关的移动信息对所述虚拟图像进行加工，并与所述摄影图像合成后予以显示。

本发明的程序使计算机作为如下机构发挥功能：获取机构，获取由能够在现实空间中移动的摄影机构以特定的视频帧率拍摄所得的摄影图像；第1显示控制机构，基于所述摄影图像推定所述摄影机构的当前位置与朝向，将表示从基于推定结果的虚拟视点观察到的虚拟三维物体的情况的虚拟图像与所述摄影图像合成后予以显示；及第2显示控制机构，在所述第1显示控制步骤中进行显示控制之后的帧中，基于与所述摄影机构的移动相关的移动信息对所述虚拟图像进行加工，并与所述摄影图像合成后予以显示。

[发明效果]

根据本发明，将减轻提供扩增实境的计算机的处理负荷。

附图说明

图1是表示显示控制装置的硬件构成的图。

图2是表示摄影部拍摄现实空间的情况的图。

图3是表示摄影图像的一例的图。

图4是使虚拟图像与摄影图像合成的处理的说明图。

图5是表示在显示控制装置中实现的功能的一例的功能框图。

图6是表示第1显示控制帧与第2显示控制帧的重复模式的一例的图。

图7是说明摄影部的位置与朝向的推定方法的一例的图。

图8是表示移动信息与加工方法的关系的一例的图。

图9是表示移动信息与加工方法的关系的一例的图。

图10是表示移动信息与加工方法的关系的一例的图。

图11是表示移动信息与加工方法的关系的一例的图。

图12是表示移动信息与加工方法的关系的一例的图。

图13是表示移动信息与显示位置的关系的一例的图。

图14是表示在显示控制装置中执行的处理的一例的流程图。

图15是变化例(3)的功能框图。

图16是变化例(4)的处理内容的说明图。

具体实施方式

[1.显示控制装置的硬件构成]

以下，说明本发明相关的显示控制装置的实施方式的例子。显示控制装置10是用来向使用者提供扩增实境的计算机，例如为手机(包含智能手机)、可携式信息终端(包含平板型计算机)、个人计算机或服务器计算机等。图1是表示显示控制装置的硬件构成的图。如图1所示，显示控制装置10包含控制部11、存储部12、通信部13、操作部14、显示部15、输入输出部16、读取部17、摄影部18及传感器部19。

控制部11例如包含至少1个微处理器。控制部11按照存储部12中所存储的程序或数据执行处理。存储部12包含主存储部及辅助存储部。例如，主存储部为RAM(RandomAccess Memory，随机存取存储器)等易失性存储器，辅助存储部为硬盘或闪速存储器等非易失性存储器。通信部13为有线通信或无线通信用的通信接口，经由网络进行数据通信。操作部14是用来供使用者进行操作的输入装置，例如包含触摸面板或鼠标等指向装置或者键盘等。操作部14将使用者的操作内容传达到控制部11。显示部15例如为液晶显示部或有机EL(Electro Luminescence，电致发光)显示部等。显示部15按照控制部11的指示显示画面。输入输出部16为输入输出接口，例如包含USB(Universal Serial Bus，通用串行总线)端口。输入输出部16被用于与外部机器进行数据通信。读取部17读取计算机可读的信息存储媒体，且例如包含光盘驱动器或存储卡插槽。

摄影部18包含拍摄静态图像或动态图像的至少1个相机，例如包含CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)影像传感器或CCD(Charge Coupled Device，电荷耦合装置)影像传感器等摄像元件。例如，摄影部18能够以特定帧率连续地拍摄现实空间。传感器部19包含用来检测显示控制装置10的位置或姿势等的各种传感器，例如包含加速度传感器19A及陀螺仪传感器19B。加速度传感器19A也被称作运动传感器，检测显示控制装置10的加速度。作为加速度传感器19A的检测方式，能应用振动方式、光学方式或半导体方式等各种方式。陀螺仪传感器19B也被称作回转仪(gyroscope)，检测显示控制装置10的角速度。作为陀螺仪传感器19B的检测方式，能应用机械方式、流体方式、光学方式或量子方式等各种方式。

此外，作为存储部12中所存储的内容进行说明的程序及数据可经由网络从其它计算机供给，也可经由输入输出部16或读取部17从计算机可读的信息存储媒体(例如USB存储器、SD(Secure Digital，安全数字)卡或光盘)供给。另外，显示部15及摄影部18也可并非被组装到显示控制装置10的内部，而位于显示控制装置10的外部，经由输入输出部16连接。另外，显示控制装置10的硬件构成并不限定于所述例子，能够应用各种硬件。

[2.显示控制装置所执行的处理的概要]

显示控制装置10通过将摄影部18拍摄现实空间所得的摄影图像与表示虚拟三维物体的虚拟图像合成，来对使用者提供扩增实境。在本实施方式中，列举以下情况为例进行说明：房间内部为现实空间，房间中所配置的虚拟家具为虚拟三维物体，表示从虚拟视点观察到的虚拟家具的情况的图像为虚拟图像。也就是说，对提供可看到室内存在非实际存在的家具的扩增实境的情况进行说明。

图2是表示摄影部18拍摄现实空间的情况的图。如图2所示，现实空间RS为房间内部，使用者手持显示控制装置10拍摄现实空间RS的任意位置。在现实空间RS中也可配置着家具或家电等，但此处为了简化说明而未配置家具或家电等。

例如，使用者能够使显示控制装置10移动，改变摄影部18的位置与朝向的至少一个。所谓摄影部18的朝向意指与摄影部18的摄影方向(视线方向)或注视点相同。例如，当摄影部18改变姿势或旋转时，摄影部18的朝向会发生改变。摄影部18的位置与朝向并非必须为两者同时改变，只要位置与朝向中的至少一个可变即可。当摄影部18的位置与朝向的至少一个发生改变时，摄影部18的摄影范围(视野)发生改变。

摄影部18以特定的视频帧率连续地拍摄现实空间RS。视频帧率为单位时间内的处理次数，如果是动态图像，则为单位时间内的静态图像数(彗形像差数)。视频帧率既可为固定值，也可能够由使用者指定。例如，当将视频帧率设为Nfps(N：自然数，fps：每秒显示帧数(Frames Per Second))时，各帧的长度成为1/N秒，摄影部18针对作为处理单位的每一帧，拍摄现实空间RS并产生摄影图像。

摄影图像并未特别地实时显示，也可将摄影图像的各个静态图像数据或动态图像数据记录在存储部12中，但本实施方式中，说明实时显示摄影图像的情况。也就是说，在本实施方式中，在各帧中执行获取摄影图像的处理及显示摄影图像的处理，摄影图像在摄影后立即显示出。

图3是表示摄影图像的一例的图。如上所述，在现实空间RS中未配置家具或家电等，所以如图3所示，摄影图像G1中只拍摄了墙壁、地板及天花板。此外，在本实施方式中，将摄影图像G1的左上方设为原点Os，设定屏幕坐标轴(Xs轴-Ys轴)。另外，图3所示的P1～P4是从摄影图像G1提取的特征点。特征点的详细情况将在下文进行详细叙述。

当提供扩增实境时，虚拟图像可在任意时点与摄影图像G1合成。例如，可在显示出摄影图像G1后立即合成虚拟图像，也可在经过若干秒之后开始合成虚拟图像，也可在使用者进行了特定的操作的情况下合成虚拟图像。

虚拟图像中所展现的虚拟三维物体是包含至少1个多边形的三维模型。虚拟三维物体配置在构筑于存储部12上的虚拟空间。虚拟空间中的虚拟三维物体的位置与朝向既可预先规定，也可能够由使用者指定。另外，能合成的虚拟三维物体的种类既可预先规定，也可能够从多种虚拟三维物体中自由地选择使用者想要合成的虚拟三维物体。

例如，在显示着摄影图像G1的状态下，使用者选择想要合成的虚拟三维物体之后，指定画面上的任意位置，由此也可能够指定虚拟三维物体的位置。另外，例如，使用者也可能够使虚拟三维物体移动或改变朝向。除此以外，例如使用者也可能够指定虚拟三维物体的尺寸。进而，使用者也可能够指定虚拟三维物体的颜色或纹理等。

图4是使虚拟图像与摄影图像G1合成的处理的说明图。如图4所示，当提供扩增实境时，虚拟的三维空间即虚拟空间VS被构筑在存储部12。在虚拟空间VS中，设定相互正交的3个坐标轴(Xw轴-Yw轴-Zw轴)。这3个坐标轴是世界坐标系统的坐标轴。原点Ow可为任意位置，虚拟空间VS内的位置是利用三维坐标表示。

在虚拟空间VS中，配置着虚拟三维物体VO，且设定着虚拟视点VV。虚拟视点VV也被称作虚拟相机，且定义出视点坐标系统的坐标轴。在图4中，利用符号α表示虚拟视点VV的位置，利用符号β表示虚拟视点VV的朝向。虚拟图像G2表示从虚拟视点VV观察到的虚拟三维物体VO的情况。例如，虚拟图像G2是通过将虚拟三维物体VO的各顶点的三维坐标转换为屏幕坐标系统的二维坐标而产生。该转换处理本身能够应用公知的几何形状处理。

如图4所示，虚拟图像G2被与摄影图像G1合成，由此提供在现实空间RS配置着非实际存在的虚拟三维物体VO这样的扩增实境。在图4的例子中，显示如下画面：虚拟三维物体VO配置在从摄影部18观察时里侧墙壁的近前。

为了提高扩增实境的真实性，在使用者使摄影部18移动的情况下，必须调整虚拟三维物体VO的视觉表现以使其与被摄体的视觉表现变化一致。关于该方面，如上所述，当为了调整虚拟三维物体VO的视觉表现，例如每帧都执行利用SLAM推定摄影部18的位置与朝向而控制虚拟视点VV的处理时，该处理较复杂，所以显示控制装置10的处理负荷增加。

因此，在本实施方式中，并非每帧都执行复杂处理，而是中间隔着对虚拟图像G2进行加工这一简单处理的帧，将复杂处理的帧隔开，由此维持扩增实境的真实性，并且减轻显示控制装置10的处理负荷。以下，将执行复杂处理的帧记载为第1显示控制帧，将执行简单处理的帧记载为第2显示控制帧，说明显示控制装置10的详细情况。

[3.在显示控制装置中实现的功能]

图5是表示在显示控制装置10中实现的功能的一例的功能框图。如图5所示，在本实施方式中，对在显示控制装置10中实现数据存储部100、摄影图像获取部110及显示控制部120的情况进行说明。

[3-1.数据存储部]

数据存储部100主要由存储部12实现。数据存储部100存储提供扩增实境所需的数据。例如，存储定义出虚拟三维物体VO的形状的物体数据。物体数据中存储着虚拟三维物体VO的各顶点的位置关系。另外，例如，在对虚拟三维物体VO设定颜色或纹理的情况下，数据存储部100也可存储表示颜色或纹理的数据。

另外，例如，数据存储部100存储表示虚拟空间VS的当前状态的虚拟空间数据。作为虚拟空间VS的当前状态，例如可存储虚拟三维物体VO的代表位置、朝向(正面方向)及多边形的顶点位置，也可存储与虚拟视点VV相关的虚拟视点参数。虚拟视点参数例如可存储虚拟视点VV的位置、朝向及视角。此外，虚拟视点VV的朝向可利用注视点的三维坐标表示，也可利用表示视线方向的矢量信息表示。除此以外，例如，虚拟视点参数也可包含定义表示描画区域的边界的近裁剪(near clip)或远裁剪(far clip)的信息。

此外，数据存储部100所存储的数据并不限于所述例子。例如，在未特别实时显示摄影图像G1的情况下，数据存储部100也可存储表示各个摄影图像的静态图像数据或表示动态图像的动态图像数据。另外，例如，数据存储部100也可存储表示帧的重复模式的数据。

[3-2.摄影图像获取部]

摄影图像获取部110主要由控制部11实现。摄影图像获取部110获取能够在现实空间RS中移动的摄影部18以特定帧率拍摄所得的摄影图像。如上所述，在本实施方式中，现实空间RS为房间内部，所以摄影图像G1拍摄了房间内部的情况。

所谓能够在现实空间RS中移动的摄影部18意指能够变更摄影部18的位置与朝向，例如意指能够使包含摄影部18的壳体移动，或改变该壳体的姿势，或使该壳体旋转。换句话说，意指能够变更摄影部18的摄影范围(视野)。此外，摄影部18并非必须始终连续移动，有时也会暂时停留在当前位置，位置与朝向不发生改变。

摄影图像获取部110连续地获取摄影部18所产生的摄影图像G1。在本实施方式中，摄影图像获取部110实时获取由摄影部18拍摄所得的摄影图像。也就是说，摄影图像获取部110在摄影部18产生摄影图像G1后立即获取该摄影图像G1。摄影图像获取部110在从摄影部18产生摄影图像G1的时间点起特定时间以内，获取该摄影图像G1。

此外，在未特别实时显示摄影图像G1的情况下，摄影图像获取部110也可获取数据存储部100中所存储的静态图像数据或动态图像数据。另外，当在除显示控制装置10以外的计算机或信息存储媒体中存储着静态图像数据或动态图像数据的情况下，摄影图像获取部110也可从该计算机或信息存储媒体获取静态图像数据或动态图像数据。

[3-3.显示控制部]

显示控制部120主要由控制部11实现。显示控制部120将摄影图像G1与虚拟图像G2合成后显示在显示部15。例如，显示控制部120使虚拟图像G2重叠显示在摄影图像G1上。在该情况下，显示控制部120将虚拟图像G2层设定在比摄影图像G1层靠上(近前或前面)。另外，例如，显示控制部120也可将摄影图像G1与虚拟图像G2进行阿尔法合成(alpha blend)而产生合成图像。阿尔法合成是如下所述的图像合成处理：通过对多个图像的各个设定透明度，且对各图像的像素值乘以透明度并相互累加，而产生1张图像。

显示控制部120包含第1显示控制部121及第2显示控制部122，第1显示控制部121在当前帧为第1显示控制帧的情况下执行处理，第2显示控制部122在当前帧为第2显示控制帧的情况下执行处理。

第1显示控制帧可仅到来1次，但在本实施方式中，第1显示控制帧重复到来多次，第1显示控制帧为第1显示控制部121进行显示控制的帧，在各第1显示控制帧之后，设定至少1个第2显示控制帧，第2显示控制帧为第2显示控制部122进行显示控制的帧。第1显示控制帧也可不定期地到来，但此处设为定期(周期性)地到来。第1显示控制帧与第2显示控制帧的重复模式是预先规定的，显示控制部120基于该重复模式，判定当前帧为第1显示控制帧还是第2显示控制帧。

图6是表示第1显示控制帧与第2显示控制帧的重复模式的一例的图。图6所示的t轴为时间轴。在某第1显示控制帧与下一第1显示控制帧之间，设定k个(k：自然数)第2显示控制帧，在图6的例子中，k为2。当将第1显示控制帧与之后的k个第2显示控制帧的组合(帧的重复单位)记载为周期时，在图6的例子中，1周期包含k+1个帧。

例如，准备表示从特定时间点数起当前为第几帧的计数器变数，显示控制部120基于计数器变数，判定当前帧为第1显示控制帧还是第2显示控制帧。例如，当将计数器变数设为i时，显示控制部120在下述初始化处理结束的情况下，对计数器变数i设定初始值(例如i＝1)。显示控制部120相应于帧经过(也就是每1/N秒)，将计数器变数i进行递增计数。然后，如果将计数器变数i除以1周期的总帧数(此处为3)所得的余数为特定值(此处为1)，则显示控制部120判定为第1显示控制帧，除此以外的情况判定为第2显示控制帧。

此外，第1显示控制帧与第2显示控制帧的时间上的长度可互不相同，但在本实施方式中设为相同。也就是说，当将视频帧率设为Nfps时，在本实施方式中，第1显示控制帧的长度及第2显示控制帧的长度都为1/N秒。另外，在1个周期中也可包含多个第1显示控制帧。例如，也可为在某周期中，在第1显示控制帧2次连续地到来之后，k个第2显示控制帧到来。另外，例如，也可为在某周期中，在第1次的第1显示控制帧到来且第k₁个第2显示控制帧到来之后，第2次的第1显示控制帧到来且第k₂个第2显示控制帧到来。像这样，1周期中所包含的第1显示控制帧与第2显示控制帧的数量与顺序可为任意。

[3-3-1.第1显示控制部]

第1显示控制部121基于摄影图像G1推定摄影部18的当前位置与朝向，将表示从基于推定结果的虚拟视点VV观察到的虚拟三维物件VO的情况的虚拟图像G2与摄影图像G1合成后予以显示。在本实施方式中，第1显示控制部121将实时获取的摄影图像G1与虚拟图像G2合成后予以显示。也就是说，在摄影图像获取部110获取摄影图像G1且第1显示控制部121产生虚拟图像G2之后，立即将这两个图像合成并予以显示。

例如，第1显示控制部121推定摄影部18的当前位置与朝向，使推定结果反映为虚拟视点VV的位置与朝向。由此，在摄影部18移动的情况下，虚拟视点VV以与摄影部18相同的方式移动。也就是说，虚拟视点VV的位置与朝向以与摄影部18的位置与朝向相同的方式发生改变。摄影部18的位置与朝向的推定方法本身能应用公知的视点推定方法，例如也可利用SLAM。

图7是说明摄影部18的位置与朝向的推定方法的一例的图。例如，第1显示控制部121从摄影图像G1中提取特征点P，且追踪所提取出的特征点P。此外，特征点P是摄影图像G1中所拍摄到的表示被摄体RO的特征的点，例如可为表示被摄体RO的轮廓的一部分的点，也可为被摄体RO内部的点(例如中心点)。特征点P的提取方法本身可基于公知的特征点提取演算法执行，例如可将通过轮廓提取处理检测出的被摄体RO的轮廓上的点设为特征点P，也可将轮廓线彼此以特定角度以上交叉的点设为特征点P。

例如，第1显示控制部121基于连续地获取的摄影图像G1的特征点群的变化，获取与特征点群对应的三维坐标群(三维映射)。三维坐标群只要利用三角测量获取即可。例如，如图7所示，当摄影部18相对于被摄体RO朝右方向移动时，与被摄体RO对应的摄影图像G1内的特征点P在摄影图像G1上朝左移动。第1显示控制部121像这样追踪特征点群，并利用三角测量的原理推定摄影部18的移动。

此外，第1显示控制部121也可进而基于能够检测摄影部18的位置变化的加速度传感器19A的检测结果与能够检测摄影部18的朝向变化的陀螺仪传感器19B的检测结果的至少一个，推定摄影部18的当前位置与朝向。关于移动方向与移动距离，只要将加速度传感器19A所检测出的加速度进行2次积分后获取即可。另外，例如关于朝向的变化，只要将陀螺仪传感器19B所检测出的角速度进行积分后获取即可。例如，第1显示控制部121也可基于通过特征点P的追踪所获得的信息及传感器部19的信息，更准确地推定摄影部18的移动的绝对量。

第1显示控制部121当如上所述推定摄影部18的当前位置与朝向时，使推定结果反映为虚拟视点VV的虚拟视点参数。例如，第1显示控制部121可在初始化处理时与之后的第1显示控制帧到来时，分别使摄影部18的当前位置与朝向的推定结果反映为虚拟视点参数。此外，例如，第1显示控制部121可根据特征点群与三维坐标群的对应关系算出第1显示控制帧中的虚拟视点VV的最新位置与朝向(也就是将三维数据投影与新的二维数据加以比较的模式)，也可通过与初始化处理时相同的处理(也就是每次进行初始化处理的模式)来获取。此外，关于从摄影图像G1中重新获得特征点的情况，可设为与初始化处理时相同的处理。

第1显示控制部121当决定虚拟视点VV的虚拟视点参数时，基于特定的几何形状处理，产生表示从虚拟视点VV观察到的虚拟三维物件VO的情况的虚拟图像G2，且与摄影图像G1合成后予以显示。

[3-3-2.第2显示控制部]

第2显示控制部122在第1显示控制部121进行显示控制之后的帧中，基于与摄影部18的移动相关的移动信息对虚拟图像G2进行加工，且与摄影图像G1合成后予以显示。在本实施方式中，第2显示控制部122将实时获取的摄影图像G1与加工后的虚拟图像G2合成后予以显示。

图像的加工为二维加工，例如可为改变图像尺寸(放大率)的加工、使图像旋转的加工、使图像变形的加工、裁剪一部分图像的加工或这些加工的组合。图像的变形是将长方形或正方形的图像改变为其它形状，例如可利用投影转换，也可利用将线性转换与平行移动组合所得的仿射转换。例如，如果利用投影转换，那么长方形或正方形的图像成为梯形，如果利用仿射转换，那么长方形或正方形的图像成为平行四边形。

所谓移动信息是指与从特定时间点起的摄影部18的位置与朝向的变化相关的信息，且是指直接或间接地表示摄影部18的移动的信息。所谓直接意指摄影部18的位置与朝向的变化本身，例如以三维变化量表示。所谓间接意指和摄影部18的移动与移动信息的值存在相关关系，例如是指摄影部18的位置与朝向的至少一个发生改变及移动信息的值发生改变。

本实施方式中，第1显示控制帧多次重复到来，所以第2显示控制部122也可基于关于摄影部18相对于多次重复到来的第1显示控制帧中最近的第1显示控制帧的移动的移动信息，对在该最近的第1显示控制帧中产生的虚拟图像G2进行加工。也就是说，成为第2显示控制部122的加工对象的虚拟图像G2是过去所产生的虚拟图像G2中最新的图像，例如可以说是正显示在显示部15的虚拟图像G2。此外，第2显示控制部122也可对先于最近的第1显示控制帧产生的虚拟图像G2进行加工。

另外，在本实施方式中，移动信息是间接地表示摄影部18的移动的信息，作为该移动信息的一例，说明表示摄影图像G1的特征点的变化的信息。也就是说，本实施方式的移动信息是追踪特征点的二维移动的信息。例如，移动信息包含表示摄影图像G1的特征点P1～P4各自的二维坐标的变化的矢量信息。第2显示控制部122基于摄影图像G1的特征点的变化获取移动信息。特征点的提取方法本身可与第1显示控制部121相同。

移动信息与加工方法的关系可以数式形式或表格形式存储在数据存储部100中，也可记载为程序代码的一部分。在该关系中，以摄影图像G1中的被摄体的形状上的变化与虚拟图像G2中的虚拟三维物体VO的形状上的变化相似的方式，规定了加工方法。换句话说，在该关系中，以摄影图像G1中的被摄体的尺寸变化或应变情况与虚拟图像G2中的虚拟三维物体VO的尺寸变化或应变情况相似的方式，规定了加工方法。第2显示控制部122利用与移动信息相关联的加工方法对虚拟图像G2进行加工。

图8-图12是表示移动信息与加工方法的关系的一例的图。例如，如图8所示，当使用者手持显示控制装置10前进时，目前为止所拍摄到的被摄体较大地显示在摄影图像G1中。因此，特征点P1～P4的间隔扩宽，移动信息所示的特征点的矢量信息朝向外侧。在该情况下，第2显示控制部122推定摄影部18已前进，如图8所示，提高放大率而使虚拟图像G2放大。放大率只要朝向外侧的矢量信息越大则越高即可。由此，虚拟图像G2所示的虚拟三维物体VO也显示得较大，所以能够通过简单的处理提供比如向虚拟三维物体VO前进并接近的扩增实境。

另外，例如，如图9所示，当使用者手持显示控制装置10后退时，目前为止所拍摄到的被摄体较小地显示在摄影图像G1中。因此，特征点P1～P4的间隔缩窄，移动信息所示的各特征点的矢量信息朝向内侧。在该情况下，第2显示控制部122推定摄影部18已后退，如图9所示，降低放大率而使虚拟图像G2缩小。放大率只要朝向内侧的矢量信息越大则越小即可。由此，虚拟图像G2所示的虚拟三维物体VO也显示得较小，所以能够通过简单的处理提供比如从虚拟三维物体VO后退并远离的扩增实境。

另外，例如，如图10所示，当使用者使显示控制装置10原地旋转时，目前为止所拍摄到的被摄体在摄影图像G1上朝反方向旋转。因此，特征点P1～P4朝显示控制装置10的旋转方向的反方向旋转，移动信息所示的各特征点的矢量信息是以将特定位置设为中心旋转的方式朝向固定方向。在该情况下，第2显示控制部122推定摄影部18已旋转，如图10所示，使虚拟图像G2朝特征点P1～P4的旋转方向(摄影部18的旋转方向的反方向)旋转。旋转量只要特征点的旋转角度(矢量信息的大小)越大则越大即可。由此，虚拟图像G2也与摄影图像G1的被摄体一起旋转，所以能够通过简单的处理提供比如虚拟三维物体VO配置在现实空间RS内的特定位置的扩增实境。

另外，例如，如图11所示，当使用者手持显示控制装置10相对于被摄体一边绕行一边接近时，目前为止所拍摄到的被摄体在摄影图像G1上发生变形。因此，特征点P1～P4各自朝相应于被摄体的变形的方向移动，移动信息所示的各特征点的矢量信息朝向相应于被摄体的变形的方向。例如，如图11所示，当摄影部18朝斜左前方移动并朝向斜右方时，在摄影图像G1上，距离上较近的左侧墙壁变大，距离上较远的右侧墙壁变小，正面墙壁成为梯形。因此，特征点P1～P4成为比如表示梯形的顶点的配置。

在图11的情况下，第2显示控制部122推定摄影部18相对于被摄体一边绕行一边接近，以长方形的虚拟图像G2成为梯形的方式将虚拟图像G2进行射影转换。射影转换的应变状况(转换系数)只要特征点所示的梯形的上底(例如连结特征点P3与P4的线段)与下底(例如连结特征点P1与P2的线段)的差越大则越大即可。此外，在图11的例子中，摄影部18前进，所以如图8中所作说明，可提高虚拟图像G2的放大率。反之，在摄影部18后退的情况下，只要降低虚拟图像G2的放大率即可。由此，虚拟图像G2也与摄影图像G1的被摄体一起应变，所以能够通过简单的处理提供比如虚拟三维物件VO配置在现实空间RS内的特定位置的扩增实境。

此外，在摄影部18相对于被摄体一边绕行一边接近的情况下，也可利用仿射转换而非射影转换。例如，如图12所示，当将虚拟图像G2进行仿射转换时，长方形的虚拟图像G2变形为平行四边形。仿射转换中的应变状况(转换系数)与射影转换相同，只要特征点所示的梯形的上底与下底的差越大则越大即可。

另外，虚拟图像G2的加工方法也可将图8-图12的各方法组合。进而，虚拟图像G2的加工方法并不限于图8-图12的例子。只要为与摄影图像G1中的被摄体的变化相应的加工方法即可。也就是说，只要为以与摄影图像G1中的被摄体的视觉表现的变化相同的方式使视觉表现发生变化的加工方法即可。例如，也可不将线性转换与平行移动组合，而仅利用线性转换加工虚拟图像G2。

另外，例如，不仅可利用虚拟图像G2的加工方法，第2显示控制部122也可基于移动信息，进一步决定加工后的虚拟图像G2的显示位置，在该显示位置显示加工后的虚拟图像。移动信息与显示位置的关系可以数式形式或表格形式存储在数据存储部100中，也可被记载为程序代码的一部分。第2显示控制部122使加工后的虚拟图像G2显示在与移动信息相关联的显示位置。

图13是表示移动信息与显示位置的关系的一例的图。如图13所示，当使用者手持显示控制装置10移动时，目前为止所拍摄到的被摄体在摄影图像G1上朝反方向移动。因此，特征点P1～P4朝与被摄体相同的方向移动。在该情况下，第2显示控制部122推定摄影部18移动，如图13所示，使虚拟图像G2朝特征点P1～P4的移动方向(摄影部18的移动方向的反方向)移动。关于移动距离，只要特征点的移动距离(矢量信息的大小)越大，则使其越大即可。由此，使用者能够感觉到虚拟三维物体VO仿佛存在于现实空间RS的特定位置。

如图13所示，当摄影部18朝左方向移动时，目前为止所拍摄到的被摄体在摄影图像G1上朝右方向移动，所以特征点P1～P4朝右方向移动。因此，第2显示控制部122在特征点朝右方向移动的情况下使虚拟图像G2的显示位置朝右方向移动。由此，在摄影图像G1的被摄体移动的情况下能够使虚拟图像G2也移动，所以能够通过简单的处理提供比如虚拟三维物体VO配置在现实空间RS内的特定位置的扩增实境。

此外，第2显示控制部122也可将摄影图像G1的整体设为特征点的提取对象，但在本实施方式中，也可将摄影图像G1中的与虚拟图像G2的显示位置对应的区域设为特征点的提取对象。所谓与虚拟图像G2的显示位置对应的区域是指显示部15的显示区域(画面整体)中的显示着虚拟三维物体VO的像素或其周围的区域，且可为包含虚拟图像G2的区域。所谓周围是指包含距显示着虚拟三维物体VO的像素未达固定距离的像素的区域。例如，图8-图13的例子中，显示着虚拟图像G2的周围(例如拍摄到正面方向的墙壁的区域)成为特征点的提取对象。

[4.本实施方式中所执行的处理]

图14是表示在显示控制装置10中执行的处理的一例的流程图。图14所示的处理是通过控制部11按照存储部12中所存储的程序进行动作来执行。下述所说明的处理是由图5所示的功能块执行的处理的一例。

如图14所示，首先，控制部11使摄影部18启动(S1)，执行初始化处理(S2)。在S1中启动的摄影部18基于特定帧率开始摄影，之后，控制部11使显示部15连续地显示摄影图像G1。在S2中，控制部11利用SLAM推定摄影部18的位置与姿势，获取虚拟视点VV的位置与朝向的初始值。另外，控制部11制成与各特征点对应的三维点群。此外，在初始化处理中，可合成显示虚拟图像G2，在该时间点，虚拟图像G2也可尚未被合成显示。

控制部11当使初始化处理结束时，基于计时处理，判定是否成为帧的开始时间点(S3)。各帧的时间上的长度已确定，所以在S3中，控制部11判定通过计时处理获取的当前时间点是否为帧的开始时间点。另外，控制部11可在该时间点对计数器变数i设定初始值，在第1显示控制帧或第2显示控制帧的处理结束时将计数器变数i进行递增计数。此外，控制部11在之后的处理中也继续进行计时处理。

当判定成为帧的开始时间点时(S3；Y(Yes，是))，控制部11基于计数器变数i，判定当前帧为第1显示控制帧还是第2显示控制帧(S4)。在S4中，如果将计数器变数i除以k+1所得的余数为1，则控制部11判定为第1显示控制帧，除此以外的情况判定为第2显示控制帧。

当判定为第1显示控制帧时(S4；第1显示控制帧)，控制部11基于摄影图像G1的特征点及传感器部19的检测信号，决定虚拟视点VV的位置与朝向(S5)。在S5中，控制部11利用SLAM推定摄影部18的位置与姿势，以使推定结果反映为虚拟视点VV的位置与朝向的方式，更新虚拟视点参数。

控制部11基于S5的决定结果，产生虚拟图像G2(S6)。在S6中，控制部11产生从S5中所决定的位置以S5中所决定的朝向观察到的虚拟三维物体VO的情况的虚拟图像G2。

控制部11使S6中所产生的虚拟图像G2与摄影图像G1重叠地显示(S7)。在S7中，控制部11以成为比摄影图像G1层靠上的方式设定虚拟图像G2层。

另一方面，在S4中，当判定为第2显示控制帧时(S4；第2显示控制帧)，控制部11提取虚拟图像G2的显示位置附近的特征点(S8)。在S8中，将虚拟图像G2所示的显示着虚拟三维物体VO的区域内或与该区域相距特定距离以内的区域设为特征点的提取对象。经提取的特征点被记录于存储部12。

控制部11基于S8中所提取的摄影图像G1的特征点，获取移动信息(S9)。在S9中，控制部11获取表示相对于最近的第1显示控制帧的各特征点的位置变化的矢量信息作为移动信息。

控制部11基于S9中所获取的移动信息，对在最近的第1显示控制帧中产生的虚拟图像G2进行加工(S10)。在S10中，如参照图8-15所作说明，控制部11利用与移动信息相关联的加工方法对虚拟图像G2进行加工。

控制部11基于S9中所获取的移动信息，决定加工后的虚拟图像G2的显示位置(S11)。在S11中，如参照图13所作说明，控制部11获取与移动信息相关联的显示位置。

控制部11使在S10中加工而成的虚拟图像G2与摄影图像G1重叠地显示在S11中所决定的显示位置(S12)。在S12中，控制部11以成为比摄影图像G1层靠上的方式设定虚拟图像G2层，在虚拟图像G2层内，使虚拟图像G2显示在S11中所决定的显示位置。

控制部11基于特定条件，判定是否重新开始初始化处理(S13)。用来重新开始初始化处理的条件只要为预先规定的条件即可，例如可为从上一次初始化处理经过固定时间，也可为摄影部18的移动量成为阈值以上，还可为由使用者进行特定的操作。

当判定重新开始初始化处理时(S13；Y)，返回到S2的处理，再次执行初始化处理。另一方面，当未判定重新开始初始化处理时(S13；N(NO，否))，控制部11判定是否满足特定的结束条件(S14)。结束条件只要是为了结束本处理而预先规定的条件即可，例如，可由使用者进行特定的操作。当判定为满足结束条件时(S14；Y)，本处理结束。另一方面，当未判定为满足结束条件时(S14；N)，返回到S3的处理，等待下一帧。

根据以上所说明的显示控制装置10，并非每帧都执行复杂处理，而是中间隔着对虚拟图像G2进行加工这一简单处理的帧，将执行复杂处理的帧隔开，由此能够维持扩增实境的真实性，并且减轻提供扩增实境的显示控制装置10的处理负荷。

另外，即使在第1显示控制帧多次重复到来的情况下，也能够通过在各第1显示控制帧之后设定第2显示控制帧，来减轻显示控制装置10的处理负荷。

另外，通过将成为第2显示控制部122的加工对象的虚拟图像G2设为在最近的第1显示控制帧中产生的虚拟图像G2，来对最为接近摄影部18的当前位置与朝向的虚拟图像G2进行加工，所以能够有效地提高扩增实境的真实性。

另外，通过基于摄影图像G1的特征点的变化获取移动信息，能够根据能以简单处理提取的信息来推定摄影部18的移动，所以能够有效地减轻显示控制装置10的处理负荷。进而，通过利用实际拍摄到的被摄体的特征点，也能够提高摄影部18的移动的推定精度。

另外，通过将与虚拟图像G2的显示位置对应的区域设为特征点的提取对象，能够缩减所提取的特征点的数量，从而能够有效地减轻显示控制装置10的处理负荷。进而，由于根据虚拟图像G2周边的被摄体的变化对虚拟图像G2进行加工，所以能够减轻加工后的虚拟图像G2的不自然度，从而提高扩增实境的真实性。

另外，通过第2显示控制部122基于移动信息决定虚拟图像G2的显示位置，能够使虚拟图像G2也与摄影图像G1上的被摄体的移动一起移动，所以能够通过简单的处理提供仿佛虚拟三维物件VO存在于现实空间RS的特定位置的真实性较高的扩增实境。

另外，通过第1显示控制部121进一步基于传感器部19的检测信号推定摄影部18的位置与朝向，能够提高摄影部18的位置与朝向的推定精度。

另外，通过在实时显示摄影图像G1的情况下合成显示虚拟图像G2，能够提供仿佛在使用者的眼前存在虚拟三维物体VO的扩增实境。

另外，在拍摄到房间内部的情况下，使示出表示家具的虚拟三维物体VO的虚拟图像G2重叠显示，由此，能够减轻提供仿佛在室内存在非实际存在的家具的扩增实境时的显示控制装置10的处理负荷。

[5.变化例]

此外，本发明并不限定于以上所说明的实施方式。能够在不脱离本发明的主旨的范围内适当进行变更。

(1)例如，在实施方式中，基于摄影图像G1的特征点的变化来获取移动信息，但也可将其它信息设为移动信息。例如，只要利用传感器部19的检测信号，就能大致地推定摄影部18的移动，所以在第2显示控制帧中，也可利用传感器部19的检测信号，推定摄影部18相对于最近的第1显示控制帧的移动，并对虚拟图像G2进行加工。

本变化例的第2显示控制部122也可基于能够检测摄影部18的位置变化的加速度传感器19A的检测结果、与能够检测摄影部18的朝向变化的陀螺仪传感器19B的检测结果的变化中的至少一个，获取移动信息。也就是说，移动信息也可包含由加速度传感器19A检测出的摄影部18的位置变化与由陀螺仪传感器19B检测出的摄影部18的朝向变化(姿势变化)中的至少一个。此处，说明移动信息包含这两者的情况，但也可只包含任一者。

第2显示控制部122利用与摄影部18的位置变化及朝向变化相关联的加工方法对虚拟图像G2进行加工。例如，在移动信息表示摄影部18已前进的情况下，第2显示控制部122使虚拟图像G2放大。另外，例如，在移动信息表示摄影部18已后退的情况下，第2显示控制部122使虚拟图像G2缩小。另外，例如，在移动信息表示摄影部18相对于被摄体水平地移动的情况下，第2显示控制部122使虚拟图像G2朝与摄影部18的移动方向对应的方向移动。另外，例如，在移动信息表示摄影部18的朝向发生了改变的情况下，第2显示控制部122以进行与摄影图像G1的被摄体的变形相同的变形的方式，将虚拟图像G2进行射影转换或仿射转换。

根据变化例(1)，利用传感器部19的检测信号对虚拟图像G2进行加工，由此能够使对于摄影部18相对于第1显示控制帧的移动的推定(也就是移动信息的获取处理)成为更简单的处理，能够有效地减轻显示控制装置10的处理负荷。

(2)另外，例如，摄影部18的移动方向或移动速度相对于目前为止的移动方向或移动速度并未发生急遽改变。因此，也可根据第1显示控制帧中的摄影部18的位置与朝向的变化，推定第2显示控制帧中的摄影部18的位置与朝向，从而对虚拟图像G2进行加工。

在本变化例中，第1显示控制部121将摄影部18的位置与朝向的推定结果的历程记录在数据存储部100中。例如，第1显示控制部121将虚拟视点VV的虚拟视点参数按时间序列记录在数据存储部100中。

第2显示控制部122也可基于利用第1显示控制部121所得的摄影部18的位置与朝向的推算结果的变化，获取移动信息。例如，第2显示控制部122根据过去固定期间内的虚拟视点VV的虚拟视点参数的时间序列上的变化，预想摄影部18相对于最近的第1显示控制帧的移动，并获取作为移动信息。

例如当摄影部18进行匀速运动时，第2显示控制部122使摄影部18保持原状维持匀速运动，并获取移动信息。另外，例如，当虚拟视点VV正进行加速时，第2显示控制部122使虚拟视点VV维持该状态下的加速度，并获取移动信息。另外，例如当虚拟视点VV正进行减速时，第2显示控制部122使虚拟视点VV维持该状态下的加速度，并获取移动信息。另外，例如，当虚拟视点VV停止时，第2显示控制部122使虚拟视点VV保持停止，并获取移动信息。获取移动信息后的虚拟图像G2的加工方法可与变化例(1)中所说明的方法相同。

根据变化例(2)，通过根据摄影部18的移动历程预测摄影部18的移动，能够使对于摄影部18相对于第1显示控制帧的移动的推定(也就是移动信息的获取处理)成为更简单的处理，从而能够有效地减轻显示控制装置10的处理负荷。

(3)另外，例如，设定在各第1显示控制帧之间的第2显示控制帧的数量可以是可变的，可基于特定条件使第1显示控制帧到来的频率发生改变。此外，频率是单位时间内的第1显示控制帧的数量，例如当将视频帧率设为Nfps时，频率是N个帧中的第1显示控制帧的比率。

图15是变化例(3)的功能框图。如图15所示，在本变化例中，实现频率决定部130。频率决定部130主要实现控制部11。频率决定部130基于特定条件来决定第1显示控制帧到来的频率。所谓特定条件，只要为预先规定的条件，则例如可为与使用者的操作相关的条件、与当前的处理负荷相关的条件、与显示控制装置10的性能相关的条件、与摄影部18的移动相关的条件、或与虚拟三维物体VO相关的条件等。

特定条件与第1显示控制帧的频率的关系可以数式形式或表格形式存储在数据存储部100中，也可记载为程序代码的一部分。频率决定部130判定是否满足特定条件，并设定与所满足的条件相关的频率。显示控制部120基于频率决定部130所决定的频率，决定第1显示控制帧与第2显示控制帧的重复模式，并判定当前帧为第1显示控制帧还是第2显示控制帧。

例如，如果是与使用者的操作相关的条件，则频率决定部130以成为使用者所指定的频率的方式，决定第1显示控制帧的频率。在该情况下，使用者既可能够指定表示单位时间内的第1显示控制帧的频率的数值，也可能够从多个等级的频率中指定所期望的频率。

另外，例如，如果是与当前的处理负荷相关的条件，那么频率决定部130将以如下方式作出决定：当前的处理负荷越高则使第1显示控制帧的频率越低，当前的处理负荷越低则使第1显示控制帧的频率越高。处理负荷例如可为CPU(Central Processing Unit，中央处理单元)使用率，也可为存储器使用率。频率决定部130只要通过执行特定的命令(例如typeperf命令或vmstat命令等)获取处理负荷即可。

另外，例如，如果是与显示控制装置10的性能相关的条件，那么频率决定部130将以如下方式作出决定：显示控制装置10的性能越高则使第1显示控制帧的频率越高，性能越低则使第1显示控制帧的频率越低。显示控制装置10的性能例如可为CPU的时钟数或缓存，也可为存储器的种类。

另外，例如，如果是与摄影部18的移动相关的条件，那么频率决定部130将以如下方式作出决定：摄影部18的移动量越大则使第1显示控制帧的频率越高，移动量越小则使第1显示控制帧的频率越低。摄影部18的移动量可为移动距离也可为移动速度。摄影部18的移动量可如实施方式中所作说明那样，基于传感器部19的检测信号获取，也可基于摄影图像G1的特征点的变化获取。

另外，例如，如果是与虚拟三维物体VO相关的条件，例如频率决定部130将以如下方式作出决定：虚拟三维物体VO的顶点数量越少则使第1显示控制帧的频率越高，顶点数量越多则使第1显示控制帧的频率越低。另外，例如，在设为能够在虚拟空间VS配置多个虚拟三维物体VO的情况下，频率决定部130将以如下方式作出决定：虚拟三维物体VO的数量越多则使第1显示控制帧的频率越低，数量越少则使第1显示控制帧的频率越高。另外，与之相反，频率决定部130将以如下方式作出决定：虚拟三维物体VO的数量越少则使第1显示控制帧的频率越高，数量越多则使第1显示控制帧的频率越低。

根据变化例(3)，设定与特定条件相应的频率的第1显示控制帧，所以能够使显示控制装置10的处理负荷减轻与扩增实境的真实性提高更为均衡。

(4)另外，例如在虚拟空间VS可配置多个虚拟三维物体，针对每个虚拟三维物体VO，第1显示控制帧到来的频率也可以是可变的。

图16是变化例(4)的处理内容的说明图。在图16所示的例子中，虚拟空间VS中配置着表示书架的虚拟三维物体VO1、及表示桌子的虚拟三维物体VO2。如图16所示，虚拟三维物体VO1配置在相比虚拟三维物体VO2来说远离虚拟视点VV的位置。

例如，第1显示控制部121可针对每个虚拟三维物体VO产生虚拟图像G2。因此，在图16的例子中，第1显示控制部121可产生虚拟三维物体VO1的虚拟图像G2及虚拟三维物体VO2的虚拟图像G2。虚拟图像G2与G3可为相同层，也可为不同层。但，虚拟图像G2与G3的各层比摄影图像G1层靠上。

另外，例如，第2显示控制部122对针对每个虚拟三维物体VO产生的虚拟图像G2进行加工，并与摄影图像G1合成后予以显示。虚拟图像G2的加工方法或与摄影图像G1的合成方法本身可与实施方式中所说明的方法相同。

变化例(4)的频率决定部130针对每个虚拟三维物体VO，基于该虚拟三维物体VO的位置来决定第1显示控制帧到来的频率。例如，频率决定部130将以如下方式作出决定：虚拟三维物体VO与虚拟视点VV的距离越短则使第1显示控制帧的频率越高，距离越长则使第1显示控制帧的频率越低。在图16的例子中，频率决定部130将虚拟三维物体VO1的第1显示控制帧的频率设定得比虚拟三维物体VO2的第2显示控制帧的频率低。显示控制部120针对每个虚拟三维物体VO，基于频率决定部130所决定的频率，判定当前帧为第1显示控制帧还是第2显示控制帧。

根据变化例(4)，基于虚拟三维物体VO的位置，第1显示控制帧的频率是可变的，所以当与虚拟视点VV的距离较近，容易出现形状变化且容易明确与被摄体的偏差时，能够频繁地执行精度较高的处理，当与虚拟视点VV的距离较远，不易出现形状变化且不易明确与被摄体的偏差时，能够将精度较高的处理隔开而执行简单处理。结果，能够使显示控制装置10的处理负荷减轻与扩增实境的真实性提高更为均衡。

(5)另外，例如，虚拟图像G2可并非为与摄影图像G1相同的尺寸，可比摄影图像G1小或比摄影图像G1大。本变化例的第1显示控制部121产生比摄影图像G1大的虚拟图像G2。虚拟图像G2可为能够包含摄影图像G1的尺寸。

第2显示控制部122能够对利用第1显示控制部121的显示控制中未曾显示的虚拟图像G2的部分进行加工后予以显示。例如，第2显示控制部122通过使虚拟图像G2缩小或移动，能够将目前为止未曾显示的区域与摄影图像G1合成后予以显示。

例如，当摄影部18朝向上方向时，第2显示控制部122通过使虚拟图像G2朝下方向移动，而使虚拟图像G2中的目前为止未曾显示的上侧区域显示出。同样地，当摄影部18朝向下方向、右方向或左方向时，第2显示控制部122通过使虚拟图像G2朝上方向、左方向或右方向移动，而使虚拟图像G2中的目前为止未曾显示的区域显示出。

根据变化例(5)，即使摄影部18移动，且目前为止未被拍摄到的部分被拍摄到摄影图像G1中，也能够通过简单的处理使第1显示控制帧中未曾显示的虚拟图像G2的部分显示出，从而能够减轻显示控制装置10的处理负荷，并且有效地提高扩增实境的真实性。

(6)另外，例如，在实施方式中，对为了推定摄影部18的位置与朝向而利用传感器部19的情况进行了说明，但传感器部19也可不特别予以利用。另外，例如，传感器部19的检测结果可在第1显示控制帧每次都予以利用，也可只在初始化处理时予以利用，在第1显示控制帧中不予利用。另外，对利用1台摄影部18(单眼相机)的情况进行了说明，但也可利用多个摄影部18(复眼相机)，还可利用包含深度传感器的摄影部18(RGB-D(Red Green Blue-Depth，红绿蓝-深度)相机)。深度传感器只要为能够检测与被摄体的距离的传感器即可，例如可为利用红外线或超声波的方式。根据包含深度传感器的摄影部18，能够直接计算与特征点的距离。

另外，例如在实施方式中，对第1显示控制部121调整虚拟视点VV的位置与朝向的情况进行了说明，但只要调整虚拟视点VV相对于虚拟三维物体VO的相对位置即可，也可改变虚拟三维物体VO的位置与朝向。也就是说，第1显示控制部121也可不改变虚拟视点VV的位置与朝向，而使虚拟三维物体VO移动或旋转。除此以外，例如，第1显示控制部121也可改变虚拟视点VV与虚拟三维物体VO两者的位置与朝向。

另外，例如，现实空间RS只要为任意空间即可，并不限于实施方式中所说明的室内。现实空间RS可为屋外，例如可为移动会场、停车场或竞技场等。另外，例如，虚拟三维物体VO只要为成为扩增实境的合成对象的三维模型即可，并不限于实施方式中所说明的家具。虚拟三维物体可表示配置于屋外的物体，例如可为汽车或自行车等交通工具、人或动物等角色、西装或鞋等衣物、树或草等植物、围墙或看板等。另外，例如，虚拟三维物体并不限于不移动物体，也可为移动物体。在该情况下，将定义虚拟三维物体的各顶点的变化的运动数据存储在数据存储部中，显示控制部120只要通过再现运动数据来使虚拟三维物体移动即可。

另外，例如在显示控制装置10中无需包含摄影部18，摄影图像获取部110也可获取由显示控制装置10中所不包含的摄影部18拍摄到的摄影图像G1。在该情况下，传感器部19不包含在显示控制装置10中，可使它包含在摄影部18的壳体中。另外，例如，显示控制装置10也可利用服务器计算机实现，在该情况下，显示控制装置10也可不包含显示部15，而将摄影图像G1与虚拟图像G2合成后显示在经由网络连接的终端的显示部。