具体实施方式

以下，对于本发明的实施方式，以头部佩戴型的影像显示装置即头戴式显示器(HMD)的例子为中心进行说明。

实施例1

图1表示实施例1的HMD的外观图。HMD1是眼镜型形状，在前表面配置有供用户观看影像的显示部72和拍摄外景的摄像部71，在镜腿部(镜腿)91上收容了后述的各种处理部。另外，镜腿部91内的一部分处理部也可以与HMD主体分离地收容在其他壳体中，成为用线缆与HMD主体连接的结构。

图2是表示HMD1的内部结构的框图。HMD1由主控制部10、系统总线30、存储部40、传感器部50、通信处理部60、影像处理部70、声音处理部80、操作输入部90构成。

主控制部10是按规定的动作程序控制HMD1整体的微处理器单元。系统总线30是在主控制部10与HMD1内的各构成模块之间进行各种命令和数据等的发送接收用的数据信道。

存储部40保存控制HMD1的动作用的各种程序41、动作设定值和来自后述的传感器部的检测值和包括内容的对象等各种数据42，具有各种程序动作中使用的工作区域43。此时，存储部40能够存储从网络上下载的动作程序和用上述动作程序生成的各种数据、下载的动态图像和静止图像和声音等内容。另外，能够存储用摄像部71拍摄到的动态图像和静止图像等的数据。存储部40需要在没有对HMD1从外部供电的状态下也保持存储的信息。从而，例如使用闪存ROM和SSD(Solid State Drive)等半导体元件存储器、HDD(Hard DiscDrive)等磁盘驱动器等设备。另外，存储部40中存储的上述各动作程序，能够通过从网络上的各服务器装置的下载处理进行更新和功能扩展。

传感器部50为了检测HMD1的各种状态，而由GPS(Global Positioning System)传感器51、地磁传感器52、距离传感器53、加速度传感器54、陀螺仪传感器55、高度传感器56等构成。用这些传感器组检测HMD1的位置、倾斜、方位、运动、高度等。除此以外，也可以具有照度传感器、接近传感器等其他传感器。

通信处理部60由LAN(Local Area Network)通信部61和电话网通信部62构成。LAN通信部61经由接入点等与互联网等网络连接，与网络上的各服务器装置之间进行数据的发送接收。与接入点等的连接可以用Wi-Fi(注册商标)等无线连接进行。

电话网通信部62通过与移动电话通信网的基站等的无线通信，进行电话通信(通话)和数据的发送接收。与基站等的通信可以用W-CDMA(Wideband Code DivisionMultiple Access)(注册商标)方式或GSM(注册商标)(Global System for Mobilecommunications)方式、LTE(Long Term Evolution)方式、或者其他通信方式进行。LAN通信部61和电话网通信部62分别具备编码电路和解码电路和天线等。另外，通信处理部60也可以进一步具备Bluetooth(注册商标)通信部和红外线通信部等其他通信部。

影像处理部70由摄像部71和显示部72构成。摄像部71是通过使用CCD(ChargeCoupled Device)和CMOS(Complementary Metal Oxide Semiconductor)传感器等电子设备将从镜头输入的光变换为电信号、而输入外景的被拍摄体的图像数据的摄像机单元。显示部72是例如使用激光投影仪和半反射镜等的透射型显示器的显示设备，对HMD1的用户提供图像数据。

声音处理部80由声音输入输出部81、声音识别部82和声音解码部83构成。声音输入输出部81的声音输入是麦克风，将用户的声音等变换为声音数据并输入。另外，声音输入输出部81的声音输出是扬声器，对用户输出必要的声音信息等。声音识别部82对输入的声音信息进行分析，提取指示命令等。声音解码部83进行编码声音信号的解码处理和声音合成处理。

操作输入部90是进行对HMD1的操作指示的输入的指示输入部。操作输入部90由将按钮开关等排列而成的操作按键等构成，但也可以还具有其他操作设备。例如，也可以使用通信处理部60，用通过有线通信或无线通信连接的其他便携终端设备进行HMD1的操作。另外，也可以使用声音处理部80的声音识别部82，用操作指示的声音命令进行HMD1的操作。

另外，图2所示的HMD1的结构例包括多个对于本实施例并非必要的结构，即使是不具备它们的结构也不损害本实施例的效果。反之，也可以进一步增加数字广播接收功能和电子货币结算功能等未图示的结构。

图3是表示上述通信处理部60与外部设备的连接结构例的图。HMD1的LAN通信部61经由作为接入点的无线路由器4，与互联网等网络5连接。对于网络5连接了服务器6，经由HMD1的LAN通信部61进行数据的发送接收。

图4是表示HMD1的功能模块的结构的图。

HMD1整体的控制处理主要由主控制部10使用存储部40的各种程序41和各种数据42执行。HMD1中的处理由收集并保存用户的移动轨迹的信息的轨迹收集处理(S100)、和基于保存的轨迹信息显示表示用户的虚拟影像即虚拟化身的虚拟化身显示处理(S200)构成(分别用虚线和点划线表示)。

在轨迹收集处理(S100)中，用各种传感器信息获取功能11获取来自传感器部50的各种传感器的信息，用轨迹信息处理功能12将获取的来自各种传感器的信息变换为内部易于处理的轨迹信息。对于变换处理后的轨迹信息，用轨迹信息保存功能13保存。另外，在轨迹信息获取途中由用户发出了拍摄指示的情况下，使用影像处理部70的摄像部71进行拍摄。该情况下的拍摄处理由拍摄数据获取功能14进行，对于所获取的拍摄数据，与轨迹信息关联地用拍摄数据保存功能15保存。

在虚拟化身显示处理(S200)中，读取虚拟化身信息保存功能16中预先保存的用户的虚拟化身信息，对于用虚拟化身生成功能17生成的虚拟化身，用虚拟化身显示功能18显示。虚拟化身的显示位置基于轨迹信息保存功能13中保存的轨迹信息决定。但是，用视野计算功能19判断虚拟化身的显示位置是否存在于HMD1的视野中，不存在的情况下不显示虚拟化身。另外，用拍摄数据再现功能20与路径轨迹相应地再现拍摄数据保存功能15中保存的拍摄数据。

轨迹信息保存功能13、拍摄数据保存功能15、虚拟化身信息保存功能16等保存功能如图3所示，也能够经由通信处理部60的LAN通信部61保存在外部的服务器6中。

图5是表示用户的轨迹收集的例子的示意图。本例中，佩戴了HMD1的用户2按轨迹点501、502、503、504的顺序移动(用●符号表示)。另外，在移动方向变化了90度的轨迹点503(转弯)处，用摄像部71拍摄被拍摄体510。因此，该轨迹点503成为拍摄点。此处拍摄的对象是经过的场所、转弯、走错路的场所、在该地点看到的动植物和建筑物等，由用户的意愿决定，在之后再现路径轨迹时再现该拍摄影像。

图6是表示HMD1的轨迹收集处理(S100)的流程图，以图5的轨迹示意图为例。该处理流程保存在存储部40的各种程序41中。

S110：因用户2的指示而开始轨迹收集处理(S100)。轨迹收集开始的指示在本实施例中通过用户2的声音进行。例如，说出声音命令“轨迹开始”时，声音识别部82判断为轨迹收集处理的开始指示。

S111：进行轨迹点的点编号的初始化。此处，设定0作为点编号p的初始值，设为轨迹收集处理的开始时刻的点编号p＝0。

S112：起动计时器。计时器使用主控制部10中内置的时钟进行计时。使用计时器是为了按一定时间(单位时间)间隔收集用户的轨迹点的数据。

S113：用来自传感器部50的信息检测HMD1的位置(各种传感器信息获取功能11)，变换为保存数据的格式(轨迹信息处理功能12)，保存在存储部40的各种数据42中(轨迹信息保存功能13)。对于HMD1的平面上的位置，用传感器部50的GPS传感器51检测。通过接收来自多个GPS卫星的无线电信号，能够检测HMD1的全球位置坐标(经度、纬度)。另外，高度能够用传感器部50的高度传感器56检测。例如，计测气压并计算高度。

HMD1的位置信息在来自GPS卫星的GPS信息以外，也能够使用从Wi-Fi(注册商标)、Bluetooth(注册商标)、移动基站发出的信息等获取全球位置信息，所以不能获取GPS信息的情况下，用这些信息获取HMD1的位置信息。当然，也可以将其他信息与GPS信息组合。以下，将获取全球位置信息用的信息称为“GPS信息等”。

另外，如果在总是能够精度良好地获取上述全球位置信息的环境中，则能够将用户的轨迹信息配置在使用全球位置信息的空间坐标系中。另一方面，也可以生成以轨迹获取开始位置为原点的独自的空间坐标系(本地坐标系)，根据用传感器部50的加速度传感器54和陀螺仪传感器55等检测出的用户的移动距离和移动方向计算位置的变化，配置在本地坐标系中。然后，在能够精度良好地获取全球位置信息的地点获取全球位置信息，与本地坐标系的位置信息关联，由此例如在不连续获取轨迹的情况和查看他人的轨迹信息的情况下也能够应用。

S114：判断用户是否发出拍摄指示，发出拍摄指示的情况下前进至S115，未发出拍摄指示的情况下前进至S116。另外，摄像部71的拍摄功能中，准备了静止图像拍摄和动态图像拍摄这2个拍摄模式。为了对它们进行区分，例如使用声音命令“拍摄”作为静止图像的拍摄指示，使用声音命令“拍摄开始”作为动态图像的拍摄指示。另外，对于动态图像使用声音命令“拍摄结束”作为拍摄结束的指示。

S115：用影像处理部5的摄像部71拍摄位于HMD1前方的被拍摄体(拍摄数据获取功能14)，将拍摄数据作为存储部40的各种数据42保存(拍摄数据保存功能15)。

S116：判断用户是否进行了轨迹信息获取处理的结束的指示。例如，判断是否用声音命令“轨迹结束”发出了轨迹收集处理的结束指示。指示了结束的情况下，前进至S117而结束轨迹信息获取处理。没有指示轨迹信息获取处理的结束的情况下，前进至S118。

S118：判断是否经过了单位时间。具体而言，判断计时器是否超过了单位时间。经过了单位时间的情况下前进至S119，尚未经过单位时间的情况下返回S114。

S119：对点编号p加1，返回S112使计时器复位并再次起动。

用以上轨迹收集处理(S100)，能够按一定时间间隔收集用户的轨迹点(位置信息)。例如通过将计时器的单位时间设定为1秒，能够每1秒保存HMD1的轨迹。另外，能够与此并行地根据用户的指示拍摄途中的被拍摄体并保存。

此处，对于用上述轨迹收集处理(S100)保存在存储部40中的轨迹信息数据(数据表)，说明2个方式。

图7A表示保持测定值地保存位置信息的轨迹信息保存表710。作为项目，由表示各轨迹点的顺序的点编号711和与该轨迹点对应的位置坐标712构成。位置坐标712使用来自GPS信息等的平面的位置信息(X，Y)和用高度传感器56得到的高度(Y)的值。点编号0是轨迹收集处理开始(S110)时的位置坐标(X₀，Y₀，Z₀)，点编号1是单位时间(此处设为1秒)后的位置坐标(X₁，Y₁，Z₁)。点编号k是k秒后由用户发出了拍摄指示(S114)时的位置坐标(X_k，Y_k，Z_k)。点编号n是从开始起n秒后轨迹收集处理结束(S117)时的位置坐标(X_n，Y_n，Z_n)。

另外，数据表中位置坐标712是固定长度的数据，所以如果按时序进行记录，则能够省略点编号711的数据。即，对于作为目的的点编号p的位置坐标的数据，能够按固定长度的倍数值p进行检索。

此处，不能根据GPS信息等获取位置信息的情况下，按传感器部50的加速度传感器54和陀螺仪传感器55等的相对值信息(差值信息)暂时保存。然后，在某一个轨迹点处能够获取来自GPS信息等的位置信息(绝对值信息)的阶段，将暂时保存的相对值修正为绝对值，由此进行应对。

图7B表示按差值保存位置信息的差分轨迹信息保存表720。轨迹点之间测定值的变化较少的情况下，不是保持测定值、而是按差值(变化量)保存，能够减少保存的数据量，是更实用的。

作为项目，由点编号721和与该轨迹点对应的差分位置坐标722构成。差分位置坐标722中，记载前一轨迹点的位置坐标与当前时刻的轨迹点的位置坐标的差值。即，平面位置坐标的差值(ΔX，ΔY)用2个轨迹点之间的经度方向的距离和纬度方向的距离记载。高度方向的差值(ΔZ)也用距离记载。

点编号1表示从轨迹收集处理开始时起1秒后的差分位置坐标(ΔX1，ΔY1，ΔZ₁)，点编号k表示k秒后的差分位置坐标(ΔXk，ΔYk，ΔZ_k)，点编号n表示轨迹收集处理结束时(从开始起n秒后)的差分位置坐标(ΔXn，ΔYn，ΔZ_n)。与上述图7A(轨迹信息保存表710)的位置坐标712的值的关系是：

ΔX_p＝X_p-X_p-1，ΔY_p＝Y_p-Y_p-1，ΔZ_p＝Z_p-Z_p-1

图7C表示保存轨迹收集的开始时/结束时的位置信息的起点/终点位置坐标表730。该表在使用图7B的差分轨迹信息保存表720计算虚拟化身的显示位置(绝对位置)时是必要的。

项目由区分是轨迹收集的起点还是终点的起点/终点区分731和用绝对值表示各位置信息的位置坐标732构成。当然，起点等于图7A(轨迹信息保存表710)的点编号0的位置坐标(X₀，Y₀，Z₀)，终点等于点编号n的位置坐标(X_n，Y_n，Z_n)。

这样，如果保存起点和终点的位置信息(绝对值)732，就能够将图7B的差分轨迹信息保存表720变换为图7A的轨迹信息保存表710。特别是，通过保存终点的位置坐标(X_n，Y_n，Z_n)，能够效率良好地执行虚拟化身的显示。对其理由进行说明。

如后所述，虚拟化身的显示是从轨迹的终点(点编号n)起回溯时间地进行的。此时，在不知道开始显示的终点的位置坐标的情况下，为了计算，必须对图7C的起点的位置坐标(X₀，Y₀，Z₀)加上图7B的全部差分位置坐标722。如果知道终点的位置坐标(X_n，Y_n，Z_n)，则首先在该位置坐标显示虚拟化身。接下来显示虚拟化身的位置能够通过对当前的位置坐标减去图7C的点编号n处的差分位置坐标(ΔXn，ΔYn，ΔZ_n)而容易地计算。以后同样地反复即可。

这些轨迹信息(轨迹信息保存表710、差分轨迹信息保存表720、起点/终点位置坐标表730)不仅保存在存储部40的各种数据42中，也如图3所说明地，能够按每个轨迹点或者在轨迹信息的表完成时，经由网络5保存在外部的服务器6中。通过在服务器6中保存数据，能够削减HMD1中保存的数据量。

接着，对于拍摄数据的保存进行说明。拍摄数据对应于静止图像和动态图像两者。

图8A表示保存静止图像的静止图像数据保存表810。静止图像数据保存表810由表示发出拍摄指示时的轨迹点的点编号811、表示拍摄方向的拍摄方向812、拍摄数据长度813、拍摄数据814构成。本例中，在轨迹点k(点编号k)的地点，HMD1在Θ_k的方向上拍摄，将拍摄数据长度M_k的拍摄数据D_k保存在存储部40的各种数据42中(S115)。

通过将上述轨迹信息保存表710与本例的静止图像数据保存表810关联地保存，能够再现与每经过单位时间(此处是1秒)的HMD1的移动位置同步地拍摄的静止图像影像。

图8B表示保存动态图像的动态图像数据保存表820。动态图像数据保存表820与图8A的静止图像的情况同样地，由表示发出拍摄指示时的轨迹点的点编号821、拍摄开始时的拍摄方向822、拍摄数据长度823、拍摄数据824构成。进而，在动态图像的情况下，记载拍摄时刻(开始和结束)825。这是为了应对动态图像拍摄跨多个轨迹点拍摄的情况。如果按单位时间(每1秒)再现动态图像，则能够与虚拟化身显示的时刻同步。

本例中，在轨迹点k(点编号k)的地点，HMD1在Θ_k的方向上从开始时刻T_ks起开始拍摄，将直到结束时刻T_ke拍摄的数据长度M_k的拍摄数据D_k保存在存储部40的各种数据42中(S115)。动态图像数据的再现可以在HMD的显示画面整体中进行，但本例中，用缩小子画面显示，从动态图像拍摄开始时刻T_ks直到动态图像拍摄结束时刻T_ke进行再现。

对于这些拍摄数据的信息(静止图像数据保存表810、动态图像数据保存表820)，也如图3所说明地，通过经由网络5保存在外部的服务器6中，能够削减要在HMD1中保存的数据量。

接着，对于HMD1的虚拟化身显示处理(S200)进行说明。该处理流程保存在存储部40的各种程序41中。虚拟化身的显示，是从虚拟化身信息保存功能16提取虚拟化身信息(虚拟化身生成功能17)，并在HMD1的显示部72上显示虚拟化身(虚拟化身显示功能18)。虚拟化身的形状是与用户相等的大小，虚拟化身的身高由用户自身设定。为了方便，也能够在站立的状态下，用传感器部50的距离传感器53，将对于从地面起的距离(HMD1的从地面起的高度)加上10cm得到的高度作为身高。关于虚拟化身的显示位置，按照轨迹信息保存表710等中保存的位置信息，在HMD的显示部72上对于背景影像叠加地显示。

使用的轨迹信息和拍摄数据保存在HMD内的各种数据42中的情况下使用该轨迹信息和拍摄数据，但经由通信处理部60的LAN通信部61保存在外部的服务器6中的情况下，从服务器6获取并使用。

本实施例中，基于用户的轨迹点，从时间上较新的轨迹信息向较旧的轨迹信息回溯地显示虚拟化身。通过这样采用时间上回溯的显示顺序，用户能够从终点(当前地点)直到起点(出发地点)地按实际通过的相同路径返回。

图9A是表示虚拟化身显示处理(S200)的整体的流程图。

S210：开始虚拟化身显示处理(S200)。本例中，用户说出表示虚拟化身显示开始的声音命令“虚拟化身开始”，由此判断为虚拟化身显示开始指示。

S211：检测用户佩戴的当前时刻的HMD1的位置和方向。检测方法与上述轨迹收集处理(S100)中的S113同样，用传感器部50的GPS传感器51、地磁传感器52、高度传感器56等进行。

S212：参照轨迹信息保存表710(或差分轨迹信息保存表720)，检索距离当前时刻的HMD1的位置最近的位置坐标的点编号s。即，如果当前位置是轨迹收集的终点则s＝n，但如果用户之后已从终点移动的情况下也可能s≠n。

S213：设定距离当前位置最近的点编号s作为显示的点编号m的初始值。由此，能够从距离用户的当前位置较近的轨迹点起进行显示。

S214：起动计时器。计时器使用主控制部10中内置的时钟。使用计时器是因为用户的轨迹是按一定时间间隔(单位时间)收集的，所以与其相应地进行显示。但是，也能够使虚拟化身显示中使用的单位时间与轨迹收集处理的单位时间不同，设为乘以任意系数的时间。例如，如果将虚拟化身显示中使用的单位时间设定为1/2的时间(本例中是0.5秒)，则能够使显示的虚拟化身以2倍速移动。反之，如果将虚拟化身显示中使用的单位时间设定为2倍的时间(本例中是2秒)，则能够使显示的虚拟化身以1/2速(慢速)移动。另外，也能够通过在轨迹点与轨迹点之间顺次(例如每1/24秒)插补地显示虚拟化身，而用动态图像显示(动画显示)虚拟化身。

S215：计算显示虚拟化身的位置和方向。轨迹信息保存在轨迹信息保存表710中的情况下，读取与点编号m对应的位置坐标712的值(X_m，Y_m，Z_m)，将虚拟化身配置在平面位置(X_m，Y_m)、高度(Z_m)。

轨迹信息保存在差分轨迹信息保存表720中的情况下，读取点编号(m+1)处的差分位置坐标722的值(差值)，并从上次的显示位置(点编号＝m+1)中将其减去。即：

X_m＝X_m+1-ΔX_m+1，Y_m＝Y_m+1-ΔY_m+1，Z_m＝Z_m+1-ΔZ_m+1

但是，对于初次(m＝s)，使用起点/终点位置坐标表730中记载的终点的位置坐标(X_n，Y_n，Z_n)和直到点编号s的差分位置坐标722的值计算。

关于虚拟化身朝向的方向，为了方便，设为将上次的轨迹点(m+1)与本次的轨迹点(m)连结的方向。

S216：检测当前时刻的HMD1的位置和方向。这是与S211相同的处理，对于初次(m＝s)因为在S211中已检测所以能够省略。

S217：用视野计算功能19根据当前时刻的HMD1的位置和方向求出HMD1的显示区域、即用户的视野区域，判断S215中计算出的虚拟化身的配置位置是否在显示区域内。判断为能够在HMD1的显示区域内配置虚拟化身的情况下前进至S218，判断为不能配置虚拟化身的情况下进行S300的帮助处理。S300的帮助处理中，进行使用户改变视野方向或使用户移动至可以看见虚拟化身的位置等的指引处理，详情用图9B后述。用该S217的判断处理和S300的帮助处理，能够使虚拟化身配置在用户的视野内，用户能够不跟丢虚拟化身、或者不超越虚拟化身地进行移动(追踪)。

S218：判断为能够在HMD1的显示区域内显示虚拟化身的情况下，从虚拟化身信息保存功能16中读取虚拟化身信息并生成虚拟化身。然后，在HMD1的显示部72上，以S215中计算出的虚拟化身的显示位置和方向显示虚拟化身。

S219：参照静止图像数据保存表810或动态图像数据保存表820，判断显示的当前的点编号m是否是拍摄点k。在判断为轨迹点是拍摄点的情况下，前进至S220。在判断为不是拍摄点的情况下，前进至S222。

S220：通知当前时刻是拍摄点。关于拍摄点的通知方法，可以通过改变显示中的虚拟化身的颜色或使虚拟化身闪烁来对用户通知。

S221：根据用户的指示，从静止图像数据保存表810或动态图像数据保存表820中读取对应的拍摄数据并再现。拍摄数据的再现用声音命令“再现”执行。拍摄数据的再现可以在HMD的显示画面整体中进行，但本例中，用缩小子画面显示，持续一定时间显示之后结束拍摄数据的再现。

S222：判断是否由用户指示了虚拟化身显示处理的结束。例如，根据声音命令“虚拟化身结束”，判断为虚拟化身显示处理的结束指示。指示了虚拟化身显示处理的结束的情况下，前进至S226，结束虚拟化身显示处理。

S223：判断是否已经过单位时间。在判断为已经过单位时间的情况下，前进至S224。在判断为没有经过单位时间的情况下，返回S222。

S224：对点编号m减去1作为新的点编号。由此，返回时间上回溯的前1个轨迹点。

S225：判断新的点编号m的值是否不足0(即是否超过了轨迹的起点m＝0)。点编号m的值并非不足0的情况下，返回S214，对于下一轨迹点继续进行虚拟化身显示。点编号m的值不足0的情况下，因为全部轨迹点处的虚拟化身的显示已完成，所以前进至S226结束虚拟化身显示处理。

图9B是表示图9A中的帮助处理(S300)的流程图。该处理是在S217的判断是否的情况、即不能在显示区域内配置虚拟化身的情况下实施的。处理结束后返回S211。

S301：用视野计算功能20判断是否能够通过HMD1的转向而配置虚拟化身。如果能够则前进至S302，不能的情况下前进至S303。

S302：因为相当于HMD并非朝向虚拟化身的存在方向的情况，所以用声音或显示指导用户改变HMD的方向。例如，用声音处理部80的声音解码部83发出声音指导“右”、“左”等。此时，也可以在画面中显示出虚拟化身并使其说话。之后，返回S211。

此处，图10A是表示S302的转向指导显示的例子的图。在显示画面400中虚拟化身3出现，在右侧显示了表示虚拟化身存在的消息401。用户对此回应地朝向右侧时，用图9A的S216检测HMD的新的方向。S217的判断中虚拟化身存在于新的显示区域内，S218中能够显示虚拟化身。

S303：S301中通过HMD1的转向不能配置虚拟化身的情况下，认为是当前位置距离曾进行轨迹收集的任意点都较远的情况。于是，为了将用户指引至接近点，判断是否能够获取地图信息。例如，能够使用导航应用的情况下前进至S304。不能获取地图信息的情况下前进至S306。

S304：使用导航应用，进行向S212中检索到的最近的轨迹点s的路线分析。

S305：将直到轨迹点s的路线信息(新的轨迹点)追加至轨迹信息保存表710。之后返回S211，将追加的轨迹点包括地作为虚拟化身的显示对象位置。结果，S217中虚拟化身配置在HMD的显示区域内，S218中能够显示虚拟化身。

S306：S303中不能获取地图信息的情况下，对用户提示向最近的轨迹点s的移动方位。提示方法用声音或AR显示进行。之后，返回S211。用户向提示的方位移动时，能够接近最近的轨迹点s。结果，S217中虚拟化身配置在显示区域内，S218中能够显示虚拟化身。

此处，图10B是表示S306的移动方位指导显示的例子的图。在显示画面400上，用AR显示402通知用户应当移动的方位。AR显示402只要可以得知前进的方向即可，使用文字或图标(箭头)等。

如上所述，判断为不能将虚拟化身配置在HMD显示区域中的情况下，通过进行S300的帮助处理，能够将用户指引至可以看见虚拟化身的位置和方向。由此，用户能够不跟丢虚拟化身地进行移动(追踪)。

图11A和图11B是表示虚拟化身的显示例的图。本例对应于上述图5所示的轨迹收集时的示意图。

图11A的显示画面400中，使进行了轨迹收集的HMD的各轨迹点在时间上回溯地显示虚拟化身3。即，使虚拟化身3的显示位置按轨迹点504、503、502、501(用●符号表示)的顺序，在箭头方向上移动地显示。其中，轨迹点503是拍摄点k，所以为了与其他位置区分而用◎符号表示。另外，为了再现轨迹收集处理的过程中用户2(HMD)朝向的方向，而将使虚拟化身3移动时的身体的面对方向设为与虚拟化身3的行进方向相反的方向(向后)，表示沿着原本到来的路径返回的状况。

图11B的显示画面400表示轨迹点503处的虚拟化身3的显示状态。轨迹点503是转弯，所以改变虚拟化身3的面对方向。另外，因为该轨迹点503是拍摄点，所以改变虚拟化身3的颜色进行显示。此处，用户指示再现拍摄数据时，显示在拍摄点拍摄的被拍摄体510的图像510＇。

本例中，为了对用户通知返回路径的路线而在显示画面400上显示了轨迹点(●符号)和行进方向(箭头)，但也能够使它们不显示。

另外，每经过单位时间(1秒)地显示了虚拟化身的轨迹点，但不限于此，也能够按其他时间间隔显示。例如，插补为每1/24秒地显示时，能够用电影一般的流畅的动态图像显示虚拟化身。

接着，对于用户对HMD1的操作方法进行说明。如上所述，本实施例中，使用声音命令作为用户的操作。

图12是表示HMD的操作中使用的声音命令的例子的表。声音命令表600的项目由命令的分类601、用户发出的声音命令602、命令的名称603和处理内容604构成。

声音命令的分类601分为轨迹收集相关和虚拟化身显示相关。轨迹收集相关的声音命令602中，有开始轨迹收集处理的“轨迹开始”“轨迹start”、结束轨迹收集处理的“轨迹结束”“轨迹end”、拍摄静止图像的“拍摄”“记录”、开始动态图像拍摄的“拍摄开始”“记录start”、结束动态图像拍摄的“拍摄结束”“记录end”等。

虚拟化身显示相关的声音命令602中，有开始虚拟化身显示处理的“虚拟化身开始”“虚拟化身start”、结束虚拟化身显示处理的“虚拟化身结束”“虚拟化身end”、再现静止图像或动态图像的“再现”“拍摄数据”等。另外，此处列举的声音命令是一例，能够与用户的偏好相应地适当设定。

另一方面，HMD1能够使用声音处理部80的声音解码部83的声音合成功能，进行与用户发出的声音命令对应的声音回应。结果，例如能够按与用户的声音命令相同的声音(重复)回应，或者能够进行用户的声音命令的确认的声音回应等。例如，对于HMD的询问“是XX吗？”，如果用户的回答是“是”则用确认的声音“执行XX”回应，如果用户的回答是“不是”则用确认的声音“取消XX”回应。另外，用户在回答中使用的声音命令“是”、“不是”在图12中并未记载，但它们也包括在声音命令表600中。

进而，能够使用声音解码部83的声音合成功能，发出提示向右方向旋转的声音“右”和提示向左方向旋转的声音“左”等合成声音。这能够在图9B的S306的步骤中使用。

对HMD1的操作指示，也能够用声音命令以外的方法实现。例如，在HMD1的显示画面上显示操作菜单，用户用手势(手、手指的动作)选择。该情况下，用影像处理部70的摄像部71拍摄用户的手指，能够根据该拍摄影像识别手指的运动并用于操作。

图13是说明用户的手指进行的操作指示的图。HMD1的操作画面410中，作为操作菜单，例如显示了“照片”菜单411和“视频”菜单412。菜单显示优选设为半透明，但并不限定于此。

用户例如为了选择“视频”菜单412，而使手指415从HMD1的外侧接近显示画面410时，摄像部71检测出向显示画面410逐渐变大的手指影像415。另外，识别出手指影像415朝向“视频”菜单412，判断为选择指定了“视频”。作为除此以外的操作，在轨迹收集和虚拟化身显示开始时，仅显示“开始”菜单，在结束时仅显示“结束”菜单。然后，检测出用摄像部71得到的用户的手指影像415接近，判断为指示了开始或结束。

除此以外，也可以是在HMD1的操作输入部90上设置触摸传感器、检测用户的手或手指触摸了HMD1的方式。

根据实施例1，对于在移动时忘记了图中经过的场所和返回路径的用户，能够易于理解地指引返回路径。

实施例2

实施例1中，按三维(X，Y，Z)保存了HMD的位置坐标，但实施例2中，对于按二维(X，Y)的位置坐标保存的情况进行说明。实施例2中的HMD的基本结构与实施例1相同，对于与实施例1的不同点进行说明。

通常的平坦地面上的移动状态下高度方向的变化较少，所以即使省略高度方向的数据，也能够基于平面位置坐标显示虚拟化身。轨迹收集处理按与实施例1(图6)相同的流程图(S100)进行。然后，用图14A和图14B所示的表保存收集的数据。

图14A表示二维轨迹信息保存表740，此处按差值保存了位置信息。作为项目，由表示各轨迹点的编号的点编号741和表示该轨迹点的平面位置的差分位置坐标742构成。差分位置坐标742如上述图7B所示，不是位置坐标的绝对值，而是邻接的轨迹点之间的差值(变化量)，减少了保存的数据量。

本例中，因为将单位时间设定为1秒，所以点编号1表示从轨迹收集处理开始时起1秒后的差分位置坐标(ΔX1，ΔY₁)，点编号k表示k秒后的差分位置坐标(ΔXk，ΔY_k)，点编号n表示轨迹收集处理结束时(从开始起n秒后)的差分位置坐标(ΔXn，ΔY_n)。差分位置坐标的求解方式与实施例1(图7B)相同。

图14B表示保存轨迹收集的开始时/结束时的位置信息的二维起点/终点位置坐标表750。该表在使用图14A的二维差分轨迹信息保存表740计算虚拟化身的显示位置(绝对位置)时是必要的。

项目由区分是轨迹收集的开始点还是结束点的起点/终点区分751和用绝对值表示各位置信息的位置坐标752构成，与上述图7C相同。但是，在位置坐标752中，仅起点的位置坐标(X₀，Y₀，Z₀)保存了高度方向的位置坐标(Z₀)。这是为了应对在轨迹信息获取中高度变化量超过了规定值(阈值)的情况。

实施例2中，仅处理二维的位置坐标，但高度变化的情况下如下所述地处理。

沿坡道上升(下降)的情况下，HMD的平面位置坐标的变化(ΔX，ΔY)是直线的，HMD的高度的变化(ΔZ)也是直线的。沿阶梯上升(下降)的情况下，HMD的平面位置坐标的变化(ΔX，ΔY)相当于阶梯宽度，HMD的高度的变化(ΔZ)相当于阶梯的高低差。

在自动扶梯的情况下，HMD的平面的位置坐标的变化(ΔX，ΔY)是直线的，HMD的高度的变化(ΔZ)也是直线的。关于与坡道的区别，根据自动扶梯的加速度的变化量较少来判别。在电梯的情况下，HMD的平面位置坐标几乎不变(ΔX＝0，ΔY＝0)，仅HMD的高度变化(ΔZ≠0)。

这样，用坡道、阶梯、自动扶梯、电梯等移动的情况下，平面位置坐标和高度的检测值中分别产生特征性的变化(ΔX，ΔY)、(ΔZ)，所以在显示虚拟化身时，捕捉该变化地显示路径信息(坡道、阶梯、自动扶梯、电梯等)。另外，通过与坡道、阶梯、自动扶梯、电梯等的影像叠加地显示，能够显示临场感强的虚拟化身。进而，通过与地下街地图等地图信息相连接，能够得到较大的效果。

高度变化量超过了规定值(阈值)的情况下，将使用二维的轨迹信息保存表740、750进行的轨迹收集处理作为轨迹A结束。然后，新转移至实施例1的使用三维的轨迹信息保存表710～730进行的轨迹收集处理，作为轨迹B。之后，在高度变化量在阈值以内的情况下，再次开始使用二维的轨迹信息保存表740、750进行的轨迹收集处理而作为轨迹C。

用该方法，能够尽量减少保存的数据量。当然，也能够从实施例2的二维轨迹信息保存表740、750变换为实施例1的三维的轨迹信息保存表710～730。

上述实施例1、2中，设想了比较易于用传感器部50的GPS传感器51获取GPS信息(位置信息)的室外，但存在地下街和室内这样难以获取GPS信息的情况。不能获取GPS信息的情况下，用来自传感器部50的加速度传感器54和陀螺仪传感器55等的信息补全。

从起点到终点都未能从GPS信息等获取位置信息的情况下，按起点的位置坐标是X0＝0、Y0＝0保存。该情况下，关于高度的位置坐标，也视为Z0＝0地保存。进而，关于终点的位置坐标，对从起点到终点的全部差分位置坐标累加而计算。

实施例3

实施例1中，在虚拟化身显示时，使虚拟化身的面对方向与行进方向相反，使虚拟化身向后行进。与此相对，实施例3中，使虚拟化身的面对方向朝向行进方向地显示。

图15是实施例3中的虚拟化身显示的示意图。显示画面400中，以朝向行进方向的姿势(向前)显示了虚拟化身3。即，将虚拟化身3的面对方向设定为从当前的轨迹点503向下一轨迹点502的矢量方向。由此，能够消除因如实施例1(图11B)所示的虚拟化身的面对方向而产生的用户的不自然感(虚拟化身的行进方向与虚拟化身的面对方向不一致)。

另外，将虚拟化身的面对方向设为向前(实施例3)、或者设为向后，也依赖于用户的偏好。因此，更优选用户能够选择设定将虚拟化身的面对方向设为哪个显示方式的结构。

实施例4

实施例4中，在HMD的视野中存在建筑物等，虚拟化身位于其阴影中时使虚拟化身不显示。

图16是实施例4中的虚拟化身显示的示意图。此处，使虚拟化身3倒退地行进。然后，示出了在移动路径的附近存在建筑物521和建筑物522、虚拟化身3被建筑物521遮挡的情况。这样的情况下，对于虚拟化身3控制为不显示被建筑物521遮挡的部分。虚拟化身3是否被遮挡，能够通过到建筑物521、522和虚拟化身3的距离进行比较而判断，到建筑物521、522的距离能够用距离传感器53测定。

由此，在能够隔着HMD观看的实际空间中叠加显示虚拟化身时，能够实现没有不自然感的现实的显示。另外，虚拟化身整体被遮挡而使其完全不显示时，存在此后不能追踪的风险。于是，也可以是通过半透明地显示被遮挡的虚拟化身的部分、而能够追踪的结构。

建筑物521和建筑物522的影像，例如也能够使用作为用全景照片提供沿路的风景的互联网服务的街景(Google公司)等进行显示。另外，也能够根据HMD1的位置、方向，使用建筑物等附带的建筑物等的名称等。

实施例5

实施例5中，采用对于拍摄的指示不是由用户、而是自动地拍摄的结构。

HMD的摄像部71从起点开始拍摄，随时循环拍摄并暂时保存从当前时刻起一定时间(例如轨迹收集处理中使用的轨迹点之间的单位时间的2倍长度)的影像。由此，自动拍摄的影像是从当前时刻起回溯一定时间(例如2秒)的动态图像或静止图像。静止图像的情况下，在轨迹点与下一轨迹点之间，仅暂时保存1个或2个程度的静止图像就能够充分地发挥功能。然后，保留在移动路径中的特殊场所、例如改变了移动方向的地点拍摄的影像。

对于自动拍摄的具体动作，使用上述图5的轨迹收集示意图进行说明。图5中，在轨迹点504的时刻，暂时保存了从轨迹点502直到轨迹点504的影像(单位时间的2倍长度)。但是，在轨迹点503处移动方向(点之间的移动矢量)变化了90度。于是，自动地保存从轨迹点502直到轨迹点503拍摄的影像，作为移动矢量的方向较大变化前的影像。保存的轨迹点503的影像数据可以是动态图像(直到轨迹点503拍摄的动态图像帧)，也可以是静止图像(轨迹点503的拍摄数据)。

根据实施例5的拍摄方法，在用户改变了行进方向的情况下因为保存了改变行进方向前的行进方向的影像，所以能够显示最适合唤起用户的记忆的影像。

实施例6

实施例6中，在轨迹收集处理中也收集用户的姿势等信息，在显示虚拟化身时使其反映。

例如，用传感器部50的距离传感器53，检测从地面或地板面到HMD1的距离(即用户的头部的高度)，按每个轨迹点收集。通过对该检测值与用户的身高(已知)进行比较，能够推定佩戴HMD1的用户的姿势(站立、坐下、蹲下、躺下等)。使该姿势信息反映至显示的虚拟化身，进行站立的虚拟化身或坐下的虚拟化身等的显示。

另外，用传感器部50的地磁传感器52，可知佩戴HMD1的用户的脸的面对方向。使该脸的面对方向的信息反映至显示的虚拟化身，按每个轨迹点改变虚拟化身的脸的面对方向。另外，对于虚拟化身的身体的面对方向，可以用脸的面对方向推定而使其变化，但也可以使其与轨迹点之间的矢量信息(行进方向)一致。通过这些显示，能够显示更有临场感的虚拟化身。

实施例7

实施例7中，在轨迹收集处理中存储经过各轨迹点的时刻，在虚拟化身显示时，在显示画面上显示经过时刻。

图17A表示实施例7中的轨迹信息保存表710＇的例子。对于实施例1(图7A)的轨迹信息保存表710，追加记载了经过各轨迹点的经过时刻713。

图17B是表示虚拟化身的显示例的图。在显示画面400上，与虚拟化身3的显示一同显示了经过时刻420。关于该时刻，在图17A的轨迹信息保存表710＇中，参照与当前显示虚拟化身的点编号711对应的经过时刻713即可。

这样，根据实施例7，显示用户何时经过了当前显示的轨迹点，所以是对于唤起用户的记忆有效的信息。

实施例8

实施例8中，对于代替HMD地使用智能手机作为便携型的影像显示装置的情况进行说明。智能手机具有与HMD大致相同的硬件结构和软件结构，能够实现同等的功能。

图18是表示智能手机9的外观的图，(a)是显示影像的正面一侧，(b)是具有摄像机的背面一侧。

如(b)所示，在背面一侧具有摄像机901，拍摄外景。在智能手机9的内部，具有检测三维位置和摄像机901的方向的传感器，能够与HMD同样地收集轨迹信息。

如(a)所示，在正面一侧具有嵌入了触摸面板的显示画面902，显示使摄像机901朝向外景拍摄得到的影像。然后，在显示画面902上，能够与显示的外景的影像相应地，基于上述收集的轨迹信息，与实施例1(图11A)同样地叠加显示虚拟化身3。

与HMD相比，智能手机9的情况下，轨迹信息收集中的拍摄处理中，需要每次都使摄像机901朝向被拍摄体拍摄，拍摄点增多时拍摄操作变得繁琐。另外，关于自动拍摄，也存在用户使摄像机901的拍摄方向保持固定并不现实等缺点。但是，因为能够用现有的智能手机进行轨迹信息收集，所以便利性提高。但是，因为用户一边拍摄一边移动是有困难的，所以仅在主要的点单独地进行是更现实的。

此处，作为便携型的影像显示装置举出了智能手机为例，但只要是同等和近似的硬件结构和软件结构，就能够实现本实施例的动作。例如，也能够应用于笔记本PC和平板PC等。

实施例9

实施例9中，对于佩戴HMD的多个用户协作地使用的影像显示系统进行说明。

图19是表示将多个HMD连接的影像显示系统的结构的图。此处，示出2名用户2a、2b的情况，分别佩戴了HMD1a和HMD1b。2名以外的情况也是同样的。

用户2a佩戴的HMD1a经由无线路由器4a和网络5与外部的服务器6连接。另外，用户2b佩戴的HMD1b经由无线路由器4b和网络5与同一服务器6连接。HMD1a(用户2a)与HMD1b(用户2b)距离近的情况下，能够使无线路由器4a、4b成为共通的。

该情况下，用各HMD1a、1b进行各用户2a、2b的轨迹收集。然后，佩戴HMD1a的用户2a的轨迹信息和佩戴HMD1b的用户2b的轨迹信息保存在共用的服务器6中。之后，从服务器6读取2人的轨迹信息，在各HMD1a、1b中，显示为2人的虚拟影像即2个虚拟化身。由此，能够用虚拟化身相互参考各自的轨迹。

图20是表示多个虚拟化身的显示例的示意图。例如在HMD1a的显示画面400a上，在佩戴HMD1a的用户2a的虚拟化身3a之外，也显示了佩戴HMD1b的用户2b的虚拟化身3b。然后，2人行动的轨迹520a、520b用各自的轨迹点(●符号和▲符号)显示，能够使时间回溯地显示2人的位置关系。本例中，可知在轨迹点521的路口处2人汇合。在HMD1b的显示画面400b上也同样地显示。

这样，根据实施例9，能够相互确认多个用户各自的轨迹。作为该结果附带的效果，在轨迹收集中其他用户离开视野的情况下，能够立即得知其他用户的位置。

作为本实施例的实用的方式，也能够是使用Bluetooth(注册商标)等近距离无线通信在便携型信息终端之间进行通信，而不使用经由无线路由器4和网络5连接的服务器6的结构。例如，亲子一同移动中使儿童携带智能手机，在儿童行踪不明的情况下，能够立即用家长的HMD或智能手机寻找。

以上使用实施例1～9说明了本发明的实施方式的例子，但实现本发明的技术的结构不限于上述实施例，可以考虑各种变形例。例如能够将某个实施例的结构的一部分置换为其他实施例的结构，也能够在某个实施例的结构上添加其他实施例的结构。它们全部属于本发明的范畴。另外，文中和图中出现的数值和消息等只是一例，即使使用不同的也不损害本发明的效果。

对于上述本发明的功能等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，也可以通过微处理器单元等解释并执行实现各功能等的程序而用软件实现。也可以同时使用硬件和软件。上述软件可以是在产品出厂时预先保存在HMD1的各种程序41等中的状态。也可以在产品出厂后从互联网上的各种服务器装置等获取。另外，也可以获取用存储卡或光盘等提供的上述软件。

另外，图中示出的控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。

附图标记说明

1…HMD(影像显示装置)，2…用户，3…虚拟化身，4…无线路由器，5…网络，6…服务器，9…智能手机(影像显示装置)，10…主控制部，40…存储部，50…传感器部，51…GPS传感器，52…地磁传感器，53…距离传感器，56…高度传感器，60…通信处理部，70…影像处理部，71…摄像部，72…显示部，80…声音处理部，90…操作输入部。