显示系统、记录介质以及信息处理装置的控制方法
阅读说明:本技术 显示系统、记录介质以及信息处理装置的控制方法 (Display system, recording medium, and method for controlling information processing apparatus ) 是由 冈野惠一 于 2020-02-05 设计创作,主要内容包括:提供显示系统、记录介质以及信息处理装置的控制方法,提高使用者对智能手机等信息处理装置的操作性。显示系统(1)具有:HMD(100),其被佩戴于使用者的头部;以及智能手机(300),其与HMD(100)连接,其中,智能手机(300)具有:触摸传感器(332),其受理位置输入操作,检测以所设定的坐标轴(AX)为基准的操作位置的坐标;磁传感器(352),其检测触摸传感器(332)的方向;以及调整部(313),其根据磁传感器(352)的检测结果,对坐标轴(AX)的方向进行调整。(Provided are a display system, a recording medium, and a method for controlling an information processing device, which improve the operability of a user for the information processing device such as a smartphone. A display system (1) is provided with: an HMD (100) to be worn on a head of a user; and a smartphone (300) connected to the HMD (100), wherein the smartphone (300) has: a touch sensor (332) that receives a position input operation and detects the coordinates of an operation position with respect to a set coordinate Axis (AX); a magnetic sensor (352) that detects the direction of the touch sensor (332); and an adjustment unit (313) that adjusts the direction of the coordinate Axis (AX) on the basis of the detection result of the magnetic sensor (352).)
技术领域
本发明涉及显示系统、信息处理装置的控制程序以及信息处理装置的控制方法。
背景技术
公知有将在智能手机那样的便携终端装置上显示的图像镜像显示在HMD那样的显示装置上(例如,参照专利文献1)。
专利文献1所记载的便携终端装置具有触摸面板和处理器。处理器根据与内容相关联的设定信息,将便携式终端装置的操作模式从使触摸面板显示内容而受理触摸输入的第1模式切换为在触摸面板上不显示内容而受理触摸输入的第2模式。然后,在切换了操作模式的情况下,使内容显示在显示装置的显示器上。
专利文献1:日本特开2015-197694号公报
在专利文献1记载的结构中,存在使用者的操作性有时不充分这样的课题。
例如,由于智能手机的触摸面板的坐标轴的方向被固定,所以使用者的操作性有时不充分。
发明内容
解决上述课题的一个方式是显示系统,其中,所述显示系统具有:显示装置,其被佩戴于使用者的头部;以及信息处理装置,其与所述显示装置连接,所述信息处理装置具有:位置输入部,其受理位置输入操作,检测以所设定的坐标轴为基准的操作位置的坐标;第1传感器,其检测所述位置输入部的方向;以及调整部,其根据所述第1传感器的检测结果,对所述坐标轴的方向进行调整。
在上述显示系统中,也可以构成为,所述第1传感器包含加速度传感器、陀螺仪传感器以及地磁传感器中的至少1个。
在上述显示系统中,也可以构成为,所述显示装置具有:显示部,其显示图像;以及第2传感器,其检测所述显示部的方向,所述调整部与所述第2传感器所检测的方向对应地,对所述坐标轴的方向进行调整。
在上述显示系统中,也可以构成为,所述第2传感器包含加速度传感器、陀螺仪传感器以及地磁传感器中的至少1个。
在上述显示系统中,也可以构成为,所述信息处理装置具有:连接部,其能够连接所述显示装置;以及模式切换部,其能够执行第1模式和第2模式,根据所述连接部是否与所述显示装置连接来切换并执行所述第1模式和所述第2模式,在所述第1模式中,将所述位置输入部检测到的输入作为基于所述坐标轴的绝对坐标的输入来受理,在所述第2模式中,将所述位置输入部检测到的输入作为基于所述坐标轴的相对坐标的输入来受理。
在上述显示系统中,也可以构成为,在所述连接部未与所述显示装置连接的情况下,所述模式切换部执行所述第1模式,在所述连接部与所述显示装置连接的情况下,所述模式切换部执行所述第2模式。
在上述显示系统中,也可以构成为,所述调整部对所述坐标轴的方向进行阶段性地调整。
在上述显示系统中,也可以构成为,所述显示装置具有第3传感器,所述第3传感器检测所述信息处理装置的位置,所述调整部根据所述第3传感器的检测结果,对所述坐标轴的方向进行调整。
在上述显示系统中,也可以构成为,所述第3传感器包含摄像传感器。
在上述显示系统中,也可以构成为,所述信息处理装置具有判定部,所述判定部根据所述第3传感器的检测结果,判定所述信息处理装置是否处于所述使用者的视野内,所述调整部根据所述判定部的判定结果,对所述坐标轴的方向进行调整。
在上述显示系统中,也可以构成为,在所述判定部判定为所述信息处理装置处于所述使用者的视野内的情况下,所述调整部对所述坐标轴的方向进行调整,在所述判定部判定为所述信息处理装置不处于所述使用者的视野内的情况下,所述调整部限制所述坐标轴的方向的调整。
解决上述课题的另一个方式是控制程序,所述控制程序是具有计算机并且与被佩戴于使用者的头部的显示装置连接的信息处理装置的控制程序,使所述计算机作为如下部件来发挥功能:检测部,其检测位置输入部的方向,所述位置输入部受理位置输入操作,检测以所设定的坐标轴为基准的操作位置的坐标;以及调整部,其根据所述检测部的检测结果,对所述坐标轴的方向进行调整。
解决上述课题的又一个方式是信息处理装置的控制方法,其中,所述信息处理装置与被佩戴于使用者的头部的显示装置连接,所述信息处理装置的控制方法包含如下的步骤:检测步骤,检测位置输入部的方向,所述位置输入部受理位置输入操作,检测以所设定的坐标轴为基准的操作位置的坐标;以及调整步骤,根据所述检测步骤中的检测结果,对所述坐标轴的方向进行调整。
附图说明
图1是示出显示系统的结构的图。
图2是示出图像显示部的光学系统的结构的图。
图3是示出图像显示部的主要部分结构的立体图。
图4是示出构成HMD的各部分的结构的图。
图5是示出HMD的第1控制部和智能手机的结构的图。
图6是示出智能手机的触摸传感器相对于HMD的方向的图。
图7是示出触摸传感器的坐标轴的方向的调整方法的一例的图。
图8是示出触摸传感器的坐标轴的方向的调整方法的另一例的图。
图9是示出基于指针对象的操作的一例的画面图。
图10是示出智能手机的第1控制部的处理的流程图。
图11是示出智能手机的第1控制部的处理的流程图。
标号说明
1:显示系统;10:连接装置;11、11A、11D:连接器;13、14:亮度调整键;15、16:音量调整键;20:影像显示部(显示部);21:右保持部;22:右显示部;23:左保持部;24:左显示部;26:右导光板;261:半反射镜;28:左导光板;281:半反射镜;40:连接线缆;46:USB线缆;61:照相机(第3传感器的一部分);68:内侧照相机(第3传感器的一部分);100:HMD(显示装置);120:第2控制部;121:第2显示控制部;130:非易失性存储部;140:操作部;145:连接部;147:声音处理部;210:右显示部基板;221:OLED单元;230:左显示部基板;235:6轴传感器;237:磁传感器(第2传感器);241:OLED单元;249:电源部;300:智能手机(信息处理装置);310:第1控制部;311:第1显示控制部;312:判定部;313:调整部;314:模式切换部;320:非易失性存储部;321:内容数据;331:显示面板;332:触摸传感器(位置输入部);341:I/F部(连接部);345:通信部;351:6轴传感器;352:磁传感器(第1传感器);AX:坐标轴;MD1:第1模式;MD2:第2模式;PB:指针对象;PT:图像;TR:轨迹;V1、V2:移动量;θ、φ、ψ、ω、η:倾斜角。
具体实施方式
以下,参照附图对实施方式进行说明。
1.显示系统的结构
1-1.显示系统的整体结构
图1是示出显示系统1的概略结构的图。
如图1所示,显示系统1具有HMD(Head Mounted Display:头戴式显示器)100。HMD100是如下装置:具有佩戴于使用者的头部的影像显示部20和连接装置10,在佩戴于使用者的头部的状态下令使用者通过影像显示部20看到虚像。HMD 100对应于“显示装置”的一例。在以下的说明中,使用者是指佩戴并使用HMD 100的用户。
连接装置10在箱形的壳体上具有连接器11A以及连接器11D。在连接器11A上经由连接线缆40而连接有影像显示部20。以下,在不区分连接器11A、11D的情况下,有时记作连接器11。连接装置10的壳体也可以称为外壳或主体。
显示系统1是在HMD 100上连接智能手机300而构成的系统。连接器11D是HMD 100连接智能手机300的接口。即,在本实施方式中,连接器11D连接有智能手机300。智能手机300对应于“信息处理装置”的一例。
另外,智能手机300只不过是信息处理装置的一例。信息处理装置只要能够由使用者携带并且具有触摸传感器那样的位置输入部、检测位置输入部的方向的传感器以及计算机即可。例如,作为信息处理装置,能够将PDA(Personal Digital Assistant:个人数字助理)终端、平板型个人计算机等与连接装置10连接。
连接器11是连接通信线缆的有线接口,通过该通信线缆,连接装置10与外部的装置连接。连接器11A具有连接有连接线缆40的端子以及经由连接器11A来发送和接收信号的接口电路。
连接器11A是为了将影像显示部20与连接装置10连接而设置的。连接线缆40具有从连接装置10对影像显示部20进行电源供给、并且供影像显示部20与连接装置10相互发送和接收数据的功能。
连接器11D是能够从智能手机300输入影像数据并对智能手机300输出传感器数据的接口。智能手机300将记录在非易失性存储部中的内容数据再现。连接器11D例如是依据公知的通信接口标准的连接器。
在本实施方式中,作为一例,连接器11D是与影像数据以及各种数据的输入输出对应的接口,经由USB线缆46而与智能手机300连接。
作为连接器11D,例如,可以采用USB(Universal Serial Bus:通用串行总线)-TypeC标准的连接器。与USB-TypeC对应的接口能够实现基于USB3.1标准的数据的传送和20伏特、5安培以内的直流电力的供给。
另外,作为USB-TypeC的替代模式的功能,能够传送HDMI(High DefinitionMultimedia Interface:高清晰度多媒体接口)标准的影像数据、MHL(Mobile High-definition Link:移动高清链接)标准的影像数据等。智能手机300能够经由USB线缆46进行电源供给、数据的发送和接收以及影像或声音的流数据的供给等。USB-TypeC的替代模式作为Alternative模式而被公知。HDMI是注册商标。
在本实施方式中,影像显示部20具有眼镜形状。影像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示部22、左显示部24、右导光板26以及左导光板28。
影像显示部20对应于“显示部”的一例。
右保持部21和左保持部23从前部框架27的两端部向后方延伸,将影像显示部20保持于使用者的头部U。将前部框架27的两端部中的、在佩戴影像显示部20时位于头部U的右侧的端部设为端部ER、将位于左侧的端部设为端部EL。右保持部21从前部框架27的端部ER延伸设置至在影像显示部20的佩戴状态下与使用者的右侧头部对应的位置。左保持部23从端部EL延伸设置至在影像显示部20的佩戴状态下与使用者的左侧头部对应的位置。
右导光板26和左导光板28设置在前部框架27上。右导光板26在影像显示部20的佩戴状态下位于使用者的右眼的眼前,使右眼看到图像。左导光板28在影像显示部20的佩戴状态下位于使用者的左眼的眼前,使左眼看到图像。
前部框架27具有将右导光板26的一端与左导光板28的一端相互连结的形状,该连结位置在使用者佩戴影像显示部20的佩戴状态下与使用者的眉间对应。
在前部框架27中,也可以在右导光板26与左导光板28的连结位置设置有在影像显示部20的佩戴状态下与使用者的鼻子抵接的鼻托部。在该情况下,能够通过鼻托部、右保持部21以及左保持部23将影像显示部20保持于使用者的头部。另外,也可以在右保持部21以及左保持部23上连结有在影像显示部20的佩戴状态下与使用者的后头部接触的带。在该情况下,能够通过带将影像显示部20保持于使用者的头部U。
右显示部22以及左显示部24分别是将光学单元以及外围电路单元化后的模块。
右显示部22是与基于右导光板26的图像显示相关的单元,设置在右保持部21上,在佩戴状态下位于使用者的右侧头部的附近。左显示部24是与基于左导光板28的图像显示相关的单元,设置在左保持部23上,在佩戴状态下位于使用者的左侧头部的附近。另外,也可以对右显示部22以及左显示部24进行统称而简称为“显示驱动部”。
右导光板26和左导光板28是由光透过性的树脂等形成的光学部,将右显示部22和左显示部24输出的图像光引导至使用者的眼睛。右导光板26和左导光板28例如是棱镜。
由右导光板26引导的图像光和透过右导光板26的外部光入射到使用者的右眼。同样地,由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。
在影像显示部20的前部框架27上配置有照度传感器65。照度传感器65接受来自佩戴影像显示部20的使用者的前方的外部光。
照相机61配设在影像显示部20的前部框架27上。照相机61设置在不遮挡透过右导光板26和左导光板28的外部光的位置。在图1的例子中,照相机61配置在前部框架27的端部ER侧,但也可以配置在端部EL侧,还可以配置在右导光板26与左导光板28的连结部。
照相机61对应于“第3传感器”的一例。另外,照相机61对应于“摄像传感器”的一例。
照相机61是具有CCD(Charge Coupled Device:电荷耦合器件)、CMOS(Complementary Metal-Oxide-Semiconductor:互补金属氧化物半导体)等摄像元件和摄像镜头等的数码照相机。本实施方式的照相机61是单眼照相机,但也可以由立体照相机构成。
在前部框架27上配置有LED(Light Emitting Diode:发光二极管)指示器67。LED指示器67在端部ER处配置在照相机61的附近,在照相机61的工作中点亮,告知正在拍摄中。
在前部框架27上设置有距离传感器64。距离传感器64检测距位于预先设定的测量方向上的测量对象物的距离。距离传感器64例如可以是具有LED或激光二极管等光源、以及接受光源发出的光被测量对象物反射的反射光的受光部的光反射式距离传感器。另外,距离传感器64也可以是具有发出超声波的声源、和接收被测量对象物反射的超声波的检测部的超声波式的距离传感器。另外,距离传感器64也可以使用激光测距扫描仪,在该情况下,能够对包含影像显示部20的前方在内的大范围的区域进行测量。
影像显示部20的右显示部22和左显示部24分别与连接装置10连接。在HMD100中,左保持部23连接有连接线缆40,与该连接线缆40连接的布线铺设在影像显示部20内部,右显示部22和左显示部24分别与连接装置10连接。
连接线缆40具有音频连接器36,具有构成立体声头戴式听筒的右耳机32和左耳机34、以及麦克风63的头戴式耳机30与音频连接器36连接。右耳机32佩戴在使用者的右耳上,左耳机34佩戴在使用者的左耳上。右耳机32以及左耳机34也可以称为声音输出部。
右耳机32和左耳机34根据连接装置10输出的声音信号来输出声音。
麦克风63收集声音,并将声音信号输出到连接装置10。麦克风63例如可以是单声道麦克风,也可以是立体声麦克风,可以是具有指向性的麦克风,也可以是无指向性的麦克风。
连接装置10具有亮度调整键13、亮度调整键14、音量调整键15以及音量调整键16作为由使用者操作的被操作部。亮度调整键13、亮度调整键14、音量调整键15以及音量调整键16分别由硬件按键构成。这些被操作部配置在连接装置10的主体的表面,例如由使用者的手指操作。
亮度调整键13、14是用于调整由影像显示部20显示的影像的显示亮度的硬件按键。亮度调整键13指示亮度的增大,亮度调整键14指示亮度的降低。音量调节键15、16是用于调整从右耳机32和左耳机34输出的声音的音量的硬件按键。音量调整键15指示音量的增大,音量调整键16指示音量的降低。
1-2.HMD的图像显示部的光学系统的结构
图2是示出影像显示部20所具有光学系统的结构的主要部分俯视图。为了便于说明,在图2中示出了使用者的左眼LE和右眼RE。
如图2所示,右显示部22和左显示部24构成为左右对称。作为令使用者的右眼RE看到图像的结构,右显示部22具有发出图像光的OLED(Organic Light Emitting Diode:有机发光二极管)单元221。另外,还具有右光学系统251,该右光学系统251具有引导OLED单元221发出的图像光L的透镜组等。图像光L被右光学系统251引导至右导光板26。
OLED单元221具有OLED面板223、和驱动OLED面板223的OLED驱动电路225。OLED面板223是矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型显示面板。OLED面板223将各包含1个R、G、B的元件的单位作为1个像素而具有多个像素,利用矩阵状地配置的像素形成图像。OLED驱动电路225依照第2控制部120的控制,执行OLED面板223具备的发光元件的选择和对发光元件的通电,使OLED面板223的发光元件发光。关于第2控制部120,在后述参照图4进行说明。
OLED驱动电路225通过粘接等被固定于OLED面板223的反面即发光面的反面侧。OLED驱动电路225例如也可以由驱动OLED面板223的半导体器件构成,安装在被固定于OLED面板223的反面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器217。
另外,OLED面板223也可以是矩阵状地配置发出白色光的发光元件、并重叠地配置与R、G、B的各色对应的滤色器的结构。另外,也可以使用除了分别放射R、G、B的色光的发光元件以外还具有发出W(白色)光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部的、引导光的光路中形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L被半反射镜261反射,从右导光板26朝向右眼RE射出,该图像光L在右眼RE的视网膜上成像,令使用者看到图像。
另外,作为令使用者的左眼LE看到图像的结构,左显示部24具有:OLED单元241,其发出图像光;以及左光学系统252,其具有引导OLED单元241发出的图像光L的透镜组等。图像光L被左光学系统252引导至左导光板28。
OLED单元241具有OLED面板243、和驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样构成的自发光型显示面板。OLED驱动电路245依照第2控制部120的指示,执行OLED面板243具备的发光元件的选择和对发光元件的通电,使OLED面板243的发光元件发光。
OLED驱动电路245通过粘接等被固定于OLED面板243的反面即发光面的反面侧。OLED驱动电路245例如也可以由驱动OLED面板243的半导体器件构成,安装在被固定于OLED面板243的反面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器239。
左光学系统252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有反射图像光L的多个反射面的光学元件,例如是棱镜。图像光L在左导光板28的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半反射镜281(反射面)。图像光L被半反射镜281反射,从左导光板28朝向左眼LE射出,该图像光L在左眼LE的视网膜上成像,令使用者看到图像。
根据该结构,HMD 100作为透射型显示装置发挥功能。即,被半反射镜261反射的图像光L和透过右导光板26的外部光OL入射到使用者的右眼RE。另外,被半反射镜281反射的图像光L和透过半反射镜281的外部光OL入射到左眼LE。这样,HMD 100使在内部进行处理后的图像的图像光L与外部光OL重叠地入射到使用者的眼睛,对使用者而言,能够透过右导光板26和左导光板28看到外景,并可与该外景重叠地看到由图像光L形成的图像。
半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而提取图像的图像提取部,能够称作显示部。
另外,也将左光学系统252和左导光板28统称作“左导光部”,将右光学系统251和右导光板26统称作“右导光部”。右导光部和左导光部的结构不限于上述的例子,只要使用图像光在使用者的眼前形成虚像,则能够使用任意的方式,例如可以使用衍射光栅,也可以使用半透过反射膜。
图3是示出影像显示部20的主要部分的结构的图。图3的上图是从使用者的头部侧看到的影像显示部20的主要部分立体图。另外,在图3的上图中省略连接线缆40的图示。
图3的上图是影像显示部20与使用者的头部接触的一侧、换言之使用者的右眼RE和左眼LE可看到的一侧。换另一说法,在图3的上图中,能够看到右导光板26和左导光板28的反面侧。
在图3的上图中,对使用者的右眼RE照射图像光的半反射镜261和对左眼LE照射图像光的半反射镜281可看作大致四边形的区域。另外,如上所述,包含半反射镜261的右导光板26的整体和包含半反射镜281的左导光板28的整体使外部光透过。因此,使用者可透过右导光板26和左导光板28的整体而看到外景,在半反射镜261、281的位置处看到矩形的显示图像。
另外,在影像显示部20的使用者侧配置有内侧照相机68。内侧照相机68以分别与使用者的右眼RE和左眼LE对应的方式,在右导光板26与左导光板28的中央位置设置有一对。内侧照相机68是分别拍摄使用者的右眼RE和左眼LE的一对照相机。内侧照相机68依照第2控制部120的指示进行拍摄。第2控制部120分析内侧照相机68的拍摄图像数据。例如,第2控制部120根据内侧照相机68的拍摄图像数据,检测右眼RE和左眼LE的眼球表面上的反射光、瞳孔的图像,确定使用者的视线方向。另外,第2控制部120能够求出使用者的视线方向的变化,也可以检测右眼RE和左眼LE各自的眼球运动。
内侧照相机68对应于“第3传感器”的一例。
这里,使用者的视线的移动还能够视作使用者的虚拟视点的移动。
另外,在根据内侧照相机68的拍摄图像检测出右眼RE和左眼LE的视线方向的情况下,第2控制部120能够求出右眼RE和左眼LE的会聚角。会聚角对应于距使用者注视的对象物的距离。即,在使用者立体地看到图像或物体的情况下,右眼RE和左眼LE的会聚角与距所看对象的距离对应地确定。因此,通过检测会聚角,能够求出使用者注视的距离。另外,通过以引导使用者的会聚角的方式显示图像,能够引导立体观察。
图3的下图示出在半反射镜261和半反射镜281上分别显示的图像的坐标轴。A-A线表示半反射镜261和半反射镜281各自的沿左右方向延伸的中心线。B-B线表示半反射镜261和半反射镜281各自的沿上下方向延伸的中心线。
在半反射镜261和半反射镜281上分别显示的图像的坐标轴由α轴和β轴构成。α轴被设定为与A-A线平行,β轴被设定为与B-B线平行。
A-A线的方向和B-B线的方向由图4所示的6轴传感器235或磁传感器237来检测。换言之,A-A线的方向和B-B线的方向由3轴加速度传感器、3轴陀螺仪传感器或3轴地磁传感器来检测。另外,在本实施方式中,A-A线的方向和B-B线的方向由磁传感器237来检测。
1-3.HMD的各部分的结构
图4是示出构成HMD 100的各部分的结构的图。
影像显示部20的右显示部22具有右显示部基板210。在右显示部基板210上安装有与连接线缆40连接的右I/F部211、接收经由右I/F部211从连接装置10输入的数据的接收部213以及EEPROM(Electrically Erasable Programmable Read Only Memory:电可擦可编程只读存储器)215。右I/F部211将接收部213、EEPROM 215、温度传感器217、照相机61、距离传感器64、照度传感器65、LED指示器67以及内侧照相机68与连接装置10连接。接收部213将OLED单元221与连接装置10连接。
左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接线缆40连接的左I/F部231以及接收经由左I/F部231从连接装置10输入的数据的接收部233。另外,在左显示部基板230上安装有6轴传感器235和磁传感器237。
左I/F部231将接收部233、6轴传感器235、磁传感器237以及温度传感器239与连接装置10连接。接收部233将OLED单元241与连接装置10连接。
I/F是接口的简写。另外,在本实施方式中,有时将接收部213和接收部233分别记载为Rx 213、Rx 233。
EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与影像显示部20所具有的OLED单元221、241的发光特性或显示特性相关的数据、与右显示部22或左显示部24所具有的传感器的特性相关的数据等。
具体而言,存储与OLED单元221、241的伽马校正相关的参数、补偿温度传感器217、239的检测值的数据等。这些数据通过HMD 100的出厂时检查而生成,并被写入EEPROM 215。EEPROM 215存储的数据能够由第2控制部120读取。
照相机61根据经由右I/F部211输入的信号来执行拍摄,并将拍摄图像数据输出到右I/F部211。
照度传感器65接受外部光,输出与受光量或受光强度对应的检测值。LED指示器67根据经由右I/F部211输入的控制信号或驱动电流而点亮。
内侧照相机68根据经由右I/F部211输入的信号来执行拍摄,并将拍摄图像数据输出到右I/F部211。
温度传感器217检测OLED单元221的温度,输出与检测温度对应的电压值或电阻值作为检测值。
距离传感器64执行距离检测,经由右I/F部211将表示检测结果的信号输出到连接装置10。距离传感器64例如可以使用红外线式深度传感器、超声波式距离传感器、Time OfFlight(飞行时间)式距离传感器以及组合了图像检测和声音检测的距离检测单元等。另外,距离传感器64也可以采用对通过立体照相机或单眼照相机的立体拍摄而得到的图像进行处理来检测距离的结构。
接收部213接收经由右I/F部211从连接装置10传送的显示用的影像数据,并输出到OLED单元221。OLED单元221显示基于连接装置10传送的影像数据的影像。
另外,接收部233接收经由左I/F部231从连接装置10传送的显示用的影像数据,并输出到OLED单元241。OLED单元221、241显示基于连接装置10传送的影像数据的影像。
6轴传感器235是具有3轴加速度传感器和3轴陀螺传感器的运动传感器。6轴传感器235也可以采用将上述传感器模块化后的IMU(Inertial Measurement Unit:惯性测量装置)。磁传感器237例如是3轴地磁传感器。陀螺仪传感器也被称为角速度传感器。
6轴传感器235和磁传感器237分别对应于“第2传感器”的一例。换言之,3轴加速度传感器、3轴陀螺仪传感器以及3轴地磁传感器分别对应于“第2传感器”的一例。
在本实施方式中,对“第2传感器”为磁传感器237的情况进行说明。
温度传感器239检测OLED单元241的温度,输出与检测温度对应的电压值或电阻值作为检测值。
影像显示部20的各部分通过借助连接线缆40从连接装置10供给的电力而进行动作。
影像显示部20在右显示部22具有电源部229,在左显示部24具有电源部249。电源部229将连接装置10经由连接线缆40供给的电力分配并供给到包含右显示部基板210的右显示部22的各部分。同样地,电源部249将连接装置10经由连接线缆40供给的电力分配并供给到包含左显示部基板230的左显示部24的各部分。右显示部22和左显示部24也可以具有转换电压的转换电路等。
连接装置10具有I/F部110、第2控制部120、传感器控制部122、显示控制部124、电源控制部126、非易失性存储部130、操作部140、连接部145以及声音处理部147。
I/F部110具有连接器11D。另外,I/F部110具有与连接器11D连接并执行依据各种通信标准的通信协议的接口电路。
I/F部110例如也可以是安装了连接器11D和接口电路的接口基板。另外,也可以采用如下结构:连接装置10的第2控制部120、传感器控制部122、显示控制部124、电源控制部126安装在未图示的连接装置主基板上。在该情况下,也可以在连接装置主基板上安装I/F部110的连接器11D和接口电路。
另外,I/F部110例如可以具有能够连接外部的存储装置或存储介质的存储卡用接口等,I/F部110也可以由无线通信接口构成。
第2控制部120对连接装置10的各部分进行控制。第2控制部120具有CPU(CentralProcessing Unit:中央处理单元)那样的处理器。在第2控制部120中,处理器执行控制程序,由此,通过软件与硬件的协作来控制HMD 100的各部分。第2控制部120连接有非易失性存储部130、操作部140、连接部145以及声音处理部147。
传感器控制部122控制照相机61、距离传感器64、照度传感器65、温度传感器217、6轴传感器235、磁传感器237以及温度传感器239。具体而言,传感器控制部122按照第2控制部120的控制进行各传感器的采样周期的设定和初始化,并按照各传感器的采样周期执行对各传感器的通电、控制数据的发送以及检测值的取得等。
传感器控制部122与I/F部110的连接器11D连接,在预先设定的时刻,将与从各传感器取得的检测值相关的数据输出到连接器11D。与连接器11D连接的智能手机300能够取得HMD 100的各传感器的检测值、照相机61的拍摄图像数据、以及表示内侧照相机68所检测到的视线方向的数据。
显示控制部124执行用于通过影像显示部20显示基于输入到I/F部110的图像数据或影像数据的图像的各种处理。在本实施方式中,向连接器11D输入智能手机300输出的影像信号。影像信号是数字影像数据,但也可以是模拟影像信号。
显示控制部124执行例如帧的剪切、分辨率转换、中间帧生成、帧率转换等各种处理。分辨率转换包含所谓的缩放。显示控制部124将与OLED单元221和OLED单元241分别对应的图像数据输出到连接部145。输入到连接部145的图像数据作为影像信号201从连接器11A传送到右I/F部211和左I/F部231。影像信号201是与OLED单元221和OLED单元241分别对应地处理后的数字影像数据。
在本实施方式中,连接器11D由USB-TypeC连接器构成。显示控制部124经由连接器11D接收以USB-TypeC的替代模式传送的影像数据。
传感器控制部122和/或显示控制部124可以通过处理器执行程序而利用软件与硬件的协作来实现。即,传感器控制部122和显示控制部124由处理器构成,通过执行程序来执行上述动作。在该例子中,传感器控制部122和显示控制部124可以通过构成第2控制部120的处理器执行程序来实现。换言之,可以是,通过处理器执行程序,而作为第2控制部120、显示控制部124以及传感器控制部122发挥功能。这里,处理器可以被改称为计算机。
另外,显示控制部124和传感器控制部122也可以由DSP(Digital SignalProcessor:数字信号处理器)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等程序化的硬件构成。另外,也可以将传感器控制部122和显示控制部124合并而构成为SoC(System-on-a-Chip:片上系统)-FPGA。
电源控制部126连接到连接器11D。电源控制部126根据从连接器11D供给的电力,进行对连接装置10的各部分和影像显示部20的电源供给。另外,电源控制部126也可以构成为具有未图示的电压转换电路,对电压进行转换并供给到连接装置10和影像显示部20的各部分。电源控制部126也可以由逻辑电路或FPGA等程序化的半导体器件构成。另外,电源控制部126也可以由与传感器控制部122和/或显示控制部124共用的硬件构成。
传感器控制部122、显示控制部124以及电源控制部126可以具有用于进行数据处理的工作存储器,也可以利用第2控制部120的存储器进行处理。
操作部140检测对连接装置10所具有的被操作部的操作,将表示操作内容的数据、或者表示被操作的被操作部的操作信号输出到第2控制部120。
声音处理部147根据从第2控制部120输入的声音数据,生成声音信号,并输出到连接部145。该声音信号从连接部145经由音频连接器36输出到右耳机32和左耳机34。另外,声音处理部147按照第2控制部120的控制,调整声音信号的音量。另外,声音处理部147生成麦克风63收集到的声音的声音数据,并输出到第2控制部120。也可以通过第2控制部120,以与处理影像显示部20具备的传感器的检测值同样的方式,对该声音数据进行处理。
另外,连接装置10也可以是具有未图示的电池、并从该电池向连接装置10和影像显示部20的各部分供给电力的结构。连接装置10具备的电池也可以是可充电的二次电池。
1-4.智能手机的结构
图5是示出HMD 100的第2控制部120和智能手机300的结构的图。
智能手机300具有第1控制部310、非易失性存储部320、显示部330、I/F部341、通信部345、6轴传感器351以及磁传感器352。
第1控制部310具有CPU或微型计算机等处理器,通过该处理器执行控制程序,从而控制智能手机300的各部分。第1控制部310也可以具有非易失性地存储处理器执行的控制程序的ROM(Read Only Memory:只读存储器)、以及构成处理器的工作区的RAM(RandomAccess Memory:随机存取存储器)那样的存储器。处理器对应于“计算机”的一例。存储在第1控制部310的存储器中的控制程序对应于“控制程序”的一例。
非易失性存储部320非易失性地存储由第1控制部310执行的控制程序以及第1控制部310处理的数据。非易失性存储部130例如是(Hard Disk Drive:硬盘驱动器)等磁记录装置、或者使用了闪存等半导体存储元件的存储装置。
非易失性存储部320例如存储包含影像的内容的内容数据321。内容数据321是能够由第1控制部310处理的格式的文件,包含影像数据,也可以包含声音数据。
另外,非易失性存储部320存储作为第1控制部310执行的基本控制程序的操作系统(OS:Operating System)以及以OS为平台进行动作的应用程序等。另外,非易失性存储部320存储了在执行应用程序时处理的数据或处理结果的数据。
显示部330所具有的显示面板331和触摸传感器332与第1控制部310连接。显示面板331根据第1控制部310的控制而显示各种图像。显示面板331例如由LCD(Liquid CrystalDisplay:液晶显示器)构成。显示面板331构成为矩形形状。在本实施方式中,显示面板331为长方形。
触摸传感器332检测触摸操作,并将表示检测到的操作的数据输出到第1控制部310。触摸传感器332与显示面板331一体地形成。具体而言,触摸传感器332形成在显示面板331的图像显示面上。在本实施方式中,触摸传感器332为长方形。触摸传感器332输出的数据是表示触摸传感器332中的操作位置的坐标数据等。触摸传感器332对应于“位置输入部”的一例。
在本实施方式中,触摸传感器332输出表示绝对坐标的第1坐标数据DA1和表示相对坐标的第2坐标数据DA2。
第1坐标数据DA1表示触摸操作的位置的绝对坐标。在初始状态下,例如,沿着触摸传感器332的长边方向设定X轴,沿着触摸传感器332的短边方向设定Y轴。触摸传感器332的长边方向与显示面板331的长边方向一致,触摸传感器332的短边方向与显示面板331的短边方向一致。第1坐标数据DA1由表示触摸操作在X轴方向的位置的X坐标、和表示触摸操作在Y轴方向的位置的Y坐标构成。
第2坐标数据DA2表示触摸操作的移动量的相对坐标。即,第2坐标数据DA2表示从触摸操作的开始点的位置到移动后的触摸操作的位置的移动量。在初始状态下,例如,沿着触摸传感器332的长边方向设定X轴,沿着触摸传感器332的短边方向设定Y轴。第2坐标数据DA2由表示触摸操作在X轴方向的位置变化量的X坐标、和表示触摸操作在Y轴方向的位置变化量的Y坐标构成。
I/F部341是与外部的装置连接的接口。I/F部341执行例如依据HDMI接口、USB接口等标准的通信。I/F部341具有连接USB线缆46的连接器、以及处理由连接器传送的信号的接口电路。I/F部341是具有连接器和接口电路的接口基板,与安装有第1控制部310的处理器等的主基板连接。或者,构成I/F部341的连接器和接口电路安装在智能手机300的主基板上。I/F部341对应于“连接部”的一例。
在本实施方式中,I/F部341具有USB接口,通过USB线缆46而与连接器11D连接。第1控制部310例如通过USB线缆46输出影像数据,从连接装置10接收与传感器的输出值相关的数据等。
另外,I/F部341可以是无线通信接口。在这种情况下,I/F部341可以是安装在接口基板或者主基板上的电路,该接口基板安装了包含RF(Radio Frequency:射频)部在内的通信电路。
通信部345是与外部装置之间执行数据通信的通信接口。通信部345可以是能够连接线缆的有线通信接口,也可以是无线通信接口。例如,可以是与Ethernet(注册商标)对应的有线LAN接口、与IEEE802.11标准对应的无线LAN接口。
另外,通信部345例如是通过无线电话线路而与其他智能手机连接的通信接口。
6轴传感器351是具有3轴加速度传感器和3轴陀螺仪传感器的运动传感器。6轴传感器351也可以采用将上述传感器模块化的IMU。磁传感器352例如是3轴地磁传感器。陀螺仪传感器也被称为角速度传感器。
6轴传感器351和磁传感器352分别对应于“第1传感器”的一例。换言之,3轴加速度传感器、3轴陀螺仪传感器以及3轴地磁传感器分别对应于“第1传感器”的一例。
在本实施方式中,对“第1传感器”是磁传感器352的情况进行说明。
第1控制部310具有第1显示控制部311、判定部312、调整部313以及模式切换部314。具体来说,通过第1控制部310所具有的处理器执行控制程序,第1控制部310作为第1显示控制部311、判定部312、调整部313以及模式切换部314来发挥功能。
第1显示控制部311将内容数据321再现,将与内容数据321所包含的影像数据对应的图像PT显示在显示部330的显示面板331上。
另外,第1显示控制部311根据I/F部341是否连接有HMD 100,降低显示部330的显示面板331的亮度。具体而言,在I/F部341连接有HMD 100的情况下,与I/F部341未连接HMD100的情况相比,第1显示控制部311使显示部330的显示面板331的亮度降低。
例如,在I/F部341未连接HMD 100的情况下,第1显示控制部311使显示部330所显示的图像PT的亮度成为设定的亮度。另外,在I/F部341连接有HMD 100的情况下,第1显示控制部311使显示部330所显示的图像PT的亮度降低为小于设定的亮度。
更具体而言,第1显示控制部311通过在图像PT上重叠一定浓度的图像,降低在显示面板331上显示的图像PT的亮度。在以下的说明中,有时将“一定浓度的图像”记载为“暗图像”。具体而言,“暗图像”是一定浓度的灰色的图像。即,通过在显示面板331所显示的图像PT的上层虚拟地重叠形成有暗图像的层,第1显示控制部311使显示面板331所显示的图像PT的亮度降低。
另外,图像PT包含指针对象PB。具体而言,在I/F部341连接有HMD 100的情况下,第1显示控制部311在显示面板331上显示指针对象PB。另外,在I/F部341未连接HMD 100的情况下,第1显示控制部311不在显示面板331上显示指针对象PB。指针对象PB表示指针的位置。指针对象PB例如是箭头那样的对象,指向箭头的前端。
另外,当I/F部341连接有HMD 100时,第1显示控制部311在位置P1或位置P2处显示指针对象PB。位置P1表示显示面板331中的默认的位置。位置P2表示在显示面板331中指针对象PB成为非显示的位置。
位置P1例如是显示面板331的中央位置。另外,位置P1例如是显示面板331的4个角部中的任意一个角部。另外,位置P1也可以构成为使用者能够设定。
位置P2对应于从I/F部341连接有HMD 100的状态转变到I/F部341未连接HMD100的状态时的指针对象PB的位置。
判定部312根据照相机61和内侧照相机68的检测结果来判定智能手机300是否处于使用者的视野内。照相机61拍摄比使用者的视野大的范围的外景图像。内侧照相机68检测使用者的视线方向。
判定部312首先从HMD 100取得照相机61所拍摄到的外景图像数据,从照相机61所拍摄到的外景图像中提取处于使用者的视野内的外景图像。另外,使用者的视野是根据内侧照相机68所检测到的使用者的视线方向而决定的。然后,判定部312判定所提取的外景图像中是否包含有智能手机300。另外,所提取的外景图像中是否包含有智能手机300的判定例如是使用图像处理等执行的。
在本实施方式中,判定部312根据照相机61和内侧照相机68的检测结果来判定智能手机300是否处于使用者的视野内,但本发明并不限定于此。判定部只要根据照相机61和内侧照相机68中的至少一方的检测结果来判定智能手机300是否处于使用者的视野内即可。换言之,“第3传感器”包含照相机61和内侧照相机68中的至少一方。
在本实施方式中,对“第3传感器”包含照相机61和内侧照相机68的情况进行说明。
调整部313根据磁传感器352的检测结果来调整设定于触摸传感器332的坐标轴的方向。磁传感器352检测触摸传感器332的方向。设定于触摸传感器332的坐标轴由X轴和Y轴构成。
另外,调整部313根据HMD 100的磁传感器237的检测结果来调整设定于触摸传感器332的坐标轴的方向。磁传感器237检测影像显示部20的方向。换言之,磁传感器237检测图3所示的半反射镜261和半反射镜281的方向。
调整部313对设定于触摸传感器332的坐标轴的方向进行阶段性地调整。例如,以每30度的方式阶段性地调整坐标轴的方向。
接着,调整部313根据判定部312的判定结果,调整设定于触摸传感器332的坐标轴的方向。具体来说,在判定部312判定为智能手机300处于使用者的视野内的情况下,调整部313调整设定于触摸传感器332的坐标轴的方向。另外,在判定部312判定为智能手机300不处于使用者的视野内的情况下,调整部313限制设定于触摸传感器332的坐标轴的方向的调整。在本实施方式中,在判定部312判定为智能手机300不处于使用者的视野内的情况下,调整部313禁止设定于触摸传感器332的坐标轴的方向的调整。
模式切换部314能够执行第1模式MD1和第2模式MD2,根据I/F部341是否连接有HMD100来切换执行第1模式MD1与第2模式MD2。具体而言,模式切换部314在I/F部341未连接HMD100的情况下,执行第1模式MD1。另外,模式切换部314在I/F部341连接有HMD 100的情况下,执行第2模式MD2。
在第1模式MD1中,受理触摸传感器332检测到的输入作为基于绝对坐标的输入。换言之,在第1模式MD1中,从触摸传感器332受理第1坐标数据DA1。第1坐标数据DA1表示触摸操作的位置的绝对坐标。
在第2模式MD2中,受理触摸传感器332检测到的输入作为基于相对坐标的输入。换言之,在第2模式MD2中,从触摸传感器332受理第2坐标数据DA2。第2坐标数据DA2表示触摸操作的移动量的相对坐标。
参照图6~图9来具体说明第1控制部310的处理。
在本实施方式中,智能手机300向连接装置10输出的影像数据是与智能手机300通过显示部330的显示面板331显示的图像对应的影像数据。即,第1显示控制部311使HMD 100的影像显示部20显示由显示面板331显示的图像。在这种情况下,HMD 100的影像显示部20显示与显示在显示面板331上的图像相同的图像,进行所谓的“镜像显示”。
1-5.HMD的第2控制部的结构
HMD 100的第2控制部120具有第2显示控制部121。具体而言,通过第2控制部120所具有的处理器执行控制程序,第2控制部120作为第2显示控制部121发挥功能。
第2显示控制部121按照来自第1显示控制部311的指示,从智能手机300接收图像,使影像显示部20显示接收到的图像。
具体而言,第2显示控制部121根据从智能手机300接收到的图像,生成右图像和左图像。然后,第2显示控制部121使右显示部22显示右图像,使左显示部24显示左图像。
更具体而言,第2显示控制部121经由右I/F部211将右图像传送到OLED单元221,使OLED单元221显示右图像。另外,第2显示控制部121经由左I/F部231将左图像传送到OLED单元241,使OLED单元241显示左图像。
2.使用了具体例的智能手机的第1控制部的处理的说明
图6~图9分别是示出第1控制部310的处理的具体例的图。另外,在图6~图9中,对I/F部341与HMD 100连接的情况进行说明。
2-1.调整部的处理的说明
图6是示出智能手机300的触摸传感器332相对于HMD 100的方向的图。
如图6所示,在使用者对智能手机300进行操作的情况下,通常,在使用者的视线的方向LS上配置智能手机300。方向LS表示使用者的视线的方向。方向DA表示从HMD 100朝向智能手机300的触摸传感器332的中心位置PC的方向。
方向DA相对于方向LS倾斜了倾斜角θ。倾斜角θ表示方向DA相对于方向LS的倾斜角。
V-V线表示垂线方向。H-H线表示水平方向。在图6中,对包含有触摸传感器332的平面包含V-V线和H-H线的情况进行说明。即,触摸传感器332的长边方向与V-V线平行,触摸传感器332的短边方向与H-H线平行。
方向DA相对于V-V线倾斜了倾斜角φ。倾斜角φ表示方向DA相对于V-V线的倾斜角。
另外,方向DA相对于H-H线倾斜了倾斜角ψ。倾斜角ψ表示方向DA相对于H-H线的倾斜角。倾斜角φ和倾斜角ψ限定出触摸传感器332的中心位置PC相对于使用者或HMD 100的方向。
智能手机300的触摸传感器332在包含V-V线和H-H线的平面内旋转自如。倾斜角ω表示触摸传感器332的长边方向在包含V-V线和H-H线的平面内相对于V-V线的倾斜角。在图6中,示出倾斜角ω为零的状态。
图7是示出由调整部313进行的触摸传感器332的坐标轴AX的方向的调整方法的一例的图。坐标轴AX由X轴和Y轴构成。调整部313根据磁传感器352的检测结果来调整坐标轴AX的方向。
图7的上层图示出了倾斜角ω为零的状态。在倾斜角ω为零的情况下,触摸传感器332的长边方向CS与V-V线平行。在该情况下,构成坐标轴AX的X轴与H-H线平行,构成坐标轴AX的Y轴与V-V线平行。
具体来说,构成坐标轴AX的Y轴的正向的方向是V-V线所示的垂线方向中的朝上方向。另外,构成坐标轴AX的X轴的正向的方向是H-H线所示的水平方向中的、相对于Y轴的正向的方向绕顺时针旋转90度的方向。
在该情况下,被调整部313调整后的坐标轴AX的方向与在通常状态下设定的坐标轴AX的方向一致。另外,在通常状态下设定的坐标轴AX的方向表示在默认状态下设定的坐标轴AX的方向。
图7的中层图示出了倾斜角ω为倾斜角ω1的状态。倾斜角ω1表示长边方向CS相对于V-V线绕逆时针倾斜的状态。
具体来说,调整部313将构成坐标轴AX的X轴的方向设定为与H-H线平行的方向,将构成坐标轴AX的Y轴的方向设定为与V-V线平行的方向。
更具体来说,调整部313将构成坐标轴AX的Y轴的正向的方向设定为V-V线所示的垂线方向中的朝上方向。另外,调整部313将构成坐标轴AX的X轴的正向的方向设定为H-H线所示的水平方向中的、相对于Y轴的正向的方向顺时针旋转90度的方向。
图7的下层图示出了倾斜角ω为倾斜角ω2的状态。倾斜角ω2表示长边方向CS相对于V-V线绕顺时针倾斜的状态。调整部313根据磁传感器352的检测结果来调整坐标轴AX的方向。
具体来说,调整部313将构成坐标轴AX的X轴的方向设定为与H-H线平行的方向,将构成坐标轴AX的Y轴的正向的方向设定为与V-V线平行的方向。
更具体来说,调整部313将构成坐标轴AX的Y轴的正向的方向设定为V-V线所示的垂线方向中的朝上方向。另外,调整部313将构成坐标轴AX的X轴的正向的方向设定为H-H线所示的水平方向中的、相对于Y轴的正向的方向绕顺时针旋转90度的方向。
这样,即使在倾斜角ω发生了变化的情况下,构成坐标轴AX的Y轴的正向的方向也被设定为垂线方向中的朝上方向,构成坐标轴AX的X轴的正向的方向被设定为相对于Y轴的正向的方向绕顺时针旋转90度的方向。因此,能够提高使用者对触摸传感器332的操作性。
图8是示出由调整部313进行的触摸传感器332的坐标轴AX的方向的调整方法的另一例的图。坐标轴AX由X轴和Y轴构成。调整部313根据HMD 100的磁传感器237的检测结果来调整坐标轴AX的方向。
图8的上层图示出了倾斜角η为零的状态。倾斜角η表示B-B线相对于V-V线的倾斜角。V-V线表示垂线方向。B-B线表示半反射镜261和半反射镜281各自的沿上下方向延伸的中心线。
如图8的上层的左图所示,在倾斜角η为零的情况下,B-B线与V-V线平行。H-H线表示水平方向。
另外,在图8的上层的左图、中层的左图以及下层的左图中,以通过半反射镜261和半反射镜281的中心位置PD的方式记载了V-V线和H-H线。
图8的上层的右图示出了倾斜角η为零的情况下的、触摸传感器332的坐标轴AX的方向。在倾斜角η为零的情况下,构成坐标轴AX的X轴与H-H线平行,构成坐标轴AX的Y轴与V-V线平行。在该情况下,被调整部313调整后的坐标轴AX的方向与在通常状态下设定的坐标轴AX的方向一致。
具体来说,构成坐标轴AX的Y轴的正向的方向是V-V线所示的垂线方向中的朝上方向。另外,构成坐标轴AX的X轴的正向的方向是H-H线所示的水平方向中的、相对于Y轴的正向的方向绕顺时针旋转90度的方向。
图8的中层的左图示出了倾斜角η为倾斜角η1的状态。倾斜角η1表示B-B线相对于V-V线绕逆时针倾斜的状态。
图8的中层的右图示出了倾斜角η为倾斜角η1的情况下的、触摸传感器332的坐标轴AX的方向。在倾斜角η为倾斜角η1的情况下,调整部313将构成坐标轴AX的Y轴设定为相对于V-V线绕逆时针倾斜了倾斜角η1的方向。
具体来说,调整部313将构成坐标轴AX的Y轴的正向的方向设定为相对于V-V线所示的垂线方向的朝上方向绕逆时针倾斜了倾斜角η1的方向。另外,调整部313将构成坐标轴AX的X轴的正向的方向设定为从Y轴的正向绕顺时针旋转90度的方向。
图8的下层的左图示出了倾斜角η为倾斜角η2的状态。倾斜角η2表示B-B线相对于V-V线绕顺时针倾斜的状态。
图8的下层的右图示出了倾斜角η为倾斜角η2的情况下的、触摸传感器332的坐标轴AX的方向。在倾斜角η为倾斜角η2的情况下,调整部313将构成坐标轴AX的Y轴设定为相对于V-V线绕顺时针倾斜了倾斜角η2的方向。
具体来说,调整部313将构成坐标轴AX的Y轴的正向的方向设定为相对于V-V线所示的垂线方向的朝上方向绕顺时针倾斜了倾斜角η2的方向。另外,调整部313将构成坐标轴AX的X轴的正向的方向设定为相对于Y轴的正向的方向绕顺时针旋转90度的方向。
这样,即使在倾斜角η发生了变化的情况下,构成坐标轴AX的Y轴的正向的方向也被设定为与半反射镜261和半反射镜281各自的沿上下方向延伸的中心线的朝上方向对应的方向。另外,构成坐标轴AX的X轴的正向的方向也被设定为相对于Y轴的正向的方向绕顺时针旋转90度的方向。因此,能够提高使用者对触摸传感器332的操作性。
2-1.基于相对坐标的操作的说明
图9是示出相对坐标下的基于指针对象PB的操作的一例的画面图。
由于I/F部341与HMD 100连接,所以模式切换部314执行第2模式MD2。即,模式切换部314将触摸传感器332检测到的输入受理为基于相对坐标的输入。
另外,由于I/F部341与HMD 100连接,所以第1显示控制部311将指针对象PB显示于显示部330的显示面板331。
如图9所示,在显示面板331上,通过第1显示控制部311而显示有图标A1、图标A2、图标A3、图标A4、图标A5、图标A6以及指针对象PB。
图标A1~图标A6分别与存储在非易失性存储部320中的内容数据321对应。具体而言,内容数据321包含内容数据MA、内容数据MB、内容数据MC、内容数据MD、内容数据ME以及内容数据MF。图标A1与内容数据MA对应,图标A2与内容数据MB对应,图标A3与内容数据MC对应。同样地,图标A4~图标A6分别与内容数据MD~内容数据MF对应。
指针对象PB如虚线的箭头所示那样,通过第1显示控制部311而显示在默认的位置P1。位置P1是显示面板331的中央位置。
这里,对由使用者在位置PS1开始触摸操作、在位置PS2结束触摸操作的情况进行说明。即,使用者例如在使右手的食指触摸到位置PS1、且使右手的食指触摸到触摸传感器332的状态下,使右手的食指移动到位置PS2。然后,使用者在位置PS2,使右手的食指离开触摸传感器332。
模式切换部314检测触摸操作的移动量V1。通过该操作,指针对象PB通过第1显示控制部311而以移动量V2进行移动。即,指针对象PB在显示面板331中从位置P1移动到位置P3。另外,移动量V2的方向和长度与移动量V1的方向和长度相同。
另外,在位置P3,指针对象PB指示图标A5。这样,通过从位置PS1向位置PS2的滑动操作,选择图标A5。其结果,例如,通过第1控制部310来执行与图标A5对应的内容数据ME的再现。
在本实施方式中,对图标与内容数据对应的情况进行了说明,但并不限定于此。图标例如也可以与执行功能的程序对应。在这种情况下,通过以指示图标的方式移动指针对象PB,能够执行与图标对应的功能。
另外,在本实施方式中,对在显示面板331上显示图标的情况进行了说明,但并不限定于此。在显示面板331上,除了指针对象PB之外,还可以显示指针对象PB以外的对象。例如,可以在显示面板331上显示按钮对象。在这种情况下,通过以指示按钮对象的方式移动指针对象PB,能够执行与按钮对象对应的功能。
3.智能手机的第1控制部的处理的说明
图10和图11分别是示出智能手机300的第1控制部310的处理的流程图。
首先,如图10所示,在步骤S101中,第1控制部310判定I/F部341是否与HMD 100连接。
当第1控制部310判定为I/F部341未与HMD 100连接的情况(步骤S101:否)下,处理处于待机状态。当第1控制部310判定为I/F部341与HMD 100连接的情况(步骤S101:是)下,处理进入到步骤S103。
然后,在步骤S103中,第1显示控制部311在显示面板331的默认的位置P1处显示指针对象PB。
接着,在步骤S105中,模式切换部314从第1模式MD1切换为第2模式MD2而执行第2模式MD2。具体来说,模式切换部314将触摸传感器332检测到的输入作为基于相对坐标的输入来受理。
接着,在步骤S107中,第1控制部310检测HMD 100的方向。具体来说,第1控制部310根据HMD 100的磁传感器237的检测结果,检测HMD 100的半反射镜261和半反射镜281的方向。
接着,在步骤S109中,第1控制部310检测智能手机300的方向。具体来说,第1控制部310根据智能手机300的磁传感器352的检测结果来检测触摸传感器332的方向。
接着,在步骤S111中,第1控制部310检测智能手机300的位置。具体来说,第1控制部310根据照相机61的检测结果以及内侧照相机68的检测结果,检测智能手机300在使用者的视野内的位置。
接着,如图11所示,在步骤S113中,判定部312判定智能手机300是否处于使用者的视野内。
在判定部312判定为智能手机300不处于使用者的视野内的情况(步骤S113:否)下,处理进入到步骤S123。在判定部312判定为智能手机300处于使用者的视野内的情况(步骤S113:YES)下,处理进入到步骤S115。
接着,在步骤S115中,调整部313根据磁传感器352以及HMD 100的磁传感器237的检测结果,调整设定于触摸传感器332的坐标轴AX的方向。
接着,在步骤S117中,第1控制部310检测HMD 100的方向。
接着,在步骤S119中,第1控制部310检测智能手机300的方向。
接着,在步骤S121中,调整部313判定是否调整设定于触摸传感器332的坐标轴AX的方向。具体来说,调整部313判定设定于触摸传感器332的坐标轴AX的方向相对于在调整部313对坐标轴AX进行调整的情况下的调整后的坐标轴AX的方向是否偏离了阈值角度以上。阈值角度例如是30度。
在调整部313判定为设定于触摸传感器332的坐标轴AX的方向相对于调整后的坐标轴AX的方向偏离了阈值角度以上的情况(步骤S121:是)下,处理返回到步骤S115。在调整部313判定为设定于触摸传感器332的坐标轴AX的方向相对于调整后的坐标轴AX的方向未偏离阈值角度以上的情况(步骤S121:否)下,处理进入到步骤S123。
接着,在步骤S123中,第1控制部310判定I/F部341与HMD 100的连接是否被切断。
在第1控制部310判定为I/F部341与HMD 100的连接未被切断的情况(步骤S123:否)下,处理返回到图10的步骤S107。在第1控制部310判定为I/F部341与HMD 100的连接被切断的情况(步骤S123:是)下,处理进入到步骤S125。
然后,在步骤S125中,第1显示控制部311使得显示面板331的指针对象PB不被显示。
接着,在步骤S127中,模式切换部314从第2模式MD2切换为第1模式MD1而执行第1模式MD1。然后,处理结束。
另外,图10的步骤S107和图11的步骤S117对应于“检测步骤”的一例。图11的步骤S115对应于“调整步骤”的一例。
4.本实施方式的効果
如以上说明的那样,在本实施方式中,显示系统1具有:HMD 100,其被佩戴于使用者的头部;以及智能手机300,其连接HMD 100。智能手机300具有:触摸传感器332,其受理位置输入操作,检测以所设定的坐标轴AX为基准的操作位置的坐标;第1传感器,其检测触摸传感器332的方向;以及调整部313,其根据第1传感器的检测结果,对坐标轴AX的方向进行调整。第1传感器例如是磁传感器352。
因此,由于通过调整部313来调整坐标轴AX的方向,所以能够调整为适当的坐标轴AX的方向。例如,如参照图7说明的那样,在倾斜角ω发生了变化的情况下,调整部313能够将构成坐标轴AX的Y轴的正向的方向调整为垂线方向中的朝上方向,调整部313能够将构成坐标轴AX的X轴的正向的方向调整为水平方向中的、从Y轴的正向的方向绕顺时针旋转90度的方向。因此,能够提高使用者对触摸面板的操作性。另外,触摸面板对应于显示部330。
另外,第1传感器包含加速度传感器、陀螺仪传感器以及地磁传感器中的至少1个。
因此,第1传感器能够准确地检测触摸传感器332的方向。
另外,HMD 100具有:影像显示部20,其显示图像;以及第2传感器,其检测影像显示部20的方向,调整部313与第2传感器所检测的方向对应地,对坐标轴AX的方向进行调整。第2传感器例如是磁传感器237。
因此,调整部313能够与影像显示部20的方向对应地,对坐标轴AX的方向进行调整。例如,如参照图8说明的那样,能够根据倾斜角η来调整坐标轴AX的方向。倾斜角η表示B-B线相对于V-V线的倾斜角。V-V线表示垂线方向。B-B线表示半反射镜261和半反射镜281各自的沿上下方向延伸的中心线。因此,能够提高使用者对触摸面板的操作性。
另外,第2传感器包含加速度传感器、陀螺仪传感器以及地磁传感器中的至少1个。
因此,第2传感器能够准确地检测影像显示部20的方向。
另外,智能手机300具有:I/F部341,其能够连接HMD 100;以及模式切换部314,其能够执行第1模式和第2模式,根据I/F部341是否与HMD 100连接来切换并执行第1模式和第2模式,在所述第1模式中,将触摸传感器332检测到的输入作为基于坐标轴AX的绝对坐标的输入来受理,在所述第2模式中,将触摸传感器332检测到的输入作为基于坐标轴AX的相对坐标的输入来受理。
因此,例如,在I/F部341与HMD 100连接的情况下,模式切换部314能够执行将触摸传感器332检测到的输入作为基于坐标轴AX的相对坐标的输入来受理的第2模式。因此,能够提高使用者对触摸面板的操作性。
另外,模式切换部314在I/F部341未与HMD 100连接的情况下执行第1模式,在I/F部341与HMD 100连接的情况下执行第2模式。
因此,能够提高使用者对触摸面板的操作性。
另外,调整部313对坐标轴AX的方向进行阶段性地调整。例如,以每30度的方式阶段性地调整坐标轴AX的方向。
因此,能够提高使用者对触摸面板的操作性。另外,能够减轻第1控制部310的负荷。
另外,HMD 100具有检测智能手机300的位置的第3传感器,调整部313根据第3传感器的检测结果来调整坐标轴AX的方向。第3传感器例如对应于照相机61和内侧照相机68。
因此,例如能够根据智能手机300是否处于使用者的视野内,决定是否执行调整部313对坐标轴AX的方向的调整。因此,能够提高使用者对触摸面板的操作性。另外,能够减轻第1控制部310的负荷。
另外,第3传感器包含摄像传感器。
因此,能够准确地检测智能手机300的位置。
另外,智能手机300具有判定部312,所述判定部312根据第3传感器的检测结果来判定智能手机300是否处于使用者的视野内,调整部313根据判定部312的判定结果来调整坐标轴AX的方向。
因此,能够根据智能手机300是否处于使用者的视野内,决定是否执行调整部313对坐标轴AX的方向的调整。因此,能够提高使用者对触摸面板的操作性。另外,能够减轻第1控制部310的负荷。
另外,在判定部312判定为智能手机300处于使用者的视野内的情况下,调整部313对坐标轴AX的方向进行调整,在判定部312判定为智能手机300不处于使用者的视野内的情况下,调整部313限制坐标轴AX的方向的调整。
因此,只有在判定部312判定为智能手机300处于使用者的视野内的情况下,调整部313才能够对坐标轴AX的方向进行调整。因此,能够提高使用者对触摸面板的操作性。另外,能够减轻第1控制部310的负荷。
5.他的实施方式
本发明不限于上述实施方式的结构,能够在不脱离其主旨的范围内以各种方式实施。
例如,在上述实施方式中,“信息处理装置”是智能手机300,但并不限于此。“信息处理装置”只要构成为能够由使用者携带并且具有能够连接HMD 100的连接部、位置输入部以及控制部即可。例如,“信息处理装置”可以是PDA终端,也可以是平板型个人计算机。
另外,在上述实施方式中,对第1传感器是磁传感器352的情况进行了说明,但本发明并不限于此。第1传感器只要包含加速度传感器、陀螺仪传感器以及地磁传感器中的至少1个即可。例如,第1传感器也可以是6轴传感器351。
另外,在上述实施方式中,对第2传感器是磁传感器237的情况进行了说明,但本发明并不限于此。第2传感器只要包含加速度传感器、陀螺仪传感器以及地磁传感器中的至少1个即可。例如,第2传感器也可以是6轴传感器235。
另外,在上述实施方式中,对第3传感器是照相机61和内侧照相机68的情况进行了说明,但本发明并不限于此。只要第3传感器检测智能手机300的位置即可。例如,第3传感器可以是照相机61,第3传感器也可以是内侧照相机68。
另外,在上述实施方式中,例示了连接装置10与影像显示部20有线连接的结构,但并不限于此,也可以采用连接装置10与影像显示部20无线连接的结构。
另外,也可以将连接装置10所具有的一部分功能设置在影像显示部20中,还可以通过多个装置来实现连接装置10。例如,也可以代替连接装置10,而使用能够被佩戴于使用者的身体、服装或者使用者随身佩戴的饰品上的可佩戴器件。该情况下的可佩戴器件例如可以是时钟型的装置、戒指型的装置、激光指针、鼠标、空中鼠标、游戏控制器、笔型的器件等。
另外,在上述实施方式中,以影像显示部20与连接装置10分离并经由连接线缆40而连接的结构为例进行了说明。不限于此,连接装置10与影像显示部20也可以一体地构成并被佩戴于使用者的头部。
另外,在上述实施方式中,使用者透过显示部看到外景的结构并不限定于右导光板26和左导光板28使外部光透过的结构。例如也能够应用于在无法看到外景的状态下显示图像的显示装置。具体而言,能够应用于显示照相机61的拍摄图像、根据该拍摄图像而生成的图像或CG、基于预先存储的影像数据或从外部输入的影像数据的影像等的显示装置。作为这种显示装置,能够包含无法看到外景的所谓的封闭型的显示装置。例如,如果构成为通过影像显示部20显示将由照相机61拍摄的外景的图像与显示图像合成后的合成图像,则即使影像显示部20不使外部光透过,也能够以使用者能够看到外景和图像的方式进行显示。当然还能够应用于这样的所谓视频透视型的显示装置。
另外,例如也可以代替影像显示部20而采用例如像帽子那样佩戴的图像显示部等其他方式的图像显示部,只要具有与使用者的左眼LE对应地显示图像的显示部、和与使用者的右眼RE对应地显示图像的显示部即可。另外,显示装置例如也可以构成为搭载在汽车或飞机等车辆上的HMD。并且,例如也可以构成为内置于头盔等身体防护器具的HMD。在该情况下,能够将对相对于使用者身体的位置进行定位的部分、和相对于该部分进行定位的部分作为佩戴部。
另外,作为将图像光引导至使用者的眼睛的光学系统,例示了在右导光板26和左导光板28的一部分上通过半反射镜261、281形成虚像的结构。不限于此,也可以构成为在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域显示图像。在该情况下,在使图像的显示位置发生变化的动作中,可以包含将图像缩小的处理。
此外,光学元件不限于具有半反射镜261、281的右导光板26、左导光板28,只要是使图像光入射到使用者的眼睛的光学部件即可,具体而言,可以使用衍射光栅、棱镜、全息显示部。
另外,图4、图5等所示的各功能块中的至少一部分可以构成为通过硬件来实现,也可以构成为通过硬件和软件的协作来实现,并不限定于图示那样配置独立的硬件资源的结构。
另外,第1控制部310执行的控制程序也可以存储在非易失性存储部320或第1控制部310内的其他存储部中。另外,也可以构成为经由通信部345等取得并执行存储在外部装置中的控制程序。
另外,在连接装置10上形成的结构也可以重复地形成在影像显示部20上。例如,可以构成为将与连接装置10的处理器同样的处理器配置在影像显示部20中,也可以构成为连接装置10所具有的处理器和影像显示部20的处理器分别执行分开的功能。
另外,为了容易理解智能手机300的第1控制部310的处理,而根据主要的处理内容对图10和图11所示的流程图的处理单位进行了分割。实施方式不受图10和图11示出的流程图所示的处理单位的分割方法或名称限制。另外,第1控制部310的处理也可以根据处理内容而分割成更多的处理单位,还可以以一个处理单位包含更多处理的方式进行分割。另外,上述流程图的处理顺序也不限于图示的例子。
另外,智能手机300的控制方法能够通过使智能手机300所具有的计算机执行与智能手机300的控制方法对应的控制程序来实现。另外,该控制程序也可以预先记录在以计算机可读取的方式进行记录的记录介质中。作为记录介质,能够使用磁记录介质、光学记录介质或者半导体存储器件。具体而言,可以列举软盘、CD-ROM(Compact Disk Read OnlyMemory:光盘只读存储器)、DVD(Digital Versatile Disc:数字通用光盘)、Blu-ray(注册商标)Disc、磁光盘、闪存、卡型记录介质等可移动型或者固定式的记录介质。另外,记录介质也可以是作为图像显示装置所具有的内部存储装置的RAM、ROM、HDD等非易失性存储装置。另外,也可以将与智能手机300的控制方法对应的控制程序预先存储在服务器装置等中,并从服务器装置向智能手机300下载控制程序,由此,实现智能手机300的控制方法。