具体实施方式

[实施方式]

以下参照附图描述本发明的优选实施方式。

<配置的描述>

图1A和图1B示出根据本实施方式的照相机1(数字静态照相机；具有可更换镜头的照相机)的外观。本发明还适用于显示诸如图像和文字等的信息的设备，并且还适用于能够检测通过目镜光学系统在视觉上感知光学图像的用户的视线的任何电子设备。这些电子设备的示例包括移动电话、游戏机、平板终端、个人计算机、呈手表或眼镜形式的信息终端、头戴式显示器和双目镜。本发明可适用于能够获得正在看着显示器的眼睛的图像的任何电子设备。

图1A是正面立体图，图1B是背面立体图。如图1A所示，照相机1具有摄影镜头单元1A和照相机壳体1B。照相机壳体1B包括释放按钮34，其是接收用户(摄影者)的摄像操作的操作构件。如图1B所示，照相机壳体1B的背面侧包括目镜窗框121，用户通过目镜窗框121观察位于照相机壳体1B内部的显示面板6。将稍后描述显示面板6。目镜窗框121形成观看口12，并且相对于照相机壳体1B向外(向背面)突出。照相机壳体1B的背面侧还包括操作构件41至43，其接收来自用户的各种操作。例如，操作构件41是接收触摸操作的触摸面板，操作构件42是能够被按压以沿不同方向倾斜的操作杆，操作构件43是能够针对四个方向而被按下的四向键。操作构件41(触摸面板)包括诸如液晶面板等的显示面板，并且具有在显示面板上显示图像的功能。

图2是示出照相机1的配置的框图。

摄像元件2可以是诸如CCD或CMOS传感器等的摄像器件。摄影镜头单元1A的光学系统在摄像元件2的像平面上形成光学图像。摄像元件2对该光学图像进行光电转换，并且将所获得的模拟图像信号输出给A/D转换单元(未示出)。A/D转换单元对通过摄像元件2获得的模拟图像信号进行模数转换，并且输出转换后的信号作为图像数据。

摄影镜头单元1A由包括变焦透镜、调焦透镜和光圈的光学系统构成。当安装于照相机壳体1B时，摄影镜头单元1A将来自被摄体的光引导至摄像元件2，并且在摄像元件2的像平面上形成被摄体图像。光圈控制单元118、焦点调整单元119和变焦控制单元120各自经由安装触点117接收来自CPU 3的指令信号，并且根据指令信号驱动和控制光圈、调焦透镜和变焦透镜。

照相机壳体1B中的CPU 3从存储器单元4的ROM读取针对照相机壳体1B的块的控制程序，将控制程序加载到存储器单元4的RAM中，并且执行控制程序。由此，CPU 3控制照相机壳体1B的块的动作。CPU 3与例如视线检测单元201、测光单元202、自动焦点检测单元203、信号输入单元204、显示设备驱动单元210和光源驱动单元205连接。CPU 3经由安装触点117将信号传送给布置在摄影镜头单元1A中的光圈控制单元118、焦点调整单元119和变焦控制单元120。在本实施方式中，存储器单元4具有存储从摄像元件2和视线检测传感器30接收到的摄像信号的功能。

当视线检测传感器30上形成眼球的图像时，视线检测单元201对由视线检测传感器30产生的输出(眼睛的眼图像)进行模数转换。转换结果发送给CPU 3。CPU 3根据将稍后描述的预定算法从眼图像提取视线检测所需的特征点，并且从特征点的位置计算用户的视线(视觉感知用图像中的视线点)。

测光单元202对从还用作测光传感器的摄像元件2获得的信号进行诸如放大、对数压缩和A/D转换等的处理。该信号是与被摄体视野的亮度对应的亮度信号。处理的结果作为视野亮度信息发送给CPU 3。

自动焦点检测单元203对从设置在摄像元件2(诸如CCD)中的用于检测相位差的多个检测元件(多个像素)接收到的信号电压进行模数转换。转换后的电压发送给CPU 3。基于从检测元件接收到的信号，CPU 3计算距与焦点检测点对应的被摄体的距离。这是作为像平面相位检测AF而被知晓的传统技术。例如，假设在本实施方式中，取景器中的视野图像(视觉感知用图像)被分割，并且在像平面上的180个不同位置中的每个位置处均存在焦点检测点。

光源驱动单元205基于来自CPU 3的信号(指令)，驱动将稍后描述的红外LED 18、19、22～27。

图像处理单元206对存储在RAM中的图像数据进行各种图像处理。图像处理单元206进行诸如由光学系统或摄像元件导致的像素缺陷的校正、去马赛克、白平衡校正、颜色插值和伽马处理等用于对数字图像数据显影、显示和记录的各种图像处理。

信号输入单元204与开关SW1和开关SW2连接。开关SW1是用于开始照相机1的诸如测光、测距和视线检测等的操作的开关，并且通过释放按钮34的第一行程而接通。开关SW2是用于开始摄像操作的开关，并且通过释放按钮34的第二个行程而接通。来自开关SW1和SW2的接通(ON)信号输入给信号输入单元204并传送给CPU 3。信号输入单元204还接收来自图1B所示的操作构件41(触摸面板)、操作构件42(操作杆)和操作构件43(四向键)的操作输入。

记录/输出单元207将包括图像数据的数据记录在诸如可移除存储卡等的记录介质上，并且经由外部接口将数据输出给外部设备。

显示设备驱动单元210基于来自CPU 3的信号，驱动显示设备209。显示设备209包括将稍后描述的显示面板5和6。

图3是照相机1的沿着由图1A所示的Y轴和Z轴形成的YZ平面截取的照相机1的截面图。该图概念性地例示照相机1的配置。

快门32和摄像元件2在摄影镜头单元1A的光轴方向上并排布置。

照相机壳体1B的背面侧包括显示面板5，其显示用于操作照相机1以及观看和编辑通过照相机1获得的图像的菜单和图像。显示面板5可以是例如背光液晶面板或有机EL面板。

设置在照相机壳体1B中的EVF具有像显示面板5那样显示菜单和图像的常规EVF的功能。另外，EVF能够检测正在观察EVF的用户的视线，从而使照相机1的控制能够反映出检测结果。

当用户观察取景器时，显示面板6进行与显示面板5类似的显示(菜单显示和图像显示，用于操作照相机1以及观看/编辑通过照相机1获得的图像)。显示面板6可以是例如背光液晶面板或有机EL面板。与利用常规照相机拍摄的图像一样，显示面板6具有X轴方向(水平方向)比Y轴方向(竖直方向)长且比为例如3:2、4:3或16:9的矩形。

面板保持件7保持显示面板6。显示面板6和面板保持件7彼此粘结并形成显示面板单元8。

第一光路分割棱镜9和第二光路分割棱镜10彼此贴附并粘结，以形成光路分割棱镜单元11(光路分割构件)。光路分割棱镜单元11将来自显示面板6的光引导到设置在观看口12中的目镜窗17，并且在相反方向上将来自目镜窗17的光引导到视线检测传感器30。来自目镜窗17的光包括在眼睛(瞳孔)反射的光。

显示面板单元8和光路分割棱镜单元11隔着掩模33固定并形成为一体。

目镜光学系统16包括G1透镜13、G2透镜14和G3透镜15。

目镜窗17是透过可见光的透明构件。通过光路分割棱镜单元11、目镜光学系统16和目镜窗17观察显示在显示面板单元8上的图像。

照明窗20和21是用于隐藏红外LED 18、19、22～27，使得从外部看不到它们的窗。照明窗20和21由吸收可见光而透过红外光的树脂制成。

图4A是示出照相机1的EVF部分的配置的立体图。图4B是EVF部分的光轴的截面图。

红外LED 18、19、22～27是发出红外光的光源。红外LED 18、19、23和25是用于近距离照明的红外LED。红外LED 22、24、26和27是用于远距离照明的红外LED。还可以使用除红外LED以外的光源。

包括光圈28和视线成像透镜29的视线检测光学系统将通过光路分割棱镜单元11从目镜窗17引导的红外反射光引导到视线检测传感器30。视线检测传感器30是诸如CCD或CMOS等的固态图像传感器。

例如，来自红外LED 18、19、22～27中的至少一个红外LED的光照射正在观察取景器的用户的眼球。在这种情况下，如图4B中的光路31a所示，被光照明的眼球的光学图像(眼球图像)穿过目镜窗17、G3透镜15、G2透镜14和G1透镜13，并且从第二光路分割棱镜10的第二表面10a进入第二光路分割棱镜10。

第二光路分割棱镜的第一表面10b形成有反射红外光的二向色膜。如反射光路31b所示，进入第二光路分割棱镜10的眼球图像在第一表面10b朝向第二表面10a反射。

然后，如成像光路31c所示，被反射的眼球图像在第二表面10a全反射、通过第二光路分割棱镜10的第三表面10c离开第二光路分割棱镜10、穿过光圈28并经由视线成像透镜29形成在视线检测传感器30上。除该眼球图像以外，视线检测还使用角膜反射图像，其是通过使来自红外LED的光在角膜上镜面反射而形成的。

图5示出从用于近距离照明的红外LED 18、19、23和25发出的光在眼球的角膜37镜面反射、并被视线检测传感器30接收所经由的光路的示例。

<视线检测操作的描述>

现在参照图6、图7A、图7B和图8，描述用于检测视线的方法。以下示例使用红外LED26和27，但是当使用其它红外LED 18、19、22～25时，可以使用相同的方法。图6是用于视线检测的光学系统的示意图，示出视线检测方法的原理。如图6所示，红外LED 26和27向用户的眼球140照射红外光。从红外LED 26和27发出且在眼球140反射的红外光中的一部分红外光经由视线成像透镜29在视线检测传感器30附近形成图像。在图6中，红外LED 26和27、视线成像透镜29以及视线检测传感器30的位置被调整成有利于理解视线检测的原理。

图7A是通过视线检测传感器30拍摄的眼图像(投影到视线检测传感器30的眼球图像)的示意图。图7B是示出视线检测传感器30(诸如CCD)的输出强度的图。图8示出视线检测操作的示意性流程图。

当视线检测操作开始时，在图8的步骤S801，红外LED 26和27响应于来自光源驱动单元205的指令，以用于视线检测的发光强度E2朝向用户的眼球140发出红外光。

在步骤S802，CPU 3开始通过视线检测传感器30获得眼图像。被红外光照明的用户眼睛的瞳孔图像和角膜反射图像经由视线成像透镜29(光接收透镜)形成在视线检测传感器30附近，并且被视线检测传感器30光电转换。如此获得眼图像的可处理电信号。以一定的间隔连续地获得眼图像。

在步骤S803，视线检测单元201(视线检测电路)将从视线检测传感器30获得的眼图像(眼图像信号；眼图像的电信号)发送给CPU 3。

在步骤S804，CPU 3从步骤S802中获得的眼图像获得与瞳孔中心c对应的点的坐标。

在步骤S805，CPU 3获得与红外LED 26和27的角膜反射图像Pd和Pe对应的两个点的坐标。

从红外LED 26和27发出的红外光照明用户的眼球140的角膜142。这时，由在角膜142的表面反射的红外光中的一部分红外光形成的角膜反射图像Pd和Pe由视线成像透镜29收集，并且在视线检测传感器30上在眼图像中形成角膜反射图像Pd'和Pe'。类似地，来自瞳孔141的边缘点a和b的光也在视线检测传感器30上在眼图像中形成瞳孔边缘图像a'和b'。

图7B示出图7A的眼图像中的区域α'的亮度信息(亮度分布)。在图7B中，眼图像的水平方向为X轴方向，竖直方向为Y轴方向，并且示出在X轴方向上的亮度分布。在本实施方式中，角膜反射图像Pd'和Pe'的X坐标(X轴方向(水平方向)上的坐标)为Xd和Xe，瞳孔边缘图像a'和b'的X坐标为Xa和Xb。如图7B所示，在角膜反射图像Pd'和Pe'的X坐标Xd和Xe处获得了极高水平的亮度。在从X坐标Xa到X坐标Xb的与瞳孔141的区域(由来自瞳孔141的光在视线检测传感器30上形成的瞳孔图像的区域)对应的区域中，除X坐标Xd和Xe以外，亮度水平均极低。在位于瞳孔141外的虹膜143的区域(由来自虹膜143的光形成的位于瞳孔图像外的虹膜图像的区域)中，获得了位于以上两种类型的亮度之间的亮度。具体地，在X坐标小于X坐标Xa的区域和X坐标大于X坐标Xb的区域中，获得了位于以上两种类型的亮度之间的亮度。

从如图7B所示的亮度分布，能够获得角膜反射图像Pd′和Pe′的X坐标Xd和Xe以及瞳孔边缘图像a′和b′的X坐标Xa和Xb。具体地，获得了具有极高亮度的坐标作为角膜反射图像Pd′和Pe′的坐标，获得了具有极低亮度的坐标作为瞳孔边缘图像a′和b′的坐标。此外，当眼球140的光轴相对于视线成像透镜29的光轴的转动角θx小时，用Xc≈(Xa+Xb)/2表达由来自瞳孔中心c的光在视线检测传感器30上形成的图像瞳孔中心图像c'(瞳孔图像的中心)的X坐标Xc。即，能够根据瞳孔边缘图像a'和b'的X坐标Xa和Xb，计算出瞳孔中心图像c'的X坐标Xc。如此估计出角膜反射图像Pd′和Pe′的X坐标以及瞳孔中心图像c′的X坐标。

CPU 3还以相同的方式计算Y坐标(Y轴方向(竖直方向)上的坐标)，从而获得瞳孔中心图像c'的坐标(Xc，Yc)、角膜反射图像Pd'的坐标(Xd，Yd)和角膜反射图像Pe'的坐标(Xe，Ye)。

在步骤S806，CPU 3计算眼球图像的成像倍率β。成像倍率β是利用眼球140相对于视线成像透镜29的位置所确定的倍率，并且能够通过使用角膜反射图像Pd'和Pe'之间的间隔(Xd-Xe)的函数来获得。

在步骤S807，CPU 3计算眼球140的光轴相对于视线成像透镜29的光轴的转动角。角膜反射图像Pd和Pe之间的中点的X坐标基本上等于角膜142的曲率中心O的X坐标。如此，当从角膜142的曲率中心O到瞳孔141的中心c的标准距离为Oc时，通过以下表达式1获得眼球140在ZX平面(垂直于Y轴的平面)中的转动角θx。另外，还能够通过与针对转动角θx相同的方法计算眼球140在ZY平面(垂直于X轴的平面)中的转动角θy。

β×Oc×SINθx≈{(Xd+Xe)/2}–Xc…(表达式1)

在步骤S808，CPU 3使用在步骤S807计算出的转动角θx和θy，获得(估计)显示在显示面板6上的视觉感知用图像中的用户的视线点(视点；眼睛聚焦的位置，用户正在看着的位置)。假设视线点的坐标(Hx，Hy)是与瞳孔中心c对应的坐标，能够通过如下表达式4和5(或表达式4'和5')计算出视线点的坐标(Hx，Hy)。

在步骤S809，CPU 3将视线点的坐标(Hx，Hy)存储在存储器单元4中，并且结束视线检测操作。

当眼睛远离预定位置(在本实施方式中为目镜光学系统16的光轴)时，或者当眼图像中的角膜反射图像的数量与预定数量(照射光的红外LED的数量)不同时，视线检测精度会降低。

现在描述角膜反射图像的数量小于预定数量的示例。在从红外LED 26和27发出且在角膜142的表面反射的红外光在视线检测传感器30上形成图像之前，用户的眼睑或眼睫毛可能会遮挡该光。在这种情况下，因为未形成与被遮挡的红外光对应的角膜反射图像，所以角膜反射图像的数量将少于两个。当角膜反射图像的数量不超过一个时，无法计算成像倍率β，从而降低了视线检测精度。如果用户睁大眼睑，使得眼睑或眼睫毛不遮挡红外光，则能够避免视线检测精度的这种降低。

现在描述角膜反射图像的数量大于预定数量的示例。当用户戴着眼镜时，根据眼镜的位置和朝向，红外光会在眼镜镜片的入射面(前表面)或出射面(后表面)反射。这可能会在眼图像中产生伪像。如果将伪像错误地检测为角膜反射图像，则角膜反射图像的数量(检测数量)将大于两个。结果，将基于伪像的坐标检测到错误的视线(视线检测精度降低)。如果用户调整眼镜的位置和朝向，使得在将伪像错误地检测为角膜反射图像的区域中不出现伪像，则能够避免该视线检测精度的降低。

如上所述，视线检测的精度会因各种因素降低，并且存在用以避免该视线检测精度的降低的各种方法(调整在视觉上感知显示面板6的观看状态的方法)。为此，本实施方式有利地通知调整观看状态的方法。能够以诸如通过显示、音频或显示和音频的组合等的各种方式给出通知，并且本实施方式是通过在显示面板6上的显示给出通知的示例。

<校准操作的描述>

参照图9以及图10A至图10J，描述校准操作和通知操作。图9示出校准操作的示意性流程图，图10A至图10J示出显示图像和眼图像的示例。视线在不同的个人之间会有所不同，需要考虑这种个人差异以精确地检测视线。因此，需要进行校准操作以考虑个人差异。校准操作是用于基于用户的视线的个人特征获得校正值的操作。在图8的视线检测操作之前，进行校准操作。通知操作是通知调整观看状态的方法的操作。在本实施方式中，在校准操作期间进行通知操作，以期望用户在图8的视线检测操作之前习惯于如何使用照相机1(如何看着显示面板6；如何观察取景器)。尽管如此，可以在图8的视线检测操作期间进行通知操作。

当校准操作开始时，在图9的步骤S901，CPU 3在显示面板6上显示用于校准的目标或指令。例如，如图10A所示，显示待用户观看(注视)的目标1002以及通知用户应当看着目标1002和理想观看状态(观看方法)的指令1003。显示区域1001是显示面板6的显示区域(显示表面上的区域)。

步骤S902至步骤S905与图8中的步骤S801至步骤S804相同。在步骤S905，当在眼图像中不存在具有极低亮度的坐标时，CPU 3判断为检测(计算)出瞳孔中心图像c′(瞳孔图像的中心)的坐标(Xc，Yc)是不可能的。

在步骤S906，CPU 3判断是否在眼图像中拍摄到瞳孔图像，具体地，判断是否能够检测到瞳孔中心图像c'的坐标(Xc，Yc)。如果判断为拍摄到了瞳孔图像(能够检测到坐标(Xc，Yc))，则处理前进到步骤S908。否则，处理前进到步骤S907。

在步骤S907，CPU 3更新显示面板6上的显示，以通知眼睛应当向预定位置移动。例如，如图10B所示，显示如下指令1004：通知眼睛应当向显示面板6的中心轴线(垂直于显示表面的中心轴线)平移，或者向目镜光学系统16的光轴、即取景器的中央平移。在这种情形下，如图10C所示，例如因为瞳孔图像位于视线检测传感器30的视野区域1005(摄像区域)外，所以在眼图像中未示出瞳孔图像。在这种情况下，由于难以确定瞳孔图像的位置，所以CPU 3仅通知眼睛的目标位置，而不通知眼睛的移动方向。

在步骤S908，CPU 3判断是否在眼图像中的预定区域内拍摄到瞳孔图像，具体地，判断是否在预定区域内检测到瞳孔中心图像c'的坐标(Xc，Yc)。如果判断为在预定区域内拍摄到了瞳孔图像(在预定区域内检测到了坐标(Xc，Yc))，则处理前进到步骤S910。否则，或者如果判断为在预定区域内未拍摄到瞳孔图像(在预定区域内未检测到坐标(Xc，Yc)；在预定区域外拍摄到了瞳孔图像；在预定区域外检测到了坐标(Xc，Yc))，则处理前进到步骤S909。

在本实施方式中，如图10D所示，以X坐标的阈值Xc1和Xc2以及Y坐标的阈值Yc1和Yc2作为边界，将视线检测传感器30的视野区域1005分割(划分)成九个区域A1至A9。在步骤S908，CPU 3判断是否Xc1≤Xc≤Xc2且Yc1≤Yc≤Yc2。然后，如果Xc1≤Xc≤Xc2且Yc1≤Yc≤Yc2，即如果在中央区域A5中检测到坐标(Xc，Yc)，则处理前进到步骤S910。如果不满足Xc1≤Xc≤Xc2且Yc1≤Yc≤Yc2，即如果在除区域A5以外的区域A1至A4和A6至A9中的一个区域内检测到坐标(Xc，Yc)，则处理前进到步骤S909。

即使当用户维持脸部的位置和朝向(姿势)不变，使得眼睛位于取景器的中央时，用户的眼球的转动也将使瞳孔图像移动并使坐标(Xc，Yc)改变。由于如此改变后的坐标(Xc，Yc)仍然与适当的观看状态对应，所以不期望提示用户平移眼睛。为此，优选确定阈值Xc1、Xc2、Yc1和Yc2，使得将包括改变后的坐标(Xc，Yc)的区域设定为区域A5。

在步骤S909，如在步骤S907那样，CPU 3更新显示面板6上的显示，以通知眼睛应当向预定位置移动。在这里，CPU 3能够基于瞳孔中心图像c'的坐标(Xc，Yc)，判断出从瞳孔图像朝向预定区域的方向。具体地，CPU 3判断出从区域A1至A4和A6至A9中的检测到坐标(Xc，Yc)的区域朝向区域A5的方向。CPU 3还能够判断出眼睛向预定位置(取景器的中央)的与所判断的方向对应的移动方向。因而，CPU 3更新显示面板6上的显示，使得还指示所判断的移动方向。例如，如图10E所示，显示通知眼睛应当沿所判断出的移动方向平移的指令1006和指示所判断的移动方向的箭头1007。在图10D的状态下，即当在区域A7中检测到坐标(Xc，Yc)时，如图10E所示，显示用于使眼睛向右上方移动的指令1006和箭头1007。

步骤S910与图8的步骤S805相同。在步骤S910，CPU 3还对眼图像中的角膜反射图像的数量(检测数量)进行计数。

在步骤S911，CPU 3将眼图像中的角膜反射图像的数量(检测数量)与预定数量进行比较。预定数量是发光的红外LED的数量(红外光的照射光线的数量)。当仅红外LED 26和27发光时，预定数量为2。如果判断为检测数量等于照射的光线的数量，则处理前进到步骤S916。如果判断为检测数量大于照射的光线的数量，则处理前进到步骤S912。如果判断为检测数量小于照射的光线的数量，则处理前进到步骤S915。

在步骤S912，CPU 3更新显示面板6上的显示，以通知应当移动眼镜来识别伪像(伪角膜反射图像)。

在这里，角膜反射图像的检测数量大于预定数量(红外光的照射光线的数量)。图10F示出角膜反射图像的检测数量大于红外光的照射光线的数量的眼图像的示例。在图10F中，图像1008a和1009a是由从红外LED 26和27发出且仅在眼睛的角膜表面反射而不在用户的眼镜镜片反射的红外光，在视线检测传感器30上形成的角膜反射图像。因此，图像1008a和1009a对于视线检测是必要的。图像1008b和1009b是由从红外LED 26和27发出且在用户的眼镜镜片上反射的红外光，在视线检测传感器30上形成的伪像。因此，图像1008b和1009b对于视线检测是非必要的。在尺寸和亮度方面与角膜反射图像1008a和1009a相似的伪像1008b和1009b有可能会被错误地检测为角膜反射图像。当发生这种错误检测时，即使详细地解析单个眼图像，也不能容易地在被检测为角膜反射图像的图像1008a、1009a、1008b和1009b中识别(分辨)出伪像。

为此，在步骤S912，如图10G所示，CPU 3显示如下指令1010：通知仅应当移动眼镜，而不用移动眼睛(仅眼镜的位置和朝向应当改变)。

在步骤S913，CPU 3基于多个眼图像，识别(分辨)检测到的角膜反射图像中的伪像。图10H示出在用户响应于图10G的指令1010仅移动眼镜后获得的眼图像的示例。如图10H所示，当仅移动眼镜时，非伪像的角膜反射图像的移动距离小，并且伪像的移动距离大。由此通过从多个眼图像中检测出所检测到的角膜反射图像的移动而识别出伪像。

具体地，CPU 3使用作为已知的图像解析技术的特性追踪，来判断关于移动眼镜前获得的眼图像与移动眼镜后获得的眼图像之间的关于图像(被检测为角膜反射图像的图像)的对应关系。在这里，假设移动眼镜前获得的眼图像是图10F的眼图像，移动眼镜后获得的眼图像是图10H的眼图像。在这种情况下，判断为图10H的图像1008a'与图10F的图像1008a对应，图像1009a'与图像1009a对应，图像1008b'与图像1008b对应，图像1009b'与图像1009b对应。

基于眼镜移动前后的图像的坐标，CPU 3计算出由眼镜移动导致的每个图像的移动量(移动距离)。

然后，CPU 3将移动距离不大于预定距离的图像1008a'和1009a'识别为角膜反射图像，将移动距离大于预定距离的图像1008b'和1009b'识别为伪像。

在步骤S914，CPU 3更新显示面板6上的显示，以通知应当移动眼镜来去除伪像。例如，如图10I所示，显示分别与所识别的伪像1008b'和1009b'对应的项目1008b"和1009b"，以及与眼图像的区域对应的区域的项目1005"。项目1008b"和1009b"相对于项目1005"的区域的位置与伪像1008b'和1009b'相对于图10H中的视野区域1005的位置对应。当伪像1008b'和1009b'移动时，项目1008b"和1009b"也移动。于是，当移动眼镜，使得项目1008b"和1009b"移出项目1005"的区域时，伪像1008b'和1009b'消失，进而项目1008b"和1009b"消失。为此，如图10I所示，还显示如下指令1011：通知应当移动眼镜，以将项目1008b"和1009b"移出项目1005"的区域。

在步骤S915，CPU 3更新显示面板6上的显示，以通知应当使眼睑的睁开变宽。例如，如图10J所示，显示指令1012和图形1013，以通知应当使眼睑的睁开变宽。通常，闭上一只眼睛的眼睑会减小另一只眼睛的眼睑的睁开。因此，当闭上没在观察取景器的眼睛的眼睑时，正在观察取景器的眼睛的眼睑的睁开趋于变小。为此，如图10J所示，显示指令1012，以通知应当使双眼的眼睑睁开得较宽(应该睁开双眼的眼睑)。另外，显示图形1014用于这种通知。

步骤S916和S917与图8的步骤S806和S807相同。

在步骤S918，CPU 3使用在步骤S917计算出的转动角θx和θy，获得(估计)显示在显示面板6上的视觉感知用图像中的用户的视线点。该步骤获得不反映校准操作的结果(校正值)的视线点，即不反映用户的视线的个人特征的视线点。能够通过如下表达式2和3计算该视线点的坐标(H'x，H'y)。

H'x＝m×θx…(表达式2)

H'y＝m×θy…(表达式3)

表达式2和3中的参数m是由照相机1的取景器光学系统(例如，视线成像透镜29)的配置决定的常数。参数m是将转动角θx和θy转换成与视觉感知用图像中的瞳孔中心c对应的坐标的转换系数。参数m预先确定并存储在存储器单元4中。

在步骤S919，CPU 3获得校正值Bx，By并使用在步骤S918计算出的坐标(H'x，H'y)。

用如下表达式4和5表达反映校准操作的结果(校正值Bx，By)的视线点、即反映用户的视线的个人特征的视线点的坐标(Hx，Hy))。

Hx＝m×(θx+Bx)…(表达式4)

Hy＝m×(θy+By)…(表达式5)

在这里，用户应当注视例如图10A所示的目标1002，并且目标1002显示在显示区域1001的中央。因此，正确视线点的坐标(Hx，Hy)是(0，0)。因而，能够基于坐标(Hx，Hy)＝(0，0)和表达式2至5，获得等于-H'x/m的校正值Bx和等于-H'y/m的校正值By。

在步骤S920，CPU 3将在步骤S918获得的校正值Bx和By存储在存储器单元4中，并结束校准操作。

在前述示例中，使用显示在显示区域1001的中央的目标1002作为在校准操作中待用户观看的目标。然而，待用户观看的目标的位置不限于显示区域1001的中央。例如，待用户观看的目标可以显示在从显示区域1001的中央在上方、下方、左方和右方中的任意方向偏离的位置。

可以依次或一起显示待用户观看的多个目标，使得用户能够依次看着多个位置。在这种情况下，例如，可以用如下表达式4'和5'代替在步骤S808和S919使用(考虑)的表达式4和5。

Hx＝m×(Ax×θx+Bx)…(表达式4')

Hy＝m×(Ay×θy+By)…(表达式5')

在这种情况下，在步骤S918，CPU 3针对待用户观看的多个目标中的每个目标，计算视线点的坐标(H'x，H'y)。在步骤S919，CPU 3针对每个目标，计算校正值Ax、Ay、Bx和By，使得视线点的坐标(Hx，Hy)的误差(坐标(Hx，Hy)与正确坐标之间的差)最小化。在步骤S920，CPU 3将校正值Ax、Ay、Bx和By存储在存储器单元4中。上述校准操作允许视线检测具有较高的精度。

如上所述，本实施方式基于眼图像中的瞳孔图像的位置和眼图像中的角膜反射图像的数量(检测数量)当中的至少一者，给出调整在视觉上感知显示单元的观看状态的方法的通知。结果，用户能够容易地调整眼睛的位置(脸部的位置和朝向)、眼镜的位置、眼镜的朝向等，因而能够以高的精度进行视线检测。

(变型例)

在上述实施方式中，已经举例说明了正在看着正面的用户的视线与用于检测视线的光学系统的光轴彼此一致的配置，但是本发明不限于此。例如，作为视线检测方式，可以采用所谓的轴外视线检测方法(方式)，其中正在看着正面的用户的视线与同视线检测相关的眼球图像的摄像轴线不同。即，可以采用在不通过另一光学系统的情况下由视线检测单元直接检测用户的眼球的方法。在这种情况下，配置可以是这样的：在不通过上述目镜光学系统16的情况下，拍摄用户的眼球图像的视线检测传感器配置在目镜光学系统16的光轴外，并且从相对于该光轴的倾斜方向拍摄正在观看上述显示面板6的用户的眼球。

在下文中，将描述在不采用光路分割棱镜单元11的情况下，使用直接检测用户的视线的方法的变型例。由于作为根据本变型例的摄像装置的照相机1的基本配置和基本驱动方法与上述实施方式中的基本相同，所以各个单元的附图标记相同，并且将省略其描述。在本变型例中，稍后将详细描述与上述实施方式不同的配置。

图11是根据本变型例的照相机1的截面图的示例。在图11中，在显示面板单元8上配置有盖玻璃(cover glass)1101。即，本变型例与上述实施方式的区别在于，从照相机1的内部除去光路分割棱镜单元11(光路分割构件)，并且新设置盖玻璃1101。盖玻璃1101是透明的玻璃构件，并且与上述实施方式中的光路分割棱镜11相比，能够减小盖玻璃1101在EVF部分的光轴方向上的厚度。因此，在根据本变型例的照相机1中，通过使目镜光学系统16靠近显示面板单元8，能够增大目镜光学系统16的显示倍率，从而能够改善光学性能。

此外，如图11所示，由视线成像透镜1102a和视线检测传感器1102b形成的视线检测模块1102与红外LED 18并行布置。视线检测模块1102相对于目镜光学系统16的光轴(即，EVF部分的光轴)以预定角度θ布置，并且能够通过照明窗20直接拍摄摄影者的眼球。在本变型例中，假设由视线成像透镜1102a的光轴和目镜光学系统16的光轴形成的角度是预定角度θ。

在这里，由于本变型例中的视线检测模块1102在不通过目镜光学系统16的情况下拍摄被摄体的眼球，所以投影在视线检测传感器1102b上的眼球图像的尺寸和位置根据视线检测模块1102与摄影者的眼球之间的距离而改变。

此外，如本变型例中那样，在视线检测模块1102位于摄影者的眼球的下侧的情况下，在形成于视线检测传感器1102b上的眼球图像的倍率根据距摄影者的眼球的距离而改变的同时，眼球图像沿上下方向移动。照相机1的布置有EVF部分的一侧是上侧。因此，与上述实施方式相比，本变型例中的视线检测传感器1102b的摄像区域1201(图12A和图12B)在上下方向上扩大。如果将视线检测模块1102布置在摄影者的眼球的左侧或右侧，则由于眼球图像根据距摄影者的眼球的距离而沿左右方向移动，所以期望摄像区域在左右方向上扩大。

图12A和图12B是示出根据本变型例的形成在视线检测传感器1102b上的摄影者的眼球图像的图。图12A示出摄影者的眼球靠近视线检测传感器1102b的情况，图12B示出摄影者的眼球远离视线检测传感器1102b的情况。即，如图12A和图12B所示，根据视线检测传感器1102b与摄影者(眼球)之间的距离，眼球图像占检测用眼图像的比以及眼球图像在该眼图像中的位置也被改变。

所以，在本变型例中，如图12A和图12B所示，根据视线检测传感器1102b与摄影者(眼球)之间的距离，视线检测传感器1102b上的检测到眼球的区域改变成区域1202或区域1203。即，在本变型例中，检测到在上述区域内有无眼球图像，并且向用户显示如上述实施方式中那样的各种通知。视线检测传感器1102b与摄影者之间的距离可以如上述实施方式中那样基于通过使用角膜反射图像而计算出的成像倍率β来计算，或者可以基于眼球图像中的虹膜部的尺寸来估计。

上述实施方式(包括变型例)仅是示例，并且本发明还包括通过在本发明的范围内对上述配置适当地修改或改变而获得的配置。本发明还包括通过适当地组合上述配置而获得的配置。例如，在上述实施方式(包括变型例)中，已经描述了视线检测单元设置在设置于摄像装置的EVF部分中的配置，但是本发明不限于此。设置有(组合有)上述视线检测单元的电子设备可以是诸如头戴式显示器等的任何设备。

本公开允许用户容易地调整脸部的位置、脸部的朝向、眼镜的位置、眼镜的朝向等，因而能够以高的精度进行视线检测。

<其它实施方式>

本发明的实施方式还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施方式的功能的软件(程序)提供给系统或设备，该系统或设备的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参照示例性实施方式描述了本发明，但是应当理解，本发明不限于所公开的示例性实施方式。以上权利要求书的范围符合最宽泛的说明，以包含所有这些变型、等同结构和功能。