具体实施方式

以下，按照附图对本发明的实施方式进行说明。

实施方式1

图1是表示本发明实施方式1的空中影像显示装置100的结构的说明图。在图1中，空中影像显示装置100具有影像显示部10、分束器11、逆反射片12、视点位置检测装置14以及显示控制部15。影像显示部10将显示的影像作为光发送到分束器11。分束器11反射来自影像显示部10的光并发送到逆反射片12。逆反射片12反射来自分束器11的光并发送到分束器11。分束器11使来自逆反射片12的光透过。透过逆反射片12的光被观察者19感知为空中影像13。视点位置检测装置14将检测观察者19的视点位置而得到的信息发送到显示控制部15。显示控制部15将根据视点位置检测装置14的信息控制显示于影像显示部10的影像的信号发送到影像显示部10。换言之，空中影像显示装置100具有：影像显示部10，其显示影像；空中成像光学系统，其利用具有多次反射和透射的性质的光学部件，使从影像显示部发出的扩散光在不同的空间上再次成像；视点位置信息取得部，其取得观察通过了空中成像光学系统后的扩散光的观察者的视点位置信息；以及显示控制部15，其输入视点位置信息并输出对影像显示部进行控制的显示影像信息，显示控制部15具有：空中成像范围估计部16，其根据视点位置信息和空中成像光学系统的位置关系，估计观察者在空间上感知影像显示面的空中成像区域；空中影像图像质量估计部17，其根据视点位置信息和空中成像光学系统的位置关系，估计空中成像区域中的影像分辨率；以及空中影像显示处理部18，其根据空中成像区域和图像质量，向影像显示部输出显示影像信息。空中成像光学系统具有分束器11和逆反射片12。视点位置信息取得部是视点位置检测装置14。

影像显示部10是将要显示的影像作为光输出的装置。其可举出例如液晶显示器那样的具有液晶元件和背光源的显示装置、使用有机EL元件或LED元件的自发光器件的显示装置或者使用投影仪和屏幕的投影装置。另外，不仅是上述那样的二维平面光源，也可以使用利用曲面的显示器、立体地配置的显示器、LED等的立体显示显示器、或者利用透镜光学系统或屏障控制的基于观察者的双眼视差或运动视差进行立体感知的显示器。

分束器11是将入射的光分离成透射光和反射光的光学元件。分束器11例如是树脂制的透明板或玻璃板。在树脂制的透明板的情况下，透射光的强度通常比反射光高，因此，也可以是作为附加金属而提高反射强度的半反射镜的光学元件。另外，也可以利用反射特性和透射特性根据液晶元件或薄膜元件对入射光的偏振状态而变化的反射型偏振片。另外，也可以利用通过液晶元件、薄膜元件使透射率与反射率的比例根据入射光的偏振状态而变化的反射型偏振片。

逆反射片12是具有将入射的光直接朝入射的方向反射的逆反射性能的片状的光学元件。实现逆反射的光学元件有呈镜面状地铺满小玻璃珠而成的珠(bead)型的光学元件、铺满各面由镜面构成的凸形的微小三棱锥或设中心部为中空的三棱锥而成的微棱镜型的光学元件等。

在本实施方式中，通过具有影像显示部10、分束器11以及逆反射片12的光学系统对空中影像13进行成像。从影像显示部10入射到分束器11的光被分离成反射光和透射光。其中，反射光入射到逆反射片12而进行逆反射，再次入射到分束器11，并再次被分离成反射光和透射光。再次入射到分束器11的光中的透射光到达位于该透射光前面的观察者19的眼睛。从影像显示部10输出的光是向周围扩散的光即扩散光，通过沿着上述光路行进，扩散光会聚在关于分束器11面对称的位置。会聚后的光从再次会聚的地点再次扩散而到达观察者19的眼睛。因此，观察者19感知到在空中影像13的位置处投影有影像。

另外，只要是观察者19感知到在空中影像13的位置处投影有影像的结构，则不限于上述说明的构造。例如，也可以将分束器11、逆反射片12设为如下构造：使垂直的2个面的镜面重合而在平面上形成阵列状的配置，各个要素为二面角反射器阵列。相对于该构造的一个镜面方向入射的光被另一个镜面反射，并且光相对于该元件构造到达对象位置。在同样扩散的光源中进行同样反射的光与图1同样地再次会聚，从而能够感知空中影像。

视点位置检测装置14检测观察者19的视点位置。视点位置检测装置14例如是摄像机等摄像器件。视点位置检测装置14例如通过复眼摄像机取得观察者19的三维位置信息来检测视点位置。另外，视点位置检测装置14即使在是例如单眼摄像机的情况下，也通过基于光流的三维位置估计、基于面部特征点的眼睛位置估计来检测视点位置。另外，视点位置检测装置14除了使用摄像机摄像元件的情况以外，还有如下等方法：利用使用红外光的三维距离传感器等，检测观察者19站立的位置与空中影像显示装置100的相对位置，类推眼睛的位置。另外，也可以由观察者19事先输入观察者19的身体信息，由此，视点位置检测装置14通过类推观察空中影像显示装置100的位置来检测视点位置。身体信息例如是身高，另外例如是有无使用轮椅，另外例如是坐高信息。在根据身高来类推眼睛的位置、或轮椅使用为“有”且输入坐高信息的情况下，根据将正常轮椅的坐下高度和坐高相加而得到的高度，计算视点距地面的高度来类推眼睛的位置。

图2是表示显示控制部15的结构的框图。显示控制部15具有空中成像范围估计部16、空中影像图像质量估计部17以及空中影像显示处理部18。显示控制部15被输入视点位置信息20，输出输出影像信息25。空中成像范围估计部16被输入视点位置信息20、光学系统规格信息21a和光学系统配置信息21b，将空中成像范围信息22输出到空中影像图像质量估计部17。光学系统规格信息21a例如是指分束器11和逆反射片12各自的部件构造规格。光学系统配置信息21b是指空中成像光学系统的位置关系的信息。空中成像光学系统的位置关系例如是分束器11与逆反射片12的位置关系。空中影像图像质量估计部17被输入视点位置信息20、光学系统规格信息21a、光学系统配置信息21b和空中成像范围信息22，将空中影像图像质量估计信息23输出到空中影像显示处理部18。空中影像显示处理部18被输入空中影像图像质量估计信息23和显示影像信息24，输出输出影像信息25作为显示控制部15的输出。以下对各块中的处理内容进行说明。

空中成像范围估计部16根据从视点位置检测装置14得到的视点位置信息20、光学系统规格信息21a和光学系统配置信息21b，估计观察者19能够感知的空中影像的成像范围。空中影像的成像范围用二维平面的位置信息来表示影像显示部10的显示面中的、观察者能够感知的影像显示的范围。如上所述，光学系统规格信息21a是各部件的部件构造规格。另外，各部件的部件构造规格例如是影像显示部10中的亮度、分辨率、视野角信息、分束器11中的板厚、透射率、反射率或逆反射片12中的逆反射精度。光学系统配置信息21b保持3D-CAD数据那样的配置各构成部件的三维位置信息。例如，在利用逆反射的空中成像构造中，当观察者19看着空中影像13的方向时，在分束器11存在于视线上并且逆反射片12存在于从分束器11透过的线上或由分束器11反射的线上的情况下，能够感知空中影像13。即，通过根据视点位置信息20、光学系统规格信息21a和光学系统配置信息21b进行三维光路跟踪，空中成像范围估计部16能够估计影像显示部10的显示面中的能感知为空中影像的范围。

在上述的二面角反射器阵列构造中也能够估计空中成像范围。在二面角反射器阵列构造的情况下，入射的光路在各个镜面上各反射1次，从而使光路成像。因此，根据构造、光源的入射角度的相关性，能够估计出在进行1次以下或3次以上的反射的情况下未被观察者19感知为空中影像。

空中影像图像质量估计部17根据视点位置信息20、光学系统规格信息21a和光学系统配置信息21b，在从空中成像范围信息22得到的能感知为空中影像的范围中，估计各投影位置处的图像质量。利用逆反射的空中影像成像构造的图像质量因构成的光学部件及观察者位置而变动。作为主要被影响的图像质量要素，可举出明亮度、清晰度、色度。在本实施方式中，将上述图像质量要素的参数映射到根据空中成像范围估计结果得到的空中影像显示范围内的各像素。以下对各图像质量要素进行详细说明。

关于作为图像质量要素的明亮度，例如能够将空中影像13的亮度相对于影像显示部10具有的亮度值的比率定义成图像质量的变化程度。将从观察者的位置看到的空中影像的估计出的亮度值[cd/m2]作为映射数据。“映射数据”是表示在显示空中影像的位置处的明亮度的估计值与在该位置处控制表现方法的参数的对应关系的数据。作为亮度变化的主要原因，例如可举出分束器11的构造。分束器11从其成像光路起各进行1次反射和透射，因此，衰减率由于其部件构造中的透射率与反射率的乘积而降低。另外，关于形成空中成像的光路，光路长度被分束器11与逆反射片12之间的距离较大程度地左右，因此，在空中影像显示装置100为大型的情况下，在观察者看到的空中影像13的每个像素中，与影像显示部10的光路距离产生差异，有时也产生明亮度的衰减。因此，如以下所述，显示控制部15按照每个输出像素，对输出到影像显示部的影像信息的亮度或色度进行控制。例如，能够通过影像显示部10的显示像素位置x处的亮度L(x)[cd/m2]、分束器11的透射率T、分束器11的反射率R、空间上的光的衰减率α，如式(1)那样求出空中影像13的明亮度A(x)[cd/m2]。另外，分束器11的透射率T是使用从0到1的值表示的值。同样地，分束器11的反射率R是使用从0到1的小数表示的值。另外，空间上的光的衰减率α是使用从0到1的小数表示的值。另外，从显示像素位置x到成像出空中影像的位置的距离越大，则空间上的光的衰减率α越小，从显示像素位置x到成像出空中影像的位置的距离越小，则空间上的光的衰减率α越大。另外，根据逆反射片12的逆反射精度，光相对于入射光扩散，峰值亮度有时降低。在该情况下，能够通过将根据入射角度而变化的逆反射精度引起的峰值亮度的衰减率与显示像素的亮度相乘，计算。

A(x)＝L(x)×T×R×α (1)

在作为图像质量要素的清晰度降低的情况下，对显示影像的清晰感带来影响，观察者识别到模糊的影像。由于清晰度降低会对显示测试图或边缘图像时的频率分析结果造成影响，因此，期望映射数据保存对比度传递函数等进行了对比度灵敏度的频率分析的结果内的将到某信号强度为止作为阈值的最大频率。作为清晰度降低的主要原因，可考虑基于分束器11的构造的情况。在分束器11为具有厚度的板形状的情况下，由于在正面和反面分别形成对空中影像进行成像的成像光路，因此，与各光路的空中影像的明亮度、板的厚度和配置角度对应的在各面成像出的空中影像彼此干涉，清晰度与干涉程度对应地降低。另外，逆反射片12的逆反射精度因元件构造而降低。例如，在珠型的光学元件的情况下，入射到光学元件的光按照折射、反射再折射的顺序进行逆反射，因此，有时由于光的入射位置和从入射的角度起的折射角而从正确的逆反射角偏离或不逆反射。另外，例如，在微棱镜型的光学元件的情况下，作为由于入射到棱镜的光在3个面中的2个面各反射1次而引起的反射的聚集结果，根据光的入射位置和入射的角度，存在反射次数少的部位和多的部位，因此，逆反射的精度产生偏差、衰减。另外，在元件构造小的情况下，存在由衍射引起的光的衰减，逆反射方向偏移。这些分束器11和逆反射片12的影响能够通过各部件构造规格以及配置构造信息和观察者位置这些光路信息来估计。另外，部件构造规格例如是亚克力板、玻璃板、半反射镜或反射型偏振片等与分束器的原材料有关的信息。另外，部件构造规格例如是珠型的光学元件、微棱镜型的光学元件、元件的尺寸等与逆反射片的元件构造有关的信息。另外，部件构造规格例如是液晶显示器、使用有机EL元件或LED元件的自发光器件等显示装置的显示元件。

另外，到达观察者的光路中的、成像出空中影像13的光路以外的光路有时会妨碍空中影像的清晰度。例如，从影像显示部10输出的光在逆反射片上进行镜面反射，由此，有时在逆反射片的背面被感知为镜像。该像与空中影像13发生干涉而成为阻碍清晰感的主要原因。对于该光路，能够通过部件的配置构造来计算成像光路，能够估计对空中影像的图像质量的影响度。

关于作为图像质量要素的色度，可考虑由于光路按照空中影像13的成像光路中的每个波长发生变化而产生色差那样的变化的可能性。例如在构成部件中使用如液晶显示器那样通过偏振材料使分束器等的反射和透射的效率提高的光学部件作为影像显示部10的情况下，根据对偏振赋予变化的相位差材料，产生与入射光的角度对应的颜色偏差。对于这样的光学部件，通过沿着从观察者位置起的光路估计入射角度，能够估计色度变化量或像差半径作为映射数据进行保存。

空中影像显示处理部18根据空中影像13的每个显示位置的空中影像图像质量估计信息23，对应该显示的显示影像信息24进行控制并输出到影像显示部。对应于图像质量，控制内容可列举显示位置、显示尺寸、显示内容和清晰度处理。

图3是表示实施方式1中的显示位置变化例的说明图。图3的(A)表示观察者19相对于空中影像显示装置100位于右侧时即从空中影像显示装置100观察时观察者19站在比分束器11的中央靠左侧的位置的情况下，观察者19观察的空中影像的显示位置13A。图3的(B)表示观察者19相对于空中影像显示装置100位于中央时观察者19观察的空中影像的显示位置13B。图3的(C)表示观察者19相对于空中影像显示装置100位于左侧时即从空中影像显示装置100观察时观察者19站在比分束器11的中央靠右侧的位置的情况下，观察者19观察的空中影像的显示位置13C。以下，对使显示位置变化时的控制例进行说明。图3的(A)中的空中影像可显示范围30A、空中影像图像质量估计结果31A以及空中影像显示位置控制结果32A表示观察者19从面对空中影像显示装置100的方向观察到的影像的范围。空中影像可显示范围30A、空中影像可显示范围30B以及空中影像可显示范围30C中的涂黑的部分是估计为空中影像显示范围的结果的范围。在该范围内，将由空中影像图像质量估计部17估计出的图像质量要素中的清晰度的结果表示为空中影像图像质量估计结果31A、空中影像图像质量估计结果31B以及空中影像图像质量估计结果31C。空中影像图像质量估计结果31A、空中影像图像质量估计结果31B以及空中影像图像质量估计结果31C表示由曲线表示的等级越低(图3的(A)中的箭头的相反方向)，则模糊等影像品质中的不良影响的程度越强。另外，空中影像图像质量估计结果31A、空中影像图像质量估计结果31B以及空中影像图像质量估计结果31C的曲线表示的清晰度的特性由分束器11和逆反射片12的配置构造以及分束器11的元件构造决定。在空中影像显示处理部18的显示位置控制中，将其中相对于图像质量的影响度在某阈值以上的范围设定为显示区域，仅在空中影像显示位置控制结果32A、空中影像显示位置控制结果32B以及空中影像显示位置控制结果32C中的涂黑的范围内显示空中影像，由此，实现对于观察者而言没有图像质量差这样的视觉上的不适感的显示。

图4是表示实施方式1中的显示尺寸变化例的说明图。对显示尺寸以及显示内容中的控制例进行说明。说明针对观察者19的位置变化(例如在大人与小孩这样的具有身高差的观察者时，观察者19的视点位置变化)的显示控制。图4的(A)表示观察者19相对于空中影像显示装置100处于较低位置时的、对观察者19观察的空中影像的图像质量进行估计而得到的空中影像图像质量估计结果31A、内容控制结果33A。图4的(B)表示观察者19相对于空中影像显示装置100处于较高位置时的、对观察者19观察的空中影像的图像质量进行估计而得到的空中影像图像质量估计结果31B、内容控制结果33B。空中影像图像质量估计结果31A和空中影像图像质量估计结果31B表示由曲线表示的等级越接近左侧(图4的(A)、图4的(B)中的箭头的相反方向)，则图像质量越低。如图4的(A)所示，在小孩等低身高的观察者19观察空中影像13的情况下，空中影像图像质量估计结果31A在下侧成为高品质的影像图像质量。由此，例如，为了在内容控制结果33A的下部33A-2显示例如字符等需要分辨率的内容，且吸引小孩的注意，增大字符尺寸，在内容控制结果33A的上部33A-1，将图像效果等单纯的感知显示内容的比例配置成较大的显示比率。与此相对，在图4的(B)那样为大人等较高的观察者位置视点的情况下，控制成在内容控制结果33B的上部33B-1例如减小字符内容，在内容控制结果33B的下部33B-2放入较多的视觉信息那样的布局构造，由此实现适合于观察者的显示控制。如上所述，显示控制部15根据观察者的身高的高度使显示于影像显示部的显示内容变化。

接着，对清晰度处理中的控制例进行说明。关于清晰度处理中的控制内容，着眼于在观察者看到的空中影像范围中影像品质最差的图像质量，进行图像处理以使全部像素成为相同的影像品质，由此实现均匀的影像品质。图像处理可举出如下方法：在明亮度的调整中基于液晶元件的背光源或LED光源的驱动电路控制的减光，使对显示影像自身进行亮度色调变换时的亮度分量减少来进行再变换。另外，关于清晰度，通过与周边像素的滤波处理来降低各亮度的高频分量，由此能够通过进行对模糊那样的低分辨率的处理来应对。

另外，作为基于图像处理的控制例，还可举出与内容对应的边缘增强处理。由于几何形状或字符等显示内容对提取出的边缘区域的增强产生较强的视觉效果，因此，通过根据显示内容控制结果区分是边缘增强还是均匀化的清晰度处理，能够实现最佳的显示控制。

在所述显示控制例中，成为仅将空中影像图像质量估计结果31的清晰度结果作为参数的控制例，但在所述空中影像图像质量估计部中，也能够关于明亮度和色度进行估计，根据控制内容，将多个图像质量要素作为权重参数来使用控制处理。例如，对于构成观察者的感知容易度的要素，明亮度和清晰度是较大的要素，但两者的重要程度根据显示内容而变化。如果是字符内容，则作为可读性，清晰度更重要，权重变高，另一方面，在插图或图标等单调内容或色彩多样且应感知的内容的情况下，由于图像自身的视觉刺激大比较好，因此明亮度的权重变大。另外，在色彩多样的内容的情况下，色度的影响较大，因此色度的权重增大。

图5是表示作为实施方式1的另一例的空中影像显示装置100a的结构的说明图。空中影像显示装置100a是将空中影像显示装置100设为在从影像显示部10观察时的分光器11的背面配置逆反射片12a的结构。在该情况下，从影像显示部10入射到分束器11的光透过并向逆反射片12a入射，之后逆反射的光再次入射到分束器11，进行反射而到达观察者19。上述逆反射片12的配置方法能够与图1的配置结构重复地配置，在该情况下，对于最初入射到分束器的光，透射和反射的分离分量都能够用于成像成空中影像的光路，因此，能够提高空中影像中的光的利用效率。

另外，除了图1或图5的部件结构以外，还有对空中影像进行成像的构造。例如可举出将垂直的2个面的镜面重合而在平面上呈阵列状配置的二面角反射器阵列构造。相对于该构造的一个镜面方向入射的光被另一个镜面反射，并且光相对于该元件构造到达对象位置。在同样扩散的光源中进行同样反射的光与图1或图5同样地再次会聚，从而能够感知空中影像。

这样，在实施方式1的空中影像显示装置100中，在根据视点位置信息20、光学系统规格信息21a和光学系统配置信息21b，估计观察者能够感知的空中影像的成像范围后，估计各投影位置处的图像质量，由此，能够具有不论观察者的视点位置如何，观察者都能够识别应看到的影像信息的分辨率。

实施方式2

图6是表示实施方式2中的空中影像显示装置100b的结构的说明图。空中影像显示装置100b成为在实施方式1的空中影像显示装置100的构成要素的基础上，还对影像显示部10附加位置调整部26的构造。位置调整部26例如是通过步进电机等机械机构使影像显示部10的位置变化的装置。另外，位置调整部26也可以通过能够进行用于位置调整的驱动的透镜机构、电子屏障等控制从影像显示部10发出的光来控制影像显示光的光路的机构，使从观察者看到的显示位置变化。另外，显示控制部15的动作与实施方式1相同。

图7是表示实施方式2中的显示控制例的说明图。另外，图7是提取出图6所示的空中影像显示装置100b中的影像显示部10、分束器11、逆反射片12以及空中影像13的说明图。图7的(A)表示通过位置调整部26使影像显示部10和分束器11接近的例子，图7的(B)表示通过位置调整部26使影像显示部10和分束器11远离的例子。图7通过根据观察者19的位置调整影像显示部10的配置位置，实现观察者19在视觉上最佳的空中影像显示。在进行图7中的显示控制的情况下，在空中成像范围估计部16中，针对根据位置调整部26的调整范围而变化的空中影像13的各成像位置，估计空中成像范围信息22。另外，同样地，空中影像图像质量估计部17也对各个空中成像范围信息22估计空中影像图像质量估计信息。例如，在观察者19移动到远离的位置来观察空中影像13的情况下，位置调整部26使影像显示部10与分束器11远离。另外，在观察者19移动到接近的位置来观察空中影像13的情况下，位置调整部26使影像显示部10与分束器11接近。

关于利用位置调整部26的显示控制，根据观察者的视点位置的三维位置信息进行影像显示部10的配置调整，使得成为最佳的观察距离。另外，根据观察者的视点位置的三维位置信息进行影像显示部10的配置调整，使得成为与空中影像成像范围和视野范围匹配的观察距离。例如在LED显示器等像素的间距大的显示器的情况下，若观察者19的视点位置与空中影像13的距离近，则不容易感知影像内容自身的形状、清晰感，因此，控制成使观察者19的视点位置与空中影像13的距离分离。因此，在作为影像显示部10是像素的间距大的显示器的情况下，位置调整部26使影像显示部10与分束器11远离。另外，在作为影像显示部10是像素的间距小的显示器的情况下，位置调整部26使影像显示部10与分束器11接近。另外，在显示图标等时需要提醒观察者19等在视觉上注意的显示内容的情况下，通过投影到距视点位置近的位置，能够较大程度地吸引视觉注意力。

另外，作为显示控制例，还可举出与观察者19的位置的时间变化对应的控制方法。在观察者19相对于空中影像显示装置100b的距离发生变化时，利用显示位置控制以及显示装置的位置调整的功能来控制空中影像的成像范围，以使其成为与距离变化同样的位置变化，由此，对于观察者19而言能够追踪看到空中影像，能够提高视觉上的识别度。

这样，在实施方式2的空中影像显示装置100b中，在根据视点位置信息20、光学系统规格信息21a和光学系统配置信息21b，估计观察者能够感知的空中影像的成像范围后，估计各投影位置处的图像质量，根据观察者的视点位置的三维位置信息调整影像显示部10的配置，使得成为与空中影像成像范围和视野范围匹配的观察距离，由此，观察者19能够容易地识别空中影像。

如以上那样对本发明的实施方式进行了说明，但本发明不限于这些实施方式。

标号说明

10：影像显示部；11：分束器；12：逆反射片；13：空中影像；14：视点位置检测装置；15：显示控制部；16：空中成像范围估计部；17：空中影像图像质量估计部；18：空中影像显示处理部；19：观察者；20：视点位置信息；21a：光学系统规格信息；21b：光学系统配置信息；22：空中成像范围信息；23：空中影像图像质量估计信息；24：显示影像信息；25：输出影像信息；26：位置调整部；30：空中影像显示范围估计结果；31：空中影像图像质量估计结果；32：空中影像显示位置控制结果；33：内容控制结果；100：空中影像显示装置。