具体实施方式

以下详细描述本质上仅是示例性的，而且并不旨在限制本发明或本发明的应用和使用。此外，并不旨在受到在本发明的前述背景技术或以下详细描述中提出的任何理论的约束。

所公开的虚拟相机系统提供了相对于传统摄像机系统大大改善的观看体验。为了在背景中提出这些改善，对传统摄像机系统的理解是有帮助的。因此，参考图1，其示出了传统系统的基本性质。

在传统摄像机系统中，一个或多个摄像机安装在飞机10上的预定义位置处，使得这种相机具有通常来自固定有利点的地面或空间的视图。这种相机的位置为乘客给出在起飞或着陆期间的跑道视图，或者在飞行期间飞机下方地面的鸟瞰视图。

图1示出了多个常见的安装位置，即：腹部安装式12、遮阳板安装式14、尾部安装式16(在垂直稳定器的顶部)和机翼安装式18。通常，将仅在这些位置中的一个或两个位置处安装相机，因为大多数位置提供基本相同的视图。某些摄像机可以具有固定的指向方向和固定的焦距，而其他相机可以具有平移-倾斜-缩放功能。然而，在所有情况下，相机的焦平面将物理参考飞机上的固定位置。换句话说，这些传统相机系统被安装到机身或机身所承载的结构。因此，相机的有利点在物理上与机身相关联。

机身与传统相机之间的连接的物理性质在图2中示出，其描绘了示例性传统摄像机，诸如具有相机主体的腹部安装相机12，该相机主体物理地附接到机身10的一部分。相机包括电子图像传感器22与镜头24，镜头24聚焦通过观察窗30接收的光。以这种方式，物体的光学图像(诸如地形区域32)照亮电子传感器，该电子传感器又将电子信号递送到观察监视器(未示出)。相机包括电动镜头聚焦系统26和电动可调光圈28，它们被电子控制以使图像聚焦并通过调整光圈来控制曝光。

在图3中示出了所公开的虚拟相机系统。在系统的核心处是虚拟现实图像生成器系统33，其包括虚拟图像处理器34和相关联的地理参考图像数据存储库38。数据存储库38优选地存储飞机将在其上方飞行的所有地形区域的基于模型的图像数据。利用足够大容量的存储器，数据存储库38可以针对地球的整个表面并且针对一年中的不同季节存储图像数据。在这方面，存在可用的虚拟数据库，其将负责变化的季节，例如冬天和夏天。用户可能希望利用适合季节的数据库进行飞行，以在他们从侧窗看到的内容与虚拟相机系统中示出的内容之间进行更接近的匹配。

在其默认操作状态下，虚拟图像处理器基于飞机在三维空间中的当前位置(例如，纬度-经度-海拔)生成图像，以呈现在显示器36上。为了向虚拟图像处理器提供当前飞机位置，将适当的数据连接提供给飞机的位置传感器系统，该系统通常包括GPS接收器42和高度计44。

虚拟相机系统、虚拟现实图像生成器系统33、虚拟图像处理器34、显示器、地理参考图像数据存储库38和飞机位置传感器系统40的上述组件由机身10物理地承载。

优选地，利用由基于模型的图像系统46产生的基于模型的图像数据文件来预先填充(例如，在飞行之前上载或安装)地理参考图像数据存储库38，该基于模型的图像系统46使用由合适的相机/LiDAR系统48捕获的实际地球地形的图像来生成基于模型的图像数据。值得注意地，基于模型的图像系统46和相机/LiDAR 48不需要由机身10承载。实际上，在所示的实施例中，相机/LiDAR 48和基于模型的图像系统46在物理上和时间上与机身脱离。在这种背景下，时间脱离是指以下事实：由相机/LiDAR 48进行的图像捕获和由基于模型的图像系统46进行的处理都发生在飞机飞行之前。实际上，图像捕获和处理根本不需要承担与飞机飞行的任何直接关系。虚拟图像处理器34所需的全部是适合于生成用于显示的高分辨率图像的图像数据，该图像数据参考地球上特定的经纬度位置。

在一个实施例中，使用地球表面和/或其他结构的线框或网格模型来构建地理参考图像数据，这些模型定义与高分辨率摄影图像相关联的平面表面。这些平面表面的集合一起包括地球表面上的特定位置、航路点或兴趣点或其他结构或物理特征的照片级真实图像。可以使用多个不同的摄影测量技术中的任何一种。平面表面中的每一个或者平面表面的至少一个聚类具有与其相关联的地理标记，从而标识复合图像的该部分在地球表面或结构上的对应位置。

图4示出了针对如何能够将虚拟图像构成为由多边形表面组成的基于模型的线框网格39的一个实施例，该多边形表面诸如定义不规则三角网(TIN)41的三角形，对于该不规则三角网(TIN)41，纹理图像43被应用于多边形表面。不规则三角网的节点可以地理参考地球上的经纬度位置，以包括地理参考图像数据。可以使用航空摄影测量技术来构建这样的虚拟图像，以开发地理参考图像数据，这些地理参考图像数据被存储在适合于存储在计算机可读存储器中的数据集中。这样的数据集可从诸如瑞典Linkoeping的Vricon SystemsAktiebolag的来源中商购获得。

使用线框网格模型的一个主要优点是，可以通过简单地按比例增加多边形表面(三角形)的尺寸来放大或缩小图像，同时保留应用于表面的所应用纹理图像的适当高分辨率。

基于模型的图像系统46的输出可以表示为各种不同的格式，包括点云、3D建筑模型、数字高程模型、地理空间校正的航空图像、平面特征模型(道路边缘、建筑足迹等)地形测量、地形和等高线图以及体积勘测数据。

处理虚拟图像以用于飞行中显示

在一个实施例中，虚拟图像处理器被设计为提供用于飞行中显示的图像内容，该图像内容超过了裸眼的自然观看分辨率。具体地，当飞机处于高海拔(例如40,000英尺)时，处理器可以提供显示，看上去就像飞机处于5,000英尺处。可替代地，处理器可以提供飞机在其环境中的体外视图，就像从飞机的上方、下方或旁边看到的那样。这样的体外视角可以在水平和垂直之间的中间成角度，从而示出飞机的侧视图，并且还示出从该有利点可见的地面上的特征。

参照图5，飞机10在地形50上方飞行，并且虚拟图像处理器34已被设置为从虚拟有利点52显示飞机和下方的地形，该虚拟有利点52被定位并取向为在飞机上方适中的距离从其左舷观看飞机。在该示例性视图中，飞机正在执行倾斜转弯，因此机翼和机身顶部都可见。

为了生成该视图，如在54处，对处理器34进行编程以首先确定飞机的纬度和经度。该纬度和经度为虚拟图像处理器34(图3)提供用于检索(retrieve)适当的地理参考图像数据38(图3)的位置或位置参考。根据该数据，处理器34组合并缩放地面图像，从而提供高分辨率内容以用于在显示器36(图3)上观看。作为图像数据操纵的一部分，处理器34必须缩放图像的尺寸，以使其根据所需的显示海拔以适当的观看尺寸出现。因此，处理器在步骤56处确定将用于缩放的虚拟海拔。

如先前所讨论的，利用传统的飞机上安装的相机，观看海拔始终是飞机的实际海拔，之所以如此是因为相机的镜头和传感器22物理地附接到飞机。然而，在所公开的虚拟相机系统中，可以通过处理器在用户所需的任何虚拟观看海拔处人为地选择海拔。用户可以通过操纵与显示器36相关联的控件来直接选择虚拟观看海拔，或者处理器可以使用预编程算法自动选择虚拟观看海拔，该算法可以由乘客或飞行员可选地进行超控(override)。

图6示出了可以使用所公开的系统生成的不同可能视图的示例。如在100处所描绘的，当飞机在其高巡航海拔处(诸如在40,000英尺处或附近)飞行时，从传统相机系统拍摄或通过飞机窗口看到的实际图像可能是厚厚的云层。然而，所公开的虚拟相机系统可以呈现类似于在102处描绘的合成显示。在102处的图像类似于在比飞机实际飞行低得多的海拔处实际看到的图像。随着飞机降低海拔以用于着陆，其实际海拔将最终等于与102处的虚拟图像匹配的海拔。当存在这种条件时，处理器将显示102处的合成图像。当飞机下降得更低时，处理器提供如在104处的示出跑道更详细视图的虚拟图像。

在一个实施例中，只要飞机在预定阈值以下飞行，处理器就选择虚拟观看海拔来匹配实际飞机海拔。如果将该阈值设置为5000英尺(例如)，则处理器将使用实际飞机海拔作为虚拟海拔，直到5000英尺。在高于5000英尺阈值的海拔处，处理器将继续使用5000英尺的虚拟海拔。因此，当在40,000英尺处飞行时，处理器将生成如从5000看到的地面的显示图像。当然，如果需要，可以将海拔阈值设置为不同的值。在该实施例中，虚拟海拔通过诸如单位阶跃函数的不连续函数与实际海拔相关：

其中Vz是虚拟海拔；z是实际飞机海拔，并且c是预定阈值。

在另一实施例中，处理器不使用单位阶跃函数，而是应用不同形式的不连续函数，该函数将图压缩应用于高于阈值的海拔。例如，这可以通过将高于阈值的海拔乘以0与1之间的常数并将该乘积与阈值相加来完成。这样的处理将缩放所显示的图像，使得在阈值以下(例如，在5000英尺以下)的飞机海拔处将被准确地表示，并且在高于阈值的海拔处将被压缩。

其中Vz是虚拟海拔；z是实际飞机海拔；c是预定阈值，并且m是具有0与1之间的值的乘数。

数据库分辨率注意事项

飞机显示系统的分辨率将影响数据库分辨率要求。假设飞机对可用机载存储具有某个限制，则托管数据库的能力可以驱动飞机能够显示的最大分辨率。对于能够在世界上任何地方飞行的飞机，系统通常将需要托管虚拟世界的全球版本。

对于虚拟相机靠近地面的起飞、着陆和“虚拟低水平”视图，由于场景将可能地迅速变化并且渲染将需要相应地更快，所以对虚拟图像处理器的图形处理单元(GPU)的需求将是最高的。在确定GPU的技术要求时，将需要考虑这一点。这可以通过限制允许的虚拟视角来得到平衡，尤其是对于起飞和着陆而言，这是因为对于许多人来说，在起飞和着陆期间向下直视可能会迷失方向并且是要避免的事情。限制该视角将减轻对GPU的需求，而不会使用户失去更有趣的视图。

如前所述，所公开的虚拟相机系统在飞行期间为飞机乘客提供了引人入胜的高分辨率地形视图。如果需要，可以通过包括飞机的真实视图来增强这种视图。在正常操作下，由虚拟相机系统提供的视图与飞机相对于下方地面的实际位置相关联；然而，可以调整虚拟图像的视在海拔(apparent altitude)，以为观看者给出近得多的地面视图，就像飞机海拔低得多那样。因此，使得虚拟图像看起来被放大了，就像通过远摄镜头观看的那样，但是没有任何光学失真。由于虚拟图像是由虚拟图像处理器通过缩放形成不规则三角网的三角形的尺寸进行数字缩放的，因此可以进行这种放大。

与来自传统摄像机的图像相比，由虚拟相机系统产生的图像极为真实。不存在经常伴随着必须暴露于天气的传统相机系统的模糊或光学失真。与传统相机系统不同，虚拟相机系统提供地面视图，该地面视图不因高海拔而减小为微观尺寸，也不被云遮挡。这些益处来自于以下事实：用于开发基于模型的图像的相机/LiDAR系统48(图3)在物理上和时间上都与飞机脱离。因此，由相机/LiDAR系统48获得的图像在最佳观看条件下被捕获、被转换成地理参考图像数据并且被提供给虚拟图像处理器34(图3)，以供稍后由不同飞机内的乘客观看。

这样的观看体验不是实时的观看体验，这是因为图像是过去捕获的。然而，在放弃实时体验的情况下，回报给乘客视觉刺激多得多的、地球和竖立在其上的结构的高分辨率视图。此外，乘客可以使用与显示器36(图3)相关联的便利的用户界面控件来操纵他们的观看体验的视角。他们可以将虚拟有利点52(图5)操纵到相对于飞机机身的不同位置。如果他们愿意，则还可以通过用户界面控件来超控由系统提供的经纬度(如在图5的步骤54处)，以将飞机的虚拟位置移动到地球上的不同位置，诸如移动到他们的目的地城市，或甚至移动到他们将要停留的度假小屋。所有这些用户控制的有利点都生成相同视觉刺激的高分辨率视图。

尽管在前面的详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解的是，示例性实施例或多个示例性实施例仅是示例，并且不旨在以任何方式限制本发明的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实现如本文预期的示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求书中阐述的本发明的范围的情况下，可以对示例性实施例中描述的元件的功能和布置进行各种改变。