图像显示系统和方法

文档序号:1836227 发布日期:2021-11-12 浏览:22次 >En<

阅读说明:本技术 图像显示系统和方法 (Image display system and method ) 是由 李乾坤 卢维 殷俊 张兴明 于 2018-12-28 设计创作,主要内容包括:公开了共同显示图像和地图的系统和方法。所述方法可以包括获得由相机捕获的图像。所述图像可以包括所述相机周围环境中的目标。所述方法还可以包括获得所述周围环境的地图。所述地图可以至少包括对应于所述目标的位置和对应于所述相机的位置。所述方法可以共同显示所述图像和所述地图,其中,所述图像的表示与所述地图中对应于所述目标的位置和对应于所述相机的位置对齐。(Systems and methods for co-displaying an image and a map are disclosed. The method may include obtaining an image captured by a camera. The image may include objects in the environment surrounding the camera. The method may further include obtaining a map of the surrounding environment. The map may include at least a location corresponding to the target and a location corresponding to the camera. The method may collectively display the image and the map, wherein a representation of the image is aligned with a location in the map corresponding to the object and a location corresponding to the camera.)

图像显示系统和方法

技术领域

本申请一般涉及图像显示,更具体地,涉及共同显示图像和地图的系统和方法。

背景技术

已经有各种技术被用来捕获和显示覆盖足够大视场(FOV)的图像。

在一些实施例中,多相机被应用于大型场合的监视,例如,游乐场、广场、机场,以形成足够大的FOV。然而,可能难以以用户友好的方式有效显示多相机拍摄的图像。

在一些实施例中,全景设备可用于捕获FOV视场接近或甚至超过180度的全景图像。虚拟现实(VR)头盔可以根据头盔的移动以不同的视角呈现全景图像。然而,VR头盔不适合多人同时观看。

发明内容

根据本申请的一个方面,提供了一种系统。所述系统可以包括包含指令集的至少一个存储介质,以及与所述至少一个存储介质通信的至少一个处理器。当执行所述指令集时,所述至少一个处理器可以被定向为使所述系统获得由相机捕获的图像。所述图像可以包括所述相机周围环境中的目标。所述至少一个处理器还可以被定向为使所述系统获得所述周围环境的地图。所述地图可以至少包括对应于所述目标的位置和对应于所述相机的位置。所述至少一个处理器还可以被定向为使所述系统共同显示所述图像和所述地图,其中,所述图像的表示与所述地图中对应于目标的位置和对应于所述相机的位置对齐。

在一些实施例中,由所述相机捕获的所述图像可以是全景。

在一些实施例中,为了共同显示所述图像和所述地图,所述至少一个处理器可以被定向为使所述系统将所述地图的内容投影到第一成像表面上以形成所述地图的表示,将所述图像的内容投影到第二成像表面上以形成所述图像的表示。所述至少一个处理器还可以被定向为使所述系统共同显示所述地图的表示和所述图像的表示。

在一些实施例中,所述第二成像表面可包括圆柱形表面。

在一些实施例中,所述地图的表示可以是根据与所述地图关联的第一投影关系形成的,所述图像的表示可以是根据与所述图像关联的第二投影关系形成的。

在一些实施例中,所述第一投影关系可以包括与所述地图的方向关联的第一旋转角度。

在一些实施例中,所述第二投影关系可以包括与所述第二成像表面上的所述图像的表示关联的第二旋转角度。

在一些实施例中,所述至少一个处理器还可以被定向为使所述系统接收调整所述图像和所述地图的共同显示方向的指令。所述至少一个处理器还可以被定向为使所述系统调整与所述地图的方向关联的所述第一旋转角度和与所述第二成像表面上的所述图像的表示关联的所述第二旋转角度,并根据调整后的所述第一旋转角度和调整后的所述第二旋转角度更新所述图像和所述地图的共同显示。

在一些实施例中,所述第一投影关系可以包括与所述地图的缩放效果关联的第一比例。

在一些实施例中,所述第二投影关系可以包括与所述图像的缩放效果关联的第二比例。

在一些实施例中,所述至少一个处理器还可以被定向为使所述系统接收调整所述图像和所述地图的共同显示中的视场的指令。所述至少一个处理器还可以被定向为使所述系统调整与所述地图的缩放效果关联的第一比例和与所述图像的缩放效果关联的第二比例,并根据调整后的第一比例和调整后的第二比例更新所述图像和所述地图的共同显示。

根据本申请的另一方面,提供了一种方法。所述方法可以在具有至少一个存储介质和至少一个处理器的设备上实现,所述至少一个存储介质包含指令集,所述至少一个处理器与所述至少一个存储介质通信。所述方法可以包括获得由相机捕获的图像。所述图像可以包括所述相机周围环境中的目标。所述方法还可以包括获得所述周围环境的地图。所述地图可以至少包括与所述目标对应的位置和与所述相机对应的位置。所述方法还可以包括共同显示所述图像和所述地图,其中,所述图像的表示与所述地图中对应于所述目标的位置和对应于所述相机的位置对齐。

本申请的一部分附加特性可以在以下描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解,本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各个方面的方法、手段和组合的实践或使用得以实现和达到。

附图说明

本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图未按比例绘制。这些实施例是非限制性的示例性实施例,在这些实施例中,各图中相同的编号表示相似的结构,其中:

图1是根据本申请一些实施例所示的示例性图像显示系统的示意图;

图2是根据本申请一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图;

图3是根据本申请一些实施例所示的示例性用户设备的示例性组件的示意图;

图4是根据本申请一些实施例所示的示例性图像处理设备的框图;

图5是根据本申请一些实施例所示的共同显示地图和图像的示例性流程的流程图;

图6是根据本申请一些实施例所示的共同显示地图和图像的示例性流程的流程图;

图7是根据本申请一些实施例所示的调节共同显示方向的示例性流程的流程图;

图8是根据本申请一些实施例所示的调节共同显示的视场的示例性流程的流程图;

图9是根据本申请一些实施例的示例性相机布置;

图10是根据本申请一些实施例的图9所示建筑的周围环境的示例性地图;以及

图11是根据本申请一些实施例的示例性的图像和地图的共同显示。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例。对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构和操作。

如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。需进一步理解的是,本申请中使用的术语“包括”和/或“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,还可以包括其它的步骤和元素。

根据本申请一些实施例,系统的一些模块可以以各种方式被提及,然而,在客户端和/或服务器中可以使用和操作任意数量的不同模块。这些模块仅用于举例说明,并不用于限制本申请的范围。在系统和方法的不同方面可以使用不同的模块。

根据本申请一些实施例,流程图被用于示出由系统执行的操作。应当理解的是,前面或下面的操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或以上操作。

本申请实施例的技术方案将参照如下所述的附图进行描述。显然,所描述的实施例不是穷举性的,也不是限制性的。基于本申请中提出的实施例,本领域普通技术人员在没有作出创造性劳动的情况下获得的其他实施例,均在本申请的范围内。

在一个方面,本申请涉及共同显示地图和图像的系统和方法。在一些实施例中,可以通过相机捕获图像。所述图像可以包括所述相机周围环境中的目标。所述地图可以包括所述相机周围环境的信息。所述地图可以至少包括对应于所述目标的位置和对应于所述相机的位置。在一些实施例中,为了共同显示所述图像和所述地图,所述地图可以被定向为使所述图像的表示与所述地图中对应于所述目标的位置和对应于所述相机的位置对齐。

图1是根据本申请一些实施例所示的示例性图像显示系统100的示意图。图像显示系统100可以被配置为共同显示多张图片。在一些实施例中,所述多张图片可以包括由一个或以上相机捕获的一个或以上图像和指示一个或以上相机的周围环境的地图。所述一个或以上图像和所述地图的共同显示可以包括在一个或以上成像表面中同时呈现所述一个或以上图像和所述地图的内容。例如,所述一个或以上图像的内容可以在圆柱形成像表面上显示为立体图,同时,所述地图可以以与该立体图对齐的方式在平面成像表面上显示。在一些实施例中,所述一个或以上图像可以包括由至少两个相机捕获的图像拼接成的组合图像。

图像显示系统100可以包括至少两个相机110、图像处理设备120、网络130、一个或以上终端设备140和存储设备150。根据实际需要图像显示系统100还可以包括其他组件。

所述至少两个相机110(例如,图1中所示的相机#1、相机#2、相机#3)可以各自生成图像或包含至少两帧的视频。如本文中所使用的,所述图像可以是照片、视频帧、图片、光谱等或其组合。所述图像可以是模拟形式(例如,携带图像数据的电信号)或数字形式(例如,包括图像数据的数字文件)或以模拟形式(例如,携带图像数据的电信号)或数字形式(例如,包括图像数据的数字文件)呈现。所述至少两个相机110可以感应光、波、辐射等,以产生相应的图像。

在一些实施例中,所述至少两个相机110中的每一个可以是全景相机。示例性的全景相机可包括立体循环仪、神奇全景相机、手工全景相机、旋转全景相机、固定镜头相机等或其任意组合。全景相机可以产生全景图像。如本文中所使用的,全景图像可以指展示角度等于或大于特定阈值的FOV的图像。所述阈值可以是90度、120度、140度、160度、180度等。在一些实施例中,所述全景图像可以展示比人眼更大的FOV。在一些实施例中,所述全景图像可以是由全景相机拍摄的至少两张子图像组合而成的。所述至少两张子图像可以具有水平拉长的视场。

所述至少两个相机110的数量可以根据实际需要来设置。例如,若由每个相机110生成的图像所展示的FOV角度近接近90度,则相机110的数量可以是四个或更多,例如六个。若由每个相机110生成的图像所展示的FOV角度接近120度,则相机110的数量可以是三个或更多,例如四个。

在一些实施例中,所述至少两个相机110中的一部分或全部可以包含在独立成像装置中,例如,集成式相机、声纳、夜视仪、热成像设备、医学成像设备等或其组合。例如,图1所示的相机#1、#2和#3可以是多镜头多传感器的相机(或简称为多镜头相机)。

在一些实施例中,所述至少两个相机110可以彼此独立并安装在不同的位置。例如,所述至少两个相机110可以安装在基本上沿圆分布的多个位置。根据实际需要所述至少两个相机110可以在统一或不同的工作状态下工作。例如,可以仅激活所述至少两个相机110中的一部分以捕获图像,同时所述至少两个相机110的剩余部分保持待机状态。

图像处理设备120可以处理由所述至少两个相机110生成的图像(例如,图像#1至#3)。例如,图像处理设备120可以处理多个图像以移除它们之间的重叠区域。作为另一示例,图像处理设备120可以基于所述多个图像生成组合图像。作为另一个示例,图像处理设备120可以确定显示这些图像中的一个或以上的方式。具体地,图像处理设备120可以具有共同显示一个或以上图像和指示所述至少两个相机110的周围环境的地图的显示功能。为了实现共同显示,图像处理设备120可以将所述地图的内容投影到第一成像表面上以形成所述地图的表示(例如,第一投影图像),将一个或以上图像的内容投影到第二成像表面上以形成所述图像的表示(例如,一个或以上第二投影图像)。然后,所述地图的表示和所述一个或以上图像的表示可以共同显示在图像处理设备120上。

在一些实施例中,图像处理设备120可以根据来自用户的指令调整共同显示。示例性的指令可以包括对共同显示方向的调整、对共同显示中FOV的调整等或其组合。例如,图像处理设备120可以监控输入设备并通过分析输入设备(例如,鼠标、键盘)的运动来识别用户指令。具体地,图像处理设备120可以通过鼠标的拖放运动来识别调整共同显示方向的指令,调整与第一旋转角度和/或一个或多个第二旋转角度关联的一个或以上参数,所述第一旋转角度与所述地图的方向关联所述第二旋转角度与所述图像的表示关联。另外,图像处理设备120可以通过调整关联于所述地图的缩放效果的第一比例和关联于所述图像的缩放效果的第二比例来调整共同显示中的FOV。

在一些实施例中,图像处理设备120可以由如图2所示的计算设备实现。

图像处理设备120可以经由一个或以上电缆或网络130与存储设备150通信。在多个相机110生成的图像被图像处理设备120处理之前,存储设备150可以存储或缓存所述图像。在一些实施例中,在输出至,例如,用于显示的图像处理设备120或用于传输的网络130之前,处理后的图像可以存储或缓存在存储设备150中。在一些实施例中,图像显示系统100可以包括多个存储设备(图1中未示出)和存储设备150,所述多个存储设备用于存储或缓存分别由相机#1、#2和#3生成的图像,存储设备150用于存储或缓冲由图像处理设备120生成的处理后的图像。

存储设备150可以是或可以包括服务器、大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)、随机存取存储器(RAM)等或其任何组合。示例性的大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性的易失性读写内存可以包括随机存取内存(RAM)。示例性的RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性的ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。

在一些实施例中,存储设备150可以使用突发传输协议发送数据至图像处理设备120。如本文中所使用的,突发传输协议可指重复传输存储在存储设备150的连续存储单元中的数据,而无需经历在单独传输中传输每一数据段所需的所有步骤。

例如,不使用突发传输协议传输每一数据段时,存储设备150可以首先定位存储该数据段的存储单元,然后访问存储在其中的该数据段。定位存储单元可以花费多个时钟周期(例如,2,3),这可能导致数据传输的延迟。通过利用突发传输协议,存储设备150可以仅须定位存储起始数据段的存储单元,传输该起始数据段,然后重复地自动传输存储在当前存储单元的相邻存储单元中的数据段重复在当前存储单元旁边而无需定位它,直到访问完预设数量(突发长度)的存储单元。因此,可以减少转移存储在连续存储单元中的数据的时间成本。例如,当定位存储单元花费3个时钟周期,传输存储在存储单元中的数据段花费1个时钟周期时,为了传输存储在4个连续存储单元中的数据,在不使用上述突发传输协议的情况下,总共可以花费16个时钟周期(4个时钟周期用来转移存储每一数据段)。然而,在上述情况下,当采用突发传输协议(同时突发长度在4以上)时,总共可以花费7个时钟周期(3个时钟周期用来定位存储起始数据段的存储单元,1个时钟周期用来传输每一数据段)。

通常,从所述至少两个相机110中的任一个接收到的图像(或源图像)或其每一部分可以存储在存储设备150的连续存储单元中。这样的图像存储方式可以被称为图像的连续性。通过利用突发传输协议,可以减少发送所述图像的至少两个部分至图像处理设备120的时间成本。

可以理解,上述突发传输协议仅出于示范目的,而不是限制性的。不同类型的存储设备150可以采用不同类型的突发传输协议。在一些实施例中,存储设备150可以是双数据速率(DDR)存储器,例如DDR同步动态随机存取存储器(SDRAM)、低功耗DDRSDRAM(LP-DDR)。

在一些实施例中,存储设备150还可以被配置为存储由图像处理设备120(或其一个或以上处理器)执行的指令(例如,以软件、应用程序、程序的形式)。当由图像处理设备120执行时,该指令可以使图像处理设备120执行本申请中披露的与图像的共同显示相关的流程。

图像处理设备120可以经由一个或以上电缆或网络130接收由所述至少两个相机110生成的图像(例如,源图像),以及地图。在一些实施例中,所述至少两个相机110和图像处理设备120可以形成多通道相机系统。在一些实施例中,可以组合至少两个相机110和图像处理设备120以形成单个设备,例如具有处理图像数据的功能的多镜头相机。

网络130可以包括任何适当的网络,该网络可以促进数据和信号在图像显示系统100的组件之间的传输。例如,网络130可以促进从所述至少两个相机110到图像处理设备120(或存储设备150)的图像传输。

网络130可以是和/或包括一个或以上类型的网络。例如,网络130可以是和/或包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN)、广域网(WAN))、有线网络(例如,以太网网络)、无线网络(例如,802.11网络、Wi-Fi网络)、蜂窝网络(例如,长期演进(LTE)网络)、帧中继网络、虚拟专用网络(“VPN“)、卫星网络、BluetoothTM网络、ZigBeeTM网络、近场通信(NFC)网络等或其任何组合。网络130也可以包括有线和/或无线网络接入点,例如基站、因特网交换点、路由器、集线器、网关、交换机、服务器计算机和/或其任何组合。

终端设备140可以经由网络130从所述至少两个相机110、图像处理设备120和/或存储设备150接收图像或视频。在一些实施例中,终端设备140还可以为用于提供控制所述至少两个相机110和/或图像处理设备120的用户界面。

在一些实施例中,终端设备140可以实现用户和图像处理设备120之间的交互。例如,安全公司的管理员或员工可以通过终端设备140发送指令至终端设备140,该指令用于共同显示图像(或视频)和指示包括该图像(或该视频)在内的场景的物理位置的地图。附加地或替代性地,管理员或员工可以通过终端设备140向图像显示系统100提交请求,以在该图像(或该视频)中搜索或跟踪目标对象。

终端设备140可以包括移动计算设备141、平板计算机142、膝上型计算机143、智能家居设备(未示出)、台式计算机(未示出)等或其任何组合。在一些实施例中,移动计算设备141可以包括可穿戴设备、移动电话、虚拟现实设备、增强现实设备、个人数字辅助(PDA)、导航设备等或其任何组合。

在一些实施例中,图像显示系统100可以实现监控系统。由所述至少两个相机110生成的源图像可以是视频流的形式。由图像处理设备120显示的图像可以是全景视频流。本申请中提供的过程可以减少生成全景视频流的时间成本和改善实时性能,以满足提供监控服务的要求。图像显示系统100也可以应用于其他相关领域,例如摄影、电影制作、新闻、医学成像等。

在一些实施例中,图像显示系统100仅包括一个用于生成源图像的可移动相机。可移动相机可以沿预设的移动轨迹移动,以及在沿所述预设移动轨迹的每个预设拍摄位置捕获图像。获得的图像可以作为用于进一步处理的源图像。

在一些实施例中,沿所述预设移动轨迹的每个预设拍摄位置可以与一个或以上预设成像参数(例如拍摄角)关联。当可移动相机移动到预设拍摄位置时,该相机可以采用与所述预设拍摄位置关联的所述一个或以上预设成像参数来捕获相应的源图像。

出于示范目的,可以在源图像由预设数量的相机生成产生的前提下描述本申请。然而,可以理解的是,源图像也可以由数量更少的相机(包括一个或以上可移动相机)甚至仅仅由一个可移动相机来生成。

注意到,关于图像显示系统100的上述描述仅出于说明目的,并非旨在限制本申请的范围。可以理解的是,在学习本申请的主要概念和机制之后,本领域普通技术人员可以以非创造性的方式来改变图像显示系统100。改变可以包括组合和/或拆分某些设备/组件/模块/单元,添加或移除可选设备/组件/模块/单元,改变设备/组件/模块/单元的连接状态,在相关领域应用图像显示系统100,等或其任何组合。所有这些修改都在本申请的范围内。

图2是根据本申请一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图。例如,计算设备200可以是图像处理设备120,和/或专用于视频或图像处理的电子设备。如图2所示,计算设备200可以包括处理器222、存储器227、输入/输出(I/O)226和通信端口225。

处理器222(例如,逻辑电路)可以执行计算机指令(例如,程序代码)和根据本文描述的技术执行功能。例如,处理器222可以包括里面的接口电路和处理电路。所述接口电路可以被配置为从总线(图2中未示出)接收电子信号,其中,所述电子信号为供处理电路处理的结构化数据和/或指令的编码。所述处理电路可以进行逻辑运算计算,然后确定结论、结果和/或被编码为电子信号的指令。然后所述接口电路可以经由所述总线从所述处理电路发出所述电子信号。

计算机指令可以包括,例如,执行本文描述的特定功能的例程、程序、对象、组件、数据结构、过程、模块和功能。在一些实施例中,处理器222可以包括一个或多个硬件处理器,例如微控制器、微处理器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件(PLD)、能够执行一个或以上功能的任意电路或处理器等或其任何组合。

仅仅为了说明,在计算设备200中仅描述了一个处理器。然而,应当注意的是,本申请中的计算设备200也可以包括多个处理器,因此,由如本申请中所述的一个处理器执行的操作和/或方法操作也可以由所述多个处理器共同或分别执行。例如,若在本申请中计算设备200的处理器既执行操作A又执行作B,则应当理解的是,操作A和操作B也可以由计算设备200中的两个或以上不同的处理器共同或分别执行(例如,第一处理器执行操作A,第二处理器执行操作B,或者第一和第二处理器共同执行操作A和B)。

存储器227可以存储从所述至少两个相机110、图像处理设备120、终端设备140、网络130、存储设备150和/或图像显示系统100的任何其他组件获得的数据/信息。在一些实施例中,存储器227可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。例如,大容量存储器可以包括磁盘、光盘、固态驱动器等。可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等。挥发性读写存储器可以包括随机存取存储器(RAM)、双倍日期速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容RAM(Z-RAM)等,其中RAM可以包括动态RAM(DRAM)。其中ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除的可编程ROM(EPROM)、电可擦除的可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能盘ROM等在一些实施例中,存储器227可以存储用于执行本申请中描述的示例性方法的一个或以上程序和/或指令。

I/O226可以输入和/或输出信号、数据、信息等。在一些实施例中,I/O226可以包括输入设备和输出设备。输入设备的示例可以包括键盘、鼠标、触摸屏、麦克风等或其组合。输出设备的示例可以包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可以包括液晶显示器(LCD)、发光二极管(LED)、基于发光二极管(LED)的显示器、平面显示器、曲面屏、电视设备、阴极射线管(CRT)、触摸屏幕等或其组合。

通信端口225可以连接到网络(例如,网络130)以便于数据通信。通信端口225可以在所述至少两个相机110、图像处理设备120、终端设备140、网络130、存储设备150和/或图像显示系统100的任何其他组件之间建立连接。所述连接可以是有线连接、无线连接、能够实现数据发送和/或接收的任何其他通信连接和/或其任何组合。所述有线连接可以包括,例如,电缆、光缆、电话线等或其任何组合。所述无线连接可以包括,例如,BluetoothTM链接、Wi-FiTM链接、WiMAXTM链接、WLAN链接、ZigBee链接、移动网络链接(例如,3G、4G、5G)等或其组合。在一些实施例中,通信端口225可以是和/或包括标准化通信端口,例如,RS232、RS485等。在一些实施例中,通信端口225可以是专门设计的通信端口。

图3是根据本申请一些实施例所示的示例性用户设备的示例性组件的示意图。如图3所示,用户设备300可以包括通信平台320、显示器310、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O端口350、内存360和存储器390。在一些实施例中,任何其他合适的组件,包括但不限于系统总线或控制器(未示出),也可以包括在用户设备300中。在一些实施例中,移动操作系统370(例如,iOSTM、AndroidTM、WindowsPhoneTM)和一个或以上应用程序380可以从存储器390加载到内存360中,以便由处理器340执行。用户设备300可以是终端设备140的一种实施。

为了实施本申请描述的各种模块、单元及其功能,计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。若计算机被适当的程序化,计算机亦可用作服务器。

图4是根据本申请一些实施例的示例性图像处理设备120的框图。图像处理设备120可以包括获得模块410、地图处理模块420、图像处理模块430、显示模块440和存储模块450。在不失去一般性的同时图像处理设备120可以包括更多或更少的组件。例如,两个模块可以合并成单个模块,或者一个模块可以被拆分成两个或以上模块。作为另一示例,一个或以上模块可以驻留在不同的计算设备上(例如,台式计算机、膝上型计算机、移动设备、平板计算机、可穿戴计算设备等或其组合)。作为另一示例,图像处理设备120可以在图2所示的计算设备200上实现。

这里以及本申请全篇,可以以众多不同方式和以硬件、软件或软硬件的不同组合来实现模块。例如,部分或全部模块的实现可以是处理电路,该电路可以包括指令处理器的部分或全部,例如,中央处理单元(CPU)、微控制器、微处理器的部分或全部;或者包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、其他电子元件;或者是作为包括分立逻辑或其他电路元器件的电路,包括模拟电路元器件和/或数字电路元器件;或者是以上情况的任何组合。例如,该电路可以包括分立互连硬件组件,或者可以组合在单个集成电路管芯上,分布在多个集成电路管芯之间或在通用封装的多个集成电路管芯的多芯片模块(MCM)中实现。

获得模块410可以获取与图像显示有关的信息和/或数据。例如,获得模块410)可以获得相机从拍摄方向捕获的图像。所述图像可以包括所述相机周围环境中的目标。所述目标可以是通过所述相机从所述拍摄方向可见的任何物体(例如,建筑物、树、街、河流等)。此外,获得模块410可以获得所述相机周围环境的地图。在一些实施例中,所述地图可以是以二维(2D)方式示出所述相机周围环境的平面地图。

在一些实施例中,获得模块410可以将所述图像和/或所述地图发送到图像处理设备120的其他模块以供进一步处理。例如,获得模块410可以将所述地图发送到地图处理模块420,以供将所述地图的内容投影到第一成像表面上,以形成第一投影图像。作为另一示例,获得模块410可以将所述图像发送到图像处理模块430,以供将所述图像的内容投影到第二成像表面上,以形成第二投影图像。作为另一示例,获得模块410可以将所述图像和/或所述地图发送到存储模块450,以将其存储在本地数据库或远程数据库中。

地图处理模块420可以被配置为将地图的内容投影到第一成像表面上以形成第一投影图像。第一成像表面上的第一投影图像可以被视为所述地图的表示。在一些实施例中,地图处理模块420可以根据与地图关联的第一投影关系生成第一投影图像。与所述地图关联的第一投影关系可以指示所述地图的点(或像素)和第一投影图像的点(或像素)之间的点对点关系。在一些实施例中,地图处理模块420可以根据所述地图的显示参数来确定第一投影关系。所述地图的显示参数可以包括所述地图的第一旋转角度、所述地图的俯仰角、所述地图的缩放比例和所述地图的垂直位移等。

图像处理模块430可以被配置为将图像的内容投影到第二成像表面上以形成第二投影图像。第二成像表面上的第二投影图像可以被视为所述图像的表示。在一些实施例中,第二成像表面可包括圆柱形表面。在一些实施例中,图像处理模块430可以根据与所述图像关联的第二投影关系生成第二投影图像。与所述图像关联的第二投影关系可以指示所述图像的点(或像素)与第二投影图像的点(或像素)之间的点对点关系。在一些实施例中,图像处理模块430可以根据所述图像的显示参数确定第二投影关系。所述图像的显示参数可以包括所述图像的第二旋转角、所述图像的俯仰角、所述图像的缩放比例、所述图像的垂直位移、所述圆柱的半径等。

显示模块440可以被配置为共同显示至少一个图像和地图。所述至少一个图像和所述地图的共同显示表明所述至少一个图像的内容和所述地图的内容可以同时显示。在一些实施例中,显示模块440可以包括不同的成像表面。所述至少一个图像的内容和所述地图的内容可以在不同的成像表面上分别显示。示例性的成像表面可包括平面成像表面、圆柱形成像表面、球面成像表面等或其组合。

在一些实施例中,在所述共同显示中,圆柱形成像表面上所述至少一个图像的表示可以与平面成像表面上所述地图的表示匹配。例如,包含在所述至少一个图像中的场景的位置信息可以由所述共同显示中所述地图的表示来指示。

存储模块450可以被配置为存储与图像显示有关的数据、指令和/或任何其他信息。例如,存储模块450可以存储所述图像、所述地图、所述图像的显示参数,所述地图的显示参数等或其任意组合。在一些实施例中,存储模块450可以存储从图像处理设备120的其他组件和/或相机110获得的数据。在一些实施例中,存储模块450可以存储数据和/或指令,图像处理设备120可以执行或使用该数据和/或指令以实施本申请中描述的示例性方法。在一些实施例中,存储模块450可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其组合。在一些实施例中,如本申请其他地方所述,存储模块450可以在云平台上实现。在一些实施例中,存储模块450可以与图像处理设备120中的一个或以上其他组件连接和/或通信。图像处理设备120中的一个或以上组件可以访问存储在存储模块450中的数据或指令。

应当注意,上面的图像处理设备120的描述仅用于图示的目的,而不是被理解为唯一的实施例。对于本领域普通技术人员而言,可以在本申请一些实施例的教导下进行各种改变和修改。然而,这些改变和修改可以不偏离保护本申请一些实施例的保护。

图5是根据本申请一些实施例所示的共同显示地图和图像的示例性流程500的流程图。在一些实施例中,流程500可以在如图4所示的图像显示系统100上实现。例如,流程500可以以指令形式存储在存储介质(例如,存储设备150或计算设备200的存储器227)中,并由图像处理设备120调用和/或执行。下面呈现的流程500中的操作旨在说明。在一些实施例中,流程500可以借助没有描述的一个或以上附加操作和/或没有讨论的一个或以上操作来实现。另外,如图5所示且如下所描述的流程500的操作顺序可以不旨在限制。应当注意的是,尽管以地图和图像的共同显示为例进行了描述,但是可以根据流程500的类似过程类似地实现地图和多个图像的共同显示。

在502中,图像处理设备120(例如,获得模块410)可以获得相机从拍摄方向捕获的图像。所述图像可以包括所述相机周围环境中的目标。所述目标可以是任何物体(例如,建筑物、树、街、河流等),其通过所述相机从所述拍摄方向可见。所述拍摄方向可以指所述相机的镜头面朝的方向。在一些实施例中,所述图像可以在被所述相机捕获之后被存储,图像处理设备120可以从存储设备(例如,存储设备150、存储器227或存储器390)获得所述图像。在一些实施例中,在被所述相机捕获之后,所述图像可以立即被送至图像处理设备120以供处理。

在一些实施例中,所述相机可以是安装在不同位置(例如,大致沿圆形分布的至少两个位置)处的所述至少两个相机110中的一个。所述至少两个相机110中的每一个可以对应于固定的拍摄方向并从该固定的拍摄方向捕获图像。在一些实施例中,包含在由两个相邻相机110捕获的两个图像中的场景可以具有重叠区域。为了更好地共同显示所述两个图像,可以根据一个或以上算法去除所述两个图像中的重叠区域。

在一些实施例中,所述相机可以是具有至少两个预设拍摄方向的可移动相机。所述相机可以从每个预设拍摄方向捕获图像。

在504中,图像处理设备120(例如,获得模块410)可以获得所述相机周围环境的地图。所述地图可以至少包括对应于所述目标的位置和对应于所述相机的位置。

例如,假设所述图像中的目标是所述相机周围环境中的地标建筑,所述地图中所述地标建筑的表示可以是如所述地标建筑般具有类似形状、类似颜色或类似纹理的某区域。可以在该区域辨认出对应于所述目标的位置。

作为另一示例,假设所述相机在所述地图中难以被辨认,对应于所述相机的位置可以是与所述地图中所述相机相关的参考对象的位置。所述参考对象可以是所述相机安装在的结构、所述相机位于的道路等。例如,假设所述相机被安装在白色建筑物的屋顶,对应于所述相机的位置可以在所述地图中所述白色建筑物的表示的位置被辨认出。

在一些实施例中,所述地图可以是以二维(2D)方式示出所述相机周围环境的平面地图。示例性的平面地图可以包括卫星地图、航拍图等或其组合。所述卫星地图可以通过由世界各地的政府和企业(例如,苹果地图、谷歌地图)操控的成像卫星来收集。航拍图可以是由航空器或其他飞行物拍摄的图像。示例性的飞行物可以包括固定翼航空器、直升机、无人驾驶飞行器(UAV或“无人机”)、气球、飞艇和飞船、火箭、鸽子、风筝、降落伞、独立伸缩望远镜等或其任何组合。在一些实施例中,所述地图可以是以三维(3D)方式示出所述相机周围环境的立体图。

在一些实施例中,与所述地图相关的信息可以预先存储在存储器(例如,存储设备150、计算设备228的存储器227、存储器390)中,图像处理设备120可以从存储设备获得所述地图。关于与地图相关的信息的详细描述,可以在本申请的其他地方(例如,在图10及其描述中)找到。

在506中,图像处理设备120(例如,显示模块440)可以共同显示所述图像和所述地图。所述图像和所述地图的共同显示可以表示所述图像的内容和所述地图的内容可以同时显示。

在一些实施例中,显示模块440可以包括不同的成像表面。所述图像的内容和所述地图的内容可以分别显示在不同的成像表面上。示例性的成像表面可以包括平面成像表面、圆柱形成像表面、球面成像表面等或其组合。例如,显示模块440可以将所述地图的内容投影到平面成像表面以形成所述地图的表示(例如,第一投影图像),将所述图像的内容投影到圆柱形成像表面上以形成所述图像的表示(例如,第二投影图像)。

在所述共同显示中,所述圆柱形成像表面上所述图像的表示可以与所述平面成像表面上所述地图的表示匹配。例如,当在所述圆柱形成像表面显示所述图像的表示时,可以通过地图同时展示所述图像中包含的场景的位置信息。具体地,所述图像的表示可以与对应于所述目标的位置和对应于所述地图的位置对齐,这意味着所述圆柱形成像表面上所述图像的表示可以正交于或基本上正交于连接对应于所述目标的位置与对应于所述地图的位置的线。如本文中所使用的,表面基本上正交于线可以表示该线和该表面可以形成一个从90度变化的夹角。变化量可以是0度至30度之间的值,例如1度、2度、5度、8度、10度、15度、20度、25度、28度等。在一些实施例中,当面朝所述圆柱形成像表面上所述图像的表示时,用户可以轻易地辨认出包含在所述地图中的所述图像中的场景的位置,因为它与用户的视角大致相同。关于所述图像和所述地图的显示的详细描述,可以在本申请其他地方(例如,在图6及其描述中)找到。

应当注意的是,流程500的以上描述仅仅出于说明目的被提供,不旨在被理解为唯一的实施例。对于本领域普通技术人员而言,可以在本申请一些实施例的教导下进行各种改变和修改。在一些实施例中,可以减少或添加一些操作。然而,这些改变和修改可以不偏离保护本申请一些实施例的保护。例如,可以在示例性流程500中添加一个或以上其他可选操作(例如,存储操作)。在存储操作中,图像处理设备120可以将一个或以上中间结果存储到在本申请其他地方公开的任何存储设备中。作为另一示例,可以以与流程500类似的方式将由至少两个摄像机110捕获的至少两个图像与地图相似地显示。

图6是根据本申请一些实施例所示的共同显示地图和图像的示例性流程600的流程图。在一些实施例中,如图1所示流程600可以在图像显示系统100上实现。例如,流程600可以以指令形式存储在存储介质(例如,存储设备150或存储器227)中,由图像处理设备120调用和/或执行。以下展示的流程600中的操作旨在说明。在一些实施例中,流程600可以借助没有描述的一个或以上附加操作和/或没有讨论的一个或以上操作来完成。另外,如图6所示和如下所描述的流程600中的操作的顺序可以不旨在是限制性的。在一些实施例中,操作506可以按照流程600执行。

在602中,图像处理设备120(例如,地图处理模块420)可以将地图的内容投影到第一成像表面上以形成第一投影图像。第一成像表面上的第一投影图像可以被视为所述地图的表示。

出于说明目的,第一成像表面可以是平面,所述第一投影图像可以是2D图像。图像处理设备120可以根据与所述地图关联的第一投影关系生成所述第一投影图像。与所述地图关联的所述第一投影关系可以指示所述地图的点(或像素)和所述第一投影图像的点(或像素)之间的点对点关系。在一些实施例中,第一投影关系可以被表示为:

xmap=youtput*zoom*cos(pitch)*sin(yaw)+xoutput*zoom*cos(yaw) (1),

ymap=youtput*zoom*cos(pitch)*cos(yaw)-xoutput*zoom*sin(yaw)+tymap (2),

其中,(xmap,ymap)表示所述地图中像素的坐标,(xoutput,youtput)表示第一投影图像中相应像素的坐标,yaw表示所述地图的第一旋转角度(也被称为地图的航向角),pitch表示所述地图的俯仰角,zoom表示所述地图的缩放比例,tymap表示所述地图的垂直位移系数。所述地图的第一旋转角度可以与所述地图在所述平面成像表面上相对于通过所述地图的中心且正交于所述平面成像面的轴旋转角度有关。具有不同的第一旋转角度,平面成像表面上的地图可以定向到不同的方向。例如,所述地图可以是北方朝向所述地图顶部的北向地图,或者南方朝向所述地图顶部的南向地图。所述地图的俯仰角可以与观察者的视角和所述平面成像表面的平面之间的角度有关。所述地图的缩放比例可以是与所述平面成像表面上所述地图的缩放效果关联的第一比例。使用不同的地图缩放比例,观察者可以以不同的FOV观察所述平面成像表面上的所述地图。例如,在所述平面成像面上放大所述地图的操作(例如,通过用户)可以通过增加所述地图的缩放比例的值来实现。在所述平面成像面上缩小所述地图的操作(例如,通过用户)可以通过减小所述地图的缩放比例的值来实现。所述地图的垂直位移系数可以与所述地图在垂直方向上的位移量有关。例如,在用户正低头看第一投影图像的情况下,通过增加所述地图的垂直位移系数可以实现对第一投影图像更仔细的观察。

基于等式(1)和(2),图像处理设备120可以将所述地图投影到所述平面成像表面上以形成所述第一投影图像。为了简洁,所述地图的第一旋转角度、所述地图的俯仰角、所述地图的缩放比例和所述地图的垂直位移可以被称为所述地图的显示参数。在一些实施例中,图像处理设备120可以从存储器(例如,存储设备150或存储器227)中检索所述地图的信息(例如,所述地图中像素的坐标),基于所述地图的信息和如上面所描述的所述地图的显示参数计算所述平面成像表面上第一投影图像的信息(例如,第一投影图像中像素的坐标)。在一些实施例中,图像处理设备120可以根据用户命令调整所述地图的一个或以上显示参数。例如,若用户发送在所述成像平面上显示所述地图更精细的结构信息的命令,则图像处理设备120可以增加地图的缩放比例的值。若用户发送改变所述地图在所述平面成像表面上的方向的命令,则图像处理设备120可以调整所述地图的第一旋转角度。在一些实施例中,所述用户命令可以由所述用户通过图像处理设备120的I/O接口发送。例如,可以通过鼠标、鼠标滚轮的滚动操作、手指的触摸操作等或其组合来执行所述用户命令。

在一些实施例中,所述地图的点(或像素)和第一投影图像的点(或像素)之间的点对点关系可以提前计算,并以映射表的形式存储在存储设备(例如,存储模块450)中。需要时,图像处理设备120可以从存储设备中检索所述映射表并基于所述映射表生成第一投影图像。或者,如操作504中所描述的,图像处理设备120可以在所述地图被获得模块410获得之后,将所述地图的内容投影到所述平面成像表面上以形成第一投影图像。

在604中,图像处理设备120(例如,图像处理模块430)可以将图像的内容投影到第二成像表面上以形成第二投影图像。第二成像表面上的第二投影图像可以被视为所述图像的表示。

出于说明目的,第二成像表面可以包括圆柱形表面。图像处理设备120可以根据与所述图像关联的第二投影关系生成第二投影图像。与所述图像关联的第二投影关系可以指示所述图像的点(或像素)和第二投影图像的点(或像素)之间的点对点关系。

在一些实施例中,第二投影关系可以指示所述图像中每个点(或像素)到世界坐标的投影。所述图像中像素的世界坐标可以被表示为:

其中,(xinput,yinput)表示所述图像中像素的坐标,(xw,yw,zw)表示世界坐标中像素的坐标,h表示所述图像的高度,w表示所述图像的宽度,yawpano表示所述图像的第二旋转角(也称为所述图像的航向角),pitchpano表示所述图像的俯仰角,zoompano表示所述图像的缩放比例,typano表示所述图像的垂直位移系数、rpano表示与第二投影图像关联的圆柱(即所述圆柱形成像表面)的半径。所述图像的第二旋转角度可以与所述圆柱形成像面上所述图像(即第二投影图像)沿所述圆柱的轴的旋转角度有关。在一些实施例中,第二投影图像可以显示在所述圆柱形成像表面的区域上,第二旋转角度可以影响所述圆柱形成像表面上显示区域的位置。所述图像的俯仰角可以与观察者的视角和所述平面成像表面的平面之间的角度有关。所述图像的缩放比例可以是与所述圆柱形成像表面上所述图像的缩放效果关联的第二比例。使用不同的图像缩放比例,观察者可以以不同的FOV观察所述圆柱形成像表面上的所述图像。例如,在所述柱面成像面上放大所述图像的操作(例如,通过用户)可以通过增加所述图像的缩放比例的值来实现。在所述柱面成像面上缩小所述图像的操作(例如,通过用户)可以通过减小所述图像的缩放比例的值来实现。所述图像的垂直位移系数可以与所述图像在垂直方向上的移位量有关。例如,在用户正低头看第二投影图像的情况下,通过增加所述图像的垂直位移系数可以实现对第二投影图像更仔细的观察。

图像处理设备120还可以基于所述图像的点(或像素)的世界坐标进一步确定第二投影图像。第二投影图像中的像素可以被表示为:

其中,(xoutput,youtput)表示第二投影图像中相应像素的坐标。

基于等式(3)至(7),图像处理设备120可以将所述图像投影到所述圆柱形成像表面上以形成第二投影图像。为了简洁,所述图像的第二旋转角度、所述图像的俯仰角、所述图像的缩放比例、所述图像的垂直位移量和所述圆柱的半径可以称为所述图像的显示参数。在一些实施例中,图像处理设备120可以从存储器(例如,存储设备150或存储器227)中检索所述图像的信息(例如,所述图像中像素的坐标),基于所述图像的信息和如上所描述的所述图像的显示参数计算所述圆柱形成像表面图像上第二投影图像的信息(例如,第二投影图像中像素的坐标)。在一些实施例中,图像处理设备120可以根据用户命令调整所述图像的一个或以上显示参数。例如,若用户发送在所述圆柱形成像表面上显示所述图像更精细的结构信息的命令,则图像处理设备120可以增加所述图像的缩放比例的值。若用户发送改变所述圆柱形成像表面上所述图像的显示区域的命令,则图像处理设备120可以调节所述图像的第二旋转角度。在一些实施例中,所述用户命令可以由用户通过图像处理设备120的I/O接口发送。例如,可以通过鼠标的点击操作、鼠标滚轮的滚动操作、手指的触摸操作等或其组合来执行所述用户命令。

在一些实施例中,类似于所述图像在圆柱形成像表面上的投影,图像处理设备120可以同时投影多个图像以在所述圆柱形成像表面上生成多个第二投影图像,并且需要的话,将所有第二投影图像拼接在一起以形成组合投影图像。如本申请其他地方所描述的,所述多个图像可以由安装在不同位置的至少两个相机(例如,所述至少两个相机110)在不同拍摄角度下捕获。或者,图像处理设备120可以根据,例如,用户输入,一次仅同时投影由所述多个相机捕获的所述多个图像的一部分。

在606中,图像处理设备120(例如,显示模块440)可以共同显示第一投影图像和第二投影图像。

在一些实施例中,图像处理设备120可以将所述地图的显示参数与所述图像的显示参数进行协调,使得第二投影图像与操作506中所描述的所述地图对齐。例如,在所述地图是北向地图(即,北方朝向所述地图顶部的地图)并且捕获所述图像的相机具有指向北方的拍摄方向的情况下,可以将所述地图的第一旋转角和所述图像的第二旋转角设置成具有相同的值,由此第二投影图像可以与所述地图中的北方向对齐。在所述地图是北向地图并且捕获图像的相机具有指向东方的拍摄方向的情况下,可以将所述地图的第一旋转角和所述图像的第二旋转角设置成具有90度差,由此第二投影图像可以与所述地图中的东方向对齐。

在一些实施例中,图像处理设备120可以根据用户的指令共同旋转和/或缩放第一投影图像和第二投影图像,以对所述共同显示执行旋转操作和/或缩放操作。例如,图像处理设备120可以通过改变所述地图的第一旋转角度和所述图像的第二旋转角度的值来共同旋转第一投影图像和第二投影图像。关于所述共同显示的旋转的详细描述,可以在本申请中的其他地方(例如,图7及其描述中)找到。对于另一示例,图像处理设备120可以通过改变与所述地图关联的第一比例和与所述图像关联的第二比例的值来共同放大和缩小第一投影图像和第二投影图像。关于所述共同显示的缩放效果的详细描述,可以在本申请中的其他地方(例如,在图8及其描述中)找到。

在一些实施例中,图像处理设备120投影多个图像以形成多个第二投影图像,并共同显示第一投影图像和所述多个第二投影图像。应当注意的是,由于与所述多个图像关联的不同拍摄角度,所述多个图像中的每一个可以具有不同的第二旋转角度。为了简洁,可以以由N个相机捕获的N个全景图像为例。若所述N个相机沿圆形均匀分布,则每个全景图像的第二旋转角度也可以均匀分布在0到360度的范围内。两个全景图像每相邻的两个第二旋转角度之间的角度间隔可以一并设为360/N度。通过这样做,图像处理设备120可以将所述N个全景图像中的每一个投影到对应于独特航向角的第二成像表面(例如,圆柱形表面)的独特部分。例如,如图9所示,八个相机可以一次捕获八个全景图像。图像处理设备120可以将所述八个全景图像的第二旋转角分别设置为0℃、45℃、90℃、135℃、180℃、225℃、270℃、315℃、270℃、315℃,以在圆柱形表面上形成伪3D(如图11所示)。应当注意的是,可以根据不同的应用场景调整所述八个全景图像的第二旋转角度。具体地,可以根据用户输入将第二旋转角设置为0至360度范围内的任何角度。

应当注意的是,流程600的以上描述仅仅出于说明目的被提供,不旨在被理解为唯一的实施例。对于本领域普通技术人员而言,可以在本申请一些实施例的指导下进行各种改变和修改。在一些实施例中,可以减少或添加一些操作。然而,这些改变和修改可以不偏离本申请一些实施例的保护。例如,可以在示例性流程600中添加一个或以上其他可选操作(例如,存储操作)。在存储操作中,图像处理设备120可以将第一投影图像存储在本申请其他地方公开的任何存储设备(例如,存储设备150、或存储器227)中。

图7是根据本申请一些实施例所示的调整共同显示方向的示例性流程700的流程图。在一些实施例中,流程700可以在如图1所示的图像显示系统100上实现。例如,流程700可以以指令形式存储在存储介质(例如,存储设备150或存储器227)中,并由图像处理设备120调用和/或执行。下面展示的流程700中的操作旨在说明。在一些实施例中,流程700可以借助没有描述的一个或以上附加操作和/或没有讨论的一个或以上操作来完成。另外,如图7所示和下面所描述的流程700的操作顺序可能不旨在限制性。

在702中,图像处理设备120(例如,显示模块440)可以接收调整图像和地图的共同显示方向的指令。

在一些实施例中,图像处理设备120可以从鼠标、键盘、触摸屏、麦克风等或其任何组合接收所述指令。例如,用户可以通过鼠标拖拽呈现在显示设备上的共同显示,或者点击键盘上的按钮以旋转所述共同显示。要调整的共同显示方向可以通过,例如,鼠标移动的方向、鼠标的行驶距离、按钮处于按下状态的持续时间、按钮被释放或按下的加速度等或其组合,来确定。

作为另一示例,所述指令可以是语音命令的形式。用户可以给出语音命令“切换到北”。图像处理设备120可以将所述命令解析和转换为计算机可识别的改变所述图像和所述地图的共同显示的指令,使得与指向北的拍摄方向关联的图像可以出现在第二成像表面的预设位置。或者,用户可以给出语音命令“旋转”。在接收到命令时,图像处理设备120可以生成按预设的角速度旋转所述共同显示的指令,直到接收到另一个停止旋转的指令。所述预设的角速度可以是图像显示系统100的默认设置,或者可以是在不同情况下可调节的。例如,可以根据用户通过鼠标的点击操作、鼠标滑轮的滚动操作等或其任意组合的输入来调整所述预设的角速度。

在704中,图像处理设备120(例如,显示模块440)可以调节与第一成像表面上所述地图的方向关联的第一旋转角度和与第二成像表面上所述图像的表示关联的第二旋转角度。为了实现调整,图像处理设备120可以基于所述指令确定偏移旋转角度。此外,图像处理设备120可以通过将偏移旋转角添加到地图的当前第一旋转角来计算地图的目标旋转角,并且通过将偏移旋转信息添加到图像的当前第二旋转角来计算图像的目标旋转角度。

在706中,图像处理设备120(例如,显示模块440)可以根据调整后的第一旋转角度和调整后的第二旋转角度更新所述图像和所述地图的共同显示。在一些实施例中,图像处理设备120可以指定所述地图的目标旋转角度为调整后的第一旋转角度,指定所述图像的目标旋转角度为调整后的第二旋转角度。然后,图像处理设备120可以根据调整后的所述地图的第一旋转角度下的第一投影关系更新由所述地图投影出的第一投影图像,根据调整后的所述图像的第二旋转角度下的第二投影关系更新由所述图像投影出的第二投影图像。

应当注意的是,流程700的以上描述仅仅出于说明目的被提供,不旨在被理解为唯一的实施例。对于本领域普通技术人员而言,可以在本申请一些实施例的教导下进行各种改变和修改。在一些实施例中,可以减少或添加一些操作。然而,这些改变和修改可以不偏离本申请一些实施例的保护。

图8是根据本申请一些实施例所示的调整共同显示的视场的示例性流程800的流程图。在一些实施例中,流程800可以在如图1所示的图像显示系统100上实现。例如,流程800可以以指令形式存储在存储介质(例如,存储设备150或存储器227)中,并由图像处理设备120调用和/或执行。下面展示的流程800中的操作旨在说明。在一些实施例中,流程800可以借助没有描述的一个或以上附加操作来和/或没有讨论的一个或以上操作来完成。另外,如图8所示和下面所描述的流程800的操作顺序可能不旨在限制性的。

在802中,图像处理设备120(例如,显示模块440)可以接收调整图像和地图的共同显示中的FOV的指令。所述图像和所述地图的共同显示中的FOV可以取决于所述图像和所述地图的缩放效果。类似于操作702,图像处理设备120可以从鼠标、键盘、触摸屏、麦克风等或其任何组合接收所述指令。例如,用户可以使用预设和存储在图像显示系统100的一个或以上存储设备(例如,存储设备150)中的缩放手势(例如,多点触摸手势)来放大或缩小(即,扩大或缩小视场)经由触摸屏呈现在显示设备上的所述共同显示,或者点击键盘上的按钮以放大或缩小所述共同显示。示例性的缩放手势可以包括在触摸屏上移动两个手指远离或接近彼此。

在一些实施例中,FOV的调整可以根据中心点完成。在FOV的调整期间,所述中心点的位置可以在第一/第二成像表面上保持不变。在一些实施例中,图像处理设备120可以将第二投影图像的中心确定为所述中心点。在一些实施例中,图像处理设备120可以基于所述指令确定目标,并将与所述目标相关的点(或像素)为所述中心点。

在804中,图像处理设备120(例如,显示模块440)可以调整关联于所述地图的缩放效果的第一比例和关联于所述图像的缩放效果的第二比例。在一些实施例中,图像处理设备120可以基于所述指令确定偏移比例。此外,图像处理设备120可以通过,例如,将所述偏移比例添加到第一比例,来计算所述地图的目标比例,通过,例如,将所述偏移比例添加到第二比例,来计算图像的目标比例。

在806中,图像处理设备120(例如,显示模块440)可以根据调整后的第一比例和调整后的第二比例来更新所述图像和所述地图的共同显示。在一些实施例中,图像处理设备120可以将所述地图的目标比例指定为调整后的第一比例,将所述图像的目标比例指定为调整后的第二比例。然后,图像处理设备120可以根据调整后的第一比例下的第一投影关系更新由所述地图投影出的第一投影图像,根据调整后的第二比例下的第二投影关系更新由所述图像投影出的第二投影图像。

应当注意的是,流程700的以上描述仅仅出于说明目的,不旨在被理解为唯一的实施例。对于本领域普通技术人员而言,可以在本申请一些实施例的指导下进行各种改变和修改。在一些实施例中,可以减少或添加一些操作。然而,这些改变和修改可以不偏离保护本申请一些实施例的保护。例如,除了同时放大或缩小所述地图的映射和所述图像的共同显示,图像处理设备120还可以单独控制所述地图和所述图像的缩放效果。例如,图像处理设备120可以仅执行放大或缩小第二成像表面上的第二投影图像的操作,保持所述地图在第一成像表面上投影出的第一投影图像的外观不变。

图9是根据本申请一些实施例的示例性相机布置。如图9所示,在白色建筑的屋顶上安装了八个相机(110-1、110-2、110-3、110-4、110-5、110-6、110-7和110-8)。可以沿以所述白色建筑的中心为中心的圆均匀布置所述八个摄像机。所述八个相机中的每一个具有独特的拍摄方向。例如,相机110-8的拍摄方向朝向北(即所述地图的顶部)。由所述八个相机捕获的一个或以上图像可以被投影到圆柱形成像表面,同时地图(例如,图10中展示的地图1000)被投影到平面成像表面,以形成所述地图和由所述八个相机捕获的一个或以上图像的共同显示。

图10根据本申请一些实施例示出了图9所示白色建筑的周围环境的示例性地图1000。如图10所示,白色建筑位于地图1000的中心。地图描绘了白色建筑的周围环境和太小以至于无法辨认的所述八个相机。所述地图在预定距离内至少可以描绘该建筑的周围环境。所述预定距离可以是图像显示系统100的默认设置,或者可以是在不同情况下可调整的。例如,可以根据用户输入调整所述预定距离。在一些实施例中,该距离可以是0.5公里、1公里、1.5公里、2公里、5公里、10公里、50公里、100公里等。

如本申请其他地方所述,所述地图可以是卫星图或航拍图。所述卫星地图可以通过由世界各地的政府和企业(例如,苹果地图、谷歌地图)操控的成像卫星来收集。航拍图可以是由飞机或其他飞行物拍摄的图像。示例性的飞行物可以包括固定翼航空器、直升机、无人驾驶飞行器(UAV或“无人机”)、气球、飞艇和飞船、火箭、鸽子、风筝、降落伞、独立伸缩望远镜等或其任何组合。

图11是根据本申请一些实施例的示例性的图像和地图的共同显示。所述图像可以由图9中所示的八个相机分别拍摄。如图11所示,八个投影图像1101、1102、1103、1104、1105、1106、1107和1108显示在圆柱形成像面上。所述八个投影图像中的每一个可以通过将所述八个相机中的一个捕获的图像投影到所述圆柱形成像表面上来生成。可以被视作背景的地图1100可以是图10中所示的地图1000的投影图像。

上文已对基本概念做了描述,显然,对于阅读此申请后的本领域的普通技术人员来说,上述发明披露仅作为示例,并不构成对本申请的限制。虽然此处并未明确说明,但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时,本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此,应当强调并注意的是,本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。

此外,本领域的普通技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的过程、机器、产品或物质的组合,或对其任何新的和有用的改进。因此,本申请的各方面可以完全由硬件、完全由软件(包括固件、驻留软件、微码等)或由软硬件的组合实施来实施,这些在本文一般都可以被称为“模块”、”单元“、”组件“、”设备“或”系统“。此外,本申请的各方面可以采用包含在一个或多个计算机可读介质中的计算机程序产品的形式,其上包含计算机可读程序代码的形式,所述计算机可读介质上有计算机可读程序代码。

计算机可读信号介质可以包含一个内含有计算机程序代码的传播数据信号,例如,在基带上或作为载波的一部分。此类传播信号可以有多种形式,包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF等,或任何上述介质的组合。

用于执行本申请的各方面的操作的计算机程序代码可以以一种或以上编程语言的任何组合来编写,这些编程语言包括面向对象的编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,传统的过程编程语言,如“C”编程语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或者其他编程语言。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后一种情况下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机,或者可以与外部计算机建立连接(例如,通过使用网络服务提供商的网络)或在云计算环境中或作为服务提供,例如,软件服务(SaaS)。

此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,尽管上述各种组件的实现可以体现在硬件设备中,但也可以实现为纯软件解决方案,例如,在现有服务器或移动设备上的安装。

同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本申请的实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。然而,本申请的该方法不应被解释为反映所声称的对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。

32页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:跨组织工作表共享

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!