电子装置及其对象测量方法
阅读说明：本技术 电子装置及其对象测量方法 (Electronic device and object measuring method thereof ) 是由 吴东根 柳志成 金范洙 朴赞敏 李基赫 于 2020-02-18 设计创作，主要内容包括：公开了一种电子装置及其对象测量方法。根据实施例,一种电子装置包括显示器、存储器以及可操作地连接到显示器和存储器的处理器。存储器存储指令,其中,所述指令使处理器进行以下操作：在对象的第一方向上产生第一深度信息；基于第一深度信息产生对象的第一点云；产生包含第一点云的一个或更多个点的第一边界框；在对象的第二方向上产生第二深度信息,其中,第二方向不同于第一方向；基于第二深度信息产生对象的第二点云；产生包含第二点云的一个或更多个点的第二边界框；通过将第一边界框和第二边界框进行组合来产生第三边界框；并且在显示器上显示第三边界框。特定的其它实施例也是可行的。(An electronic device and an object measuring method thereof are disclosed. According to an embodiment, an electronic device includes a display, a memory, and a processor operatively connected to the display and the memory. The memory stores instructions that cause the processor to: generating first depth information in a first direction of an object; generating a first point cloud of the object based on the first depth information; generating a first bounding box containing one or more points of a first point cloud; generating second depth information in a second direction of the object, wherein the second direction is different from the first direction; generating a second point cloud of the object based on the second depth information; generating a second bounding box comprising one or more points of a second point cloud; generating a third bounding box by combining the first bounding box and the second bounding box; and displaying the third bounding box on the display. Certain other embodiments are possible.)
技术领域
本公开总体上涉及一种电子装置，具体地，涉及一种能够使用相邻对象的信息来测量对象的尺寸的电子装置。
背景技术
使用增强现实技术，可将3维虚拟图像叠加在由相机捕捉的现实世界背景图像上，并且可将组合图像提供给用户。诸如智能电话的便携式电子装置(在下文中，被称为“电子装置”)可被设计为基于增强现实技术向用户提供各种类型的内容。
增强现实技术的示例性应用是使用虚拟图像来提供关于现实世界对象的信息。关于现实世界对象的一种这样类型的信息是对象的尺寸。例如，用户可使用能够拍摄杯子的图像、从所述图像测量杯子的尺寸并显示用于包装杯子的盒子的尺寸信息的电子装置来获取关于所述盒子的尺寸信息。
发明内容
传统上，可通过测量用户在捕捉的现实世界图像上指定的点之间的距离来实现对象尺寸测量。例如，当电子装置显示来自其相机的预览图像时，用户可依次选择对象的顶部端点和底部端点以测量两个选择的点之间的距离。然后可基于测量结果确定对象的尺寸。
另外的方面将在下面的描述中被部分地阐述，并且部分将从描述中显而易见，或者可通过本实施例的实践而获知。
根据公开的实施例，一种电子装置包括显示器、存储器以及可操作地连接到显示器和存储器的处理器。存储器存储指令，其中，所述指令在由处理器执行时使处理器进行以下操作：在对象的第一方向上产生第一深度信息；基于第一深度信息产生对象的第一点云；产生包含第一点云的一个或更多个点的第一边界框；在对象的第二方向上产生第二深度信息，其中，第二方向不同于第一方向；基于第二深度信息产生对象的第二点云；产生包含第二点云的一个或更多个点的第二边界框；通过将第一边界框和第二边界框进行组合来产生第三边界框；并且在显示器上显示第三边界框。
根据公开的实施例，一种电子装置的对象测量方法包括：在对象的第一方向上产生第一深度信息；基于第一深度信息产生对象的第一点云；产生包含第一点云的一个或更多个点的第一边界框；在对象的第二方向上产生第二深度信息，其中，第二方向不同于第一方向；基于第二深度信息产生对象的第二点云；产生包含第二点云的一个或更多个点的第二边界框；通过将第一边界框和第二边界框进行组合来产生第三边界框；并且显示第三边界框。
附图说明
在附图中，相同或相似的参考标号可用于相同或相似的组件。
根据下面结合附图进行的描述，本公开的特定实施例的以上和其它方面、特征和优点将更加明显，其中：
图1是示出根据公开的实施例的网络环境中的电子装置的配置的框图；
图2是示出根据公开的实施例的电子装置和对象的示图；
图3是示出根据公开的实施例的电子装置的框图；
图4是示出根据公开的实施例的电子装置的用于产生对象的3维坐标的硬件和软件的框图；
图5是示出根据公开的实施例的用于解释电子装置引导对将被测量的对象的瞄准的过程的示例性屏幕显示的示图；
图6是示出根据公开的实施例的用于解释电子装置产生对象的点云的过程的示例性屏幕显示的示图；
图7A和图7B是示出根据公开的实施例的用于解释电子装置从点云去除参考表面的过程的示例性屏幕显示的示图；
图8是示出根据公开的实施例的用于解释电子装置产生3维边界框的过程的示例性屏幕显示的示图；
图9A至图9D是示出根据公开的实施例的用于解释电子装置显示与对象测量有关的引导信息的过程的示例性屏幕显示的示图；
图10是示出根据公开实施例的用于解释由电子装置产生的对象的点云的示例性屏幕显示的示图；
图11是示出根据公开的实施例的用于解释电子装置产生针对对象的两个边界框的过程的示例性屏幕显示的示图；
图12是示出根据公开的实施例的用于解释电子装置更新边界框的过程的示例性屏幕显示的示图；
图13A和图13B是示出根据公开的实施例的用于解释电子装置产生2维对象的边界框的过程的示例性屏幕显示的示图；以及
图14是示出根据公开的实施例的电子装置的对象测量方法的流程图。
具体实施方式
特定公开的实施例旨在提供一种能够自动且准确地测量现实世界对象的尺寸的电子装置及其对象测量方法。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2是示出根据公开的实施例的电子装置和对象的示图。
根据实施例，电子装置210可以是但不限于诸如智能电话和平板个人计算机(PC)的便携式电子装置。电子装置210可包括用于在预定视角内拍摄图像并创建拍摄的图像中所包括的对象220的深度信息(或深度图)的至少一个传感器(例如，飞行时间(ToF)传感器211和红绿蓝(RGB)图像传感器212)。
参照图3至图14详细描述电子装置210使用ToF传感器211和/或RGB图像传感器212产生对象220的深度信息的方法。
能够获得深度信息的对象220不受图2所示的实施例的限制。尽管图2针对拍摄放置在桌子222上的杯子221的图像的示例，但是电子装置210也可拍摄诸如人体的其它对象的图像以获得对象的深度信息。
尽管本公开中的描述针对获得拍摄的图像中的杯子221的深度信息并自动显示基于该深度信息自动测量的杯子221的边界框和尺寸的示例性情况(例如，如图5至图12)，但是特定公开的实施例的方法可用于测量各种类型的3维或2维对象(例如，在平坦表面上绘制的图片)的尺寸。
电子装置210可基于拍摄的图像中的对象220的深度信息来创建点云，并且继续创建点云的边界框。
根据实施例，电子装置210可基于在两个或更多个位置(例如，第一方向和第二方向)处获得的深度信息(例如，第一深度信息和第二深度信息)来创建多个点云(例如，第一点云和第二点云)，从点云创建多个边界框(例如，第一边界框至第三边界框)，并且显示边界框。
在显示创建的边界框之后，如果确定边界框不准确，则电子装置210可显示提示用户移动电子装置210以在不同位置处拍摄相应对象220的附加图像(或深度信息)的引导信息。
图3是示出根据公开的实施例的电子装置的框图。
参照图3，电子装置300可包括ToF传感器310、RGB传感器320、显示器330、处理器340和存储器350，它们中的至少一个可被省略或替换。电子装置300可包括图1的电子装置的配置和/或功能中的至少一些。
构成电子装置300的组件被包含在壳体中，并且从壳体的外部发射光(例如，显示器330)或接收光(例如，ToF传感器310)的一些组件可被部分地暴露于壳体的外部。
根据实施例，显示器330可显示图像并且可利用诸如液晶显示器(LCD)或发光二极管(LED)显示器的各种类型的显示装置中的至少一个被实现。显示器330可包括图1的显示装置160的配置和/或功能中的至少一部分。显示器330可通过在壳体的一个表面(例如，前表面)中形成的开口被暴露。
显示器330可以是能够感测例如由用户的一个或更多个手指或手写笔做出的触摸或悬停(即，接近触摸)手势的触摸屏显示器。
根据实施例，ToF传感器310能够使用ToF技术获得对象的深度信息。例如，ToF传感器310可发射红外线并且计算从对象反射的光线的到达时间，以测量从ToF传感器310到对象的反射光的部分的距离。基于由ToF传感器310测量的距离，可产生对象的深度信息。
ToF传感器310可使用ToF技术从在多个方向上从多个位置获取的多个图像帧产生深度信息。
根据实施例，RGB图像传感器320可拍摄对象的图像并且产生包括红色(R)、绿色(G)和蓝色(G)数据的图像数据。RGB图像传感器320可使用诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)的各种技术中的一种技术来获取图像数据。
根据实施例，处理器340可基于由RGB图像传感器在不同方向上获取的对象的两条图像数据来产生对象的深度信息。
根据实施例，电子装置300可包括ToF传感器310和RGB图像传感器320中的至少一个，并且/或者除了ToF传感器310和RGB图像传感器320之外，还可包括能够产生对象的深度信息的附加传感器。
根据实施例，存储器可包括但不限于易失性存储器和非易失性存储器。存储器350可包括图1的存储器的配置和/或功能中的至少一些。存储器350还可存储图1的程序中的至少一些程序。
存储器350可存储可由处理器340执行的各种指令。这些指令可包括算术和逻辑运算、用于操纵数据的指令以及输入/输出控制命令。
根据实施例，处理器340可被配置为控制电子装置300的组件执行与通信有关的操作和数据处理操作，并且可包括图1的处理器120的配置和/或功能中的至少一些。处理器340可功能性地、可操作地和/或电子地连接到电子装置300的组件，即，ToF传感器310、RGB图像传感器320、显示器330和存储器350。处理器340可包括微处理器或任何合适类型的处理电路，诸如，一个或更多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、视频卡控制器等。此外，将认识到，当通用计算机访问用于实现本文所示的处理的代码时，代码的执行将通用计算机转换为用于执行本文所示的处理的专用计算机。附图中提供的特定功能和步骤可以以硬件、软件或两者的组合被实现，并且可在计算机的编程指令内被全部或部分地执行。此外，技术人员理解并获悉，“处理器”或“微处理器”可以是要求保护的公开中的硬件。
处理器340不限于执行电子装置300的算术运算和数据处理功能。特定公开的实施例针对一种用于自动且准确地测量现实世界对象的尺寸的方法并且引导用户进行更准确的测量方法。可在加载存储在存储器350中的相应指令之后执行以下将描述的处理器340的操作。
根据实施例，处理器340可在对象的第一方向上产生第一深度信息。
根据实施例，处理器340可基于由位于对象的第一方向上的ToF传感器310拍摄的第一ToF帧来产生第一深度信息。ToF传感器310可测量位于视角内的每个对象的点之间的距离，并且处理器340可基于该距离来产生第一深度信息。
根据可选的实施例，处理器340可基于RGB图像传感器320在对象的第三方向上获取的第三RGB帧与RGB图像传感器320在对象的第一方向上获取的第一RGB帧之间的差来产生第一深度信息。对象的第一方向和第三方向可形成预定角度，因此第一RGB帧和第三RGB帧可以是在对象的不同方向上拍摄的图像帧。因此，处理器340可基于在对象的不同方向上获取的第一RGB帧与第三RGB帧之间的差来获取对象的第一深度信息。
根据实施例，处理器340可基于第一深度信息来产生对象的第一点云。点云包括在3维对象的表面上捕捉的点。可通过相对于参考点的坐标信息来识别构成点云的各个点。
根据实施例，处理器340可产生仅具有参考表面上方的点的第一点云。也就是说，在产生的点云中，处理器340可去除参考表面上的点。
在测量放置在特定参考表面(例如，桌子和地面)上的对象的情况下，因为参考表面被包括在图像帧(例如，ToF帧和RGB图像帧)中，因此深度信息和参考表面的点云可被包括。处理器340可去除参考表面的点云以产生仅针对对象的边界框。
根据实施例，处理器340可检测构成点云的点中具有相同法向量(或在误差范围内)的点。然后，处理器340可在具有相同法向量的点中基于它们的坐标信息识别彼此相邻的点。根据可选的实施例，处理器340可将在z轴(例如，图2中的z轴)上有最大数量的具有相同坐标值的点的表面确定为产生的点云中的参考表面。
通过去除如上检测到的参考表面，可产生由与对象相应的点组成的第一点云。在拍摄的图像帧(例如，ToF帧和RGB图像帧)中存在多个对象的情况下，可通过去除参考表面来分离对象。处理器340可产生针对分离的对象的点云和边界框。
根据实施例，处理器340可基于第一点云来产生第一边界框。边界框被形成为对象可放入的最小长方体。例如，处理器340可基于x轴、y轴和z轴中的从第一点云的各个点的坐标信息获得的最小坐标值和最大坐标值来产生第一边界框。
根据实施例，在针对拍摄的图像帧(例如，ToF帧和RGB图像帧)中包括的多个对象产生多个点云的情况下，由于参考表面的去除，处理器340可产生针对每个对象的边界框。
根据实施例，处理器可在显示器330上显示第一边界框。这里，处理器340可显示第一边界框，使得第一边界框被覆盖在由RGB图像传感器320拍摄的对象的图像上。在存在多个对象的情况下，针对每个对象的边界框被覆盖在各自的对象上。
因为仅基于一组深度信息产生如上产生的第一边界框，因此如上产生的第一边界框可能是不准确的。准确度低是因为难以仅从第一方向测量3-D深度信息。根据公开的实施例，电子装置300可使用在不同方向上获取的多组深度信息来更准确地计算边界框和数值。
根据实施例，处理器340可在对象的第二方向上产生第二深度信息。这里，第二方向不同于第一方向，并且可相对于对象水平或垂直地与第一方向形成预定角度。
可以以与用于第一深度信息的方式相同的方式来产生第二深度信息。例如，处理器340可基于由ToF传感器310在对象的第二方向上获取的第二ToF帧来产生第二深度信息。处理器340还可基于RGB图像传感器320在对象的第一方向上获取的第一RGB帧与RGB图像传感器320在对象的第二方向上获取的第二RGB帧之间的差来产生第二深度信息。
根据实施例，处理器340可基于第二深度信息来产生对象的第二点云。处理器340可在基于第二深度信息产生的点云中产生仅具有参考表面上方的点的第二点云。
根据实施例，处理器340可基于第二点云来产生第二边界框。第二边界框可与第一边界框部分地不同。例如，第二边界框可相对于第一边界框具有在x方向、y方向和z方向上延伸(或缩小)的尺寸。这里，处理器340可显示第二边界框，使得第二边界框被覆盖在由RGB图像传感器320拍摄的对象的图像上。
根据实施例，可通过将第一边界框和第二边界框进行组合来产生第三边界框。如上所述，因为第一边界框和第二边界框是在对象的不同方向上测量的，所以它们的尺寸不同。
第三边界框可具有可放入第一边界框和第二边界框的长方体形状。也就是说，可基于第一边界框和第二边界框的x轴、y轴和z轴坐标值中的最小值和最大值来产生第三边界框。
根据实施例，处理器340可在显示器330上显示第三边界框。处理器340可显示第三边界框，使得第三边界框被覆盖在由RGB图像传感器320获取的对象的图像上。
根据实施例，处理器340可显示第三边界框以及数字信息。所述数字信息可包括第三边界框的边缘长度和体积。处理器340可基于第三边界框中包含的点云的最小坐标值和最大坐标值来产生所述数字信息。
根据实施例，如果确定第一边界框不准确，则处理器340可在显示器330上显示提示在不同方向上产生另一边界框的引导信息。
根据实施例，如果第一边界框与包括实际对象的区域部分地不同，则处理器340可将第一边界框识别为不准确，并且显示提示在不同方向上产生第二边界框的引导信息。
根据可选的实施例，如果确定从第一RGB图像提取的对象部分地在RGB图像传感器320的视角之外，则处理器340可显示提示电子装置300的位置偏移的引导信息。
根据可选的实施例，如果构成第一点云的点的数量小于阈值，则处理器340可显示提示使电子装置300的位置更靠近对象偏移的引导信息。
根据可选的实施例，如果从由ToF传感器310拍摄的第一ToF帧获取的第一点云的数量小于阈值，则处理器340可显示提示利用RGB图像传感器320获取深度信息的引导信息。
随后参照图9A至图9D描述如何显示引导信息。
根据实施例，电子装置300可产生针对平面上的2维对象(例如，矩形和椭圆形)的边界框。
如果未能在由ToF传感器310和/或RGB图像传感器320捕捉的图像帧中检测到任何3维对象，或者如果用户选择2维对象测量选项，则处理器340可执行用于获取2维对象的深度信息的处理。
处理器340可基于2维对象的深度信息来产生点云，并且通过在产生的点云中裁剪形成所述2维对象的形状的点来继续产生点云掩膜。
处理器340可计算点云掩膜的点的最小x轴坐标值和最小y轴坐标值以及最大x轴坐标值和最大y轴坐标值，并且基于计算出的坐标值以2维形状(例如，矩形)的形式产生边界框。
处理器340可在显示器330上显示产生的边界框，使得边界框与包括边界框的至少一侧的长度和/或边界的面积的数字信息一起被覆盖在对象的图像上。
图4是示出根据公开的实施例的电子装置的用于产生对象的3维坐标的硬件和软件的框图。
参照图4，电子装置400可包括以下硬件组件：处理器440、RGB图像传感器420、ToF传感器410、惯性测量单元(IMU)传感器460、显示器430和存储器450。处理器440可执行用于产生对象的点云和/或边界框的一个或更多个进程或线程。
根据实施例，如果用户选择执行对象测量功能，则电子装置400可通过图形用户界面441显示由RGB图像传感器420拍摄的对象的图像、测量信息(例如，点云、边界框和数字信息)和引导信息。
ToF传感器410可产生对象的至少一个ToF帧并将其发送到处理器440，并且处理器440可包括基于ToF帧产生深度信息的深度图产生器442。电子装置400可包括能够产生深度信息的附加传感器。
处理器440可包括重新定位RGB图像传感器420的相机姿态的相机姿态重定位器443。
IMU传感器460可使用陀螺仪、加速度计和电磁传感器中的至少一种来获取与电子装置400的位置和运动有关的各种信息，诸如，电子装置400的旋转量、加速度和位置信息。处理器440可包括能够从由IMU传感器460获取的信息过滤噪声的IMU噪声滤波器444。
处理器440可使用IMU传感器460的感测值，借助于相机姿态重定位器443来重新定位相机姿态。这时，处理器440可重新组织图像帧(例如，ToF帧)。
处理器440可包括局部迭代最近点(ICP)模块446，其中，局部迭代最近点(ICP)模块446能够基于由深度图产生器442产生的深度信息和由相机姿态重定位器443重新定位的相机姿态来产生点云。
局部ICP模块446可基于点云产生对象的边界框。
处理器440可利用图形用户界面在显示器430上显示边界框和边界框的数字信息(例如，长度、面积和体积)，并且可将边界框和数字信息存储在存储器450中。
图5是示出根据公开的实施例的用于解释电子装置引导对将被测量的对象的瞄准的过程的示例性屏幕显示的示图。
参照图5，用户可操作电子装置500以在显示器530上显示由RGB图像传感器(例如，图3中的RGB图像传感器320)拍摄的对象的实时图像。处理器(图3中的处理器340)可显示用于引导将待测量的对象布置在屏幕的中心的瞄准图像565。
如果用户调整电子装置500的角度，使得瞄准图像565被放置在对象的中心处，则处理器可自动地或响应于用户做出的触摸输入，借助于ToF传感器(例如，图3中的ToF传感器310)获取第一ToF帧。第一ToF帧可包括关于作为将被测量的对象的杯子571和放置杯子571的桌子572的信息。
处理器还可借助于RGB图像传感器来获取RGB图像帧。
处理器可从第一ToF帧获取第一深度信息。第一深度信息可包括关于所有对象(例如，杯子571和桌子572)的深度的信息。在这种情况下，由于对象彼此接触，因此可将它们识别为单个对象。
图6是示出根据公开的实施例的用于解释电子装置产生对象的点云的过程的示例性屏幕显示的示图。
根据实施例，处理器(例如，图5中的处理器340)可基于第一深度信息产生第一点云680，并且在显示器630上显示第一点云680。
点云可包括构成3维对象的表面的点。构成点云的点可均具有相对于参考点的坐标信息。
参照图6，处理器可在由RGB图像传感器(例如，图3中的RGB图像传感器320)拍摄的图像上显示第一点云680的点，使得这些点被覆盖在图像中的对象上。这里，第一点云680可包括在作为屏幕中的对象的杯子671和桌子672上测量的点。
图7A和图7B是示出根据公开的实施例的用于解释电子装置从点云去除参考表面的过程的示例性屏幕显示的示图。
参照图7A，即使用户意图测量的对象是杯子771，在测量放置在诸如桌子的参考表面上的杯子771的尺寸的过程中临时获取的第一点云也可包括关于杯子771和桌子两者的信息。
根据实施例，处理器(例如，图3中的处理器340)可产生第一点云781，其中，第一点云881仅包括基于第一深度信息产生的临时第一点云中的参考表面上方的点。也就是说，处理器可去除临时产生的第一点云中的在参考表面(例如，桌子)处或参考表面(例如，桌子)下方的点。
根据实施例，处理器可在构成第一点云781的点中检测具有相同法向量(或在误差范围内)的点，并且在具有相同法向量的点中基于它们的坐标信息识别彼此相邻的点。因为与桌子相应的点都被布置在同一平面上，所以它们的法向量可与z轴垂直。处理器可识别彼此相邻并且与参考表面具有相同的法向量(或在误差范围内)的点。
根据可选的实施例，处理器可将临时产生的点云中的有最大数量的具有相同z轴坐标值(或在误差范围内)的点的表面确定为参考表面。
参照图7A，通过从图6中所示的临时点云中去除参考表面来获得杯子771的点云781。
参照图7B，在捕捉的图像帧(例如，ToF帧和RGB图像帧)中包括多个对象的情况下，可通过去除参考表面将各个对象771a和771b的点云781a和781b彼此分离。
在这种情况下，处理器可产生分离的对象771a和771b的第一点云781a和781b，然后继续产生并显示针对每个对象的边界框。
图8是示出根据公开的实施例的用于解释电子装置产生3维边界框的过程的示例性屏幕显示的示图。
根据实施例，处理器(例如，图3中的处理器340)可基于第一点云(例如，图7A中的第一点云781)产生第一边界框890。可以以对象可放入的最小长方体的形状来产生边界框。例如，处理器可基于x轴、y轴和z轴中的从第一点云的各个点的坐标信息获得的最小坐标值和最大坐标值来产生第一边界框890。
处理器可将第一边界框890显示为覆盖在对象871的图像上。
处理器可显示第一边界框890以及数字信息899。这里，数字信息899可包括第一边界框890的边缘长度和体积。处理器可基于第一边界框890中包含的点云的最小坐标值和最大坐标值来产生数字信息899。
参照图8，通过参照图5至图8描述的过程产生的边界框可能对于对象871太小以至于不能放入对象871，也就是说，边界框可能不准确。以仅利用一个ToF帧的方式测量对象可能产生尺寸相对于实际对象不准确的边界框。同样，当在过暗或过亮的地方测量对象或使用对象的图像(例如，ToF帧)的一部分时，会产生不准确的边界框。
根据实施例，如果确定如上所述产生的边界框不准确，则电子装置800可显示提示用户将电子装置800移动到不同位置的引导信息，以拍摄相应对象的另一图像(或深度信息)。
在下文中，参照图9A至图9D描述用于显示引导信息的过程。
图9A至图9D是示出根据公开的实施例的用于解释电子装置显示与对象测量有关的引导信息的过程的示例性屏幕显示的示图。
根据实施例，在如上所述产生的第一边界框990不同于对象的实际区域的情况下，处理器(例如，图3中的处理器340)可显示提示在不同方向上再次产生边界框的引导信息935。
参照图9A，被覆盖在由RGB图像传感器(例如，图3中的RGB图像传感器320)拍摄的对象971的图像上的第一边界框990尺寸小于对象971的实际区域。
根据实施例，处理器可在由RGB图像传感器拍摄的第一RGB图像中提取与对象971相应的区域，确定第一边界框被覆盖在第一RGB图像中的对象971的区域上，并且将重叠部分的尺寸与阈值进行比较。如果比较结果表明重叠部分的尺寸小于所述阈值，则意味着第一边界框990不准确；因此，处理器可在显示器930上显示引导信息935。
参照图9B，第一边界框可覆盖对象971的一部分。这是因为当获取第一ToF帧以产生第一深度信息时，对象971部分地在ToF相机的视角内。
根据另一实施例，如果确定与RGB图像中的对象971相应的区域部分地在RGB图像传感器的视角之外，则处理器可显示提示在不同方向上再次产生边界框的引导信息936。
因为ToF传感器和RGB图像传感器在电子装置中，所以ToF传感器和RGB图像传感器可具有相同的视角。因此，处理器可基于由RGB图像传感器获取的RGB图像来确定对象是否完全在ToF传感器的视角内。处理器可基于RGB图像的垂直边缘和水平边缘处的像素值来确定对象是否部分地在所述视角之外。
参照图9C，因为电子装置900离对象971太远，所以如上所述产生的第一点云982可由相对少量的点组成。
根据实施例，如果第一点云982的点的数量等于或小于阈值，则处理器可在显示器930上显示提示从更近的距离再次产生边界框的引导信息937。
参照图9D，在环境光太暗或太亮时产生对象971的点云983的情况下，因为ToF传感器发射红外波段的光，所以点云983可由少量的点组成。在这种情况下，因为RGB图像传感器将提供更准确的点云，所以处理器可显示提示使用RGB图像传感器的引导信息938。
根据实施例，在基于第一ToF帧产生的第一点云的点的数量等于或小于所述阈值的情况下，处理器可在显示器上显示提示使用RGB图像传感器产生边界框的引导信息。处理器还可基于由RGB图像传感器拍摄的RGB图像帧来检查环境亮度，并且，如果确定环境亮度太亮或太暗，则在显示器上显示提示使用RGB图像传感器产生边界框的引导信息938。
图10是示出根据公开的实施例的用于解释由电子装置产生的对象的点云的示例性屏幕显示的示图。
在显示第一边界框(例如，图8中的第一边界框890)之后，处理器可根据预定的逻辑和/或在显示参照图9A至图9D描述的引导信息之后，获取第二深度信息。例如，用户可根据引导信息将电子装置1000移动到新位置(例如，第二位置)以从新位置拍摄对象的图像。在图10至图12的实施例中，假设电子装置在对象1071周围被水平移动以在与第一方向形成预定角度的第二方向上测量对象1071。然而，移动方向不限于公开的实施例，并且第二方向可以是从第一方向向上或向下倾斜的方向或在第一方向的相反方向上的方向。
根据实施例，处理器可在对象的第二方向上产生第二深度信息。
处理器可基于第二深度信息来产生第二点云1080。可通过使用与用于第一点云的过程相同的过程来产生第二点云1080。
处理器可显示第二点云1080，使得第二点云1080的点被覆盖在相应的对象1071和1072上。
图11是示出根据公开的实施例的用于解释电子装置产生针对对象的两个边界框的过程的示例性屏幕显示的示图。
处理器(例如，图3中的处理器340)可从第二点云(例如，图10中的第二点云1080)去除参考表面并且产生第二边界框1192。可以以与用于第一边界框1191的方式相同的方式来产生第二边界框1192。
参照图11，电子装置可在显示器1130上显示第一边界框1191和第二边界框1192。第一边界框1191和第二边界框1192可均具有与对象重叠的重叠部分和与对象不重叠的非重叠部分。
图12是示出根据公开的实施例的用于解释电子装置更新边界框的过程的示例性屏幕显示的示图。
根据实施例，处理器(例如，图3中的处理器340)可通过将第一边界框(例如，图11中的第一边界框1191)和第二边界框(例如，图11中的第二边界框1192)进行组合来产生第三边界框1293。
第三边界框1293可以是具有足以适合第一边界框和第二边界框的尺寸的长方体形状。也就是说，可基于第一边界框和第二边界框的x轴、y轴和z轴坐标值中的最小值和最大值来产生第三边界框1293。
处理器可在显示器1230上显示第三边界框，使得第三边界框被覆盖在对象1271上。
根据实施例，处理器可显示第三边界框以及第三边界框1293的数字信息1299。这里，数字信息1299可包括第三边界框的边缘长度和体积。处理器可基于与第三边界框1293相应的点云的点的最小坐标值和最大坐标值来产生数字信息1299。
图13A和图13B是示出根据公开的实施例的用于解释电子装置产生2维对象的边界框的过程的示例性屏幕显示的示图。
根据实施例，电子装置1300(例如，图3中的电子装置300)可产生针对平面上的2维对象(例如，矩形和椭圆形)的边界框。
参照图13A，可将纸质文档1371放置在桌子1372上。如果在尝试使用ToF传感器(例如，图3中的ToF传感器310)和/或RGB图像传感器(例如，图3中的RGB传感器320)测量3-D对象之后未检测到3维对象，或者如果用户选择2维对象测量选项，则处理器(例如，图3中的处理器340)可执行用于产生针对2维对象的边界框的处理。
处理器可基于借助于ToF传感器和/或RGB图像传感器获取的深度信息来产生由参考数字1381和1382表示的点云，并且在显示器1330上显示点云1381和1382。点云1381和1382可包括与纸质文档1371和桌子1372相应的所有点。
处理器可产生具有在产生的点云中裁剪出的与作为2维对象的纸质文档1371相应的点的点云掩膜。例如，处理器可使用各种边缘提取方法检测具有预定形状的区域，并且可通过对所述区域进行裁剪来产生点云掩膜。
处理器340可基于点云掩膜的点的最小x轴坐标值和最小y轴坐标值以及最大x轴坐标值和最大y轴坐标值来产生2维边界框(例如，矩形)。
参照图13B，处理器可显示产生的边界框，使得边界框被覆盖在作为2维对象的纸质文档1371的图像上。根据实施例，处理器可显示包括作为2维对象的纸质文档1371的边界框的边长和/或面积中的至少一个的数字信息1399。
根据图13A和图13B的实施例，与传统技术不同，电子装置1300能够自动计算2维对象的尺寸而无需任何设置用于测量的参考点的用户干预。提出的方法即使在缺少一些深度信息的情况下也能够准确地计算边界框的尺寸。
根据实施例，电子装置300可包括显示器330、存储器350以及可操作地连接到显示器330和存储器350的处理器340。存储器350可存储指令，其中，所述指令在由处理器执行时，使处理器进行以下操作：在对象的第一方向上产生第一深度信息；基于第一深度信息产生对象的第一点云；产生包含第一点云的一个或更多个点的第一边界框；在对象的第二方向上产生第二深度信息，其中，第二方向不同于第一方向；基于第二深度信息产生对象的第二点云；产生包含第二点云的一个或更多个点的第二边界框；通过将第一边界框和第二边界框进行组合来产生第三边界框；并且在显示器330上显示第三边界框。
根据实施例，所述指令还可使处理器在显示器330上显示包括第三边界框的体积和第三边界框的边缘长度的数字信息。
根据实施例，所述指令还可使处理器基于第三边界框中的点的最小坐标值和最大坐标值来产生所述数字信息。
根据实施例，电子装置300还可包括RGB图像传感器320，并且所述指令还可使处理器在由RGB图像传感器320拍摄的包括对象的RGB图像上显示第三边界框。
根据实施例，所述指令还可使处理器进行以下操作：从由RGB图像传感器320在对象的第一方向上拍摄的第一RGB图像提取对象；识别第一边界框与从第一RGB图像提取的对象的区域重叠的重叠区域；并且基于重叠区域的尺寸等于或小于阈值，在显示器330上显示提示在第二方向上获取第二深度信息的引导信息。
根据实施例，所述指令还可使处理器在显示器330上显示提示在第二方向上获取第二深度信息的引导信息，其中，所述引导信息的显示可基于对象的至少一部分在RGB图像传感器的视角之外。
根据实施例，所述指令还可使处理器基于第一点云中的点的数量等于或小于阈值，在显示器330上显示提示在更靠近对象的位置处获取第二深度信息的引导信息。
根据实施例，所述指令还可使处理器检测基于第一深度信息产生的第一点云中的参考表面，其中，第一点云包括参考表面上方的点。
根据实施例，所述指令还可使处理器通过去除第一点云中与参考表面相应的点来产生与彼此分离的多个对象相应的多个第一点云，并且产生与所述多个对象相应的第一边界框。
根据实施例，电子装置300还可包括飞行时间(ToF)传感器310，并且所述指令还可使处理器基于由ToF传感器310在对象的第一方向上拍摄的第一ToF帧来产生第一深度信息，并且基于由ToF传感器310在对象的第二方向上拍摄的第二ToF帧来产生第二深度信息。
根据实施例，电子装置300还可包括RGB图像传感器320，并且所述指令还可使处理器基于从第一ToF帧获取的第一点云中的点的数量等于或小于阈值，在显示器330上显示提示使用RGB图像传感器320获取第二深度信息的引导信息。
根据实施例，电子装置300还可包括RGB图像传感器320，并且所述指令还可使处理器进行以下操作：基于由RGB图像传感器320在对象的第三方向上拍摄的第三RGB帧与由RGB图像传感器320在对象的第一方向上拍摄的第一RGB帧之间的第一差来产生第一深度信息，并且基于第一RGB帧与由RGB图像传感器320在对象的第二方向上拍摄的第二RGB帧之间的第二差来产生第二深度信息。
图14是示出根据公开的实施例的电子装置的对象测量方法的流程图。
在图14的实施例中，可由参照图1至图12描述的电子装置(例如，图3中的电子装置300)执行对象测量方法，并且以下省略了上述技术特征。
在操作1410，电子装置(例如，图3中的电子装置300)可在对象(例如，图2中的对象220)的第一方向上产生第一深度信息。根据实施例，电子装置可借助于ToF传感器(例如，图3中的ToF传感器310)或RGB图像传感器(例如，图3中的RGB传感器320)来获取对象的第一深度信息。
在操作1420，电子装置可基于第一深度信息来产生对象的第一点云。根据实施例，电子装置可产生基于第一深度信息产生的点云中的仅由参考表面上方的点组成的第一点云。
在操作1430，电子装置可产生包含第一点云的第一边界框。电子装置可使用从构成第一点云的点的坐标信息获得的点的最小x轴、y轴和z轴坐标值以及最大x轴、y轴和z轴坐标值来产生第一边界框。
电子装置可显示第一边界框，使得第一边界框被覆盖在对象上。如果确定第一边界框不准确，则电子装置可在显示器上显示提示在对象的不同方向上产生第二边界框的引导信息。
根据实施例，如果确定第一边界框与包括实际对象的区域部分地不同，则处理器可识别第一边界框不准确，并且显示提示在不同方向上产生第二边界框的引导信息。
根据可选的实施例，如果从第一RGB图像提取的对象部分地在RGB图像传感器的视角之外，则处理器可显示提示电子装置的位置偏移的引导信息。
根据可选的实施例，如果构成第一点云的点的数量小于阈值，则处理器可显示提示使电子装置的位置更靠近对象偏移的引导信息。
根据可选的实施例，如果构成从由ToF传感器310拍摄的第一ToF帧获取的第一点云的点的数量小于阈值，则处理器可显示提示利用RGB图像传感器获取深度信息的引导信息。
已经参照图9A至图9D描述了如何显示引导信息。
在操作1440，电子装置可在对象的第二方向上产生第二深度信息。可以以与参照操作1410描述的第一深度信息的方式相同的方式来产生第二深度信息。
在操作1450，电子装置可基于第二深度信息来产生对象的第二点云。可以以与参照操作1420描述的第一点云的方式相同的方式来产生第二点云。
在操作1460，电子装置可产生包含第二点云的第二边界框。可以以与参照操作1430描述的第一边界框的方式相同的方式来产生第二边界框。
在操作1470，电子装置可通过将第一边界框和第二边界框进行组合来产生第三边界框。
在操作1480，电子装置可显示第三边界框。电子装置还可显示第三边界框的数字信息(例如，边缘长度和体积)。
根据实施例，一种电子装置的对象测量方法可包括：在对象的第一方向上产生第一深度信息；基于第一深度信息产生对象的第一点云；产生包含第一点云的一个或更多个点的第一边界框；在对象的第二方向上产生第二深度信息，其中，第二方向不同于第一方向；基于第二深度信息产生对象的第二点云；产生包含第二点云的一个或更多个点的第二边界框；通过将第一边界框和第二边界框进行组合来产生第三边界框；并且显示第三边界框。
根据实施例，所述方法还可包括：显示包括第三边界框的体积和第三边界框的边缘长度的数字信息。
根据实施例，可基于第三边界框中的点的最小坐标值和最大坐标值来产生所述数字信息。
根据实施例，所述方法还可包括：从由红绿蓝(RGB)图像传感器320在对象的第一方向上拍摄的第一RGB图像提取对象；识别第一边界框与从第一RGB图像提取的对象的区域重叠的重叠区域；并且基于重叠区域的尺寸等于或小于阈值来显示提示在第二方向上获取第二深度信息的引导信息。
根据实施例，所述方法还可包括：在显示器330上显示提示在第二方向上获取第二深度信息的引导信息，其中，该引导信息的显示可基于对象的至少一部分在RGB图像传感器320的视角之外。
根据实施例，所述方法还可包括：基于第一点云中的点的数量等于或小于阈值，显示提示在更靠近对象的位置处获取第二深度信息的引导信息。
根据实施例，产生对象的第一点云的步骤还可包括：检测基于第一深度信息产生的第一点云中的参考表面，其中，第一点云可包括参考表面上方的点。
根据实施例，可使用飞行时间(ToF)传感器310来产生第一深度信息。
如上所述，在特定实施例中公开的电子装置及其对象测量方法是有利的，这是因为电子装置可自动且准确地测量现实世界对象的尺寸并且引导用户采用更准确的测量方法。
可以以硬件、固件或通过可存储在记录介质(诸如，CD ROM、数字通用盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码或通过网络下载的最初存储在远程记录介质或非暂时性机器可读介质上且将被存储在本地记录介质上的计算机代码的执行来实现本公开的上述实施例中的特定实施例，使得可通过使用通用计算机或专用处理器存储在记录介质上的软件或者以可编程或专用硬件(诸如，ASIC或FPGA)来呈现本文描述的方法。如本领域中将理解的，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收当由计算机、处理器或硬件访问和执行时实现本文描述的处理方法的软件或计算机代码的存储器组件，例如，RAM、ROM、闪存等。
尽管已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的情况下，可对其在形式和细节上进行各种改变。