一种展览物品扫描方法、装置、电子设备及存储介质

文档序号:1923234 发布日期:2021-12-03 浏览:20次 >En<

阅读说明:本技术 一种展览物品扫描方法、装置、电子设备及存储介质 (Exhibition article scanning method and device, electronic equipment and storage medium ) 是由 刘宁 唐建波 覃小春 于 2020-05-27 设计创作,主要内容包括:本申请提供一种展览物品扫描方法、装置、电子设备及存储介质,用于改善对展览物品拍照费时费力且效率不高的问题。该展览物品扫描方法应用于电子设备,包括:获得展览物品的点云数据,点云数据是机器人对展览物品进行采集获得的;对点云数据进行主元分析,获得共面点云,共面点云表征在点云数据中公共平面的三维坐标集合;根据点云数据和共面点云,确定采集展览物品的多个位置坐标和位置坐标对应的朝向角度;根据多个位置坐标和位置坐标对应的朝向角度向机器人发送控制命令,控制命令用于使机器人根据多个位置坐标和位置坐标对应的朝向角度对展览物品进行扫描,并返回扫描展览物品的多个扫描图像。(The application provides a method and a device for scanning exhibition articles, electronic equipment and a storage medium, which are used for solving the problems that time and labor are wasted when the exhibition articles are photographed and the efficiency is not high. The exhibition article scanning method is applied to electronic equipment and comprises the following steps: acquiring point cloud data of the exhibition article, wherein the point cloud data is acquired by a robot for acquiring the exhibition article; performing principal component analysis on the point cloud data to obtain coplanar point clouds, wherein the coplanar point clouds represent a three-dimensional coordinate set of a common plane in the point cloud data; determining a plurality of position coordinates of the collected exhibition article and orientation angles corresponding to the position coordinates according to the point cloud data and the coplanar point cloud; and sending a control command to the robot according to the position coordinates and the orientation angles corresponding to the position coordinates, wherein the control command is used for enabling the robot to scan the displayed article according to the position coordinates and the orientation angles corresponding to the position coordinates, and returning to scan the plurality of scanned images of the displayed article.)

一种展览物品扫描方法、装置、电子设备及存储介质

技术领域

本申请涉及三维建模和三维重建的技术领域,具体而言,涉及一种展览物品扫描方法、装置、电子设备及存储介质。

背景技术

三维扫描,是一种用来获取并分析实物对象的形状与轮廓的非接触测量技术;利用三维扫描技术可以对待扫描物体进行三维重建,从而创建出实际物体的三维模型。

目前,在对密闭空间中展览物品(例如古代文物)进行扫描时,或在工厂内对大型构件进行三维扫描时,往往依靠人工操作对展览物品进行拍照,以便使用软件对拍照获得的照片进行建模分析处理。在具体的实践过程中发现,使用人工方式对展览物品拍照费时费力且效率不高。

发明内容

本申请实施例的目的在于提供一种展览物品扫描方法、装置、电子设备及存储介质,用于改善对展览物品拍照费时费力且效率不高的问题。

本申请实施例提供了一种展览物品扫描方法,应用于电子设备,包括:获得展览物品的点云数据,点云数据是机器人对展览物品进行采集获得的;对点云数据进行主元分析,获得共面点云,共面点云表征在点云数据中公共平面的三维坐标集合;根据点云数据和共面点云,确定采集展览物品的多个位置坐标和位置坐标对应的朝向角度;根据多个位置坐标和位置坐标对应的朝向角度向机器人发送控制命令,控制命令用于使机器人根据多个位置坐标和位置坐标对应的朝向角度对展览物品进行扫描,并返回扫描展览物品的多个扫描图像。在上述的实现过程中,通过先获得展览物品的点云数据,然后再对点云数据进行主元分析、删除和拟合等计算,获得对展览物品进行采集扫描的多个位置坐标和位置坐标对应的朝向角度,以便机器人根据多个位置坐标和位置坐标对应的朝向角度对展览物品进行扫描,并返回扫描展览物品的多个扫描图像;从而提高了对展览物品拍照获得图像的效率,同时,也有效地改善了使用人工拍照的方式对展览物品拍照时费时费力的问题。

可选地,在本申请实施例中,对点云数据进行主元分析,获得共面点云,包括:对点云数据构成的矩阵进行奇异值分解,获得点云向量;将点云数据的中心点和点云向量表示的公共平面确定为共面点云。在上述的实现过程中,通过对点云数据构成的矩阵进行奇异值分解,获得点云向量;将点云数据的中心点和点云向量表示的公共平面确定为共面点云;有效地加快了获得共面点云的速度。

可选地,在本申请实施例中,根据点云数据和共面点云,确定采集展览物品的多个位置坐标和位置坐标对应的朝向角度,包括:从点云数据中删除位置低于共面点云的所有三维坐标,获得目标数据;使用球形模型对目标数据进行拟合,获得拟合后的球心坐标和球形半径;根据球心坐标和球形半径计算对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度。在上述的实现过程中,通过从点云数据中删除位置低于共面点云的所有三维坐标,获得目标数据;使用球形模型对目标数据进行拟合,获得拟合后的球心坐标和球形半径;根据球心坐标和球形半径计算对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度;从而有效地提高了确定采集展览物品的多个位置坐标和的朝向角度的精度。

可选地,在本申请实施例中,在根据多个位置坐标和位置坐标对应的朝向角度向机器人发送控制命令之后,还包括:接收机器人发送的多个扫描图像;根据多个扫描图像对展览物品进行建模,获得三维模型。在上述的实现过程中,通过接收机器人发送的多个扫描图像;根据多个扫描图像对展览物品进行建模,获得三维模型;有效地提高了根据展览物品的扫描图像进行三维建模的速度。

可选地,在本申请实施例中,在获得三维模型之后,还包括:根据多个扫描图像对三维模型进行贴图,获得贴图后的三维模型。在上述的实现过程中,通过根据多个扫描图像对三维模型进行贴图,获得贴图后的三维模型;从而有效地提高了获得贴图后的三维模型的速度。

本申请实施例还提供了一种展览物品扫描方法,应用于机器人,包括:通过深度相机对展览物品进行采集,获得点云数据,点云数据表征展览物品的三维坐标集合;向电子设备发送点云数据,以使电子设备根据点云数据计算并发送控制命令;接收电子设备发送的控制命令,控制命令包括对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度,多个位置坐标和位置坐标对应的朝向角度是电子设备在接收并分析点云数据后,根据分析获得的共面点云和点云数据确定的;依次移动到多个位置坐标中的每个位置坐标,并根据每个位置坐标对应的朝向角度进行采集扫描,获得多个扫描图像;向电子设备发送多个扫描图像。在上述的实现过程中,通过深度相机对展览物品进行采集,获得点云数据,并向电子设备发送点云数据,以使电子设备根据点云数据计算并发送控制命令,控制命令包括对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度;依次移动到多个位置坐标中的每个位置坐标,并根据每个位置坐标对应的朝向角度进行采集扫描,获得多个扫描图像;最后向电子设备发送多个扫描图像;从而提高了对展览物品拍照获得图像的效率,同时,也有效地改善了使用人工拍照的方式对展览物品拍照时费时费力的问题。

可选地,在本申请实施例中,机器人包括:伺服电机、减速机和图像采集设备;依次移动到多个位置坐标中的每个位置坐标,并根据每个位置坐标对应的朝向角度进行采集扫描,包括:通过伺服电机和减速机依次移动到多个位置坐标中的每个位置坐标;将图像采集设备的朝向角度调整为每个位置坐标对应的朝向角度,并使用图像采集设备进行采集扫描。在上述的实现过程中,通过伺服电机和减速机依次移动到多个位置坐标中的每个位置坐标;将图像采集设备的朝向角度调整为每个位置坐标对应的朝向角度,并使用图像采集设备进行采集扫描;从而提高了对展览物品拍照获得图像的效率,同时,也有效地改善了使用人工拍照的方式对展览物品拍照时费时费力的问题。

本申请实施例还提供了一种展览物品扫描装置,应用于电子设备,包括:点云数据获得模块,用于获得展览物品的点云数据,点云数据是机器人对展览物品进行采集获得的;共面点云获得模块,用于对点云数据进行主元分析,获得共面点云,共面点云表征在点云数据中公共平面的三维坐标集合;坐标角度确定模块,用于根据点云数据和共面点云,确定采集展览物品的多个位置坐标和位置坐标对应的朝向角度;控制命令发送模块,用于根据多个位置坐标和位置坐标对应的朝向角度向机器人发送控制命令,控制命令用于使机器人根据多个位置坐标和位置坐标对应的朝向角度对展览物品进行扫描,并返回扫描展览物品的多个扫描图像。

可选地,在本申请实施例中,共面点云获得模块,包括:点云向量获得模块,用于对点云数据构成的矩阵进行奇异值分解,获得点云向量;共面点云确定模块,用于将点云数据的中心点和点云向量表示的公共平面确定为共面点云。

可选地,在本申请实施例中,坐标角度确定模块,包括:目标数据获得模块,用于从点云数据中删除位置低于共面点云的所有三维坐标,获得目标数据;目标数据拟合模块,用于使用球形模型对目标数据进行拟合,获得拟合后的球心坐标和球形半径;坐标角度计算模块,用于根据球心坐标和球形半径计算对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度。

可选地,在本申请实施例中,展览物品扫描装置,还包括:扫描图像接收模块,用于接收机器人发送的多个扫描图像;三维模型获得模块,用于根据多个扫描图像对展览物品进行建模,获得三维模型。

可选地,在本申请实施例中,展览物品扫描装置,还包括:三维模型贴图模块,用于根据多个扫描图像对三维模型进行贴图,获得贴图后的三维模型。

本申请实施例还提供了一种展览物品扫描装置,应用于机器人,包括:点云数据采集模块,用于通过深度相机对展览物品进行采集,获得点云数据,点云数据表征展览物品的三维坐标集合;点云数据发送模块,用于向电子设备发送点云数据,以使电子设备根据点云数据计算并发送控制命令;控制命令接收模块,用于接收电子设备发送的控制命令,控制命令包括对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度,多个位置坐标和位置坐标对应的朝向角度是电子设备在接收并分析点云数据后,根据分析获得的共面点云和点云数据确定的;扫描图像获得模块,用于依次移动到多个位置坐标中的每个位置坐标,并根据每个位置坐标对应的朝向角度进行采集扫描,获得多个扫描图像;扫描图像发送模块,用于向电子设备发送多个扫描图像。

可选地,在本申请实施例中,机器人包括:伺服电机、减速机和图像采集设备;扫描图像获得模块,包括:机器人移动模块,用于通过伺服电机和减速机依次移动到多个位置坐标中的每个位置坐标;机器人扫描模块,用于将图像采集设备的朝向角度调整为每个位置坐标对应的朝向角度,并使用图像采集设备进行采集扫描。

本申请实施例还提供了一种电子设备,包括:处理器和存储器,存储器存储有处理器可执行的机器可读指令,机器可读指令被处理器执行时执行如上面描述的方法。

本申请实施例还提供了一种存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上面描述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出的本申请实施例提供的应用于电子设备的展览物品扫描方法的流程示意图;

图2示出的本申请实施例提供的放置于展台上的展览物品的示意图;

图3示出的本申请实施例提供的使用机器人采集展览物品的点云数据的示意图;

图4示出的本申请实施例提供的使用球形模型对目标数据进行拟合的示意图;

图5示出的本申请实施例提供的应用于机器人的展览物品扫描方法的流程示意图;

图6示出的本申请实施例提供的展览物品扫描装置的结构示意图;

图7示出的本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述。

在介绍本申请实施例提供的展览物品扫描方法之前,先介绍本申请实施例所涉及的一些概念:

点云(Point Cloud),是指通过测量仪器得到的产品外观表面的点数据集合,点云可以表征同一空间参考系下表达的目标空间;点云的属性包括:空间分辨率和点位精度等;通常使用三维坐标测量机所得到的点数量比较少,点与点的间距也比较大,叫稀疏点云;而使用三维激光扫描仪或照相式扫描仪得到的点云,点数量比较大并且比较密集,叫密集点云。

深度相机,又称深度传感器或深度摄像头,或者称TOF(Time of flight,TOF)相机,直译为飞行时间相机,飞行时间法3D成像,是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似,只不过3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处,都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。

主成分分析(Principal Component Analysis,PCA),又被称为主元分析法或主元分析,是在多元统计分析中的一种统计分析和简化数据集的方法;PCA利用正交变换来对一系列可能相关的变量的观测值进行线性变换,从而投影为一系列线性不相关变量的值,这些不相关变量称为主成分(Principal Components);具体地,主成分可以看做一个线性方程,其包含一系列线性系数来指示投影方向;PCA对原始数据的正则化或预处理敏感。

奇异值,是矩阵里的概念,一般通过奇异值分解定理求得;设A为mn阶矩阵,q=min(m,n),AA的q个非负特征值的算术平方根叫作A的奇异值。

软件开发工具包(Software Development Kit,SDK),是指软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合;该软件开发工具包括广义上指辅助开发某一类软件的相关文档、范例和工具的集合;这里地工具例如是软件开发工具包中的数据接口,调研该数据接口可以连接服务器获得相应的结果,这里的软件开发工具包的语言有很多种,例如:JAVA和Python等等。

服务器是指通过网络提供计算服务的设备,服务器例如:x86服务器以及非x86服务器,非x86服务器包括:大型机、小型机和UNIX服务器。当然在具体的实施过程中,上述的服务器可以具体选择大型机或者小型机,这里的小型机是指采用精简指令集计算(ReducedInstruction Set Computing,RISC)、单字长定点指令平均执行速度(MillionInstructions Per Second,MIPS)等专用处理器,主要支持UNIX操作系统的封闭且专用的提供计算服务的设备;这里的大型机,又名大型主机,是指使用专用的处理器指令集、操作系统和应用软件来提供计算服务的设备。

需要说明的是,本申请实施例提供的展览物品扫描方法可以被电子设备执行,这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器,设备终端例如:智能手机、个人电脑(personal computer,PC)、平板电脑、个人数字助理(personaldigital assistant,PDA)、移动上网设备(mobile Internet device,MID)、网络交换机或网络路由器等。

在介绍本申请实施例提供的展览物品扫描方法之前,先介绍该展览物品扫描方法适用的应用场景,这里的应用场景包括但不限于:使用该展览物品扫描方法对展览物品进行扫描拍照获得扫描图像,根据扫描图像进行三维重建并贴图,获得具有贴图细节的三维模型;这里的展览物品包括但不限于:具有历史价值的文化物品、航天航空模型、汽车模型、艺术品或者建筑物模型等;或者将扫描图像应用于其它领域,这里的其它领域具体例如:将扫描图像作为深度学习的训练数据,应用于图像识别和图像处理等领域,或者将获得的三维模型应用于动画产业或教学演示等。

请参见图1示出的本申请实施例提供的应用于电子设备的展览物品扫描方法的流程示意图;该方法可以应用于电子设备,通过先获得展览物品的点云数据,然后再对点云数据进行主元分析等操作处理,获得对展览物品进行采集扫描的位置坐标和朝向角度,以便机器人根据位置坐标和朝向角度对展览物品进行扫描,并返回扫描展览物品的多个扫描图像;从而提高了对展览物品扫描拍照获得图像的效率;上述的展览物品扫描方法可以包括如下步骤:

步骤S110:获得展览物品的点云数据,点云数据是机器人对展览物品进行采集获得的。

请参见图2示出的本申请实施例提供的放置于展台上的展览物品的示意图;展览物品是放置于展台上的,这里的展台可以包括:展台平面和展台平面下方的展台支撑体;其中,这里的展览物品有时被称为展览品,展览品是指一个或多个展示给人观赏、观看或游览的物品,这里的展览物品例如:具有历史价值的文化物品、航天航空模型、汽车模型、艺术品或者建筑物模型等等。

点云数据,是指表征机器人携带的点云采集设备对展览物品进行采集获得的三维坐标集合;这里的点云采集设备例如:深度相机、三维坐标测量机、激光传感器、三维激光扫描仪或照相式扫描仪;这里的点云数据具体计算方式具体例如:机器人控制深度相机对展览物品进行采集,获得分辨率为1280×800的稀疏点云深度图,该点云深度图表征深度相机与展览物品之间的距离数据集合;该点云深度图的像素点总数为1024000个,深度相机调用SDK工具包对点云深度图进行计算,具体地,根据该深度相机的预设参数对1024000个像素点的具体值进行计算,获得上述的点云数据;该深度相机的预设参数可以包括:内部参数或外部参数,上述的每个像素点的具体值为当前展览物品的像素点云与点云采集设备的距离。

请参见图3示出的本申请实施例提供的使用机器人采集展览物品的点云数据的示意图;上述步骤S110中展览物品的点云数据的获得方式有很多种,这些实施方式例如:第一种方式,其他终端设备采集展览物品的点云数据,然后其他终端设备向电子设备发送采集的点云数据,最后电子设备接收其他终端设备发送的点云数据,这里的其他终端设备包括:深度摄像头、激光传感器、带有深度摄像头或激光传感器的机器人,使用机械臂控制深度摄像头或深度相机采集点云数据的机器人等;第二种方式,电子设备在接收其他终端设备发送的点云数据之后,将点云数据存储在文件系统或者数据库中,在需要该数据时,从文件系统或者数据库中获取预先存储的点云数据。

在步骤S110之后,执行步骤S120:对点云数据进行主元分析,获得共面点云。

共面点云,是指表征在点云数据中最大共面点云的三维坐标集合,这里的共面点云例如:若点云数据是使用深度相机对放在展台平面上的展览物品进行采集获得的,那么这里的点云数据可以理解为展览物品、展台平面和展台平面下方的展台支撑体,这里的共面点云就可以理解为展台平面,即放置展览物品的平面。

上述步骤S120中的对点云数据进行主元分析的实施方式可以包括:

步骤S121:对点云数据构成的矩阵进行奇异值分解,获得点云向量。

奇异值分解(Singular Value Decomposition,SVD),是指线性代数中一种重要的矩阵分解,奇异值分解在某些方面与对称矩阵或厄米矩阵基于特征向量的对角化类似,然而这两种矩阵分解尽管有其相关性,但还是有明显的不同,对称阵特征向量分解的基础是谱分析,而奇异值分解则是谱分析理论在任意矩阵上的推广。

上述步骤S121的实施方式例如:将点云数据转换为矩阵格式,获得点云数据构成的矩阵,该矩阵中的每一行数据对应点云数据的点云坐标,该矩阵的每一列对应点云数据中的一个点云;根据X=UΣWT对点云数据构成的矩阵进行奇异值分解,获得分解后的点云向量;其中,该点云向量包括第一向量和第二向量,第一向量和第二向量表征公共平面所在不同的两个方向,X表征上述的点云数据,Σ为预设系数,具体地可以将该预设系数Σ设置为(0,0,1),U表征上述的第一向量,W表示上述的第二向量,T表示矩阵的转置运算。

步骤S122:将点云数据的中心点和点云向量表示的公共平面确定为共面点云。

上述步骤S122的实施方式例如:若上述的点云向量为第一向量U和第二向量W,那么先计算获得点云数据的中心点(x,y,z),再将点云数据的中心点(x,y,z)、第一向量U和第二向量W表示的公共平面确定为共面点云,可以这里的共面点云理解为放置展览物品的平面。在上述的实现过程中,通过对点云数据构成的矩阵进行奇异值分解,获得点云向量;将点云数据的中心点和点云向量表示的公共平面确定为共面点云;有效地加快了获得共面点云的速度。

在步骤S120之后,执行步骤S130:根据点云数据和共面点云,确定采集展览物品的多个位置坐标和位置坐标对应的朝向角度。

上述步骤S130中的多个位置坐标和位置坐标对应的朝向角度,是指机器人的图像采集装置对展览物品进行采集的位置坐标和在该位置坐标上的水平朝向角度,根据展台平面的高度来实时调整该图像采集装置的垂直朝向角度;上述步骤S130中的确定采集展览物品的位置坐标和位置坐标对应的朝向角度的实施方式可以包括如下步骤:

步骤S131:从点云数据中删除位置低于共面点云的所有三维坐标,获得目标数据。

上述步骤S131的实施方式例如:判断点云数据中的三维坐标是否低于共面点云,若是,则将该三维坐标从点云数据中删除;这里的点云数据可以理解为展览物品、展台平面和展台平面下方的展台支撑体,需要将展台平面和展台平面下方的展台支撑体从点云数据中删除,有效地提高定位展览物品的中心点坐标的精度,从而提高了获得展览物品的位置坐标和位置坐标对应的朝向角度的准确度,以使机器人根据位置坐标和位置坐标对应的朝向角度更好地对展览物品进行采集。在具体的实施过程中,为了进一步提高数据的精度和有效性,也可以删除点云数据中的孤立点云和无效点云等等噪音数据。

步骤S132:使用球形模型对目标数据进行拟合,获得拟合后的球心坐标和球形半径。

请参见图4示出的本申请实施例提供的使用球形模型对目标数据进行拟合的示意图;上述步骤S132的实施方式例如:先随机设置点云数据中的一个点云坐标为球形模型的球心坐标,并将随机值作为球形模型的半径;计算点云数据在该球形模型之内的比例,若该比例大于预设阈值,这里的预设阈值例如可以为80%或90%等,则将半径最小的随机值作为球形模型的半径,即展览物品与机器人的图像采集装置的距离为球形半径,并将半径最小的随机值对应的点云坐标确定为球形模型的球心坐标;当然在具体的实施过程中,也可以结合使用二分查找算法(binary search algorithm)获得拟合后的球心坐标和球形半径;其中,这里的二分查找算法又被称为折半搜索算法(half-interval searchalgorithm)或对数搜索算法(logarithmic search algorithm),是一种在有序数组中查找某一特定元素的搜索算法。

步骤S133:根据球心坐标和球形半径计算对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度。

上述步骤S133的实施方式例如:假设球心坐标使用o表示,且o为三维坐标的原点,那么球心坐标o指向机器人的图像采集装置的方向为x轴方向,点云数据中过球心坐标o且垂直于展台平面(即放置展览物品的平面)的方向为z轴,垂直于x轴和z轴的方向为y轴,以x轴、y轴和z轴建立坐标系;在该坐标系下,假设球形半径为30厘米,即展览物品与机器人的图像采集装置的距离为30厘米,机器人的图像采集装置的朝向角度与x轴为0度,可以依次在机器人的图像采集装置的朝向角度与x轴的夹角为预设间隔度数对应的位置坐标时,对展览物品进行拍照,那么根据这里的预设间隔度数可以计算出多个位置坐标和位置坐标对应的朝向角度,这里的预设间隔度数可以根据具体情况进行设置,预设间隔度数具体例如:10度、15度、20度、25度、30度和40度等。

在上述的实现过程中,首先,通过从点云数据中删除位置低于共面点云的所有三维坐标,即若三维坐标的位置(Z坐标)低于共面点云的位置,则将该三维坐标从点云数据中删除,即可获得目标数据;然后,使用球形模型对目标数据进行拟合,获得拟合后的球心坐标和球形半径;最后,根据球心坐标和球形半径计算对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度;从而有效地提高了确定采集展览物品的多个位置坐标和的朝向角度的精度。

在步骤S130之后,执行步骤S140:根据多个位置坐标和位置坐标对应的朝向角度向机器人发送控制命令,控制命令用于使机器人根据多个位置坐标和位置坐标对应的朝向角度对展览物品进行扫描,并返回扫描展览物品的多个扫描图像。

上述步骤S140的实施方式例如:根据多个位置坐标和位置坐标对应的朝向角度生成预设格式的控制命令,这里的预设格式例如:脚本对象简谱(JavaScript ObjectNotation,JSON)和可扩展标记语言(eXtensible Markup Language,XML)等格式;电子设备向机器人发送控制命令;其中,JSON是一种轻量级的数据交换格式;JSON基于ECMAScript(欧洲计算机协会制定的JavaScript规范)的一个子集,JSON采用完全独立于编程语言的文本格式来存储和表示数据;XML是指标准通用标记语言的子集,同时,XML也是一种用于标记电子文件使其具有结构性的标记语言。

可选地,在本申请实施例中,在根据多个位置坐标和位置坐标对应的朝向角度向机器人发送控制命令之后,还可以根据控制命令接收机器人发送的扫描图像,并根据扫描图像构建三维模型,那么在步骤S140之后还包括如下步骤:

步骤S150:电子设备接收机器人发送的多个扫描图像。

上述步骤S150的实施方式例如:电子设备通过传输控制协议(TransmissionControl Protocol,TCP)或者用户数据报协议(User Datagram Protocol,UDP)接收机器人发送的多个扫描图像;其中,这里的TCP协议又名网络通讯协议,是一种面向连接的、可靠的、基于字节流的传输层通信协议;在因特网协议族中,TCP层是位于IP层之上,应用层之下的中间层;不同主机的应用层之间经常需要可靠的、像管道一样的连接,但是IP层不提供这样的流机制,而是提供不可靠的包交换;这里的UDP是User Datagram Protocol的简称,中文名是用户数据报协议,UDP协议是开放式系统互联(Open System Interconnection,OSI)参考模型中一种无连接的传输层协议。

步骤S160:根据多个扫描图像对展览物品进行建模,获得三维模型。

上述步骤S160的实施方式例如:使用realitycapture软件或者OpenCV根据多个扫描图像对展览物品进行建模,获得三维模型;其中,OpenCV的全称是Open Source ComputerVision Library,是一个跨平台的计算机视觉库;OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。在上述的实现过程中,通过接收机器人发送的多个扫描图像;根据多个扫描图像对展览物品进行建模,获得三维模型;有效地提高了根据展览物品的扫描图像进行三维建模的速度。

可选地,在本申请实施例中,在获得三维模型之后,还可以对三维模型进行贴图,那么在步骤S160之后,还可以包括如下步骤:

步骤S170:根据多个扫描图像对三维模型进行贴图,获得贴图后的三维模型。

上述步骤S170的实施方式例如:使用realitycapture软件或者开放图形库(OpenGraphics Library,OpenGL)根据多个扫描图像对三维模型进行贴图,获得贴图后的三维模型;其中,OpenGL是指用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序接口(Application Programming Interface,API);这个接口由近350个不同的函数调用组成,用来绘制从简单的图形比特到复杂的三维景象。在上述的实现过程中,通过根据多个扫描图像对三维模型进行贴图,获得贴图后的三维模型;从而有效地提高了获得贴图后的三维模型的速度。

在上述的实现过程中,通过先获得展览物品的点云数据,然后再对点云数据进行主元分析、删除和拟合等计算,获得对展览物品进行采集扫描的多个位置坐标和位置坐标对应的朝向角度,以便机器人根据多个位置坐标和位置坐标对应的朝向角度对展览物品进行扫描,并返回扫描展览物品的多个扫描图像;从而提高了对展览物品拍照获得图像的效率,同时,也有效地改善了使用人工拍照的方式对展览物品拍照时费时费力的问题。

请参见图5示出的本申请实施例提供的应用于机器人的展览物品扫描方法的流程示意图;该展览物品扫描方法可以应用于机器人,机器人的具体结构将在下面进行详细地说明,上述的应用于机器人的展览物品扫描方法可以包括:

步骤S210:机器人通过深度相机对展览物品进行采集,获得点云数据。

机器人,是指自动执行工作的机器设备,既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动;机器人可以为轮式移动机器人;这里的轮式移动机器人具体例如:单轮移动机器人、双轮移动机器人和四轮移动机器人等;这里的轮式移动机器人的轮外可以包括履带,该机器人是靠履带与地面摩擦移动的。

上述的机器人可以包括:机器人本体、伺服电机、减速机、机械臂和图像采集设备;这里的图像采集设备例如:深度相机和单反相机等;机器人本体分别与伺服电机、减速机和机械臂活动连接,机械臂与图像采集装置活动连接;其中,伺服电机和减速机用于为机器人提供移动行走动力,以及停止机器人行走的功能;机械臂用于控制图像采集装置的角度和拍摄采集动作,具体的采集对象包括:点云数据和扫描的彩色图像等,深度相机用于获取展览物品的点云数据或点云深度图,单反相机用于获取展览物品的彩色扫描图像。

上述步骤S210中的机器人通过深度相机对展览物品进行采集的实施方式例如:机器人通过控制伺服电机和减速机确定采集的具体位置坐标,机器人在该位置坐标上通过机械臂控制深度相机的拍摄角度和拍摄动作,深度相机根据拍摄角度和拍摄动作对展览物品进行采集,获得展览物品的点云数据。

步骤S220:机器人向电子设备发送点云数据,以使电子设备根据点云数据计算并发送控制命令。

上述步骤S220中的机器人向电子设备发送点云数据的实施方式例如:机器人通过超文本传输协议(Hyper Text Transfer Protocol,HTTP)或者超文本传输安全协议(HyperText Transfer Protocol Secure,HTTPS)向电子设备发送点云数据;其中,HTTP是一个简单的请求响应协议,HTTP协议通常运行在传输控制协议(Transmission ControlProtocol,TCP)之上的协议;HTTPS又称为HTTP Secure,是一种通过计算机网络进行安全通信的传输协议。

步骤S230:机器人接收电子设备发送的控制命令,控制命令包括对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度。

其中,步骤S230中的多个位置坐标和位置坐标对应的朝向角度是电子设备在接收并分析点云数据后,根据分析获得的共面点云和点云数据确定的,具体的确定方法见电子设备执行的步骤S110至步骤S130。

上述步骤S230的实施方式例如:机器人通过HTTP协议、HTTPS协议或者HTTP/2协议接收电子设备发送的控制命令;其中,HTTP/2是超文本传输协议第2版,最初命名为HTTP2.0,简称为h2(即基于TLS/1.2或以上版本的加密连接)或h2c(非加密连接),是HTTP协议的第二个主要版本;HTTP/2的标准化工作由Chrome、Opera、Firefox、Internet Explorer 11、Safari、Amazon Silk及Edge等浏览器提供支持。

步骤S240:机器人依次移动到多个位置坐标中的每个位置坐标,并根据每个位置坐标对应的朝向角度进行采集扫描,获得多个扫描图像。

上述步骤S240中的获得多个扫描图像的实施方式具体例如:通过伺服电机和减速机依次移动到多个位置坐标中的每个位置坐标;将图像采集设备的朝向角度调整为每个位置坐标对应的朝向角度,并使用图像采集设备进行采集扫描。在上述的实现过程中,通过伺服电机和减速机依次移动到多个位置坐标中的每个位置坐标;将图像采集设备的朝向角度调整为每个位置坐标对应的朝向角度,并使用图像采集设备进行采集扫描;从而提高了对展览物品拍照获得图像的效率,同时,也有效地改善了使用人工拍照的方式对展览物品拍照时费时费力的问题。

步骤S250:机器人向电子设备发送多个扫描图像。

上述步骤S250的机器人向电子设备发送多个扫描图像的实施方式例如:机器人通过HTTP协议、HTTPS协议或者HTTP/2协议向电子设备发送多个扫描图像。

在上述的实现过程中,通过深度相机对展览物品进行采集,获得点云数据,并向电子设备发送点云数据,以使电子设备根据点云数据计算并发送控制命令,控制命令包括对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度;依次移动到多个位置坐标中的每个位置坐标,并根据每个位置坐标对应的朝向角度进行采集扫描,获得多个扫描图像;最后向电子设备发送多个扫描图像;从而提高了对展览物品拍照获得图像的效率,同时,也有效地改善了使用人工拍照的方式对展览物品拍照时费时费力的问题。

请参见图6示出的本申请实施例提供的展览物品扫描装置的结构示意图;本申请实施例提供了一种展览物品扫描装置300,应用于电子设备,包括:

点云数据获得模块310,用于获得展览物品的点云数据,点云数据是机器人对展览物品进行采集获得的。

共面点云获得模块320,用于对点云数据进行主元分析,获得共面点云,共面点云表征在点云数据中公共平面的三维坐标集合。

坐标角度确定模块330,用于根据点云数据和共面点云,确定采集展览物品的多个位置坐标和位置坐标对应的朝向角度。

控制命令发送模块340,用于根据多个位置坐标和位置坐标对应的朝向角度向机器人发送控制命令,控制命令用于使机器人根据多个位置坐标和位置坐标对应的朝向角度对展览物品进行扫描,并返回扫描展览物品的多个扫描图像。

可选地,在本申请实施例中,共面点云获得模块,包括:

点云向量获得模块,用于对点云数据构成的矩阵进行奇异值分解,获得点云向量。

共面点云确定模块,用于将点云数据的中心点和点云向量表示的公共平面确定为共面点云。

可选地,在本申请实施例中,坐标角度确定模块,包括:

目标数据获得模块,用于从点云数据中删除位置低于共面点云的所有三维坐标,获得目标数据。

目标数据拟合模块,用于使用球形模型对目标数据进行拟合,获得拟合后的球心坐标和球形半径。

坐标角度计算模块,用于根据球心坐标和球形半径计算对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度。

可选地,在本申请实施例中,展览物品扫描装置,还包括:

扫描图像接收模块,用于接收机器人发送的多个扫描图像。

三维模型获得模块,用于根据多个扫描图像对展览物品进行建模,获得三维模型。

可选地,在本申请实施例中,展览物品扫描装置,还可以包括:

三维模型贴图模块,用于根据多个扫描图像对三维模型进行贴图,获得贴图后的三维模型。

本申请实施例还提供了一种展览物品扫描装置,应用于机器人,包括:

点云数据采集模块,用于通过深度相机对展览物品进行采集,获得点云数据,点云数据表征展览物品的三维坐标集合。

点云数据发送模块,用于向电子设备发送点云数据,以使电子设备根据点云数据计算并发送控制命令。

控制命令接收模块,用于接收电子设备发送的控制命令,控制命令包括对展览物品进行扫描的多个位置坐标和位置坐标对应的朝向角度,多个位置坐标和位置坐标对应的朝向角度是电子设备在接收并分析点云数据后,根据分析获得的共面点云和点云数据确定的。

扫描图像获得模块,用于依次移动到多个位置坐标中的每个位置坐标,并根据每个位置坐标对应的朝向角度进行采集扫描,获得多个扫描图像。

扫描图像发送模块,用于向电子设备发送多个扫描图像。

可选地,在本申请实施例中,机器人包括:伺服电机、减速机和图像采集设备;扫描图像获得模块,包括:

机器人移动模块,用于通过伺服电机和减速机依次移动到多个位置坐标中的每个位置坐标。

机器人扫描模块,用于将图像采集设备的朝向角度调整为每个位置坐标对应的朝向角度,并使用图像采集设备进行采集扫描。

应理解的是,该装置与上述的展览物品扫描方法实施例对应,能够执行上述方法实施例涉及的各个步骤,该装置具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system,OS)中的软件功能模块。

请参见图7示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400,包括:处理器410和存储器420,存储器420存储有处理器410可执行的机器可读指令,机器可读指令被处理器410执行时执行如上的方法。

本申请实施例还提供了一种存储介质430,该存储介质430上存储有计算机程序,该计算机程序被处理器410运行时执行如上的方法。

其中,存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。

本申请实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

另外,在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。

在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上的描述,仅为本申请实施例的可选实施方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。

19页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:图像生成方法、装置和电子设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!