具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出本申请的装置架构原理示意图。本申请的实施例中，设备包括塔吊、待运输物料、挂钩、摄像头、服务器、放置待运输物料的无人驾驶运输车（未图示，形式不限，优选无人驾驶的智能运输车）等。根据至少两个摄像头的视频监控数据进行双目视觉交叉建模，建立塔吊周边环境的三维空间模型；根据挂钩和待运输物料的三维坐标，计算并设置将待运输物料运送至挂钩下的第一路径任务；计算挂钩下移距离，并控制挂钩下降下移距离以挂取待运输物料；计算并设置将待运输物料运送至终点三维坐标的第二路径任务，并将第二路径任务发送给塔吊，以控制塔吊按照第二路径任务将待运输物料运送至终点三维坐标处。本申请能够根据运输任务全自动、无人化操作的将物料运输到挂钩下面，自动控制挂钩将物料挂起，并控制塔吊将物料运输到终点位置，实现了塔吊物料运输的无人化、智能化。

图2示出根据本申请实施例的基于三维空间模型的智能塔吊物料运输路径设置方法的流程图。如图2所示，该基于三维空间模型的智能塔吊物料运输路径设置方法包括：

步骤101：在无人驾驶智能塔吊的周围安装至少两个摄像头，根据所述至少两个摄像头的视频监控数据进行双目视觉交叉建模，建立塔吊周边环境的三维空间模型；

本实施例中，具体的，步骤101包括：

利用所述塔吊的两个实时图像构建视差图；

将所述视差图依次进行灰度化处理和小波降噪处理，获取处理后的视差图；

根据单个方向上的视差图确定所述塔吊在该单个方向上的空间布局；

基于图像拼接算法将多个方向上的视差图进行拼接，构建所述塔吊的三维空间模型图像。

在具体实施例中，双目视觉系统中的单个摄像头的成像采用针孔摄像头数学模型来描述，即任何点Q在图像中的投影位置q，为光心与Q点的连线与图像平面的交点，物理世界中的点Q，其坐标为(X,Y,Z)。投影为点(x,y,f)。

在摄像头标定过程中可以同时求出镜头畸变向量，对镜头畸变进行校正。而立体标定是计算空间上两台摄像头几何关系的过程，即寻找两台摄像头之间的旋转矩阵R和平移矩阵T，标定图像黑白棋盘图，标定过程中在摄像头前平移和旋转棋盘图，在不同角度获取棋盘图上的角点位置，给定立体图像间的旋转矩阵R和平移矩阵T，使用相关算法进行立体校正，例如使用Bouguet算法，立体校正的目的是使两个视觉传感器所拍摄的图像的对应匹配点分别在两图像的同名像素行中，从而将匹配搜索方位限制在一个像素行内。

理想的双目视觉立体坐标系其坐标原点为左摄像头投影中心，X轴由原点指向右摄像头投影中心，Z轴垂直于摄像机成像平面指向前方，Y轴垂直于X-Z平面箭头向下。

对于校正好的摄像机需要进行立体匹配，以生成视差图，例如选择区域灰度相关法进行立体匹配。

在经过灰度化处理之后，将视差图经过小波滤波处理，从而降低视差图的噪声；通过对当个方向视差图，通过拼接算法构建机器人的三维空间模型图像，其中拼接算法为基于傅里叶变换的图像拼接算法；例如两个相邻方向的塔吊三维空间图像的拼接算法，此算法对两幅待拼接的数字图像进行二维离散傅里叶变换。

应用双目视觉系统可以确定视野范围内的视差图，根据视差图可以单个反向的空间布局特征，采用拼接算法、数据融合算法等可以实现把单个方向的布局结构整合成整体空间结构从而获得塔吊的三维空间模型。

步骤102：在所述三维空间模型中标记塔吊、挂钩和待运输物料的位置，并通过像素分解计算获得所述塔吊、挂钩和待运输物料的三维坐标；

在本实施例中，例如，首先在所述三维空间模型中标记塔吊、挂钩和待运输物料的位置。这种标记过程可以通过人工进行标记，也可以通过计算机3D建模软件在已经建立的三维空间模型中根据捕获的塔吊、挂钩和待运输物料的图像在整个模型中所处的位置自动标记。

通过像素分解分别在两个摄像头所拍摄的图像中计算塔吊、挂钩、待运输物料相对于三维空间模型坐标原点的像素个数。这一步的目的是通过像素级的解析，计算得到三维坐标模型中每个组成部分相对于原点的像素数以为下一步的计算做准备。

根据像素个数与预设塔吊尺寸的比例关系计算获得所述塔吊、挂钩和待运输物料在两个摄像头图像中的两个二维坐标。由于塔吊的物理尺寸是可以预先获知的，因此，将上一段计算得到的像素数除以塔吊本身的像素数再乘以像素本身的物理尺寸，就可以得到塔吊、挂钩和待运输物料在两个摄像头图像中的两个二维坐标。

根据所述两个二维坐标进行三维空间耦合，获得所述塔吊、挂钩和待运输物料的三维坐标。在这个步骤中，依然是利用双目视觉原理，例如将塔吊分别在摄像头A中的二维坐标和摄像头B中的二维坐标进行三维耦合计算，将两个二维平面坐标转换为一个三维立体坐标。例如，通过这个步骤，将塔吊的三维坐标计算得到（X1，Y1，Z1）、挂钩的三维坐标为（X2，Y2，Z2）和待运输物料的三维坐标为（X3，Y3，Z3）。

步骤103：接收待运输物料的运输任务指令信息并进行解析，计算并标记所述待运输物料在所述三维空间模型中的终点三维坐标。

在本实施例中，例如服务器从云端接收到比如说用户的吊装任务执行要求，要求将待运输物料运输至距离塔吊不远的集装箱中。首先，服务器解析运输任务指令，得到运输任务是要把物料运输到集装箱中。然后在三维空间模型中寻找集装箱对应的三维坐标位置，作为待运输物料在所述三维空间模型中的终点三维坐标。这个寻找的过程与步骤102中的过程类似。

例如，首先在所述三维空间模型中标记集装箱的位置。这种标记过程可以通过人工进行标记，也可以通过计算机3D建模软件在已经建立的三维空间模型中根据捕获的集装箱的图像在整个模型中所处的位置自动标记。

通过像素分解分别在两个摄像头所拍摄的图像中计算集装箱相对于三维空间模型坐标原点的像素个数。这一步的目的是通过像素级的解析，计算得到三维坐标模型中每个组成部分相对于原点的像素数以为下一步的计算做准备。

根据像素个数与预设塔吊尺寸的比例关系计算获得所述集装箱在两个摄像头图像中的两个二维坐标。由于塔吊的物理尺寸是可以预先获知的，因此，将上一段计算得到的像素数除以塔吊本身的像素数再乘以像素本身的物理尺寸，就可以得到集装箱在两个摄像头图像中的两个二维坐标。

根据所述两个二维坐标进行三维空间耦合，获得所述集装箱的三维坐标。在这个步骤中，依然是利用双目视觉原理，例如将集装箱分别在摄像头A中的二维坐标和摄像头B中的二维坐标进行三维耦合计算，将两个二维平面坐标转换为一个三维立体坐标。例如，通过这个步骤，将集装箱的三维坐标计算得到（X4，Y4，Z4）。

步骤104：根据所述挂钩和待运输物料的三维坐标，计算并设置将所述待运输物料运送至所述挂钩下的第一路径任务，并将所述第一路径任务发送给无人驾驶运输车，以控制所述运输车按照所述第一路径任务将所述待运输物料运送至所述挂钩正下方。

本实施例中，例如根据所述挂钩的位置坐标（X2，Y2，Z2）和待运输物料的初始位置（X3，Y3，Z3），计算得到待运输物料需要运输到挂钩正下方的第一运输位置的三维坐标（X2，Y2，Z3），并将待运输物料的初始位置（X3，Y3，Z3）和第一运输位置（X2，Y2，Z3）之间的直线路径作为第一路径任务；

将所述第一路径任务发送给无人驾驶运输车，所述运输车解析所述第一路径任务，得到待运输物料的初始位置（X3，Y3，Z3）作为出发点，和第一运输位置（X2，Y2，Z3）作为第一路径任务的终点；

控制所述运输车按照所述第一路径任务将所述待运输物料由初始位置（X3，Y3，Z3）运送至所述第一运输位置（X2，Y2，Z3）。

步骤105：计算挂钩下移距离，并控制挂钩下降所述下移距离以挂取所述待运输物料。

在本实施例中，同样的道理，首先通过像素分解在两个摄像头中的任意一个所拍摄的图像中计算挂钩相对于物料的距离的像素个数；

根据像素个数与预设塔吊尺寸的比例关系计算所述挂钩距离所述待运输物料的距离，作为挂钩下移距离；

控制挂钩下降所述下移距离并挂取所述待运输物料。

步骤106：计算并设置将所述待运输物料运送至所述终点三维坐标的第二路径任务，并将所述第二路径任务发送给塔吊，以控制所述塔吊按照所述第二路径任务将所述待运输物料运送至所述终点三维坐标处。

本实施例中，例如将所述第一运输位置的三维坐标（X2，Y2，Z3）与终点三维坐标（X4、Y4、Z4）之间的弧形路径作为第二路径任务；

将所述第二路径任务发送给塔吊，所述塔吊解析所述第二路径任务，得到待运输物料的第一运输位置的三维坐标（X2，Y2，Z3）和终点三维坐标（X4、Y4、Z4）；

控制所述塔吊按照所述第二路径任务将所述待运输物料由第一运输位置（X2，Y2，Z3）运送至所述终点三维坐标（X4、Y4、Z4）处。

本申请能够精准的控制无人驾驶智能塔吊的物料挂载位置，根据运输任务全自动、无人化操作的将物料运输到挂钩下面，自动控制挂钩将物料挂起，并控制塔吊将物料运输到终点位置，实现了塔吊物料运输的无人化、智能化。

申请实施例提供了一种基于三维空间模型的智能塔吊物料运输路径设置装置，该装置用于执行上述实施例所述的基于三维空间模型的智能塔吊物料运输路径设置方法，如图3所示，该装置包括：

三维空间建模模块501，在无人驾驶智能塔吊的周围安装至少两个摄像头，根据所述至少两个摄像头的视频监控数据进行双目视觉交叉建模，建立塔吊周边环境的三维空间模型；

坐标标记模块502，用于在所述三维空间模型中标记塔吊、挂钩和待运输物料的位置，并通过像素分解计算获得所述塔吊、挂钩和待运输物料的三维坐标；

任务解析模块503，用于接收待运输物料的运输任务指令信息并进行解析，计算并标记所述待运输物料在所述三维空间模型中的终点三维坐标；

第一路径设置模块504，用于根据所述挂钩和待运输物料的三维坐标，计算并设置将所述待运输物料运送至所述挂钩下的第一路径任务，并将所述第一路径任务发送给无人驾驶运输车，以控制所述运输车按照所述第一路径任务将所述待运输物料运送至所述挂钩正下方；

挂取控制模块505，用于计算挂钩下移距离，并控制挂钩下降所述下移距离以挂取所述待运输物料；

第二路径设置模块506，用于计算并设置将所述待运输物料运送至所述终点三维坐标的第二路径任务，并将所述第二路径任务发送给塔吊，以控制所述塔吊按照所述第二路径任务将所述待运输物料运送至所述终点三维坐标处。

本申请的上述实施例提供的基于三维空间模型的智能塔吊物料运输路径设置装置与本申请实施例提供的基于三维空间模型的智能塔吊物料运输路径设置方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的基于三维空间模型的智能塔吊物料运输路径设置方法对应的电子设备，以执行上基于三维空间模型的智能塔吊物料运输路径设置方法。本申请实施例不做限定。

请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于三维空间模型的智能塔吊物料运输路径设置方法。

其中，存储器201可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口203（可以是有线或者无线）实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于三维空间模型的智能塔吊物料运输路径设置方法可以应用于处理器200中，或者由处理器200实现。

处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的基于三维空间模型的智能塔吊物料运输路径设置方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的基于三维空间模型的智能塔吊物料运输路径设置方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于三维空间模型的智能塔吊物料运输路径设置方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于三维空间模型的智能塔吊物料运输路径设置方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器( DSP )来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。