基于5g网络的工程机械自主控制系统及方法
阅读说明：本技术 基于5g网络的工程机械自主控制系统及方法 (Engineering machinery autonomous control system and method based on 5G network ) 是由 杨超 徐标 高娇 耿乙森 于 2020-06-10 设计创作，主要内容包括：本发明公开了基于5G网络的工程机械自主控制系统及方法,系统包括远程控制端及设备控制端,能够实现人工远程遥控模式、自主行驶+自主作业复合模式、自主行驶模式、自主作业模式,并且能够在不同模式间切换。在人工远程遥控模式下,操作人员在可以查看实时图像,实现对现场设备的人工远程操作；自主工作模式下,通过作业管理系统生成自主模式下的工作任务文件,连同模式选择信号一起经过5G网络传输给设备控制端的自主控制系统,自主控制系统在各模块的联合作用下实现自主工作。设备控制权的接管包括主动接管及选择接管。本发明不受距离、作业场地等限制,使操作人员远离复杂和危险的施工作业现场,有效确保作业人员的人身安全。(The invention discloses an engineering machinery autonomous control system and method based on a 5G network, wherein the system comprises a remote control end and an equipment control end, can realize a manual remote control mode, an autonomous driving and autonomous operation composite mode, an autonomous driving mode and an autonomous operation mode, and can switch among different modes. In the manual remote control mode, an operator can check the real-time image to realize manual remote operation on the field equipment; and under the autonomous working mode, a working task file under the autonomous mode is generated by the operation management system and is transmitted to an autonomous control system of the equipment control end together with the mode selection signal through the 5G network, and the autonomous control system realizes autonomous working under the combined action of the modules. The device control authority is taken over by active taking over and selective taking over. The invention is not limited by distance, operation field and the like, so that the operator is far away from a complex and dangerous construction operation field, and the personal safety of the operator is effectively ensured.)
技术领域
本发明涉及工程机械远程控制、自主行驶、自主作业技术领域，具体涉及基于5G网络的工程机械自主控制系统及方法。
背景技术
工程机械广泛应用于重大战略工程、基础设施建设中，是支撑我国国民经济发展的战略性产业，起着极其重要的作用。在某些特殊行业工程机械作业环境异常恶劣，比如：毒气废气场合、垃圾清理、抢险救灾、隧道开挖、防爆作业、放射性场合作业等。这些恶劣的作业环境给作业人员带来极大的困难和不便，有些作业环境还可能产生有毒气体、发生爆炸或者坍塌的危险，任何工作的开展都不能以牺牲作业人员的健康和生命为代价，因此如何实现工程机械的远程控制甚至自主控制已经成为了现代工程机械研究的一个重点。
随着5G技术的飞速发展，5G网络高传输速率、低延时、高可靠性等优点，使得工程机械的超远距离控制得以实现。但是现有的工程机械的远程控制依然存在很多问题。由于在远程操作端通过显示器观察设备现场环境，使得立体观感不强，操作体验不真实，很难长时间操作。且由于设备采集环境图像的局限性，可能造成操作者无法灵活操纵机械设备或有效躲避障碍物，影响操作者的工作效率，安全性降低。
专利CN110747930A采用两种工作模式，包括手动控制模式，其与传统挖掘机的操控作业方法相同，由一个手动控制模块来操作挖掘机控制系统进行施工作业；还包括一种远程控制模式；所述远程控制模式包括施工现场部分和远程操控室部分，两个部分通过两个5G网络传输模块进行信号的传输。
专利CN110747930A采用手动控制与远程控制双模式的方式，能够实现人工弥补远程控制时的操作性欠缺，但需要“双人控制”，不能够使现场操作者远离设备所处环境，应用价值很小。
发明内容
为解决现有技术中的不足，本发明提供了基于5G网络的工程机械自主控制系统及方法，解决了现有技术中工程机械自主控制模式单一、实用性不强的技术问题。
为了实现上述目标，本发明采用如下技术方案：
基于5G网络的工程机械自主控制系统：包括远程控制端及设备控制端，其中远程控制端包括：
操作台：包括操作座椅、转向装置、控制手柄、油门/制动踏板、功能开关及模式选择开关；
音视频显示系统：包括显示设备及用于处理音视频信号的主机；
作业管理系统：载入、编辑并传输自主工作模式下的工作任务；
远程控制系统：包含可编程控制器，用于采集操作台的输入信号，并将输入信号输出至信号转换装置；
信号转换装置一：将接收的远程控制系统信号转化成以太网信号发送至网络交换机；
网络交换机一：接收作业管理系统、信号转换装置的信号、与5G通讯模块进行信号通讯、将音视频信号输出至音视频显示系统；
5G通讯模块一：连接5G网络；
设备控制端包括：
车载监控系统：采集设备周围的音频及视频信息；
网络交换机：接收车载监控系统的信号、与5G通信模块、信号转换装置二进行通讯、将任务文件传输至设备控制系统；
信号转换装置二：与设备控制系统、网络交换机通讯；
车载控制系统：包括主控制器及底层控制器，主控制器连接信号转换装置二，底层控制器用于根据主控制器的信号向设备端执行装置发送控制指令，并将设备端执行装置的状态信息反馈至主控制器；
5G通信模块二：连接5G网络；
设备端执行装置：驱动设备转向装置、控制手柄油门/制动踏板、功能开关动作。
作为本发明的一种优选方案，前述的基于5G网络的工程机械自主控制系统：主控制器包括：
任务输入模块：读取工作任务文件，并传输至规划模块；
定位模块：获取设备的位置、航向信息，并传输至规划模块；
感知模块：包括安装于设备的传感器，传感器将采集的设备信息及周围障碍物信息传输至规划模块；传感器包括激光雷达、毫米波雷达、长度传感器及角度传感器；
规划模块：根据任务输入模块、定位模块、感知模块的输入数据制定任务策略，生成相应的控制信号并传输至底层控制器；接收底层控制器反馈的设备端执行装置的状态信息。
基于5G网络的工程机械自主控制方法：按照以下步骤操作：
目标设备的设备控制端与远程控制端通过5G网络连接之后，将现场音视频信号、状态数据传输至远程控制端；
远程控制端接管设备的控制权，并选择设备的控制模式，对设备进行操控；
状态数据包括设备的转向装置、控制手柄、油门/制动踏板、功能开关数据、位置转向、转向数据及周围障碍物数据；
控制模式包括人工远程遥控模式、自主行驶+自主作业复合模式、自主行驶模式、自主作业模式。
作为本发明的一种优选方案，前述的基于5G网络的工程机械自主控制方法，人工远程遥控模式的控制步骤是：
当设备控制端接收到人工远程遥控模式的信号时，将远程控制端的转向装置、控制手柄、油门/制动踏板、功能开关与设备控制端的转向装置、控制手柄、油门/制动踏板、功能开关相匹配；
根据设备的现场音视频信号、状态数据对操作台进行操作，操作台产生的控制信号通过5G网络传输至车载控制系统；
车载控制系统将控制信号传输至设备端执行装置；
设备端执行装置对设备的转向装置、控制手柄、油门/制动踏板、功能开关进行控制。
作为本发明的一种优选方案，前述的基于5G网络的工程机械自主控制方法，自主行驶+自主作业复合模式的控制步骤是：
当作业管理系统接收到模式信号时，作业管理系统生成自主行驶+自主作业模式下的工作任务文件，并将工作任务文件及模式选择信号传输到设备控制端的主控制器；
主控制器的任务输入模块读取工作任务文件，并传输至规划模块；定位模块实时获取设备的位置、航向信息，并传递至规划模块；感知模块将将采集的设备信息及周围障碍物信息传输至规划模块；
主控制器根据工作任务文件结合设备的位置、航向信息、设备信息及周围障碍物信息，依次通过底层控制器、设备端执行装置对设备的行走及作业进行控制；主控制器接收底层控制器实时反馈的设备运行和位姿状态信息，对控制信号进行实时动态更新；
当工作任务执行完成之后，停止工作，并通过主控制器将工作任务执行完成信号发送至远程控制端。
作为本发明的一种优选方案，前述的基于5G网络的工程机械自主控制方法：设备端执行装置对设备的行走及作业控制过程中，还结合感知模块采集的作业面物料分布情况，做出作业面的作业规划，并根据每次作业动作，实时计算控制油缸间的配合关系，解算成各执行装置的分步控制信号。
作为本发明的一种优选方案，前述的基于5G网络的工程机械自主控制方法：自主行驶模式的控制步骤是：
当作业管理系统接收到模式信号时，作业管理系统生成自主行驶模式的工作任务文件，并将工作任务文件及模式选择信号传输到设备控制端的主控制器；
主控制器的任务输入模块读取工作任务文件，并传输至规划模块；定位模块实时获取设备的位置、航向信息，并传递至规划模块；感知模块将采集的设备信息及周围障碍物信息传输至规划模块；
主控制器根据工作任务文件结合设备的位置、航向信息、设备信息及周围障碍物信息，依次通过底层控制器、设备端执行装置对设备的行走进行控制；主控制器接收底层控制器实时反馈的设备运行和位姿状态信息，对控制信号进行实时动态更新；
当工作任务执行完成之后，停止工作，并通过主控制器将工作任务执行完成信号发送至远程控制端。
作为本发明的一种优选方案，前述的基于5G网络的工程机械自主控制方法：设备自主行驶过程中，主控制器实时监测设备能否正常行驶，若无法正常行驶，则暂停工作并向远程控制端发送提示信号，并将设备的控制权转移至远程控制端。
作为本发明的一种优选方案，前述的基于5G网络的工程机械自主控制方法：自主作业模式的控制步骤是：
当作业管理系统接收到模式信号时，作业管理系统生成自主作业模式的工作任务文件，并将工作任务文件及模式选择信号传输到设备控制端的主控制器；
主控制器的任务输入模块读取工作任务文件，并传输至规划模块；定位模块实时获取设备的位置、航向信息，并传递至规划模块；感知模块将采集的设备信息及周围障碍物信息传输至规划模块；
主控制器根据工作任务文件结合设备的位置、航向信息、设备信息及周围障碍物信息，通过依次底层控制器、设备端执行装置对设备的行走进行控制；主控制器接收底层控制器实时反馈的设备运行和位姿状态信息，对控制信号进行实时动态更新；
当工作任务执行完成之后，停止工作，并通过主控制器将工作任务执行完成信号发送至远程控制端。
作为本发明的一种优选方案，前述的基于5G网络的工程机械自主控制方法：设备作业模式过程中，主控制器实时监测设备能否正常作业，若无法正常作业，则暂停工作并向远程控制端发送提示信号，并将设备的控制权转移至远程控制端。
本发明所达到的有益效果：
本发明利用5G网络高传输速率、低延时、高可靠性等优点，使得工程机械的超远距离控制得以实现，使得传输速率更快、延时更低、可靠性更高。本发明能够让操作人员能够在远离现场的环境观察设备工作环境及状态，并且提供了人工远程遥控模式、自主行驶+自主作业复合模式、自主行驶模式、自主作业模式，提升了远程操作的多样性，使用户能够有更灵活、丰富的选择。
本发明的远程控制端的操作人员有两种接管设备控制权的模式，可以主动接管设备的控制权，也可以根据提示接管设备的控制权。当操作人员判断设备无法继续自主作业模式（自主行驶或者自主作业）时，可通过位于操作台的模式开关主动选择接管设备的控制权；当处于自动工作模式下的设备检测到无法继续进行自动工作的复杂状况时，可以暂停工作并发送指令提示远程控制端的操作人员，接管设备控制权。
本发明不受距离、作业场地等限制，使操作人员远离复杂和危险的施工作业现场的远程控制端进行人工远程遥控或者让设备自主作业，有效确保作业人员的人身安全。
附图说明
图1是本发明系统架构图；
图2是本发明远程控制端系统构成示意图；
图3是本发明设备控制端系统构成示意图；
图4是本发明工作流程图；
图5是本发明设备控制端的传感器布局示意图（以轮式挖掘机为例）；
图6是本发明设备控制端的传感器布局示意图（以步履式挖掘机为例）。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1至图3所示：本实施例公开了基于5G网络的工程机械自主控制系统，包括远程控制端及设备控制端，其中远程控制端包括：
操作台：包括操作座椅、转向装置、控制手柄、油门/制动踏板、功能开关及模式选择开关。
音视频显示系统：包括显示设备及用于处理音视频信号的主机，显示设备包含5个显示器、主机最好采用高性能主机，音视频显示系统用于显示现场传输回来的声音、图像，供操作者实时观察处于现场的设备的工作环境及自身状态。
作业管理系统，这是一种安装在高性能主机的软件，能够载入、编辑并传输自主工作模式下的工作任务文件，该文件通过5G网络传输到设备控制端的主控制器，在自主工作模式下执行工作任务。
远程控制系统：采用工程机械专用可编程控制器，安装于操作台上，用于采集操作台的输入信号，如采集控制手柄，开关等控制信号，并将输入信号输出至信号转换装置，可通过CAN总线信号的方式输出。
信号转换装置一：将接收的远程控制系统信号（CAN总线信号）转化成以太网信号发送至网络交换机。
网络交换机一：接收作业管理系统、信号转换装置的信号、与5G通讯模块进行信号通讯、将音视频信号输出至音视频显示系统。
5G通讯模块一：使整个远程控制端连接5G网络。
设备控制端包括：
车载监控系统：安装于设备车身周围，采集设备周围的音频及视频信息；
网络交换机：接收车载监控系统的信号、与5G通信模块、信号转换装置二进行通讯、将任务文件传输至设备控制系统；
信号转换装置二：用来将经由无线网络传输过来的网络信号转换成控制器CAN总线信号，连接在交换机上；
车载控制系统：包括主控制器及底层控制器，主控制器连接信号转换装置二，底层控制器用于根据主控制器的信号向设备端执行装置发送控制指令，并将设备端执行装置的状态信息反馈至主控制器；
优选，主控制器包括：任务输入模块、定位模块、感知模块、规划模块、远程控制系统
任务输入模块：读取工作任务文件，并传输至规划模块；
定位模块：获取设备的位置、航向信息（通过设备安装的差分GPS获取），并传输至规划模块；
感知模块：包括安装于设备的传感器，传感器将采集的设备信息及周围障碍物信息传输至规划模块；传感器包括激光雷达、毫米波雷达、长度传感器及角度传感器；其中，激光雷达用于实时检测作业环境信息、毫米波雷达用于实时检测周围障碍物信息、长度传感器和角度传感器用于实时检测工作装置的作业姿态。
规划模块：根据任务输入模块、定位模块、感知模块的输入数据制定任务策略，生成相应的控制信号并传输至底层控制器；接收底层控制器反馈的设备端执行装置的状态信息。
5G通信模块二：使整个设备控制端连接5G网络；
设备端执行装置：驱动设备转向装置、控制手柄油门/制动踏板、功能开关（如急停开关、灯光控制开关）动作。
如图4至图6所示：本实施例还公开了基于5G网络的工程机械自主控制方法，按照以下步骤操作：
首先，设备上电（远程控制端、设备控制端），目标（被控）设备的设备控制端与远程控制端通过5G网络连接之后，将现场音视频信号、状态数据传输至远程控制端，具体的，状态数据包括设备的转向装置、控制手柄、油门/制动踏板、功能开关数据、位置转向、转向数据及周围障碍物数据。
然后根据需要选择设备的控制模式，对设备进行操控；控制模式具体包括人工远程遥控模式、自主行驶+自主作业复合模式、自主行驶模式、自主作业模式。
其中，人工远程遥控模式的控制步骤是：
当设备控制端接收到人工远程遥控模式的信号时，将远程控制端的转向装置、控制手柄、油门/制动踏板、功能开关与设备控制端的转向装置、控制手柄、油门/制动踏板、功能开关相匹配（同步）。
然后根据设备的现场音视频信号、状态数据对操作台进行操作（手柄、踏板等），操作台产生的控制信号通过5G网络传输至车载控制系统；
车载控制系统将控制信号传输至主控制器，主控制器判断处于人工远程遥控模式，将控制信号传输到底层控制器；底层控制器执行主控制器传输的控制信号，控制执行装置，实现设备的远程遥控行驶、作业等动作。
自主行驶+自主作业复合模式的控制步骤是：
当作业管理系统接收到模式信号（自主行驶+自主作业复合模式）时，作业管理系统生成自主行驶+自主作业模式下的工作任务文件，并将工作任务文件及模式选择信号传输到设备控制端的主控制器；
主控制器的任务输入模块读取工作任务文件，并传输至规划模块；定位模块实时获取设备的位置、航向信息，并传递至规划模块；感知模块将将采集的设备信息及周围障碍物信息传输至规划模块；
主控制器根据工作任务文件结合设备的位置、航向信息、设备信息及周围障碍物信息，依次通过底层控制器、设备端执行装置对设备的行走及作业进行控制；主控制器接收底层控制器实时反馈的设备运行信息，对控制信号进行实时动态更新；当工作任务执行完成之后，停止工作，并通过主控制器将工作任务执行完成信号发送至远程控制端。
在上述自主行驶+自主作业复合模式过程中，设备端执行装置对设备的行走及作业控制过程中，还结合感知模块采集的作业面物料分布情况，做出作业面的作业规划，并根据每次作业（挖掘）动作，实时计算控制油缸间（以挖掘机为例，大多数工程机械的主驱动装置都是液压控制）的配合关系，解算成各执行装置的分步控制信号，由于是复合作业，根据作业任务，这两项同步进行、互相配合，控制信号发送给底层控制器。
自主行驶模式的控制步骤是：
当作业管理系统接收到模式信号时，作业管理系统生成自主行驶模式的工作任务文件，并将工作任务文件及模式选择信号传输到设备控制端的主控制器；主控制器的任务输入模块读取工作任务文件，并传输至规划模块；定位模块实时获取设备的位置、航向信息，并传递至规划模块；感知模块将采集的设备信息及周围障碍物信息传输至规划模块；主控制器根据工作任务文件结合设备的位置、航向信息、设备信息及周围障碍物信息，依次通过底层控制器、设备端执行装置对设备的行走进行控制；主控制器接收底层控制器实时反馈的设备运行信息，对控制信号进行实时动态更新。当工作任务执行完成之后，停止工作，并通过主控制器将工作任务执行完成信号发送至远程控制端。
在上述设备自主行驶过程中，主控制器实时监测设备能否正常行驶，若无法正常行驶，例如设备监测到工作任务中要通过的路径有无法通过的河流，则暂停工作并向远程控制端发送提示信号，提示信号可以是在音视频显示系统上显示，或发出声音报警提示、弹出信息文本框（显示任务暂停），发出提示信号将设备的控制权转移至远程控制端。
自主作业模式的控制步骤是：
当作业管理系统接收到模式信号时，作业管理系统生成自主作业模式的工作任务文件，并将工作任务文件及模式选择信号传输到设备控制端的主控制器；主控制器的任务输入模块读取工作任务文件，并传输至规划模块；定位模块实时获取设备的位置、航向信息，并传递至规划模块；感知模块将采集的设备信息及周围障碍物信息传输至规划模块。
然后，主控制器根据工作任务文件结合设备的位置、航向信息、设备信息及周围障碍物信息，依次通过底层控制器、设备端执行装置对设备的行走进行控制；主控制器接收底层控制器实时反馈的设备运行信息，对控制信号进行实时动态更新；
当工作任务执行完成之后，停止工作，并通过主控制器将工作任务执行完成信号发送至远程控制端。
在上述设备作业模式过程中，主控制器实时监测设备能否正常作业，若无法正常作业，如检测出散料堆里面混杂有巨大的石头，此时不能继续挖掘，则暂停工作并向远程控制端发送提示信号，并将设备的控制权转移至远程控制端。
相对于现有技术，本发明利用5G网络高传输速率、低延时、高可靠性等优点，使得工程机械的超远距离控制得以实现，使得传输速率更快、延时更低、可靠性更高。本发明能够让操作人员能够在远离现场的环境观察设备工作环境及状态，并且提供了人工远程遥控模式、自主行驶+自主作业复合模式、自主行驶模式、自主作业模式，提升了远程操作的多样性，使用户能够有更灵活、丰富的选择。
本发明的远程控制端的操作人员有两种接管设备控制权的模式，可以主动接管设备的控制权，也可以根据提示接管设备的控制权。当操作人员判断设备无法继续自主作业模式（自主行驶或者自主作业）时，可通过位于操作台的模式开关主动选择接管设备的控制权；当处于自动工作模式下的设备检测到无法继续进行自动工作的复杂状况时，可以暂停工作并发送指令提示远程控制端的操作人员，接管设备控制权。
本发明不受距离、作业场地等限制，使操作人员远离复杂和危险的施工作业现场的远程控制端进行人工远程遥控或者让设备自主作业，有效确保作业人员的人身安全。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。