移动式分析处理装置

文档序号:751226 发布日期:2021-04-02 浏览:21次 >En<

阅读说明:本技术 移动式分析处理装置 (Mobile analysis processing device ) 是由 S·哈斯曼 F·J·克诺尔 V·钦梅克 于 2019-08-22 设计创作,主要内容包括:本发明涉及一种用于土壤处理和/或动植物群分析操作的农用移动式分析处理装置(14)。此装置(14)包括至少一个传感器(62)、带有至少一个机动刀具(58)的工具单元(52)、至少操控所述工具单元(52)的刀具(58)的执行器(48)、用于驱动所述工具单元(52)和/或所述执行器(48)的马达(50)、数据库(78)、带有接口(70a)的第一通信单元(60)和根据生成的控制指令对所述传感器(62)、所述工具单元(52)和所述执行器(48)进行控制的第一计算机(46),为生成所述执行器(48)、所述工具单元(52)和/或所述马达(50)的控制信号,需通过将所述传感器(62)获取的数据与存储在所述数据库(78)中的数据进行连续比较。该装置具备移动性和灵活性,该装置(14)相应地构建了一个单元,通过它可以将所有数据进行实时处理,生成对执行器(48)、工具单元(52)和/或马达(50)的控制信号,并可根据控制信号立即进行处理。这为不同组合提供了可能,例如与各种输送载体(12)组合,并可根据需要在农田移动装置(14)。(The invention relates to an agricultural mobile analysis processing device (14) for soil treatment and/or animal and plant population analysis operations. The device (14) comprises at least one sensor (62), a tool unit (52) having at least one motorized tool (58), an actuator (48) for actuating at least the tool (58) of the tool unit (52), a motor (50) for driving the tool unit (52) and/or the actuator (48), a database (78), a first communication unit (60) having an interface (70a), and a first computer (46) for controlling the sensor (62), the tool unit (52) and the actuator (48) in accordance with generated control commands, for generating control signals for the actuator (48), the tool unit (52) and/or the motor (50), data acquired by the sensor (62) are continuously compared with data stored in the database (78). The device is mobile and flexible, and the device (14) accordingly constitutes a unit by means of which all data can be processed in real time, control signals for the actuator (48), the tool unit (52) and/or the motor (50) being generated and processed immediately in dependence on the control signals. This provides the possibility of different combinations, for example with various transport carriers (12), and moving the device (14) as required in the field.)

移动式分析处理装置

技术领域

本发明涉及根据权利要求1所述的用于土壤处理和/或动植物群分析操作的农用移动式分析处理装置,以及根据权利要求15所述的通过此装置进行土壤处理和/或动植物群分析操作时的实时控制方法。

背景技术

农业中的杂草防治是一项非常耗费人力的工作,尤其是在禁止或限制使用化学品的有机耕种中。根据种植的不同农作物,在靠近经济作物的位置进行杂草防治是有必要的。这种防治一般在生长初期进行,不论是经济作物还是杂草,或者说野草,那时都还很小,并且相互靠得很近。为避免对经济作物造成伤害,应采用有目的的选择性方法。这在有机耕种,比如胡萝卜种植中,通过被称为“杂草飞”的劳动密集、且对身体有损害的手工作业完成。季节性工人趴在平台上,清除野草。

对于植株距离较大的特殊农作物,如甜菜或莴菜,现有的拖拉机悬挂式农具,适用于识别单一经济作物,并控制相应刀具,使经济作物所在区域不被处理。该任务中选择性不是必须的。也就是说此系统并不检测作业区域,而更像是依据已知经济作物的位置“盲目”控制刀具。一般来说,与经济作物的距离决定了对精度的要求。

根据DE 40 39 797 A1公开的去杂草装置,其中用于清除杂草的执行器持续运行,直到一种农作物被传感器识别到,才会被短暂中断。本方案中的输送载体为车辆设计。

根据DE 10 2015 209 879 A1公开的除杂草装置,包含一个处理工具。该处理工具用于除去杂草。此外还设定了一个分类单元,该单元要么包含杂草的位置数据或者可以识别杂草并确定其位置数据。由定位单元确定处理工具和杂草之间的相对位置。一个车辆状的操作单元根据已确定的相对位置相应地定位处理工具。

DE 10 2015 209 891 A1公开了带有压力输送单元和液体释放单元的相应的装置。在该实施方式中,通过加压喷液清除杂草。本方案中的输送载体为车辆设计。

DE10 2015 209 888 A1公开了将液体脉冲式地喷施于杂草上以此清除杂草的方法。本方案中的输送载体也为车辆设计。

DE 10 2013 222 776 A1公开了一种安装在车辆中的压模,该压模设置在用于引导压模的导向装置中。在这种情况下,压模被设置于杂草上方并施加压力。通过施加压力的压模的撞击使杂草被清除。

目前,为农业提供自动化支持并配备远程信息处理系统的农业机器人和收割机正在独辟蹊径。在许多情况下,航天、遥感和机器人技术的技术原理和研究成果都可用于解决农业问题,但它们须适应具体农业的任务,并需要新的装置和方法。

例如,上述现有的自动化农业机器人在系统设计上只能将一排植物逐一去除。只在植物群中进行,并且只能串行进行。控制通常在最后通过巡查进行,比如通过有资质的人进行巡查。

已有装置的另一个缺点是,输送载体设计成特殊的车辆,每次只能成排地去除作物,相对不灵活。

发明内容

本发明的任务是提供一种用于土壤处理和/或动植物群分析操作的农用移动式分析处理装置,以及提供使用该装置的方法,该方法能实时控制、合格地去除探测到的植物和/或动物,也能对植物和动物进行同步分析。尤其是该装置可与不同输送载体相连接,使该装置移动到作业区及作业区的上方。

所述任务通过权利要求1所述的移动式分析处理装置的特征实现,控制装置的方法通过权利要求15的特征实现。

从属权利要求构成本发明的其他改进方式。

本发明基于这样的研究成果,即通过制造一种包含分析和处理功能的所有机组、且独立于输送载体的移动装置,从而显著提高使用的灵活性和由此产生的可能性。

因此,本发明涉及一种用于土壤处理和/或动植物群分析操作的农用移动式分析处理装置。该装置包括至少一个传感器、带有至少一个机动刀具的工具单元、至少能操控工具单元的刀具的执行器、用于驱动工具单元和/或执行器的马达、数据库、带有接口的第一通信单元和根据生成的控制指令对传感器、工具单元和/或执行器进行控制的第一计算机。为生成对传感器、工具单元和/或执行器相应的控制信号,需通过将传感器获取的数据与存储在数据库中的数据进行持续比较。该装置具备移动性和灵活性,该装置相应地构建了一个单元,通过它可以将所有数据进行实时处理,生成对传感器、工具单元和/或执行器的控制信号,并可根据控制信号立即进行处理。这为不同组合提供了可能,例如与各种输送载体组合,并可根据需要在农田移动装置。

优选将传感器获取的数据与数据库的数据进行实时对比,特别是对传感器获取的数据进行验证和分类。这样可以提高装置的反应能力。

根据本发明的一个实施方式,该传感器是带有摄像头的可视探测单元。因此,需要处理的数据是图像数据,可以随时与数据库进行对比。

为了使装置在需要时能连接到用于移动此装置的输送载体上,输送载体上设置有相应连接设备。

为了能够方便地更换单个零部件、从而减少装备时间,该装置被制作成两部分。在第一单元中设置有传感器、工具单元、用于驱动工具单元中刀具和/或执行器的马达、执行器、第一计算机和带接口的第一通信单元。在第二单元中,设置有数据库、第二计算机和带接口的第二通信单元。第一单元和第二单元之间可通过接口相互连接,进行数据交换。此外,通过设计成两部分,也使两个单元在空间上的相互分开设置成为可能。例如,在装置的移动部分应尽可能轻时,该设计是有优势的。在这种情况下,第二单元可以被集中固定设置,第一单元可以在农田上移动。

在这里,第一单元包含了第一外壳,第二单元包含了第二外壳,从而保护单元中设置的机组不受外界的影响,则是有利的。

第一外壳和第二外壳可以通过插头连接相互连接并可拆卸。这样可以将两个单元模块化连接,也可以在一个单元出现故障时仅对该单元进行替换。

根据本发明的一个实施方式,第一和第二外壳在必要情况下作为连接设备与输送载体的承接装置相连,通过在输送载体上设置相应的夹持设备,使装置被输送载体抓取和移动。作为替代或补充,第一和第二外壳也可以在必要情况下作为连接设备与输送载体的连接装置相连,通过在输送载体上设置相应的连接装置,可以将装置与输送载体相连且被移动。这里实现了与输送载体最简单快速的连接,以完成装置的运输。

优选工具单元包括至少一个进给单元和一个与马达相互作用的转动单元。从而以简单的方式扩大了工具的使用范围,而不必移动装置。

优选转动单元的远端设有至少一个刀具,特别是设有旋转犁或割刀单元。例如,在转动过程中工具单元可以选择性地将小虫和杂草清除。

为了进一步减轻装置重量,还设置了外接电源的电源接口。电源接口可以设置在第一单元。在第一单元和第二单元的组装状态下,第二单元通过该电源接口可以为第一单元以及第二单元进行供电。优先选择将输送载体上的电源用于供电。

为实现输送载体与装置之间的数据交换,在装置上为输送载体设置了另一个通信接口。

另一个通信接口可以设置在第一单元或第二单元中。优选设置在第二单元中。

上述任务也通过由依据上述类型的装置,进行土壤处理和/或动植物群分析操作的实时控制方法来完成,该方法包括以下步骤:

——通过传感器在时间上连续接收数据技术上定义的体素和/或像素和/或图像;

——传送接收数据到数据库;

——存储接收数据至数据库;

——定性数据比较接收数据与存储在数据库中的数据,优选由计算机对接收数据进行分割、数据简化和/或验证;

——通过分类器和计算机共同评估匹配数据与数据库中现有已定义的数据记录;

——通过计算机处理并转换评估为用于调整和/或控制马达、执行器、工具单元和/或指定输送载体的技术数据。

优选在获得调整和/或控制的技术数据后,即启动马达、执行器、工具单元和/或指定输送载体进行土壤处理和/或动植物群分析操作。

根据本发明的一种优选方法,评估在与分类器相互作用的计算机中进行,特别是在第二计算机,而将评估处理和转换为调整和/或控制的技术数据是在另一台计算机中进行,特别在第一计算机中进,为此,评估从一台计算机被传送到另一台计算机上。这样可以减少计算时间,因为计算机可以同时工作。此外,可能出现两台计算机不必相邻排列的情况。例如,带有第二计算机的第二单元可以与带有第一计算机的第一单元远距离排列。

存储、定性数据比较接收数据与存储在数据库中的数据和/或通过分类器完成的评估优选由人工智能提供支持。此处可以创建一个近乎自主运行的系统。

该装置,特别是第一单元和第二单元,可以采用模块化设计,以便它们可以相互连接,也可以与整体系统的其他单元连接。

实时性被理解为,在一道工序中能够现场进行分析和处理过程的可能性。

体素在本发明中被理解为通过传感器,也就是可视探测单元在成像方法中离散地或在时间上连续生成的一种空间数据记录。

优选执行器包括一个机械结构,特别是旋转单元,其位于第一单元的外壳的夹持结构中。

附图说明

上述发明进一步的优势、特征和应用可能,由以下结合图示实例的描述得出。

在描述中、在权利要求书中以及在图示中,使用以下零件编号列表中的术语和指定参考标识。具体图示为:

图1所示为根据本发明第一实施方式的具有移动装置的空间分离外壳的输送载体系统的示意图;

图2所示为根据本发明第二实施方式的输送载体系统的示意图,该输送载体系统的移动装置的空间分离外壳通过插头连接相互连接输送载体;

图3所示为根据本发明第一实施方式的输送载体系统侧视图,移动装置与输送载体无人机连接。

图4所示为输送载体系统的使用方法的步骤流程图;

图5所示为确定必要措施的方法的步骤流程图;

图6所示为由可视探测单元获取的图像;

图7所示为以图6中图像为例的卷积神经网络示意图;

图8所示为分割和数据简化单元工作方法的流程图;

图9所示为由分割和数据简化单元创建的中间图像;

图10所示为中间图像为分类器提供三种不同情况的的部分片段;

图11所示为用于通过分类器评估的进一步像素场的两种基本示意图;

图12所示为用于通过分类器评估的进一步像素场的两种基本示意图;

图13所示为分类器创建和评估的图像,和

图14所示为分类器工作方法的基本示意图。

具体实施方式

图1所示为输送载体系统10的示意图,它由一个无人机12形式的输送载体和一个用于土壤处理和动植物群分析操作的农用移动式分析处理装置14组成。见图3,无人机12包括驱动器16,驱动器16包含四个电机18和由此驱动的螺旋桨20。此外,无人机12在电机18下方设有四个机脚22。

根据本发明的第一实施方式,无人机12包括电池24形式的电源,其为驱动器16和无人机12的其他机组以及移动装置14供电。为此,在无人机12上设有电源接口26a,在移动装置14上设有与该电源接口26a相对应的电源接口26b,两者通过可拆卸的插头连接28相互连接。此外,还设有带天线32的通信单元30和GPS单元34,该通信单元30持续地确定无人机12的位置,该无人机12的位置数据传送到移动装置14上,用于将移动装置14获取的数据进行归类,并传送到远程中央处理单元,该远程中央处理单元此处不详述。遥测可以借助于GPS单元34、通信单元30和移动装置14完成。此外,还设有控制驱动器16的控制装置12b。

除了天线32外,无人机12的通信单元30还包括另一个接口36a,该接口36a与之匹配的移动装置14的指定接口36b通过可拆卸的插头连接38相互连接,并用于数据交换。

移动装置14由两个单元14a、14b组成,即具有第一外壳40的第一单元14a和具有第二外壳42的第二单元14b。第一外壳40和第二外壳42通过插头连接44相互连接且可拆卸,构成移动装置14单元。一侧有一组不同的第一单元14a,另一侧有一组不同的第二单元14b,只需将其简单连接起来,即可单独配置并适应不同需求。

在第一外壳40中,设有第一计算机46,一个可移动、由马达驱动的机械臂48形式的执行器,一个与机械臂48相互作用的马达50,一个设置在机械臂48上的工具单元52,工具单元52包括一个进给单元54和一个转动单元56。在转动单元56的远端设有作为刀具的旋转犁58。马达50不仅驱动机械臂48而且也驱动进给单元54和转动单元56,从而也驱动旋转犁58。机械臂48可以是多部件的,并具有各种关节,由于这种马达驱动的运动学是已知的,因此没有详述。通过机械臂48,相对于无人机12,工具单元52会移动到其使用区域,具有进给单元54和转动单元56的工具单元52可以使用旋转犁58处理植物,例如清除杂草,和/或处理土壤。

此外,第一单元14a中设有通信单元60和可视探测单元62。可视探测单元62包括一个捕获图像的摄像头64、一个分割和数据简化装置66、一个分类器68,分类器根据分割和数据简化装置66生成的中间图像或中间数据对由像素组成的多个像素场进行分类,下文将进一步详述。可视探测单元62与通信单元60相连接。

第一单元14a包括接口70a,其与第二单元14b的接口70b相匹配。通过通信连接72,通信单元60通过接口70a连接到接口70b,并通过接口70b连接到第二单元14b的通信单元74。第二单元14b的通信单元74通过接口36b、通过插头连接38与无人机12的接口36a和通信单元30相连接。

在第二单元14b中还设有第二计算机76和数据库78。

图2所示为输送载体系统10的另一个实施方式,其中无人机12的配置与第一实施方式相同。不同点仅在于在移动装置14的第一单元14a和第二单元14b之间有插头连接80,此外,该插头连接80还可将第一单元14a的通信单元60与通信单元74可拆卸式连接。通过简单的插接,可以将不同的第一单元14a与不同的第二单元14b组合成一个移动单元14。

图3所示为无人机12的侧视图,由此仅可看到四个带有对应螺旋桨20的电机18中的两个。在每个电机18下方都设有机脚22。在机脚22之间设有两个夹臂82a、82b,用于根据需要将移动装置14抓取、提起、再放下并松开。移动装置14由两个单元14a和14b组成,并通过插头连接80形成可拆卸的相互连接。在第一单元14a中,可以看到摄像头64是可视探测单元62的一部分,以及旋转犁58在转动单元56的远端。

移动装置14还可以配备多个不同的工具单元52,这些工具单元52设有一个共同的机械臂48和工具转塔,工具转塔将所需的工具单元52送到启动位置。也可以设计成不同的工具单元都有自己的执行器。

图4所示为使用输送载体系统10进行农业土壤处理和动植物群分析操作依次进行的步骤的流程图。

在第一步骤84中,首先使用输送载体系统10来确定对指定农业区域实施的必要措施。例如,将输送载体系统10带到待处理的农业区域,例如带到农田,或者直接从中心位置飞到那里。带有移动装置14的无人机12起飞,飞到农田上空。通过固定的中央计算单元,输送载体系统10获得关于待考察农田的必要数据。中央计算单元在这种情况下也可以是智能手机。通过移动装置14的带有摄像头64的可视探测单元62,农田被以图像形式捕捉。对图像进行评估,并与数据库78进行比较,最终确定对该农田实施的必要措施。

在下一步骤86中,根据确定的对农田或农田部分区域实施的措施,将适合必要措施的移动单元14由一组第一单元14a和一组不同的第二单元14b组装而成,并将两个单元14a、14b相互连接。

在下一步骤88中,移动装置14被无人机12通过夹臂82a和夹臂82b分别从两侧抓取,并由夹臂向无人机12的方向向上移动到无人机12的承接器12a中。从而,电源接口26a、26b通过插头连接28相互连接,接口36a、36b通过插头连接38相互连接。这样,无人机12的电池24向移动装置14供电,通过无人机12的通信单元30的天线32可以使一边的移动装置14的通信单元60和74和另一边的中央计算单元进行数据交换。如上所述,独立于输送载体系统10的中央计算单元也可以是智能手机。

在接下来的步骤90中,输送载体系统10在农田中执行确定的措施。例如,无人机12飞到需要处理的农田区域。由机械臂48带动工具单元52行进到需要清除的杂草处。进给单元54将旋转犁58移动到杂草上,杂草随着转动单元56的启动而被碾除。

在第五步骤92中,无人机12飞回,并将移动装置14替换为另一个对另一个措施更优化的移动装置14,例如带有杀虫剂或施肥的喷洒装置。

可替代的,如果无人机12已经为待执行措施完成装备,则步骤86和88也可以省略。

图5是目前对通过输送载体系统10,特别是通过移动装置14确定必要措施的逐一阐述。

在第一步骤94中,由移动装置14的可视探测单元62连续接收数据技术上定义的体素和/或像素和/或图像数据。体素、像素和图像形成接收数据,这些数据被不断传送到数据库78,这是第二步骤96。

在第三步骤98完成接收数据的储存。

在第四步骤100中,将接收数据与数据库78中存储的数据进行定性数据比较。在此,由分割和数据简化装置66对接收数据进行分割和数据简化。特别是,还可以由第二计算机76对接收数据进行验证。

在第五步骤102中,在人工智能的协助下,由分类器68和第二计算机76共同进行评估,下文将详细介绍。

在第六步骤104中,由第一计算机46对评估进行处理并转换为马达50、机械臂48、工具单元52和无人机12的调整和/或控制的技术数据。

在第七步骤106中,启动马达50、机械臂48和工具单元52开始进行土壤处理或对动植物分析操作。

在本申请中,每当提及人工智能,指的是经典卷积神经网络的使用,即CNN,其由一个或多个卷积层组成,然后是一个池化层。原则上,卷积层和池化层的序列可以经常性的随意重复。通常的输入是二维或三维矩阵,例如灰阶或彩色图像的像素。据此,神经元设置在卷积层中。

通过离散卷积(卷积层)计算每个神经元的活动。直观地讲,由一个相对较小的卷积矩阵(滤波核)在输入上逐步移动。卷积层中神经元的输入计算为滤波核与当前底层图像部分的内积。相应地,卷积层中的相邻神经元对重叠区域做出反应。

这一层的神经元只对上一层局部环境的刺激做出反应。这遵循了感受野的生物学模型。此外,卷积层的所有神经元的权重是相同的(共享权重,英文:shared weights)。这就导致,例如,第一卷积层中的每个神经元都会对输入的某个局部区域中的边缘强度进行编码。边缘检测作为图像识别的第一步,具有很高的生物学可信度。从共享权重可以直接看出,翻译不变性是卷积神经网络的固有属性。

离散卷积确定的每个神经元的输入,现经由一个激活函数,在卷积神经网络中通常是线性整流函数,简称ReLu f(x)=max(0,x),转化为输出,来模拟真实神经元的相对激发频率。由于反向传播法需要计算梯度,所以在实践中采用ReLu的微分近似:f(x)=ln(1+ex)。类似于视觉皮层,在更深的卷积层中,感受野的大小和识别到的特征的复杂性都会增加。

在下一步骤中,池化,丢弃多余的信息。比如用于图像中的物体识别,边缘在图像中的准确位置是可以忽略不计的,一个特征的近似定位就足够了。池化的类型有很多。到目前为止,最常见的是最大值池化,即从卷积层中每个2x 2平方的神经元中,只保留最活跃的(因此是“max”)神经元的活动被用于进一步的计算步骤;其余神经元的活动被丢弃。尽管数据减少(举例中为75%),但网络的性能通常不会因为池化而降低。

卷积神经网络的使用以及分割和数据简化装置66的使用会在下面参照图6至图14进行更详细地阐释。

通过分类器68对图像中的所有物体进行分类有不同的方式。很多方式都是先找到图像中的各个物体,然后再进行分类。然而,这并不总是可行的。这里以一个农田中植物108的分类作为举例。图6所示为一个示例图像108。

在图6中描绘了各种植物108,它们应由分类器68进行实时分类。这里的实时是指每秒10帧。由于在这里的示例中无法轻易识别植物110结束的确切位置,因此必须采用另一种途径,因为计算时间不足以先将植物110本身区分,且之后对它们进行分类。

图6所示图像108由像素组成,每个像素在逻辑上只能包含正好一个种类。因此,对整个图像108逐个像素进行分类会是一种繁琐的方式。这意味着每个像素都被依次分类到某一个种类中。

但是,由于单个像素并不包含对种类归属作出结论的必要信息,所以必须参考周围区域进行分类。该区域即可以利用如上所述的卷积神经网络(CNN)进行分类。网络有如图7所示的次序。

这里的输入图像110是图6的图像,现在将卷积神经网络的元素应用于该输入图像110。在这个示例中,对特征进行卷积112,随后池化114,对进一步的特征进行进一步卷积,再次池化以及在稠密层116进行总结。然后,网络输出将给出输入图像110的中心像素的种类归属,确切的说是图6的图像110的一个像素。

之后,选择一个新的图像部分,通常是移动了一个像素的图像部分,再次使用卷积神经网络进行分类。这个过程意味着,卷积神经网络所需的计算必须按要分类像素的个数重复。这很耗费时间。图6的图像110的分辨率为2000×1000像素。因此,卷积神经网络必须要计算200万次。但是,最初的问题只是植物108本身的分类。平均来说,这样的图像包含了大约5%的植物像素,也就是大约只有10万个像素。

通过分割和数据简化单元66进行简单的分割和数据简化,能够找出一个像素是植物108的一部分还是背景118。这种分割方式在计算上没有卷积神经网络那么复杂,因此速度更快。类似图8所示通过分割和数据简化单元66实现分割和数据简化。图8对各个步骤进行了说明。

在第一步骤120中,每个传送到数据库78的由多个像素组成的图像,被转换为RGB(红、绿、蓝)颜色模式。

在下一步骤122中,每个基于RGB颜色模式传送的像素被转变为HSV(色调、饱和度、色明度)颜色模式。

在下一步骤124中,对该HSV颜色模式进行评估。

依据一个阈值对基于HSV颜色模式的每个像素的颜色饱和度(saturation)进行评估,如果颜色饱和度的值超过阈值,则该像素被设定为二进制值1,如果颜色饱和度的值低于阈值,则该像素被设定为二进制值0。

与此同时,依据一个预定范围对基于HSV颜色模式的每个像素的色调(hue)进行评估,如果色调在预定范围内,则该像素被设定为二进制值1,如果色调在预定范围外,则该像素被设定为二进制值0。

在接下来的步骤126中,由色调和颜色饱和度的二进制信息生成一个中间图像,其包含的数据明显少于由摄像头生成的图像108。

下面给出的公式是图8的分割结果,它必须用于每个像素。分割的图像S(x,y)通过RGB图像Ψ(x,y)分类拆分成红、绿、蓝三个组成部分。如果分割后图像的一个像素的红色、绿色或蓝色除以绿色像素的最小值小于或等于阈值(THs),则该像素被设定为1。其中,8位图像的阈值利用到255的刻度值来实现。如果没有达到阈值,则分割后图像的像素按照等式(1)设定为0。

这样就得到了第一个优化结果:在整个图像108被分成200万张图像之前,根据图8进行分割。也就是说,整个图像108被浏览,并利用上面给出的公式决定其是否为植物像素。首先,对图像108进行分割,即背景118被设定为黑色(0),如图9所示。其次,如果它是一个植物像素,它的坐标会被写入一个列表。然后,只把同样在这个列表中的坐标放到卷积神经网络中。土地的不必要的像素,即背景118,被省略。因此卷积神经网络的调用量减少了大约20倍。

通过分割,背景118的值被设定为0。卷积神经网络所观测的图像元素,都是已分割的图像。通常,在卷积层上的特征计算会被应用到图片元素的每个像素上。图10所示的是计算的三种情况128、130、132,每种情况都取一个大小为5x5的特征134。

红色情况128显示了特征计算,其中特征完全位于背景118之上。这里,每个元素都要乘以0,这样整个计算的结果就是0,也就是偏置值。因此,这个计算的结果在计算之前是已知的。即使背景118是非零,即有土壤,这种计算也不会包括任何关于植物110的信息,因此结果只是简单的一个恒定虚值。

在黄色情况130中,平均特征值不位于植物110上。这意味着,其中一部分也是乘以0的乘法。这种情况下植物占据了边缘区域,并在特征图中显示了这个数值。

在蓝色情况132中,至少特征的中心像素是在植物上。

在观测了这三种情况128、130、132后,只有黄和蓝两种情况130、132需要计算。也就是说,130、132两种情况的特征至少有一个输入值不为零。从其他所有的特征计算来看,结果在计算前都是已知的,它们为零或只有偏置值。蓝色情况132出现的坐标是已知的。这些都是分割过程中存储的坐标。黄色情况130需要再次计算来确定是否出现坐标。这需要对分割过程中发现的每个植物像素进行检查。由于这种检查太过费力,而且黄色情况130只出现在植物110的边缘区域,所以这种情况可以忽略。

因此,计算可以做如下优化,将特征计算和卷积神经网络的所有其他元素仅应用于已经发现的植物像素上。

图11所示说明了两个相邻植物像素136、138的不同。左边是植物像素136,右边是相邻的植物像素138。蓝/紫色区域140、142可能是需要分类的不同植物。红/紫色区域144、142代表卷积神经网络正在观测的图像元素,以对橙色像素146进行分类。

通过精准观测可以确定,观测区域(红/紫色)144、142有很大的重叠。这又意味着两个图片元素136、138所包含的数值大多相同。如果现在卷积神经网络在卷积层计算特征,也会从特征计算中得出相同的数值。

图12所示用绿色描绘了具有5×5像素大小的特征148。该特征148位于整个图像内的同一坐标,但它在卷积神经网络待观测的图像元素(红/紫色)144、142内被推移。但是,由于定位在整个图像中是相同的,因此对中心黑框150的计算将在左图像136和右图像138中得到相同的数值。这一研究成果可以应用于卷积神经网络的所有元素。因此,在忽略边缘区域的前提下,可以先对整个图像进行单个特征计算。理论上,输入图像108的分解对应用稠密层116起到了决定性作用。稠密层116也可以用与卷积112相同的方式计算。在这种情况下,特征的大小是输入图像的大小和网络中现有的池化层相互作用的结果。这使得分类得以进一步优化,现在卷积神经网络元素只应用于已经发现的植物像素。最后一次的卷积计算出的特征图呈现了分类的结果,如图13所示。在这里,所有胡萝卜植物152以绿色分类,所有杂草154以红色像素分类。

然而,这些优化也会导致分类结果的改变。这里的池化层受到的影响最大。每一次池化,信息都会从网络中删除。由于不再单独观测已有的图像元素,池化也就失去了局部参考。图14形象说明了这个问题。

在图14中,每次有一个图像元素156被显示为红色边框158。在优化之前,每个图像元素都会单独通过卷积神经网络对其中心像素进行分类。右侧图像元素160是被向右移动了一个像素。紫色、蓝色、黄色、绿色四种颜色呈现了池化的单个应用。如图所示,它们可以得出不同的结果,因为池化总是从边缘开始,并再移动一个池化元素(这里是两个格)。因此,两个相邻的图像元素156、160得出了两个不同的池化元素。这就导致,如果要在优化中考虑这一点,每次池化都会产生两个新的分支用于进一步的计算。因为池化必须有一次应用于整个图像,所以起点必须在左上角,下一次池化的起点在左上角加一个像素。在进一步的计算中,两个池化结果必须分别处理。进行进一步的第二次池化,又会产生两条新的路径,这样就必须分别计算出四个结果。然后通过四个结果逐像素旋转组成结果。如果池化后只观测一条路径,则两次池化后的输出图像会变小。输出图像的长和宽将分别只有输入图像的四分之一大。观测所有路径可以得出约为输入图像大小的输出图像。

另一个区别是植物边缘区域的缺失。由于特征并不是通过其与植物有任何重叠而应用于所有元素,所以这里存在计算差异。与传统计算方式相比,这也可以改变分类结果。

植物以外特征值的计算缺失,会产生不同的数值,因为结果显示为零,其实也就是偏置值。

虽然这三个因素影响了结果,卷积神经网络仍具有很强的鲁棒性,因此结果仍能满足很高的精度值。

下一步是将网络直接用这些修正进行训练,这样网络就可以更好地适应新的计算,从而直接抵消计算中可能的偏差。

分割和数据简化装置为与杂草154相关的像素提供位置坐标。

标号列表:10输送载体系统;12无人机;12a承接装置,无人机12的承接区;12b无人机的控制装置;14移动装置;14a第一单元;14b第二单元;14c移动装置14上夹臂的承接装置;16驱动器;18电机;20螺旋桨;22机脚;24电池;26a无人机12的电源接口;26b移动装置14的电源接口;28插头连接;30通信单元;32天线;34GPS单元;36a无人机12的接口;36b移动装置14的接口;38插头连接;40第一单元14a的第一外壳;42第二单元14b的第二外壳;44插头连接;46第一计算机;48作为执行器的机械臂;50马达;52工具单元;54进给单元;56转动单元;58旋转犁;60第一单元14a的第一通信单元;62可视探测单元;64摄像头;66分割和数据简化装置;68分类器;70a第一单元14a的接口;70b第二单元14b的接口;72通信连接;74第二单元14b的第二通信单元;76第二计算机;78数据库;80插头连接;82a左夹臂;82b右夹臂;84第一步骤:确定必要的措施;86第二步骤:从可用的移动装置14中选择移动装置14;88第三步骤:连接无人机12与装置;90第四步骤:执行确定的措施;92第五步骤:用另一个移动装置14替换移动装置14并执行下一措施;94第一步骤:持续接收;96第二步骤:传送数据;98第三步骤:存储数据;100第四步骤:比较数据;102第五步骤:通过分类器68评估;104第六步骤:转换为调整和控制的技术数据;106第七步骤:启动机组;108示例图像,输入图像;110植物;112卷积;114池化;116在稠密层总结;118背景;120第一步骤:转换为RGB(红、绿、蓝)颜色模式;122第二步骤:转变为HSV(色调、饱和度、色明度)颜色模式;124第三步骤:评估HSV图像;126第四步骤:生成中间图像;128第一种情况,红;130第二种情况,黄;132第三种情况,蓝;134特征;136左植物像素;138右植物像素;140蓝色区域;142紫色区域;144红色区域;146橙色区域;148特征,绿;150中心黑框;152胡萝卜植物;154杂草,野草;156左图像元素;158红色边框;160右图像元素

22页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:收割机、周围状况检测系统、周围状况检测程序、记录有周围状况检测程序的记录介质、以及周围状况检测方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!