面向在线语义分割机器视觉检测的多任务协同调度方法
阅读说明：本技术 面向在线语义分割机器视觉检测的多任务协同调度方法 (Multi-task cooperative scheduling method for online semantic segmentation machine vision detection ) 是由 刘桂雄 黄坚 于 2021-05-17 设计创作，主要内容包括：本发明公开了一种面向在线语义分割机器视觉检测的多任务协同调度方法,包括建立检测鉴别协同调度任务模型；高分辨率图像分块语义分割任务调度,将图像分为N-(sub)个分辨率U-(sub)×V-(sub),调度目标为得到高分辨率图像语义分割时间T-(High)最小值下的U-(sub)、V-(sub)、N-(sub)值；多网络多图像分批语义分割任务调度,将多图像打包为N-(batch)个图像每组、GPU上加载N-(CNN-GPU)个语义分割网络模型进行分批并行处理,调度目标为得到多网络多图像分批语义分割时间T-(Low)最小值下的N-(batch)、N-(CNN-GPU)值；调度检测鉴别协同调度任务模型,得到检测鉴别总时间T-(inspect)最小值下执行顺序,完成检测鉴别协同调度。(The invention discloses a multitask cooperative scheduling method for online semantic segmentation machine vision detection, which comprises the steps of establishing a detection and identification cooperative scheduling task model; high resolution image blocking semantic segmentation task scheduling, dividing image intoN sub Resolution U sub ×V sub Scheduling the target to obtain the high resolution image semantic segmentation time T High U at minimum sub 、V sub 、N sub A value; scheduling multi-network multi-image batch semantic segmentation task, packaging multi-image into N batch Each group of images and GPU are loaded with N CNN‑GPU The multiple semantic segmentation network models are subjected to batch parallel processing, and the scheduling objective is to obtain multiple network multiple image batch semantic segmentation time T Low N at minimum batch 、N CNN‑GPU A value; scheduling detection and identification are carried out on the cooperative scheduling task model to obtain the total detection and identification time T inspect And executing the sequence under the minimum value to finish the detection and identification cooperative scheduling.)
技术领域
本发明涉及基于深度学习的线机器视觉检测技术领域，尤其涉及一种基 于深度学习语义分割的多任务协同调度方法。
背景技术
基于深度学习语义分割的机器视觉系统，在高分辨率图像、多网络多图 像、检测鉴别等情况下，会存在分割时间长、显存占用大等问题，对其在线 实时性能造成负面影响。多任务并行调度方法方法有利于改进在线机器视觉 检测鉴别的分割时间、显存占用等指标。其中底层并行调度方法可优化设备 计算效率、降低闲置率、提高并行率，需要在设计阶段选用合适底层并行调 度方法及硬件；高层调度方法可用于处理大量图像数据、复杂CNN模型时 优化分割时间、显存占用；多层级调度方法能实现检测流程各种步骤的并行、 协同处理，缩短总体分割时间。
本发明提出一种面向在线语义分割机器视觉检测的多任务协同调度方 法，多任务调度模块作用是通过多任务调度使机器视觉语义分割关键模块协 同工作，合理调度处理语义分割过程中大量计算开销与存储开销，智能提高 机器视觉检测鉴别实时能力。其核心是：①智能调度高分辨率图像处理过 程，降低存储开销；②智能调度大量图像处理过程，提高计算资源效率、实 时能力；③使机器视觉系统各关键模块协同工作。
发明内容
为解决上述技术问题，本发明的目的是提供一种面向在线语义分割机器 视觉检测的多任务协同调度方法。
本发明的目的通过以下的技术方案来实现：
一种面向在线语义分割机器视觉检测的多任务协同调度方法，包括：
A建立检测鉴别协同调度任务模型；
B高分辨率图像分块语义分割任务调度，将图像分为Nsub个分辨率 Usub×Vsub，调度目标为得到高分辨率图像语义分割时间THigh最小值下的Usub、 Vsub、Nsub值；
C多网络多图像分批语义分割任务调度，将多图像打包为Nbatch个图像每 组、GPU上加载NCNN-GPU个语义分割网络模型进行分批并行处理，调度目标 为得到多网络多图像分批语义分割时间TLow最小值下的Nbatch、NCNN-GPU值；
D调度检测鉴别协同调度任务模型，得到检测鉴别总时间Tinspect最小值 下执行顺序，完成检测鉴别协同调度。
与现有技术相比，本发明的一个或多个实施例可以具有如下优点：
本发明提供的方法合理调度处理语义分割过程中大量计算开销与存储开 销，智能提高机器视觉检测鉴别实时能力，核心功能是：①智能调度高分辨 率图像处理过程，降低存储开销；②智能调度大量图像处理过程，提高计算 资源效率、实时能力；③使机器视觉系统各关键模块协同工作。
附图说明
图1是面向在线语义分割机器视觉检测的多任务协同调度方法流程图；
图2a和2b是实施例1检测鉴别协同调度DAG模型；
图3a和3b是实施例1检测鉴别协同调度最优解调度甘特图；
图4是实施例2票据防伪鉴别协同调度DAG模型；
图5a和5b是实施例2票据防伪鉴别调度最优解执行甘特图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图 对本发明作进一步详细的描述。
如图1所示，是面向在线语义分割机器视觉检测的多任务协同调度方法 流程，包括以下步骤：
步骤10建立检测鉴别协同调度任务模型，任务包括定位活动、光源控制 活动、相机成像活动、语义分割活动等，语义分割活动包括：分块调度分割 子活动、分批调度子活动分割；
步骤20高分辨率图像分块语义分割任务调度，将图像分为Nsub个分辨 率Usub×Vsub，调度目标为得到高分辨率图像语义分割时间THigh最小值下的 Usub、Vsub、Nsub值；
步骤30多网络多图像分批语义分割任务调度，将多图像打包为Nbatch个 图像每组、GPU上加载NCNN-GPU个语义分割网络模型进行分批并行处理，调 度目标为得到多网络多图像分批语义分割时间TLow最小值下的Nbatch、 NCNN-GPU值；
步骤40调度检测鉴别协同调度任务模型，得到检测鉴别总时间Tinspect最小值下执行顺序，完成检测鉴别协同调度。
上述步骤10具体包括：建立检测鉴别协同调度任务模型，模型活动任务 包括：开始活动S、定位活动PMov_i_j、光源控制活动PLight_i_j、图像采集活动 PAcq_i_j、语义分割活动GSeg_i_j。语义分割活动GSeg_i_j包括：分块调度分割子 活动PHigh_i_j_m、分批调度子活动分割PLow_i_j。
活动、子活动中，下标i、j代表第i检测对象的第j成像条件，设检测 对象数Nitem，检测条件数Ncond，i的取值范围为i＝1,…Nitem，j的取值范围为 j＝1,…Ncond。下标m代表第m个分块调度分割活动，设高分辨率图像数量Nhigh个，则m＝1,…Nhigh。
表1为义分割机器视觉检测鉴别协同调度模型的活动参数表，可以看出， 语义分割机器视觉检测鉴别协同调度模型可以使GSeg_i_j与下一个PMov_i_j+1、 PLight_i_j+1、PAcq_i_j协同并行处理。
表1语义分割机器视觉检测鉴别协同调度模型活动参数表
上述步骤20具体包括：将图像分为Nsub个分辨率Usub×Vsub、长宽比不超 过γscale子图像，高分辨率图像分块调度优化数学模型为：
数学模型的物理意义是：在约束条件子图像分割显存占用 以子图像长宽比≤γscale，求总分割时间最小值下的Usub、Vsub、Nsub值。
高分辨率图像分块语义分割任务调度求解方法为：
对于在线语义分割机器视觉检测系统，使用语义分割网络模型fCNN(·)分 割图像的显存占用Mseg，包含深度学习框架显存占用Mframework、模型显存占 用MCNN、图像显存占用Mimg、特征映射显存占用Mtensor等。通过fCNN(·)分割 各种图像像素数量pall图像，标定拟合出那么：
因此，显存占用估计像素数量上限估计分别为：
将式(3)代入式(1)，得到高分辨率图像分块调度优化数学模型表达式：
上述步骤30具体包括：
将多图像打包为Nbatch个图像每组、GPU上加载NCNN-GPU个语义分割网 络模型进行分批并行处理，多网络多图像分批调度数学模型为：
数学模型物理意义是：在约束条件图像分割显存占用 求最小值下的Nbatch、NCNN-GPU值。
多网络多图像分批语义分割任务调度，求解方法为：
通过不同NCNN-GPU、不同Nbatch的多网络fCNN(·)分割多图像，标定拟合出那么：
因此，显存占用估计为：
MGPU下像素数量pall图像分批数量上限语义分割网络数量上限分别为：
将式(7)、式(8)、式(9)代入式(5)，得到多网络多图像分批调度优 化数学模型表达式：
上述步骤40具体包括：
面向在线语义分割机器视觉检测的检测鉴别协同调度后的检测鉴别总时 间Tinspect为：
TMov_i_j、TLight_i_j、TAcq_i_j、TSeg_i_j分别作为协同调度DAG模型各节点 PMov_i_j、PLight_i_j、PAcq_i_j、GSeg_i_j权值，采用最长路径优先算法求解协同调度 DAG模型，得到执行顺序，实现调度。
实施例1
在线语义分割机器视觉检测的检测鉴别协同调度实现实例1。全自动检 测ATX规格机箱前、后面板上装配的各种接口、按键及标准件。具体要求： ①检测机箱整个前面板、后面板(宽×高＝185×420mm)，接口、按键定位误差 ≤0.5mm，标准件定位误差≤0.2mm；②识别装配件类型20种以上，对检测 部位超过50个的机箱检测时间≤8s；③对存在漏装配、误装配情况装配点， 能输出其位置及边界信息。
机箱前面板、后面板长宽比较大420/185≈2.27，机器视觉检测系统方案 为3台工业相机配合气动机构，在前面板、后面板长边方向不同位置采集图 像，完成整个前面板、后面板检测。相机成像视野280×200mm，配合气动机 构在面板上侧、下侧各成像1次，可获得整个前面板、后面板图像；采用海 康MV-CH250-90GM面阵工业相机，分辨率U×V＝5120×3840，像素精度≈ 0.0547mm，算法定位误差不超过3.65个像素就能满足定位误差≤0.2mm需 求；考虑识别装配件类型较多，且具有定位精度、在线实时要求，采用Pytorch 深度学习框架、Mask R-CNN分割模型。服务器采用包含2台GeForce GTX 1080Ti GPU、1个8核16线程Intel i7-7820X至强CPU的AMD64架构服务 器。机箱标准件装配质量检测系统硬件参数功能表见表2。
表2在线机箱标准件装配质量检测系统硬件参数功能表
检测系统满足检测鉴别协同调度模型前提条件，可抽象为成像条件数 Ncond＝2、高分辨率图像数Nhigh＝2的检测鉴别协同调度模型，活动或功能参数 见表2。表中分辨率U×V＝5120×3840图像分割的显存占用估计 存在高分辨率图像分割问题，采用高分辨率图像分块调度分割记为 PHigh_i_j_1、PHigh_i_j_2，时间8帧640×480图像 语义分割，存在多网络多图像分批调度问题，采用算法5-2多网络多图像分 批调度分割记为PLow_i_j，分割时间语义分 割活动GSeg_i_j执行时间
表3在线机箱标准件装配质量检测协同调度模型活动或功能参数表
使用面向在线语义分割机器视觉检测的检测鉴别协同调度实现算法，可 以分别实现定位-光源控制协同，以及语义分割-定位-光源控制-图像采集协 同。图2a、图2b、图3a、3b分别为例5-6检测鉴别协同调度DAG模型、最 优解调度甘特图，其中，图2a为单个检测对象DAG模型(Nitem＝1)，图2b为 小批量检测DAG模型(Nitem＝5)；图3a为Nitem＝1、8个活动协同调度最优解 (Tinspect＝4.478s)，图3b为Nitem＝5、40个活动协同调度最优解(Tinspect＝24.478s)； DAG模型中，边上权值为活动执行时间。可以看出，使用本发明后，单个检 测对象Nitem＝1的检测鉴别总时间Tinspec＝4.478s，比基本调度模型减少 1.467s(由5.945s-4.478s得到)，缩短24.67％的小批量检测Nitem＝5的检测 鉴别总时间Tinspect比基本调度模型减少13.247s(由37.725s-24.478s得到)，缩 短35.11％的调度优化效果明显，能满足单个机箱检测时间≤8s需求。
实施例2
在线语义分割机器视觉检测的检测鉴别协同调度实现实例2。开发票据 防伪鉴别仪，要求实现支票、汇票等法定票据智能关键防伪特征识别。具体 要求：①白光、背光、红外光、紫外光等4种光照激发条件下，检测完整票 据上水印、荧光主图案、行徽等关键防伪特征22种；②金额栏上微缩文字 (1mm×1mm)、票号位置反斯托克发光(线宽约0.1mm)等显微防伪特征检测； ③综合鉴别票据类型与微缩文字、票号、水印、尺寸、主图案一致性，银行-行徽、票号一致性；④单支票、汇票据检测时间≤1s。
考虑票据上防伪特征尺度差别较大，设置全景相机1个、显微相机2个 进行视觉传感，其中全景相机视野(100×180mm)采集完整支票、汇票票据图 像；2个显微视觉传感分别识别微缩文字(1mm×1mm)、反斯托克发光(线宽约 0.1mm)防伪特征。光照激发条件包括白光、背光、红外光、紫外光等4种 (Ncond＝4)。具体硬件参数功能见表4。
表4票据防伪鉴别仪硬件参数功能表
基于基本结构框图，检测系统满足检测鉴别协同调度模型前提条件，可 抽象为成像条件数Ncond＝4、检测对象数Ncond＝1的检测鉴别协同调度模型， 活动或功能参数见表5。
表中PLow_i_j为3帧640×480图像语义分割，经多网络多图像分批调度， 分割时间语义分割活动GSeg_i_j执行时间定位PMov_i_j、光源控制PLight_i_j、图像采集PAcq_i_j活动执行时间TMov_i_j、TLight_i_j、TAcq_i_j通过测量实际值得到。可以分别实现 入票-光源控制、语义分割-光源控制协同、语义分割-出票协同。可得表5为 票据防伪鉴别仪检测鉴别协同调度DAG模型活动功能参数表。
表5票据防伪鉴别仪检测鉴别协同调度DAG模型活动功能参数表
图4、图5a、图5b分别为应用例2票据防伪鉴别协同调度DAG模型、 最优解调度甘特图，图5a中Tinspect＝1.159s，图5b中Tinspect＝0.850s。使用本发 明技术后，单张票据Nitem＝1、Ncond＝4光源激发条件下的检测鉴别总时间 Tinspect＝0.850s，比基本调度模型减少0.309s(由1.159s-0.850s得到)，缩短 26.65％Tinspect调度优化效果明显，能满足单张票据检测时间≤1s需求。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本 发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内 的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的 形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所 附的权利要求书所界定的范围为准。