具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示，本发明的高性能分布式结合的多路视频实时处理方法，包括如下步骤：

A、构建视频处理pipeline，所述视频处理pipeline包括视频解码模块、视频前处理模块、视频模型推理模块和视频后处理模块；解码模块使用的工具包括FFmpeg、VideoProcessingFramework。

视频前处理模块主要是根据业务和模型推理需要，对视频帧进行一些变换操作，如图像灰度化、像素值标准化、图像缩放。视频模型推理模块嵌入的主要是深度学习模型，根据业务场景需要对视频内容进行分析，如目标检测、行人跟踪、姿态估计、动作识别。视频后处理模块主要是对模型推理结果进一步分析处理，如目标检测中NMS操作、业务逻辑判断。

本发明可以根据业务需要多次调用同一种基础模块，如连续调用两个模型推理模块，前一个视频模型推理模块的结果作为后一个视频模型推理模块的输入。

B、开启多进程/线程：每个处理模块开启多进程方式，而每个进程开启多个线程；各模块开启的进程/线程数量，根据业务场景需要、模型性能和软硬件资源限制共同确定；

所述开启多进程/线程包括：设视频源路数为；解码模块进程数为，第个解码进程开启的线程数为；前处理模块进程数为，第个前处理进程开启的线程数为；模型推理模块进程数为，第个模型推理进程开启的线程数为；后处理模块进程数为，第个后处理进程开启的线程数为。

C、构建上下游模块间的共享队列，设置数据存取策略；

步骤C具体包括如下步骤：

C1、视频源数据读取：仅考虑每路视频只能被一个进程/线程解码，一个进程/线程能够解码多路视频的情形，则；

令，若满足，其中，，则将第路视频分发至第个解码进程的第个线程；例如，对于8路视频源，开启2个解码进程，每个进程开启2个线程的视频流数据读取方式如图2所示。

C2、上下游模块进程间数据存取：

C21、共享队列数量设置：

记模块与模块间的队列数为，则要求，避免多个进程同时对一个队列操作，从而产生系统切换开销；

C22、数据存取策略设计；数据在存取时均采用按模取余规则。

C22具体包括如下步骤：1）情形：

上游模块进程与共享队列一一绑定，每个上游模块进程处理完的数据存入各自专有的共享队列，下游模块进程采用拉的方式轮询从共享队列中读取数据；

假设有4个上游模块进程、2个下游模块进程、4个共享队列，则存取方式如图3所示；

采用非等待模式能够进一步提升数据读取效率，如Python语言实现为：

while True：

try：

input_data = queue.get_nowait()

except：

pass。

2）情形：

上游模块处理进程采用推的方式将处理完的结果数据存放至从共享队列，因此一个上游模块处理进程对应多个共享队列；假设有2个上游模块进程、4个下游模块进程、4个共享队列，数据存取方式如图4所示。

3）情形：

上下游模块进程数均小于共享队列数量，此时采用高性能分布式结合方式进行数据存取；假设有2个上游模块进程、2个下游模块进程、4个共享队列，则数据存取方式如图5所示。

C23、模型批推理；采用批推理机制进一步加速模型推理速度，减少输入队列中可能产生的数据积压，如图6所示。

C23具体包括如下操作步骤：

1）建立临时列表，设置批推理数据大小batch_size；

2）以非等待方式从输入队列中读取数据，若成功则将数据保存至临时列表，并进行步骤3），否则跳转至步骤4）；

3）判断列表长度是否等于batch_size，若是进行步骤4），否则重复进行步骤2）；

4）对临时列表数据进行模型批推理；

5）将临时列表数据置空，重复进行步骤2）。

本发明通过采用多进程方式构建各个处理模块，且巧妙的设计相邻模块进程间数据存取策略，在保证视频流不乱序的同时，尽可能提升视频处理速度，满足实时应用需要。此外，本方法的实现不限定于特定语言，扩展性强。每个模块启用的进程数，以及每个进程启用的线程数，可根据需要任意配置。

本发明的处理方法将视频解码、前处理、模型推理和后处理等模块解耦，并重点设计了数据在不同模块间的存取方法。编辑相应模块功能，可进行目标检测与跟踪、姿态估计、动作识别等视频内容分析。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。