具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

在本发明中，视频的AI处理过程如下：

1.视频解码：视频流传输到CPU或GPU进行解码，将每帧的图像提取出来，一般达到实时处理要求的视频帧率为一秒24帧，对应一秒24张图像。

2.目标检测(Detection)：Detection用于检测一帧图像数据中的目标对象出现的坐标位置，例如，将帧图像输入到AI模型中进行检测识别，在本发明中，AI模型具体可为神经网络分析模型。其中，常见的目标检测算法包括You only look once(YOLO)算法，YOLO是个公开的计算方法，YOLO算法可根据用户实际需要将需要识别的对象训练出来，比如需要识别的是人的话，就利用YOLO训练出来一个人体检测的模型，要识别树木的话，就利用YOLO训练出来一个树木检测的模型，针对帧图像中被检测出来的目标对象会输出bounding box(包含目标图像的最小矩形框)，提取得到有效区域图像，这一过程也就是框图的过程，框图一般在GPU中进行处理以便于加快处理速度。

3.特征提取(Extract)：即提取有效区域图像的特征向量(feature)数据，特征向量是一个图像特征值的数学表示，比如穿黄衣服的一个人和穿黑衣服的一个人的特征向量值是不一样的，在提取得到有效区域图像之后(如行人或树木)，再次通过AI模型提取有效区域图像的特征向量，特征提取一般也在GPU中进行处理以加快处理速度。

4.跟踪(Tracking)：即对每一帧图像上检测出来的具有相同特征的有效区域图像进行关联，通过每一帧图像提取出来的特征向量数据对比，进而将视频前后帧的图像中提取出来的相同的bounding box进行坐标关联，画成一个时间序列的连续线，跟踪过程一般直接在CPU中就可以进行，不需要GPU运算。

5.根据业务需求获取需要的业务数据，比如，若需要进行行人计数，则需要统计通过特定区域的行人数量，需要预先在视频中画线以标记特定区域，根据目标跟踪的轨迹结果，将与画线有交集的跟踪线条作为计数单位；除此之外，还可以进行汽车检测，危险物品检测等，通过得到的有效区域图像(汽车或危险物品)在每一帧图像上关联起来。

图1示出了本发明一种视频处理方法实施例的流程图，如图1所示，该方法包括以下步骤：

S101：获取待处理视频中的各个帧图像。

在本步骤中，待处理视频传输到CPU、GPU进行解码，将每个帧图像提取出来。

S102：从各个帧图像中提取对应的有效区域图像。

在一种可选的方式中，步骤S102进一步包括：针对每个帧图像，对该帧图像所包含的目标对象进行检测，确定该帧图像的有效区域信息；依据有效区域信息，从该帧图像中提取有效区域图像。

具体地说，针对每个帧图像，对该帧图像进行识别处理，确定该帧图像中每个目标对象对应的跟踪框；其中，每个目标对象对应的跟踪框能够完全将该帧图像中针对该目标对象的前景图像框选在内；确定用于包络该帧图像中所有目标对象对应的跟踪框的最小矩形包络区域，并将最小矩形包络区域的区域信息作为该帧图像的有效区域信息。

待处理视频中的有效区域图像也就是需要检测的目标对象所出现的所有区域，对于行人识别，有效区域图像就是行人出现的所有区域，通过对待处理视频连续的进行Detection算法，得到所有目标对象对应的跟踪框，将包络该帧图像中所有目标对象对应的跟踪框的最小矩形包络区域作为该帧图像的有效区域信息。待处理视频长度越长，有效区域图像的精度越高(选择一天24小时能得到较好的精度)，可以针对每个帧图像或者每隔预设时间间隔地执行该过程以得到多个有效区域图像。

图2是从某帧图像中提取对应的有效区域图像示意图，如图2所示，为目标对象是行人的示例，则检测每个帧图像中行人出现的坐标位置，被检测出来的行人会输出跟踪框，进而确定用于包络该帧图像中所有目标对象对应的跟踪框的最小矩形包络区域(boundingbox)，并将bounding box的区域信息作为该帧图像的有效区域信息。进一步地，将有效区域信息进行裁剪处理，裁剪出有效区域图像，将待处理视频的各个帧图像和有效区域图像的坐标作为输入，输入神经网络分析模型中进行运算。需要说明的是，有效区域图像的坐标可以通过人工标记的方式输入，也可以通过人工智能的方式动态计算有效区域图像的坐标。

S103：对各个帧图像对应的有效区域图像进行排列组合，确定各个有效区域图像在组合图像中的坐标位置信息，得到包含有多个组合图像的重组视频。

在一种可选的方式中，步骤S103进一步包括：将各个帧图像对应的有效区域图像添加至初始图库中；按照预设组合规则，对初始图库中的有效区域图像进行排列组合，生成多个组合图像，并确定每个组合图像中的有效区域图像在该组合图像中的坐标位置信息；汇总所有组合图像，得到重组视频。

进一步地，由于有效区域图像是一个矩形，因此，可以将多个有效区域图像组合，生成组合图像，再汇总所有组合图像到一个视频中，得到重组视频，具体地，将各个帧图像对应的有效区域图像加入图库中作为初始图库，将初始图库中所有的有效区域图像按照布满画布的方式进行排列组合，所有组合的结果不能超出画布的范围，可以根据下面算法对有效区域图像进行整合。

在一种可选的方式中，一个组合图像的生成过程包括步骤1-步骤5：

步骤1：创建画布。

在本步骤中，画布可以为多边形，优选为矩形。

步骤2：确定画布中的有效画布区域，并查找有效画布区域中的至少一个放置点；其中，有效画布区域为画布中的空白区域，放置点为有效画布区域中横边和竖边的交点。

图3为画布放置点示意图，如图3所示，以矩形的画布为例，图中从左至右分别示出了空白的画布、填充有一个有效区域图像的画布以及填充有两个有效区域图像的画布，图中圆圈标注的位置即为放置点的位置，空白的画布的放置点为画布空白区域(即有效画布区域)的左顶点(即从上至下，从左至右遍历画布，选取有效画布区域最左边的竖边与最上边的横边的交点)；类似地，填充有一个有效区域图像的画布以及填充有两个有效区域图像的画布的放置点的选择为从上至下、从左至右依次遍历有效画布区域，分别选择画布有效画布区域的最左边竖边与已填充的有效区域图像的下边横边的交点以及已填充的有效区域图像的右边竖边与画布有效画布区域的最上边横边的交点作为放置点；同理，针对填充有两个或多个有效区域图像的画布，查找有效画布区域中的放置点。

步骤3：判断初始图库中是否包含有能够用于填充有效画布区域的有效区域图像；若是，则执行步骤4；若否，则执行步骤5。

步骤4：从初始图库中选取能够用于填充有效画布区域的有效区域图像，从至少一个放置点中选取一个放置点，在该放置点对应的位置处填充该有效区域图像，而后跳转执行步骤2。

具体地说，判断初始图库中是否包含有能够用于填充有效画布区域的有效区域图像，若是，从初始图库中选取一张有效区域图像，选取第一个放置点，开始填充有效画布区域，需要说明的是，选取的有效区域图像不能超过有效画布区域范围，填充一张图片后，重新执行步骤2，继续计算画布有效区域和画布中所有的放置点，针对有多个放置点的画布，可以从上至下、从左至右遍历所有放置点，选择画布最上边(或最左边)为第一个放置点开始填充画布有效区域。

步骤5：根据画布中已填充的有效区域图像，生成一个组合图像，并确定该组合图像中的有效区域图像在该组合图像中的坐标位置信息。

具体地说，判断初始图库中是否包含有能够用于填充有效画布区域的有效区域图像，若否，即画布有效区域找不到可填充的有效区域图像，则认为一个画布完成，剩下的有效区域图像再按照该流程填充画布有效区域，完成所有有效区域图像填充后即结束排列组合过程。

进一步地，排列组合的结果很多，一个有效区域图像放置一张画布也是一种排列组合的结果，最优结果就是所有有效区域图像放在同一个画布上。组合图像的数量越少，利用神经网络分析模型进行计算的计算量越少，最终组合图像的数量为本次排列组合的结果，组合图像的数量的计算公式如下：

其中，C(n,m)为标识排列组合，即m个数中选n个数的组合。

需要说明的是，针对某一个组合图像，如果有组合图像包含的有效区域图像相同而排列顺序不同，则需要去掉相同的。根据上述组合图像的数量的计算公式取出排列组合中组合图像的数量最小的结果，得到每个有效区域图像在组合图像中的坐标位置。

S104：利用神经网络分析模型对重组视频中的每个组合图像进行分析处理，得到重组视频分析结果。

由于神经网络分析模型的训练通常基于固定的视频分辨率进行训练，对于近距离的摄像头的一般采用720P(1280x720)分辨率的视频进行训练，视频范围较远的可以采用1080P(1920x1080)分辨率的视频或者4K分辨率，通过一定分辨率的视频训练出的模型在推理的时候也需要一致分辨率的视频源来输入到神经网络分析模型中进行计算。通过步骤S101-步骤S103对待处理视频的缩减，得到的图像分辨率已经小于原待处理视频的分辨率，对于得到的这些有效区域图像，统一收集起来，重新组合为视频源分辨率的图像(即组合图像)，将多个组合图像整合为虚拟摄像头视频流，即重组视频，输出进行AI运算。

S105：根据各个有效区域图像在组合图像中的坐标位置信息以及各个有效区域图像在帧图像中的有效区域信息，对重组视频分析结果进行还原处理，得到目标视频分析结果。

对于步骤S104得到的重组视频，即虚拟摄像头视频流，需要按照有效区域图像在组合图像中坐标位置信息对应到待处理视频的原有位置，例如根据有效区域图像在待处理视频的位置还原到原摄像范围，得到目标视频分析结果。按照针对待处理视频的业务需求进行后续业务处理，比如行人车辆的过线计数等。

采用本实施例提供的方法，在不添加硬件的前提下，通过提取待处理视频的有效区域，动态计算待处理视频的有效区域，再将有效区域图像进行排列组合得到重组视频，使得计算机能够自动根据检测算法进行有效区域的确定，通过组合算法组合多个组合图像到重组视频能成倍提升AI运算的效率，从而减少了视频处理过程中的计算次数，充分利用现有硬件资源，提升视频处理的效率；同时，通过对重组视频进行还原处理，得到目标视频分析结果，从而保证了视频处理精度，整体方法流程具有动态和复杂执行环境的自适应性，并且不影响机器学习运算的精度，解决了现有各种方法带来的硬件增加的需求和精度降低的风险。

图4示出了本发明一种视频处理装置实施例的结构示意图。如图4所示，该装置包括：帧图像获取模块401、提取模块402、视频重组模块403、分析模块404和还原模块405。

其中，帧图像获取模块401，用于获取待处理视频中的各个帧图像。

提取模块402，用于从各个帧图像中提取对应的有效区域图像。

在一种可选的方式中，提取模块402进一步用于：针对每个帧图像，对该帧图像所包含的目标对象进行检测，确定该帧图像的有效区域信息；依据有效区域信息，从该帧图像中提取有效区域图像。

在一种可选的方式中，提取模块402进一步用于：针对每个帧图像，对该帧图像进行识别处理，确定该帧图像中每个目标对象对应的跟踪框；其中，每个目标对象对应的跟踪框能够完全将该帧图像中针对该目标对象的前景图像框选在内；确定用于包络该帧图像中所有目标对象对应的跟踪框的最小矩形包络区域，并将最小矩形包络区域的区域信息作为该帧图像的有效区域信息。

视频重组模块403，用于对各个帧图像对应的有效区域图像进行排列组合，确定各个有效区域图像在组合图像中的坐标位置信息，得到包含有多个组合图像的重组视频。

在一种可选的方式中，视频重组模块403进一步用于：将各个帧图像对应的有效区域图像添加至初始图库中；按照预设组合规则，对初始图库中的有效区域图像进行排列组合，生成多个组合图像，并确定每个组合图像中的有效区域图像在该组合图像中的坐标位置信息；汇总所有组合图像，得到重组视频。

在一种可选的方式中，针对一个组合图像的生成过程，视频重组模块403进一步还用于：

步骤1：创建画布；

步骤2：确定画布中的有效画布区域，并查找有效画布区域中的至少一个放置点；其中，有效画布区域为画布中的空白区域，放置点为有效画布区域中横边和竖边的交点；

步骤3：判断初始图库中是否包含有能够用于填充有效画布区域的有效区域图像；若是，则执行步骤4；若否，则执行步骤5；

步骤4：从初始图库中选取能够用于填充有效画布区域的有效区域图像，从至少一个放置点中选取一个放置点，在该放置点对应的位置处填充该有效区域图像，而后跳转执行步骤2；

步骤5：根据画布中已填充的有效区域图像，生成一个组合图像，并确定该组合图像中的有效区域图像在该组合图像中的坐标位置信息。

分析模块404，用于利用神经网络分析模型对重组视频中的每个组合图像进行分析处理，得到重组视频分析结果。

还原模块405，用于根据各个有效区域图像在组合图像中的坐标位置信息以及各个有效区域图像在帧图像中的有效区域信息，对重组视频分析结果进行还原处理，得到目标视频分析结果。

采用上述实施例提供的装置，通过获取待处理视频中的各个帧图像；从各个帧图像中提取对应的有效区域图像；对各个帧图像对应的有效区域图像进行排列组合，确定各个有效区域图像在组合图像中的坐标位置信息，得到包含有多个组合图像的重组视频；利用神经网络分析模型对重组视频中的每个组合图像进行分析处理，得到重组视频分析结果；根据各个有效区域图像在组合图像中的坐标位置信息以及各个有效区域图像在帧图像中的有效区域信息，对重组视频分析结果进行还原处理，得到目标视频分析结果。本实施例提供的这种装置在不添加硬件的前提下，通过提取待处理视频的有效区域，再将有效区域图像进行排列组合得到重组视频，从而减少了视频处理过程中的计算次数，充分利用现有硬件资源，提升视频处理的效率；同时，通过对重组视频进行还原处理，得到目标视频分析结果，保证了视频处理精度。

本发明实施例提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的视频处理方法。

可执行指令具体可以用于使得处理器执行以下操作：

获取待处理视频中的各个帧图像；

从各个帧图像中提取对应的有效区域图像；

对各个帧图像对应的有效区域图像进行排列组合，确定各个有效区域图像在组合图像中的坐标位置信息，得到包含有多个组合图像的重组视频；

利用神经网络分析模型对重组视频中的每个组合图像进行分析处理，得到重组视频分析结果；

根据各个有效区域图像在组合图像中的坐标位置信息以及各个有效区域图像在帧图像中的有效区域信息，对重组视频分析结果进行还原处理，得到目标视频分析结果。

图5示出了本发明计算设备实施例的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图5所示，该计算设备可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、以及通信总线。

其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口，用于与其它设备比如客户端或其它服务器等的网元通信。处理器，用于执行程序，具体可以执行上述视频处理方法实施例中的相关步骤。

具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。

处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序具体可以用于使得处理器执行以下操作：

获取待处理视频中的各个帧图像；

从各个帧图像中提取对应的有效区域图像；

对各个帧图像对应的有效区域图像进行排列组合，确定各个有效区域图像在组合图像中的坐标位置信息，得到包含有多个组合图像的重组视频；

利用神经网络分析模型对重组视频中的每个组合图像进行分析处理，得到重组视频分析结果；

根据各个有效区域图像在组合图像中的坐标位置信息以及各个有效区域图像在帧图像中的有效区域信息，对重组视频分析结果进行还原处理，得到目标视频分析结果。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。