一种固态噪声标定方法及系统、视频流处理方法及系统
阅读说明：本技术 一种固态噪声标定方法及系统、视频流处理方法及系统 (Solid-state noise calibration method and system and video stream processing method and system ) 是由 罗晶宜 于 2021-10-18 设计创作，主要内容包括：本发明披露视频处理技术领域的一种固态噪声标定方法及系统、视频流处理方法及系统,获取不同增益下取n组图像帧,对每组图像帧取平均值,得到n组图像帧平均值；取每组图像帧平均值的奇数列奇数行的数值、奇数行偶数列的数值、偶数行奇数列的数值和偶数列偶数行数值,计算四组数值的所有列向均值；根据所述列向均值计算四组图像均值；取列向均值中的每一列数据分别组成u组列数据集合；计算每组列数据集合的权重系数,将u组列数据集合经权重系数处理后,得到四组经权重处理后的列矩阵数组；再计算四组整体均值；计算标准固态噪声标定值为列矩阵数组与整体均值之差。本发明提供一套完善的标定过程,和基于该标定值的噪声处理方法和系统。(The invention discloses a solid-state noise calibration method and a system thereof, and a video stream processing method and a system thereof, belonging to the technical field of video processing, wherein n groups of image frames are taken under the condition of obtaining different gains, and the average value of each group of image frames is taken to obtain the average value of the n groups of image frames; taking the numerical values of odd rows and odd columns, the numerical values of even rows and even columns, the numerical values of odd rows and odd columns and the numerical values of even rows and even columns of the average value of each group of image frames, and calculating all column-direction average values of four groups of numerical values; calculating four groups of image mean values according to the column mean values; taking each line of data in the column direction mean value to respectively form u groups of line data sets; calculating a weight coefficient of each group of column data sets, and processing u groups of column data sets through the weight coefficient to obtain four groups of column matrix arrays after weight processing; then calculating four groups of overall mean values; and calculating the standard solid-state noise calibration value as the difference between the array of the column matrix and the overall average value. The invention provides a set of complete calibration process, and a noise processing method and system based on the calibration value.)
技术领域
本发明涉及视频处理技术，尤其涉及一种固态噪声标定方法和视频流去除固态噪声的方法。
背景技术
在视频处理过程中，会经常因为前端模数转换器等系统结构和工艺上的偏差导致图像出现列向规律性的阴暗变换的竖条交织在一起，主要表现为亮度的不均匀，所以需要有一种方式存在能够消除此形态噪声，将图像质量恢复的更好。
现有技术没有形成一套成套的系统稳定可靠的处理此类噪声，第一，标定过程不完善，没有一套完善的标定过程，来让后续的视频流处理更加稳定可靠。第二，在视频流处理方式上没有真正有效的抓到固态噪声的特点，导致处理效果不好。
发明内容
本发明针对现有技术中的缺点，提供了一套完善的标定过程。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种固态噪声标定方法，包括以下步骤：
获取若干不同增益下的图像数据；
每一增益下取n组图像帧，对每组图像帧叠加取平均值，得到n组图像帧平均值；
取每组图像帧平均值的奇数列奇数行的数值、奇数行偶数列的数值、偶数行奇数列的数值和偶数列偶数行的数值，计算四组数值的所有列向均值；得到n组筛选数据，每组筛选数据包括四组所述列向均值；根据所述列向均值的横向像素计算每组筛选数据中的四组图像均值；根据四组图像均值，计算四组整体均值；
取n组筛选数据中的列向均值中的每一列数据分别组成u组列数据集合；计算每组列数据集合的权重系数，将u组列数据集合经权重系数处理后，得到四组经权重处理后的列矩阵数组；
计算标准固态噪声标定值为列矩阵数组与整体均值之差。
作为其中一种实施方式，所述计算每组列数据集合的权重系数的方法包括：
对每组列数据集合中的数值从小到大分别进行排序，并标记顺序号；
对排序后的每组列数据集合计算权重系数，若所述顺序号小于等于每组集合列数据数量的中位数，则所述权重系数取所述顺序号；
若所述顺序号大于每组集合列数据数量的中位数，则所述权重系数为数量值与顺序号的差加一。
作为其中一种实施方式，所述列向均值计算方法包括：
将所述图像帧平均值数据分为四组，第一组取奇数行偶数列的数值，第二组取奇数列奇数行的数值，第三组取偶数行奇数列的数值，第四组取偶数列偶数行的数值；分别对每组的列向所有像素进行累加，生成列向相加像素和，列向相加像素和除以图像帧的二分之一宽，得到列向均值。
作为其中一种实施方式，所述根据四组所述列向均值计算四组所述图像均值的方法包括：
分别对四组列向均值的横向所有像素进行累加，生成横向相加像素和，并除以图像帧的二分之一长，得到四组图像均值。
作为其中一种实施方式，所述根据四组图像均值，计算四组整体均值方法包括：
将四组图像均值数组中的n个数值分别累加，并求平均值，得到所述整体均值。
作为其中一种实施方式，所述将u组列数据集合经权重系数处理后，得到四组经权重系数处理后的列矩阵数组的方法包括：
将列数据集合中的数值点乘其对应权重系数后除以权重系数之和，得到所有经权重系数处理之后的列数据集合，并将其合并为列矩阵数组。
作为其中一种实施方式，其中，u的大小取1到x/2，其中x为图像帧的长。
作为其中一种实施方式，获取若干不同增益下的图像数据的方法包括：
取纯白背景板和可调控光源；
调节光源强度，对准纯白背景板，采集不同增益倍数下的n组bayer格式数据；
设置采集的每帧bayer格式数据图像的长和宽。
作为其中一种实施方式，还包括显示不同增益倍数下的标定值的方法，包括：
以每帧中四组各组图像的长为横坐标，以每帧图像的分别各组的列向像素的均值为纵坐标；
观察每个增益下各组列向像素的均值的浮动范围，若所述浮动范围有规律且均匀上升，则不同增益倍数下的标定值计算正确；若否，则计算错误。
本发明还提供一种视频流处理方法，包括以下步骤：
获取待处理视频流和所述待处理视频流的增益；
调用与所述待处理视频的增益相同的所述固态噪声标定值，或调用与所述待处理视频的增益不同的固态噪声标定值计算出与所述待处理视频的增益相同的所述固态噪声标定值；
计算所述待处理视频流数据和固态噪声标定值的差，输出处理结果。
作为其中一种实施方式，所述视频流的奇数列奇数行减去对应增益下的奇数列奇数行固态噪声标定值，奇数行偶数列减去对应增益下的奇数行偶数列固态噪声标定值，偶数行奇数列减去对应增益下的偶数行奇数列固态噪声标定值，偶数列偶数行减去对应增益下的偶数列偶数行固态噪声标定值。
作为其中一种实施方式，若没有所述待处理视频流的增益，则调取所述待处理视频流的增益前后相邻的两组增益对应的固态噪声标定值；对前后相邻的两组增益的固态噪声标定值取平均值，得到所述待处理视频流的增益所对应的固态噪声标定值。
本发明还提供一种固态噪声标定系统，包括：
第一处理单元，用于获取若干不同增益下的图像数据；
第二处理单元，用于获取每一增益下n组图像帧，对每组图像帧取平均值，得到n组图像帧平均值；
第三处理单元，用于取每组图像帧平均值的奇数列奇数行的数值、奇数行偶数列的数值、偶数行奇数列的数值和偶数列偶数行数值，计算四组数值的所有列向均值；得到n组筛选数据，每组筛选数据包括四组所述列向均值；根据所述列向均值计算四组图像均值；取n组筛选数据中的列向均值中的每一列数据分别组成u组列数据集合；
第四处理单元，用于计算每组列数据集合的权重系数，将u组列数据集合经权重系数处理后，得到四组经权重处理后的列矩阵数组；根据图像均值，计算四组整体均值；
第五处理单元，用于计算标准固态噪声标定值，即计算列矩阵数组与整体均值之差。
本发明还提供一种视频流处理系统，包括根据固态噪声标定方法计算的固态噪声标定值，以及，采集单元，用于获取待处理视频流和所述待处理视频流的增益；
第六处理单元，用于调用与所述待处理视频流的增益相同的所述固态噪声标定值，或调用与所述待处理视频流的增益不同的固态噪声标定值计算出与所述待处理视频流的增益相同的所述固态噪声标定值；
第七处理单元，计算所述待处理视频流数据和所述固态噪声标定值的差，输出处理结果。
本发明的有益效果：
1.本发明中固态噪声处理模块有一套完善的标定过程，对后续固态噪声处理有更好的效果。
2.本发明的处理过程更加高速有效，抓住固态噪声的特点，结合视频流处理，对整个isp效果提升更加有效，视频流恢复显示出来的图像质量更好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是固态噪声标定方法的流程图；
图2是固态噪声标定值折线图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1:
本实施例披露一种固态噪声标定方法，如图1包括以下步骤：
获取若干不同增益下的图像数据；
每一增益下取n组图像帧，对每组图像帧取平均值，得到n组图像帧平均值；
取每组图像帧平均值的奇数列奇数行的数值、奇数行偶数列的数值、偶数行奇数列的数值和偶数列偶数行数值，计算四组数值的所有列向均值；得到n组筛选数据，每组筛选数据包括四组所述列向均值；根据所述列向均值计算四组图像均值；取n组筛选数据中的列向均值中的每一列数据分别组成u组列数据集合；
计算每组列数据集合的权重系数，将u组列数据集合经权重系数处理后，得到四组经权重处理后的列矩阵数组；
根据图像均值，计算四组整体均值；计算标准固态噪声标定值为列矩阵数组与整体均值之差。
（一）其中，获取若干不同增益下的图像数据的方法包括：
取纯白背景板和可调控光源；
调节光源强度，对准纯白背景板，采集不同增益倍数下的n组bayer格式数据；
设置采集的每帧bayer格式数据图像的长和宽。
本实施例中采用的具体方案为：
准备纯白纸板，以及可调整光源（如灯箱），进行光源调控。
调节光源强度，将镜头对准纯白纸板，分别采集1、4、16，64，128，256倍增益（sensor增益）下的nmax组100帧bayer格式数据，nmax为自行定义数，数值越大，后续处理精确度越高。其中，nmax取值为奇数。
令每一帧图像数据为，n代表该增益下所抓的第几组数据，nmax为一共所抓 的组数且设定为只能为奇数，o代表的是几倍增益下的数据，而p代表了100帧数据中的第几 帧数据，如代表的是1倍增益下所抓的第2组100帧数据中的第12帧数据；
进一步，设置每帧数据的长为x，宽为y。
（二）其中，每一增益下取n组图像帧，对每组图像帧叠加并取平均值，得到n组图像帧平均值的方法具体包括下述步骤：
提取到上述抓取的每个增益下的数据，下面以处理1倍增益数据的第1组数据为例 子，即提取出到的数据。以1倍增益数据的第1组数据为例子同理可以计算1- nmax组的数据，以及不同增益下的计算方法。
首先将抓取的100帧图像，进行叠加求均值，求得为一张图像，即
，其中为求得的抓到数据1倍 增益下面第1组数据的图像帧平均值，其中代表矩阵到 矩阵直接相互叠加相加。
（三）然后计算列向均值：列向均值计算方法包括：将图像帧平均值数据分为四组小图，第一组取奇数行偶数列的数值；第二组取奇数列奇数行的数值，第三组取偶数行奇数列和第四组取偶数列偶数行数值；分别对每组的列向所有像素进行累加，生成列向相加像素和，除以图像帧的宽，得到列向均值。
具体的，即为：将分为4张小图像进行计算，即分为、、和4组 数据，计算方式为：
，， ，，
以上公式为matlab函数形式，具体表示取的奇数列奇数行的数值，取奇数行偶数列的数值， 取偶数行奇数列的数值，取偶数列偶数行的数 值。
分别对、、、的列向所有像素，进行累加，生成列向相加像素和， 并除以图像帧的宽y的二分之一，得到每列的列向均值，即
；
其中，表示把矩阵按照列方向求和，、、 同理。
根据四组列向均值计算四组图像均值数据的方法包括：分别对四组列向均值的横向所有像素进行累加，生成横向相加像素和，并除以图像帧的长x的二分之一，得到四组图像均值数据。即：
， ，
， ，
其中，表示把矩阵按照行方向求和, ,,同理。
由此，把在1倍增益下的所有上述数值都算出，即算出所有的， ， ，和，，， ，其中n为现在1倍增益下所抓的第n组数据。
以上，求均值是为了避免时域上的随机噪声的影响，所以要100帧图像数据进行叠加，叠加之后，就只有空域上固态噪声的影响。
（四）取n组筛选数据中的列向均值中的每一列数据分别组成u组列数据集合；计算 每组列数据集合的权重系数，将u组列数据集合经权重系数处理后，得到四组经权重处理后 的列矩阵数组；将列数据集合中的数值点乘其对应权重系数后除以权重系数之和，得到所 有经权重系数处理之后的列数据集合，并将其合并为列矩阵数组。下面以处理这n组 筛选数据为例进行说明。
现在有了n组，其中n取1到nmax，提取将其每一列数据分为一个集合，命 名为，其中u的大小为每帧半个长的大小，即u的大小取1到x/2，其中x为图像帧的 长。
如u=2代表的是所有数据第2列数据的集合，即将、 中 每个矩阵中的第2列的数提取出来为一个集合。现在对每个矩阵的组内数据从小到 大分别进行排序，排序结果为，j表示了顺序号，如，表示了1倍增益下，第 一张小图中，第3列数据集合中，第4小的数。
对排序后的每组列数据集合计算权重系数，若所述顺序号小于等于每组集合列数据数量的中位数，则所述权重系数取所述顺序号；若所述顺序号大于每组集合列数据数量的中位数，则所述权重系数为总数量值nmax与顺序号的差加一。
下面就每列集合单独计算kj，kj为权重系数，以第一列集合为例子。
其中表示把矩阵按照行方向求和；
第1列的最终权重处理结果即为为1个数，并将其合并为矩阵，如下所 示：
，u为1到。
即为计算得到的1倍增益下，第一张小图的列向均值固态噪声值，以此类推 将、、算出。
， 即为计算得到的1倍增 益下，第一张小图的整体均值，以此类推将、、算出。
最后，即可将所有1倍增益下的第一组的标准固态噪声标定 值算出， 即为算出的固态噪声标定值，同理可将、、算出。
根据以上方法，将剩余4、16，64，128，256倍增益倍数下的固态噪声标定值都计算出来，以此类推整个标定过程就完成了。
根据固态噪声的特性，进行固态噪声去除，并计算权重，通过对数值进行排序然后做权重处理，对差异较大的标定值，占的权重较小，如此最后出来的固态噪声标定效果会很好。
（五）进一步的，本实施例还提供一种采用折线图显示不同增益倍数下的标定值的方法，包括：
以每帧中四组各组图像的长为横坐标，以每帧图像的分别各组的列向像素的均值为纵坐标；
观察每个增益下各组列向像素的均值的浮动范围，若所述浮动范围有规律且均匀上升（如随着增益的增大，固态噪声标定值是否呈现均匀上升的趋势），则不同增益倍数下的标定值计算正确；若否，则计算错误。
用折线图显示几种倍数下的标定曲线值，横坐标为每帧中四组各组图像的长，纵坐标为每帧图像的分别各组的列向像素的均值。此过程目的为观察前述处理流程是否出现了误差，以及发现其是否存在一定的规律，图2例子为1、4、8倍增益下，每帧图像第一组图像列向像素的均值的表现，图中每种增益抓了5组数据，由上到下显示的分别是8倍增益、4倍增益、1倍增益下第一组图像列项像素均值的表现图。
通过折线图，可以看出图像的列向均值，以及每个增益下，列向量均值的大致浮动范围，这个大致浮动对比我们最后求得的固态噪声标定值浮动规律，观察是否相似，如相似则为没有出现误差。
实施例2:
一种视频流处理方法，其包括以下步骤：
获取待处理视频流和所述待处理视频的增益；
调用与所述待处理视频流的增益相同的所述固态噪声标定值，或调用与所述待处理视频的增益不同的固态噪声标定值计算出与所述待处理视频流的增益相同的所述固态噪声标定值；
计算所述待处理视频流数据和固态噪声标定值的差，输出处理结果。
具体的，所述视频流的奇数列奇数行减去对应增益下的奇数列奇数行固态噪声标定值，奇数行偶数列减去对应增益下的奇数行偶数列固态噪声标定值，偶数行奇数列减去对应增益下的偶数行奇数列固态噪声标定值，偶数列偶数行减去对应增益下的偶数列偶数行固态噪声标定值。
若没有所述待处理视频流的增益，则调取所述待处理视频流的增益前后相邻的两组增益对应的固态噪声标定值；对前后相邻的两组增益的固态噪声标定值取加权平均值或采取其他插值计算求得相邻的两组增益中间的增益的固态噪声标定值，具体的计算逻辑也可以采用其他数学手段。
具体来说，可以是，最后的视频流固态噪声处理，如在1倍增益下面，会用到前述所 算出的、、、，此为1倍增益下固态噪声的标定值。在视频流处理过 程中，奇数列奇数行减去，奇数行偶数列减去，偶数行奇数列减去，偶数 列偶数行减去，即完成1倍增益下的固态噪声处理。
因为本实施例标定并计算得到了所有增益下面的固态噪声标准值，如果在4倍增 益下的固态噪声处理就会选择等的标定数值，如果是2倍增益，不是已有设定的这种 增益，就会根据权重，如对与取一个加权平均，其他增益以此类推中间做一 定插值，最后实现所有视频流的固态噪声处理。
对于、这个标定值为例子，这是4倍增益与1倍增益的标定值，如果 要求得，就是这样计算，如果要计算3倍增益的值，就是这样计算，以此类推，在此不做赘述。
其他需要特别说明的是， 虽然1和4的中间值不是2，但是在实际上增益插值的时候，是采用倍数关系叠加，及1，2，4，8，16这样2的倍数为1个阶段。
上述为列项均值减去整张图的均值，也就是我们求得的固态噪声特性。在正常的视频流中，就根据这个固态噪声特性，这个标定值，直接做减法。就会去除掉视频流的固态噪声。
实施例3:
一种固态噪声标定系统，包括：
第一处理单元，用于获取若干不同增益下的图像数据；
第二处理单元，用于获取每一增益下n组图像帧，对每组图像帧取平均值，得到n组图像帧平均值；
第三处理单元，用于取每组图像帧平均值的奇数列奇数行的数值、奇数行偶数列的数值、偶数行奇数列的数值和偶数列偶数行数值，计算四组数值的所有列向均值；得到n组筛选数据，每组筛选数据包括四组所述列向均值；根据所述列向均值计算四组图像均值；取n组筛选数据中的列向均值中的每一列数据分别组成u组列数据集合；
第四处理单元，用于计算每组列数据集合的权重系数，将u组列数据集合经权重系数处理后，得到四组经权重处理后的列矩阵数组；根据图像均值，计算四组整体均值；
第五处理单元，用于计算标准固态噪声标定值，即计算列矩阵数组与整体均值之差。
实施例4:
一种视频流处理系统，包括：根据实施例1披露的固态噪声标定方法计算的固态噪声标定值，以及，采集单元，用于获取待处理视频流和所述待处理视频流的增益；
第六处理单元，用于调用与所述待处理视频流的增益相同的所述固态噪声标定值，或调用与所述待处理视频流的增益不同的固态噪声标定值计算出与所述待处理视频流的增益相同的所述固态噪声标定值；
第七处理单元，计算所述待处理视频流数据和所述固态噪声标定值的差，输出处理结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
所述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。