阅读说明：本技术 一种烟灶系统的摄像头去污优化方法以及烟灶系统 (Decontamination optimization method for camera of smoke stove system and smoke stove system ) 是由 朱泽春 李宏峰 朱广 于 2018-08-16 设计创作，主要内容包括：本发明揭示了一种烟灶系统的摄像头去污优化方法,包括：条件判定步骤,摄像头开启后采集当前图像并获取当前图像的图像数据,判断当前图像是否满足预设条件,若是则进入脏污程度确定步骤；脏污程度确定步骤,将图像数据与预先获取的原始数据进行对比以评估当前图像的图像质量并确定摄像头镜头的脏污程度是否超出阈值,若否则进入污染物确定步骤；污染物确定步骤,确定污染物在摄像头镜头上的脏污位置；去污优化步骤,根据脏污位置对摄像头所拍摄的脏污位置对应区域的图像进行处理以优化图像质量。采用本发明所述的方法,能够解决摄像头在烟灶系统中的应用难题,提醒用户及时清洁摄像头或通过算法优化图像质量。(The invention discloses a decontamination optimization method for a camera of a smoke stove system, which comprises the following steps: a condition judging step, namely acquiring a current image after a camera is started, acquiring image data of the current image, judging whether the current image meets a preset condition or not, and entering a dirt degree determining step if the current image meets the preset condition; a step of determining the degree of contamination, which is to compare the image data with pre-acquired original data to evaluate the image quality of the current image and determine whether the degree of contamination of the camera lens exceeds a threshold value, and if not, enter the step of determining the degree of contamination; determining a pollutant, namely determining a dirty position of the pollutant on a camera lens; and a decontamination optimization step, namely processing the image of the area corresponding to the dirty position shot by the camera according to the dirty position to optimize the image quality. By adopting the method, the application problem of the camera in the smoke stove system can be solved, and a user is reminded to clean the camera in time or optimize the image quality through an algorithm.)

一种烟灶系统的摄像头去污优化方法以及烟灶系统

技术领域

本发明涉及烟机灶具领域，更具体地说，涉及一种烟灶系统的摄像头去污优化方法。本发明同时还揭示了一种烟灶系统。

背景技术

随着智能技术的日臻成熟，越来越多的家电设备开始搭载智能模块，以拓展自身的智能功能。在烟机灶具领域，比较典型的智能模块应用包括摄像头，借助图像识别技术不仅能够实现食材、烹饪状态的识别，还能够通过图像信息监测烟雾浓度，大大提升了烟灶产品的智能化程度。

然而，厨房环境下容易产生大量油烟，相应的油烟会粘附于摄像头镜头，从而影响了摄像头的拍摄性能。同时，为了保证摄像头的正常工作，需要经常提醒用户清理，而清理过于频繁将严重影响用户对烟灶产品的用户体验。

发明内容

本发明为解决上述现有技术中存在的技术问题，提供了一种烟灶系统的摄像头去污优化方法，能够智能检测摄像头镜头是否被污染，并根据摄像头镜头的脏污程度提醒用户及时清洁，或者在脏污不严重的情况下通过图像算法来优化拍摄质量。本发明同时还揭示了一种烟灶系统，该烟灶系统设置有摄像头，并能够智能检测摄像头镜头的脏污程度，从而提醒用户清洁或自行优化拍摄质量，提升了摄像头在烟灶系统中的适用性。

为达到上述目的，本发明采用的技术方案如下：

一种烟灶系统的摄像头去污优化方法，包括：条件判定步骤，摄像头开启后采集当前图像并获取当前图像的图像数据，判断当前图像是否满足预设条件，若是则进入脏污程度确定步骤；脏污程度确定步骤，将图像数据与预先获取的原始数据进行对比以评估当前图像的图像质量并确定摄像头镜头的脏污程度是否超出阈值，若否则进入污染物确定步骤；污染物确定步骤，确定污染物在摄像头镜头上的脏污位置；去污优化步骤，根据脏污位置对摄像头所拍摄的脏污位置对应区域的图像进行处理以优化图像质量。

进一步地，污染物确定步骤包括：对当前图像进行颜色空间转换，并通过分块处理将转换后的图像分割为M*N个子区图像；对M*N个子区图像分别进行第一处理流程和第二处理流程。

进一步地，第一处理流程包括：将子区图像分别分解为三通道的灰度图像Yi、Ui、Vi，对灰度图像Yi、Ui、Vi进行DCT变换并对变换后的图像进行阈值修正，将修正后的图像Yi’、Ui’、Vi’进行DCT逆变换后计算获得相应子区图像i的峰值信噪比的平均值PSNR_mean以及结构相似性的平均值SSIM_mean，其中i代表第i个子区图像。

进一步地，污染物确定步骤还包括：确定摄像头镜头上的污染物类型。

进一步地，第二流程包括：对子区图像分别进行颜色直方图计算以获取相应的子区直方图数据；将子区直方图数据与预设的污染物直方图数据进行相关性计算，分别获取相应子区图像i与对应污染物的相似度系数Ci；根据相似度系数Ci以及相应子区图像确定污染物类型以及脏污位置。

进一步地，去污优化步骤包括：根据污染物类型以及脏污位置确定脏污位置处是否满足条件PSNR_mean<Tpsnr，SSIM_mean＜Tssim，且Ci＞Tc；若是则重新计算对应区域相应像素点的灰度值并通过插值处理对该区域的图像进行替换；若否则保留对应区域相应像素点的灰度值并判定该区域未被污染物影响；其中Tpsnr为预设的峰值信噪比阈值，Tssim为预设的结构相似性阈值，Tc为预设的相似度系数阈值。

进一步地，方法还包括：初始化步骤，摄像头首次开启后采集单帧图像作为基准图像，对基准图像进行预处理以获取并记录包含有灶台区域的原始数据，基准图像中灶台区域的第一面积为S1。

进一步地，预设条件包括：当前图像中至少部分包含灶台区域，当前图像中灶台区域的第二面积为S2，其中S2≤α*S1，0.5≤α≤1，α为预设的面积遮挡系数。

进一步地，预处理包括：对灶台区域的定位处理以及对灶台区域的抠取处理。

本发明同时还揭示了一种烟灶系统：

一种烟灶系统，包括烟机以及灶具，烟灶系统中设置有摄像头、提醒模块以及去污优化模块，摄像头用以采集烹饪过程中的图像，去污优化模块用以对摄像头所拍摄的脏污位置对应区域的图像进行处理以优化图像质量，提醒模块用以向用户发出摄像头异常提醒和/或摄像头清洁提醒。

本发明技术方案的有益效果如下：

本发明所揭示的一种烟灶系统的摄像头去污优化方法，能够识别污染物的类型以及脏污位置，在脏污严重的情况下提醒用户清洁，在脏污不严重的情况下使用相应的图像算法替换脏污区域，从而减少了用户清洁摄像头的次数，并提升了拍摄质量。本发明同时还揭示了一种烟灶系统，该烟灶系统不仅能够及时提醒用户对摄像头进行清洁，而且也能够通过自身算法优化拍摄质量，相较目前的烟灶系统具有更高的智能性。

附图说明

图1是本发明所述方法其中一实施例的步骤框图；

图2是本发明所述方法其中一实施例的流程示意图；

图3是本发明所述方法又一实施例的流程示意图；

图4是本发明所述方法其中一实施例中区域图像替换的示意图；

图5是本发明所述烟灶系统的模块架构图。

具体实施方式

以下通过附图和具体实施例对本发明所提供的技术方案做更加详细的描述：

图1揭示了本发明所述方法其中一实施例的步骤框图，该实施例揭示了一种烟灶系统的摄像头去污优化方法，包括：

步骤101：条件判定步骤，摄像头开启后采集当前图像并获取当前图像的图像数据，判断当前图像是否满足预设条件，若是则进入脏污程度确定步骤；

步骤102：脏污程度确定步骤，将图像数据与预先获取的原始数据进行对比以评估当前图像的图像质量并确定摄像头镜头的脏污程度是否超出阈值，若否则进入污染物确定步骤；

步骤103：污染物确定步骤，确定污染物在摄像头镜头上的脏污位置；

步骤104：去污优化步骤，根据脏污位置对摄像头所拍摄的脏污位置对应区域的图像进行处理以优化图像质量。

该实施例中，揭示了一种烟灶系统的摄像头去污优化方法，包括条件判定步骤、脏污程度确定步骤、污染物确定步骤以及去污优化步骤。在烟灶系统需要工作时，摄像头开启后采集当前图像，通过条件判定步骤确定摄像头是否存在被遮挡或被大量雾气覆盖等异常情况，从而排除摄像头处于非正常工作环境下的情况；而通过脏污程度确定步骤，能够判断是否需要用户清洁摄像头，在足以通过算法消除污染物影响的情况下，进入污染物确定步骤和去污优化步骤，通过算法优化图像的拍摄质量，从而减少用户清洁摄像头的次数。

在本发明所述方法的其中一实施例，所述条件判断步骤还包括：若否则向用户发出摄像头异常提醒。该实施例中，摄像头可能被大面积遮挡，或者有大量水雾(如蒸煮过程中揭锅盖时)覆盖，导致摄像头无法正常工作，此时应该提醒用户摄像头处于异常状态，通过算法已无法消除相应不利因素，摄像头此时也无法判断自身是否脏污，因而应提醒用户消除工作环境的影响，以恢复正常工作状态。该实施例中能够对用户进行智能提醒，区分摄像头异常，避免了摄像头脏污程度的误判。

在本发明所述方法的其中一实施例，所述脏污程度确定步骤还包括：若是则向用户发出摄像头清洁提醒。该实施例中，若通过检测发现摄像头的脏污程度已超出阈值，则通过算法已难以弥补污染物对图像拍摄所造成的影响，此时应及时提醒用户对摄像头进行清洁，避免影响拍摄参数以及图像识别的准确性。相较于现有技术，该实施例中的方案能够自主判断摄像头的脏污程度，并及时提醒，解决了以往用户无法确定摄像头脏污程度的难题。

如图2所示的，涉及本发明所述方法其中一实施例的流程示意图。该实施例中揭示了本发明所述的一种烟灶系统的摄像头去污优化方法的具体流程，包括：

步骤201，摄像头初始化：获取基准图像并记录原始数据；

步骤202，图像是否满足预设条件：根据灶台区域的面积确定是否符合预设条件，若是则执行步骤203，若否则执行步骤207；

步骤203，脏污程度是否超过阈值：将图像数据与原始数据进行比较确定脏污程度是否超过阈值，若是则执行步骤208，若否则执行步骤204；

步骤204，确定污染物位置和/或污染物类型：通过相关性计算确定相应脏污位置处的污染物类型；

步骤205，是否满足是否满足PSNR_mean＜Tpsnr,SSIM_mean＜Tssim,且Ci＞Tc：判断需要进行替换处理，若是则执行步骤206，若否则执行步骤209；

步骤206，替换脏污位置对应区域的图像：替换对应区域的图像以优化图像质量；

步骤207，发出摄像头异常提醒：提醒用户消除干扰因素；

步骤208，发出摄像头清洁提醒：提醒用户对摄像头进行清洁；

步骤209，对应区域未受影响，不作处理：无需对该区域进行替换。

该实施例揭示了本发明所述方法的具体流程，采用该实施例中的方法不仅能够分情况提醒用户消除环境干扰或及时清洁摄像头，而且能够在脏污程度不严重的情况下通过算法将污染物对应位置处的图像进行替换，从而能够减少用户清洁摄像头的次数，并对摄像头所拍摄的图像进行优化，以避免影响图像识别的准确性。

作为本发明所述方法其中一实施例，所述污染物确定步骤包括：

对所述当前图像进行颜色空间转换，并通过分块处理将转换后的图像分割为M*N个子区图像；

对所述M*N个子区图像分别进行第一处理流程和第二处理流程。

该实施例中，为了确定污染物在摄像头镜头上的脏污位置，需要对当前图像进行颜色空间转换并分割，经过后续的第一处理流程和第二处理流程，可获得相应污染物的脏污位置。优选地，将所述当前图像转换至YUV颜色空间，以结合后续算法，进一步确定污染物的类型。

作为本发明所述方法其中一实施例，所述第一处理流程包括：

将所述子区图像分别分解为三通道的灰度图像Yi、Ui、Vi，对所述灰度图像Yi、Ui、Vi进行DCT变换并对变换后的图像进行阈值修正，将修正后的图像Yi’、Ui’、Vi’进行DCT逆变换后计算获得相应子区图像i的峰值信噪比的平均值PSNR_mean以及结构相似性的平均值SSIM_mean，其中i代表第i个子区图像。

该实施例中，将分割后的每一个子区图像再分别分解为三通道的灰度图像Yi、Ui、Vi，并进行DCT变换得到相应子区图像i的三张DCT变换图Yi’、Ui’、Vi’，分别对子区图像i的三张DCT变换图进行阈值修正处理；对修正后的Yi’、Ui’、Vi’进行DCT逆变换获得关于子区图像i的三张新图Yi1、Ui1、Vi1；分别计算Yi1的PSNR参数(峰值信噪比)及SSIM参数(结构相似性)，Ui1的PSNR参数及SSIM参数，Vi1的PSNR参数及SSIM参数，对子区图像i所对应的三个PSNR参数求平均获得子区图像i的峰值信噪比的平均值PSNR_mean，对子区图像i所对应的三个SSIM参数求平均获得子区图像i的峰值信噪比的平均值SSIM_mean，用于后续的计算和判断。

在本发明所述方法的其中一实施例中，所述污染物确定步骤还包括：确定所述摄像头镜头上的污染物类型。

该实施例中，通过图像数据与原始数据的对比，能够大致确定污染物所在的位置。而且，该实施例中，污染物确定步骤不仅可以确定污染物在摄像头镜头上的脏污位置，还能够确定污染物的类型，从而根据污染物的类型选择合适的算法和参数对相应被污染区域的图像进行替换。

在本发明所述方法的其中一实施例中，所述第二流程包括：

对所述子区图像分别进行颜色直方图计算以获取相应的子区直方图数据；

将所述子区直方图数据与预设的污染物直方图数据进行相关性计算，分别获取相应子区图像i与对应污染物的相似度系数Ci；

根据所述相似度系数Ci以及相应子区图像确定所述污染物类型以及脏污位置。

该实施例中，对子区图像i进行颜色直方图计算，获取子区图像i的子区直方图数据；将相应子区图像i的子区直方图数据与预设的污染物直方图数据进行相关性计算，比较子区直方图数据与相应污染物直方图数据的相似度并计算获得子区图像i与对应污染物的相似度系数Ci；根据相似度系数Ci以及相应子区图像i所在的位置能够确定污染物的类型以及脏污位置。例如，在获得某一子区图像的子区直方图数据后，将该子区直方图数据与预先测得的污染物直方图数据进行相关性计算，其中的污染物包括油污、烟尘和/或水雾等，分别计算获得该子区直方图数据与对应各类型的污染物直方图数据相似度，取其中相似度值最高的作为子区图像i与对应污染物的相似度系数Ci，从而用于确定该子区图像i所在位置处对应的污染物的类型。例如，经过计算，在子区图像i处，与之相似度最高的油污直方图数据，则取该子区图像的子区直方图数据与油污直方图数据之间的相似度作为其对应的相似度系数Ci。

在本发明所述方法的其中一实施例中，所述去污优化步骤包括：

根据所述污染物类型以及所述脏污位置确定脏污位置处是否满足条件

PSNR_mean<Tpsnr，SSIM_mean＜Tssim，且Ci＞Tc；

若是则重新计算对应区域相应像素点的灰度值并通过插值处理对该区域的图像进行替换；若否则保留对应区域相应像素点的灰度值并判定该区域未被污染物影响；其中Tpsnr为预设的峰值信噪比阈值，Tssim为预设的结构相似性阈值，Tc为预设的相似度系数阈值。

在该实施例中，去污优化步骤还包括根据条件来判断是否需要对相应子区图像i处的对应图像区域进行替换，具体的判断规则为

PSNR_mean<Tpsnr，SSIM_mean＜Tssim，且Ci＞Tc；其中Tpsnr为预设的峰值信噪比阈值，Tssim为预设的结构相似性阈值，Tc为预设的相似度系数阈值。该实施例中，根据Ci已经确定了子区图像i处最有可能存在的污染物类型，再结合上述条件进行判断，若条件满足则说明该区域确实为脏污位置，且污染物的类型也能通过Ci确定，因而需要进行替换。由于污染物类型的不同会导致图像清晰度、灰度等参数发生变化，因而对于脏污位置处对应区域的图像的替换，也会依据相应污染物的类型，具体进行调整。该实施例中，若上述条件均满足，则说明此处确实受到了污染，需要根据具体的污染物类型对该处的图像进行替换优化；若上述图像中的任一不能满足，则说明此处未被污染，不需要替换或优化，保留原图，不作处理即可。

如图3所示的，是本发明所述方法又一实施例的流程示意图。该实施例中，揭示了一种烟灶系统的摄像头去污优化方法，包括：

步骤301，采集图像：摄像头采集当前图像并获取图像数据；

步骤302，灶台区域检测：检测灶台区域以确定当前图像是否满足预设条件；

步骤303，成功检测灶台：判断是否成功检测到灶台区域，若是则进入步骤304，若否则进入步骤309；

步骤304，图像质量评估：对当前图像的图像质量进行评估；

步骤305，与原始数据对比：对比图像数据和原始数据；

步骤306，超出阈值：判断脏污程度是否超出阈值，若是则进入步骤310，若否则进入步骤307；

步骤307，污染物类型判断：判断污染物的类型，例如，污染物为油污；

步骤308，算法剔除油污区域：通过算法剔除被油污污染的区域并进行替换；

步骤309，摄像头异常启动提示：向用户发出摄像头异常提醒；

步骤310，摄像头油污超出范围，启动提示：向用户发出摄像头清洁提醒。

该实施例中，步骤304至步骤306涉及脏污程度确定步骤，通过预先设置的图像参数，可以将当前图像的图像数据与基准图像的原始数据进行对比，检验当前图像的相应图像参数变化程度相较于基准图像的是否超过阈值，从而表征摄像头镜头的脏污程度，初步地对当前图像的图像质量作出评估。其中，所述图像参数包括但不限于图像的清晰度、对比度、峰值信噪比和/或结构相似性等。

该实施例中，步骤308涉及去污优化步骤，其中图4为本发明所述方法其中一实施例的区域图像替换的示意图。如图4所示，在确定了脏污位置为A0～A8所在的区域，污染物类型为油污后，对A0～A8所在区域进行替换。该实施例中采用线性插值替换方法对脏污位置处对应区域的图像进行替换，具体地，需要重新计算A0～A8九个像素点的灰度值，其中：

A0＝α₀R1+β₀R8，A1＝α₁R2+β₁R7，

A2＝α₂R3+β₂R6，A3＝α₃R4+β₃R5，

A4＝α₄R2+β₄R7+λR4+μR5，

A5＝α₅R4+β₅R5，A6＝α₆R3+β₆R6，

A7＝α₇R2+β₇R7，A8＝α₈R1+β₈R8；

上式中Ri为相应区块的灰度均值，α_i、β_i、λ、μ为与像素点相对位置以及灰度值变化率相关的线性系数，通过上式重新计算脏污位置处对应区域相应像素点的灰度值，从而能够在脏污不够严重的情况下，替换相应区域的图像，消除污染物影响。而对于未被污染的区块，则仅需保留对应区域相应像素点的灰度值即可，无需替换处理。

在本发明所述方法的其中一实施例中，所述方法还包括：

初始化步骤，摄像头首次开启后采集单帧图像作为基准图像，对所述基准图像进行预处理以获取并记录包含有灶台区域的原始数据，所述基准图像中灶台区域的第一面积为S1。

该实施例中的方法还涉及初始化步骤，目的在于采集基准图像，检测灶台区域并记录原始数据，用于后续的条件判定和脏污程度确定。其中，由于基准图像是在摄像头首次开启时即采集的，此时通常为新购置的烟灶系统的首次开机使用，摄像头尚未被污染，因而基准图像中能够包含完整的灶台区域，且相应的原始数据也最准确，可以用于后续的条件判断以及检验。该实施例中，基准图像中灶台区域的第一面积为S1。

在本发明所述方法的其中一实施例中，所述预设条件包括：

所述当前图像中至少部分包含所述灶台区域，所述当前图像中灶台区域的第二面积为S2，其中S2≤α*S1，0.5≤α≤1，α为预设的面积遮挡系数。

该实施例涉及条件判定步骤，当用户再次开启烟灶系统后，由于烟灶系统已经采集有基准图像，因而可以根据当前图像中所包含的灶台区域的第二面积与基准图像中所包含的灶台区域的第一面积来判定当前图像是否满足预设条件。其中，要求S2≤α*S1，原因在于，首次开启时理论上能够拍摄到完整的灶台区域，而再次开启的情况下，如果摄像头由于被遮挡或者突然在镜头上形成大量水雾，这种情况下摄像头无法正常工作的，其所拍摄到的灶台区域的面积也必然小于S1。如果仅一小部分灶台区域的面积没有被检测到，后续的步骤还能够继续进行，但如果有很大一部分灶台区域的面积没有被检测到，则说明摄像头处于异常工作的状态下，此时需要提醒用户消除干扰因素的影响，因此该实施例中通过第一面积S1和第二面积S2来确定摄像头是否处于异常工作状态，其中α为预设的面积遮挡系数，α宜设置在0.5≤α≤1的范围内。

在本发明所述方法的其中一实施例中，所述预处理包括：对所述灶台区域的定位处理以及对所述灶台区域的抠取处理。该实施例涉及初始化步骤，其中的预处理包括对灶台区域的定位处理以及对灶台区域的抠取处理，即需要确定灶台区域在基准图像中的位置，并确定灶台区域的轮廓进行抠取，方便后续进行比对。

如图5所示的，涉及本发明所述的烟灶系统的模块架构图。本发明同时还揭示了一种烟灶系统500，包括烟机以及灶具，烟灶系统中设置有摄像头501、提醒模块502以及去污优化模块503，摄像头501用以采集烹饪过程中的图像，去污优化模块503用以对摄像头所拍摄的脏污位置对应区域的图像进行处理以优化图像质量，提醒模块502用以向用户发出摄像头异常提醒和/或摄像头清洁提醒。该实施例中，优选地，摄像头502设置于烟机上，向下拍摄灶台区域，其中的烟灶系统能够借助摄像头502识别烹饪食材，以及根据拍摄的图像确定烹饪产生的烟雾浓度。该实施例中的烟灶系统500还能够在摄像头502处于非正常工作状态时发出摄像头异常提醒，同时也能够在摄像头502需要人工清理时向用户发出摄像头清洁提醒。

上述具体实施方式只是用于说明本发明的设计方法，并不能用来限定本发明的保护范围。对于在本发明技术方案的思想指导下的变形和转换，都应该归于本发明保护范围以内。