阅读说明：本技术 一种烤箱烟雾监控方法及装置、存储介质 (Oven smoke monitoring method and device and storage medium ) 是由 刘兵 高洪波 俞国新 刘彦甲 李玉强 于 2018-06-29 设计创作，主要内容包括：本发明公开了一种烤箱烟雾监控方法,该方法包括：在烤箱工作前,获取烤箱内图片,进行图像分割,选取分割出的一个食材区域作为观察对象,并确定观察对象的梯度矩阵和对比度矩阵；烤箱工作时,控制烤箱内摄像头按设定时间间隔抓取烤箱内图片,确定观察对象在当前图片中的梯度矩阵和对比度矩阵；基于两组梯度矩阵和对比度矩阵,确定当前图片中观察对象的清晰度系数；当清晰度系数小于设定阈值时,发送触发打开烤箱排烟雾系统的信号给中央处理器。本发明先通过目标分割的方法将烤箱内的食物进行像素级的分割,然后选取1个食材区域作为观察对象,计算该观察对象的清晰度系数,判断烤箱内是否有过量的烟雾,拍摄的图片是否会影响观测食物烘烤状态。(The invention discloses an oven smoke monitoring method, which comprises the following steps: before the oven works, acquiring an image in the oven, carrying out image segmentation, selecting a segmented food material region as an observation object, and determining a gradient matrix and a contrast matrix of the observation object; when the oven works, a camera in the oven is controlled to capture pictures in the oven according to a set time interval, and a gradient matrix and a contrast matrix of an observed object in the current picture are determined; determining a definition coefficient of an observed object in the current picture based on the two groups of gradient matrixes and the contrast matrix; and when the definition coefficient is smaller than a set threshold value, sending a signal for triggering the oven smoke exhaust fog system to be opened to the central processing unit. According to the method, firstly, the food in the oven is subjected to pixel-level segmentation by a target segmentation method, then 1 food material area is selected as an observation object, the definition coefficient of the observation object is calculated, and whether excessive smoke exists in the oven or not and whether the baking state of the food is influenced by a shot picture or not is judged.)

一种烤箱烟雾监控方法及装置、存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种烤箱烟雾监控方法及装置、存储介质。

背景技术

随着智能技术的普及，各大家电企业纷纷推出了内置摄像头的智能烤箱。这样的智能烤箱还能通过网络跟手机互联，用户可以通过观看烤箱内的实时视频查看食物的烘烤状态。但是，在烤箱烘烤过程，特别是带有蒸烤一体功能的机器，经常会因为烤箱内烟雾的浓度过大，用户无法看清食物的烘烤状态。

《CN 102136059A-一种基于视频分析的烟雾检测方法》公开了一种基于视频分析的烟雾检测方法，它是在数字摄像机作为传感器以及数字信号处理芯片的支持下实现的，其包括以下步骤：利用数字摄像机采集数字视频；筛选出其中包含有运动部分的前景部分；使用支持向量机检测器筛选出其中具有类似烟雾的区域；应用小波变换分析高频信号变化，筛选出其中背景是逐渐模糊变化的数字图像；最后，使用Adaboost级联分类器对筛选出具有烟雾纹理特征的数字图像。

该方案通过背景建模、SVM和级联分类器等方法的结合去检测烟雾，能够找到烟雾发生点在图像中的位置。缺点是过于复杂，计算量大。无法有效地用于烤箱这种场景特定场景：不需要知道烤箱内发生烟雾的点在哪里，只需要判断当前烟雾是否影响观察食物烘烤状态。

发明内容

本发明实施例提供了一种烤箱烟雾监控方法及装置、存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种烤箱烟雾监控方法，包括：

在烤箱工作前，获取烤箱内图片，进行图像分割，选取分割出的一个食材区域作为观察对象，并确定所述观察对象的梯度矩阵和对比度矩阵；

烤箱工作时，控制烤箱内摄像头按设定时间间隔抓取烤箱内图片，确定所述观察对象在当前图片中的梯度矩阵和对比度矩阵；

基于两组梯度矩阵和对比度矩阵，确定当前图片中所述观察对象的清晰度系数；

当所述清晰度系数小于设定阈值时，发送触发打开烤箱排烟雾系统的信号给中央处理器。

在一种实施方式中，所述基于两组梯度矩阵和对比度矩阵，确定所述观察对象的清晰度系数，包括：

基于两组梯度矩阵和对比度矩阵，计算当前图片中所述观察对象的梯度变化因子δ及对比度变化因子τ；

结合所述梯度变化因子δ及对比度变化因子τ，计算当前图片中所述观察对象的清晰度系数∈＝k₁*δ+k₂*τ，其中，k₁+k₂＝1。

在一种实施方式中，所述k₁＝0.3，k₂＝0.7。

在一种实施方式中，所述阈值为0.62。

在一种实施方式中，还包括：

当所述清晰度系数大于设定阈值时，发送触发关闭烤箱排烟雾系统的信号给所述中央处理器。

在一种实施方式中，所述获取烤箱内图片，进行图像分割，选取分割出的一个食材区域作为观察对象，包括：

获取烤箱内图像，基于预先训练的图像分割模型，进行图像分割，得到一个或多个食材区域；

从所述一个或多个食材区域中，选取一个食材区域，作为观察对象。

根据本发明实施例的第二方面，提供一种烤箱烟雾监控装置，包括：

第一图像分析模块，用于在烤箱工作前，获取烤箱内图片，进行图像分割，选取分割出的一个食材区域作为观察对象，并确定所述观察对象的梯度矩阵和对比度矩阵；

第二图像分析模块，用于烤箱工作时，控制烤箱内摄像头按设定时间间隔抓取烤箱内图片，确定所述观察对象在当前图片中的梯度矩阵和对比度矩阵；

清晰度系数确定模块，用于基于两组梯度矩阵和对比度矩阵，确定当前图片中所述观察对象的清晰度系数；

信号发送模块，用于当所述清晰度系数小于设定阈值时，发送触发打开烤箱排烟雾系统的信号给中央处理器。

一种实施方式中，清晰度系数确定模块，包括：

变化因子确定子模块，用于基于两组梯度矩阵和对比度矩阵，计算当前图片中所述观察对象的梯度变化因子δ及对比度变化因子τ；

清晰度系数计算子模块，用于结合所述梯度变化因子δ及对比度变化因子τ，计算当前图片中所述观察对象的清晰度系数∈＝k₁*δ+k₂*τ，其中，k₁+k₂＝1。

在一种实施方式中，所述k₁＝0.3，k₂＝0.7。

在一种实施方式中，所述阈值为0.62。

在一种实施方式中，信号发送模块还用于：

当所述清晰度系数大于设定阈值时，发送触发关闭烤箱排烟雾系统的信号给所述中央处理器。

在一种实施方式中，第一图像分析模块，用于：

获取烤箱内图像，基于预先训练的图像分割模型，进行图像分割，得到一个或多个食材区域；

从所述一个或多个食材区域中，选取一个食材区域，作为观察对象。

根据本发明实施例的第三方面，提供了一种存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时实现本发明实施例提供的烤箱烟雾监控方法。

根据本发明实施例的第四方面，提供一种计算机设备。

在一些可选实施例中，所述计算机设备包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器执行所述程序时实现上述的烤箱烟雾监控方法。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明提出了一种改善带摄像头烤箱对箱体内食物状态监控效果的方案及详细的解决办法。为了减少计算量，本发明先通过目标分割的方法将烤箱内的食物进行像素级的分割，然后选取1个食材区域作为观察对象，统计烘烤前观察对象的梯度矩阵和对比度矩阵，以及烘烤过程中观察对象的的梯度矩阵和对比度矩阵，基于上述两组矩阵，计算清晰度系数，判断当前烤箱内是否有过量的烟雾，拍摄的图片是否会影响观测食物烘烤状态。

本方案通过将烟雾的检测简化为计算某个图像观察区域的清晰度变化情况，构建了清晰度衡量模型，有效地解决了用户在通过摄像头观测烤箱内食物烘烤状态受到烟雾影响的问题。

当烟雾浓度过大影响用户观看食物烘烤状态时，本发明会自动启动烤箱内排烟雾系统，将烤箱内烟雾浓度降至不影响用户观看食物烘烤状态为止。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种智能烤箱的结构示意图；

图2是根据一示例性实施例示出的一种烤箱烟雾监控方法的流程示意图；

图3是根据一示例性实施例示出的一种烤箱烟雾监控装置的结构框图

图4是根据一示例性实施例示出的一种计算机设备的结构框图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本方案应用于具有内置摄像头的智能烤箱，摄像头可以在烤箱工作时进行图像拍摄，监控烤箱内的食物烹饪状态。本方案中摄像头的安装位置如图1所示，放置在烤箱箱体的左上顶点处，该位置摄像头拍摄的范围最广。

如图2所示，本发明提供的一种烤箱烟雾监控方法，包括：

S201、在烤箱工作前，获取烤箱内图片，进行图像分割，选取分割出的一个食材区域作为观察对象，并确定所述观察对象的梯度矩阵和对比度矩阵；

S202、烤箱工作时，控制烤箱内摄像头按设定时间间隔抓取烤箱内图片，确定所述观察对象在当前图片中的梯度矩阵和对比度矩阵；

S203、基于两组梯度矩阵和对比度矩阵，确定当前图片中所述观察对象的清晰度系数；

S204、当所述清晰度系数小于设定阈值时，发送触发打开烤箱排烟雾系统的信号给中央处理器。

在一种实施方式中，在烤箱工作前，获取烤箱内图片，进行图像分割，选取分割出的一个食材区域作为观察对象，通过如下方式实现：

获取烤箱内图像，基于预先训练的图像分割模型，进行图像分割，得到一个或多个食材区域；

从所述一个或多个食材区域中，选取一个食材区域，作为观察对象。

实际应用中，获取烤箱内图片I后，使用MASK-RCNN方法，对烤箱内图像I进行图像分割，得到图像中各种食材的精确区域R。

MASK-RCNN是一种检测分割算法，能够在检测目标的基础上，实现对目标进行像素级别的识别。例如，一幅烤箱内拍摄到图片，里面有鸡翅，鸡腿，利用MASK-RCNN算法，能够精确的确定图像中的哪些像素点属于鸡翅、哪些像素点属于鸡腿，哪些像素点属于背景。

首先搜集100种常见食材的图片进行标注，作为训练样本，基于MASK-RCNN算法，进行模型训练，训练出一个能够区分100种食材的图像分割模型，即可作为图像分割模型。该模型能够对100种食材进行精确标注。

然后，输入图片I，利用训练好的图像分割模型，对图像I内的每个像素点进行标记，记为Pixel_i，其中，i＝0,1,2,…,100(0～99代表100种常见食材的编号，对应着土豆、鸡翅、玉米、…，100对应着背景像素，也即不属于这100种食材的像素)，从而可以确定每种食材所在像素点，进而，可以将图像I分为一个或多个食材区域。

然后，从分割好的一个或多个食材区域中选取一个作为观察对象，记为O，该观察对象可以随机选取。

进一步，在确定观察对象O后，即可以针对观察对象O进行清晰度的计算。

实际应用中，可以利用Canny边缘检测算子计算观察对象O的图像I的边缘二值图I_xeqe。

具体地步骤如下：

(a)对RGB彩色图按照公式Gray＝0.299R+0.587G+0.114B得到灰度图I_G，其中，R，G，B分别是RGB彩色图的R，G，B三个通道的图。

(b)对灰度图进行高斯滤波，高斯半径为3，二维高斯核参数计算公式：

滤波后的图像为I_s。

(c)计算图像I_s的梯度图和梯度方向图，计算公式如下：

P[i，j]＝(f[i，j+1]-f[i，j]+f[i+1，j+1]-f[i+1，j])/2

Q[i，j]＝(f[j，j]-f[i+1，j]+f[i，j+1]-f[i+1，j+1])/2

θ[i，j]＝arctan(Q[i，j]/p[i，j)]

其中，f[i，j]表示原图像矩阵i，j位置处的像素值，M是得到的梯度矩阵，θ是梯度方向矩阵。

同时，计算观察对象O的图像I的对比度矩阵C。计算公式如下：

C[i，j]表示观察对象O的图像矩阵在i，j处的对比度值。

在烤箱开始工作。通过烤箱内摄像头每隔3秒钟抓取一张图片，针对抓取到的图片，计算观察对象O的梯度矩阵M′[i，j]和对比度矩阵C′[i，j]。

基于图像I的梯度矩阵和对比度矩阵，以及烤箱工作后抓取图片的梯度矩阵和对比度矩阵，计算梯度变化因子δ及对比度变化因子τ，计算公式如下：

其中m，n是矩阵的宽和高，M是观察对象O的总像素数

进一步，结合所述梯度变化因子δ及对比度变化因子τ，计算当前图片中所述观察对象的清晰度系数∈＝k₁*δ+k₂*τ，其中，k₁+k₂＝1。

在一种实施方式中，所述k₁＝0.3，k₂＝0.7。

如果当前的清晰度系数ε小于设定阈值，则判定结果是存在烟雾，影响到图像的清晰度，那么发送信号给中央处理器，触发中央处理器打开烤箱的排烟雾系统，打开风扇向烤箱内部吹风，通过烤箱内部的风道将烤箱内的雾气和烟排到烤箱外。当烤箱内的烟雾浓度降至不影响观测时，也即清晰度系数ε超过设定阈值时，发送信号给中央处理器，触发中央处理器关闭烤箱的排烟雾系统。实际应用中，阈值可优选0.62。

如图3所示，本发明还提供一种烤箱烟雾监控装置，包括：

第一图像分析模块301，用于在烤箱工作前，获取烤箱内图片，进行图像分割，选取分割出的一个食材区域作为观察对象，并确定所述观察对象的梯度矩阵和对比度矩阵；

第二图像分析模块302，用于烤箱工作时，控制烤箱内摄像头按设定时间间隔抓取烤箱内图片，确定所述观察对象在当前图片中的梯度矩阵和对比度矩阵；

清晰度系数确定模块303，用于基于两组梯度矩阵和对比度矩阵，确定当前图片中所述观察对象的清晰度系数；

信号发送模块304，用于当所述清晰度系数小于设定阈值时，发送触发打开烤箱排烟雾系统的信号给中央处理器。

一种实施方式中，清晰度系数确定模块303，包括：

变化因子确定子模块3031，用于基于两组梯度矩阵和对比度矩阵，计算当前图片中所述观察对象的梯度变化因子δ及对比度变化因子τ；

清晰度系数计算子模块3032，用于结合所述梯度变化因子δ及对比度变化因子τ，计算当前图片中所述观察对象的清晰度系数∈＝k₁*δ+k₂*τ，其中，k₁+k₂＝1。

在一种实施方式中，所述k₁＝0.3，k₂＝0.7。

在一种实施方式中，所述阈值为0.62。

在一种实施方式中，信号发送模块304还用于：

当所述清晰度系数大于设定阈值时，发送触发关闭烤箱排烟雾系统的信号给所述中央处理器。

在一种实施方式中，第一图像分析模块301，用于：

获取烤箱内图像，基于预先训练的图像分割模型，进行图像分割，得到一个或多个食材区域；

从所述一个或多个食材区域中，选取一个食材区域，作为观察对象。

根据本发明实施例的第三方面，提供了一种存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时实现本发明实施例提供的烤箱烟雾监控方法。

如图4所示，本发明还提供一种计算机设备。

所述计算机设备包括存储器401、处理器402及存储在所述存储器401上并可被所述处理器402运行的程序，所述处理器402执行所述程序时实现上述的烤箱烟雾监控方法

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成前文所述的方法。上述非临时性计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁带和光存储设备等。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应当理解的是，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。