具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在本公开的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。

在本公开的描述中，不同点的坐标可以是按照采样密度采集的各点的坐标，也可以是对各点坐标进行筛选后的部分点的坐标，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。

针对现有技术中由于识别处理中心无法获取放入冰箱内的食材体积，从而就无法根据冰箱中食材的存量进行食材推荐，也无法确定冰箱中各层的空间分配情况以确定当前冰箱内是否有足够的空间存放食材；当前冰箱获取体积信息大都以用户自我估计体积并手动输入到冰箱为主，其准确度很低，在用户主动输入食材体积时操作繁琐，对于用户体验较差，且不同类别食材分别选择输入操作更为复杂，本实施例提供的方法，不仅适用与冰箱，还适用于冰柜等设备。

冰箱中食材信息的智能化管理已成为当前冰箱发展的趋势之一。而食材管理是基于掌握冰箱中食材正确的种类与储量实现的。由于往冰箱存放的食材种类繁多复杂，且用户每次存取食材的量不固定，加上某些食材单位属性模糊，单纯的图像识别无法正确识别出食材具体体积，这就会导致冰箱无法有效的进行食材管理。如果仅利用重量传感器测量食材重量，单纯的重量传感器只能测量重量，无法准确识别出是哪种食材。

基于此，本申请实施例提出了一种结合深度检测的食材体积估计方法，本申请实施例中，通过摄像头模组拍摄食材图像，并进行图像识别，获取食材种类和体积，将食材种类、体积和食材特征数据库结合，可以准确掌握放入冰箱的各种类食材体积及分布情况，以实现冰箱的食材管理功能。

下面结合附图对本申请实施例进行详细描述。

参阅图1所示，为本公开一些实施例提供的一种冰箱的应用场景图。

冰箱100可提供包括但不限于食材保鲜功能和食材体积估计功能。具体冰箱类型、尺寸大小和功率等不作限定。

冰箱100还与服务器200通过多种通信方式进行数据通信。这里可允许冰箱100通过局域网(Local Area Network，LAN)、无线局域网(Wireless Local Area Network，WLAN)和其他网络进行通信连接。服务器200可以向冰箱100提供各种内容和互动。实施例的，冰箱100可以发送和接收信息，例如：接收运动目标识别数据、访问远程储存的数字媒体库、发送待检测图像数据。服务器200可以一组，也可以多组，可以一类或多类服务器。服务器200可以部署于本地，也可以部署于云端，通过服务器200实现图像识别等功能。

具体的，图2a和图2b实施例性示出了本申请实施例提供的一种冰箱的结构。

如图2a所示，冰箱包括箱体110、制冷部(未在图中示出)以及其他附件(比如箱体内可设置照明灯、温度计等，未在图中示出)。制冷系统中主要组成有压缩机、冷凝器、蒸发器和毛细管节流器等部件，自成一个封闭的循环系统。其中，蒸发器可安装在冰箱内部的上方，其他部件安装在冰箱的背面。

箱体110安装有门体120，门体120上可进一步设置有显示屏150，显示屏150与控制器耦接(如通过电路连接)。

箱体110可以包括储藏室。冰箱100的外观可以通过限定存储空间的储藏室和设置在储藏室中的门体120进行确定。在一些实施例中，储藏室为具有开口的箱体，其由储藏室内胆、储藏室外壳以及位于两者之间的发泡层形成。门体120用于遮挡储藏室的开口。储藏室被竖直分隔成位于下方的冷冻室以及位于上方的冷藏室。其中，冷冻室和冷藏室可分别具有独立的存储空间。

在一些实施例中，门体120可以包括冷冻室门体和冷藏室门体。并且，冷冻室限定在储藏室的下侧处并且可通过冷冻室门体将冷冻室的开口进行选择性地覆盖。

在一些实施例中，冷藏室限定在储藏室的上侧处，即冷藏室设置在冷冻室上方。并且，通过冷藏室门体将冷藏室的开口进行选择性地覆盖。在实际应用中，冷藏室门体可枢转地安装在冷藏室上，这样可以使冷藏室的开口可通过冷藏室门体选择性地打开或关闭。

在一些实施例中，在本发明实施方式中的冰箱的储藏室内，可以包括储物抽屉以及位于储物抽屉上的第一层架和第二层架。其中，储物抽屉第一层架和第二层架可以分别用来盛放食材(例如，水果、蔬菜等)。

在箱体110上还可设置摄像头模组130，该摄像头模组可采集箱体110前侧区域内的图像。其中，以冰箱门所在平面为第一平面，箱体110前侧区域至少包括已第一平面为基准，向冰箱外方向扩展一定距离的区域，摄像头模组可采集该区域的图像，即能够拍摄到用户打开门体120后进行食材存取过程中的手部动作图像以及所存取的食材的图像。

如图2b所示，冰箱的箱体110中可包括多个隔层(如图中的隔层50a至隔层50e)，以方便用户对不同食材进行分类存储。

在一些实施例中，摄像头模组130可设置在箱体110的上部靠近门体120的位置，以便能够拍摄箱体110前侧区域内的图像。

图3实施例性示出了箱体110前侧区域的示意图。如图所示，冰箱门体关闭状态下由摄像头模组拍到的所在的平面称为平面H1。摄像头模组至少要能够采集平面H1区域的图像。其中，可以根据摄像头拍摄范围及人体手臂长度参数以及图像识别精度等因素设置平面H1的距离冰箱的位置，比如可设置为25cm～35cm之间。

在一些实施例中，摄像头模组130可设置在固定部件上，该固定部件可使得摄像头模组的镜头探出门体120所在的平面一定距离，以便能够更好地拍摄箱体110前侧区域内的图像。当用户打开门体120时或触发食材检测指令时，可使该摄像头模组开启，当用户关闭门体时或触发食材检测完毕指令时可触发该摄像头模组关闭。本申请实施例对该固定部件的形状、连接方式以及材料不做限制。

在另一些实施例中，摄像头模组130可设置在活动部件上，该活动部件可当用户打开门体120时或触发食材检测指令时将摄像头模组130弹出，使得摄像头模组130探出门体120所在的平面一定距离，当用户关闭门体120时或触发食材检测完毕指令时，该活动部件将摄像头模组130收回。该活动部件可采用机械连接方式或其他方式与门体120进行联动，使得门体120在被打开和关闭时触发该活动部件的控制摄像头模组。在一些实施例中，该活动部件还可包括摄像头保护盖，在将摄像头模组弹出后打开该保护盖并启动摄像头模组，在将摄像头模组收回后关闭该保护盖并关闭摄像头模组，从而一方面对摄像头模组起到保护作用，一方面节省电源开销。

需要说明的是，图2a和图2b所示的冰箱的结构仅为一种实施例，本申请实施例对冰箱的大小、以及对门体的数量(比如可以是单个门体，也可以是多个门体)等不做限制，比如，在一些实施例中，冰箱中设置有射频识别(Radio Frequency Identification，RFID)读写器，可用来读取食材包装上的RFID标签，以获取食材的种类和数量等信息。在另一些实施例中，冰箱还具有语音功能，能够识别输入的语音，以获取用户通过语音方式输入的食材的种类和数量等信息。

本申请实施例提供的冰箱中包括控制器(未在图2a和图2b中示出)，该控制器与摄像头模组耦接(比如通过电路连接)，该控制器可在当冰箱的门体或被打开或收到识别指令时，识别摄像头模组采集的图像，得到被存取的食材的种类集体积；获取冰箱箱体内的各隔层上食材分布情况，根据识别得到的待放入食材的种类、体积以及各隔层上食材分布情况，实现冰箱的食材管理功能，并进行营养分析，并根据分析结果进行信息推送。

本发明实施例提供，一种冰箱，所述冰箱包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

摄像头模组，用于采集图像，并将所述图像发送到控制器；

控制器，被配置为：

接收所述摄像头模组发送的图像；

对所述图像中食材区域进行识别，确定所述食材区域中食材的不同点的坐标；

对所述图像中的手部区域进行识别，根据识别出的手部区域确定手部姿态；

根据所述食材区域中食材的不同点的坐标及手部姿态，还原所述食材的立体空间区域，并根据所述立体空间区域确定所述食材体积。

在本发明一些实施例中，冰箱还可以包括除控制器410之外，存在存储器420、通信器430、用户输入接口440、用户输出接口450、供电电源460，图像采集接口470，以及显示器480，图4中实施例性示出了冰箱的一些配置框图。

控制器410包括随机存取存储器(Random Access Memory，RAM)411、只读存储器(Read Only Memory image，ROM)412、处理器413、通信接口以及通信总线。控制器410用于控制上述器件的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。

在本发明一些实施例中，摄像头模组可以是彩色相机，也可以是深度相机，或者两者的组合。其中，彩色相机可以是普通彩色相机，也可以是广角彩色相机。深度相机可以是双目相机，也可以是结构光相机，还可以是基于飞行时间(Time Of Fly，TOF)的相机。

实施例性的，当检测到用户按压在按键444的交互或触摸在触摸板442上的交互时，控制器410可控制处理器413产生与检测到的交互相应的信号，并将该信号发送到显示器480，以使显示器480可以显示相应的内容或画面。

在一些实施例中，处理器413可以是中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)或者CPU和GPU的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(Application-SpecificIntegrated Circuit，ASIC)，可编程逻辑器件(Programmable Logic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)，现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)，通用阵列逻辑(GenericArray Logic，GAL)或其任意组合。

存储器420，用于在控制器410的控制下存储驱动和控制的各种运行程序、数据和应用。存储器420，可以存储用户输入的各类控制信号指令。在一些实施例中，存储器通过总线或其它方式与处理器相连，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行。在一些实施例中，存储器可以为易失性存储器(Volatile Memory)，非易失性存储器(Non-volatileMemory)或者它们的组合。易失性存储器可以为随机存取存储器(Random-Access Memory，RAM)，例如静态随机存取存储器(Static Random Access Memory，SRAM)，动态随机存取存储器(Dynamic Random Access Memory，DRAM)。非易失性存储器可以为只读存储器(ReadOnly Memory，ROM)，例如可编程只读存储器(Programmable Read Only Memory，PROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)。非易失性存储器也可以为快闪存储器(Flash Memory)，磁存储器，例如磁带(MagneticTape)，软盘(Floppy Disk)，硬盘。非易失性存储器也可以为光盘。

通信器430，可以是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如冰箱可将内容数据发送至经由通信器430连接的外部设备，或者，从经由通信器430连接的外部设备浏览和下载内容数据。通信器430可以包括红外信号接口431、射频信号接口432、WIFI模块433、蓝牙模块434、有线以太网通信协议模块435等网络通信协议模块或近场通信协议模块，从而通信器430可根据控制器410的控制，实现与外部设备或外部服务器之间控制信号和数据信号的通信。例如：红外信号接口时，需要将用户发送的红外控制信号按照红外控制协议转化后输出给控制器410。例如，射频信号接口时，需将用户输入的射频控制信号模式的指令转化后输出给控制器410。例如，通过WIFI模块433、蓝牙模块434、有线以太网通信协议模块435接收外部设备控制冰箱的控制信号，并将控制信号处理后输出给控制器410。

用户输入接口440，可包括麦克风441、触摸板442、传感器443、按键444等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制冰箱的用户指令输入到冰箱。

用户输出接口450，通过将用户输入接口440接收的用户指令输出给控制器410，以通过控制器410控制处理器413执行相应的程序步骤。或者，也可以使处理器413执行相应的程序步骤后，控制显示器480显示相应的画面或者通过用户输出接口输出相应的内容。这里，用户输出接口450可以包括LED接口451、产生振动的震动接口452、输出声音的声音输出接口453等。例如，外部设备中的显示设备可从用户输出接口450接收音频、视频或数据等输出信号，并且将输出信号在显示设备上显示为图像形式、在声音输出接口453输出为音频形式或在震动接口452输出为振动形式。

图像采集接口470，用于将摄像头模组与冰箱进行信号连接。例如，摄像头模组采集到的检测图像可以通过图像采集接口470传输给控制器410中的处理器413。

显示器480，用于接收处理器413输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自处理器413处理后的视频内容，也可以来自通信器430或用户输入接口440输入的视频内容。显示器480，还可以同时显示用于控制冰箱的用户操控界面UI。

以及，显示器480还可以包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。或者，倘若显示器480为一种投影显示器，还可以包括一种投影装置和投影屏幕。

供电电源460，用于在控制器410的控制下为冰箱中的各元件提供运行电力支持。形式可以为电池及相关控制电路。

图5中实施例性示出了存储器420中操作系统的架构配置框图。该操作系统架构从上到下依次是应用层、中间件层和内核层。

应用层，系统内置的应用程序以及非系统级的应用程序都是属于应用层。负责与用户进行直接交互。应用层可包括多个应用程序，如设置应用程序、电子帖应用程序、媒体中心应用程序等。这些应用程序可被实现为Web应用，其基于WebKit引擎来执行，具体可基于HTML5、层叠样式表(CSS)和JavaScript来开发并执行。

这里，HTML，全称为超文本标记语言(HyperText Markup Language)，是一种用于创建网页的标准标记语言，通过标记标签来描述网页，HTML标签用以说明文字、图形、动画、声音、表格、链接等，浏览器会读取HTML文档，解释文档内标签的内容，并以网页的形式显示出来。

CSS，全称为层叠样式表(Cascading Style Sheets)，是一种用来表现HTML文件样式的计算机语言，可以用来定义样式结构，如字体、颜色、位置等的语言。CSS样式可以直接存储与HTML网页或者单独的样式文件中，实现对网页中样式的控制。

JavaScript，是一种应用于Web网页编程的语言，可以插入HTML页面并由浏览器解释执行。其中Web应用的交互逻辑都是通过JavaScript实现。JavaScript可以通过浏览器，封装JavaScript扩展接口，实现与内核层的通信。

中间件层，可以提供一些标准化的接口，以支持各种环境和系统的操作。例如，中间件层可以实现为与数据广播相关的中间件的多媒体和超媒体信息编码专家组(MHEG)，还可以实现为与外部设备通信相关的中间件的DLNA中间件，还可以实现为提供显示设备内各应用程序所运行的浏览器环境的中间件等。

内核层，提供核心系统服务，例如：文件管理、内存管理、进程管理、网络管理、系统安全权限管理等服务。内核层可以被实现为基于各种操作系统的内核，例如，基于Linux操作系统的内核。

内核层也同时提供系统软件和硬件之间的通信，为各种硬件提供设备驱动服务，例如：为显示器提供显示驱动程序、为摄像头提供摄像头驱动程序、为遥控器提供按键驱动程序、为WIFI模块提供WiFi驱动程序、为音频输出接口提供音频驱动程序、为电源管理(PM)模块提供电源管理驱动等。

在一些实施例中，用户还可以在显示器480上显示的图形用户界面(graphic userinterface，GUI)输入用户命令，则控制器410可以接收用户输入的命令。其中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示器中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、控件、菜单、选项卡、文本框、对话框、状态栏、频道栏、Widget等可视的界面元素。

如图6所示，本申请一些实施例提供的控制器，可以被配置为执行如下程序步骤：

步骤S601，接收所述摄像头模组发送的图像；

其中，冰箱通过用户输入接口接收用户发出的食材检测指令，向摄像头模组发送拍摄指令，用户可以通过语音、触摸、手势、按压等将食材检测的用户指令输入到冰箱，或者在摄像头模组在冰箱前方检测到待检测食材图像画面时，向摄像头模组发送拍摄指令，以接收摄像头模组发送的图像；

在一些实施例中，发送的图像可为深度图像或彩色图像，其图像格式可为：JPEG、TIFF、RAW、BMP、GIF、PNG等。

步骤S602，对所述图像中食材区域进行识别，确定所述食材区域中食材的不同点的坐标；

其中，图像类型可以分为两类，当摄像头模组中存在深度相机时，食材区域中食材的不同点的坐标可以直接通过深度相机直接获取，但当摄像头模组中不存在深度相机时，通过传统彩色相机，根据摄像头模组中摄像头中相对位置关系，对彩色相机中不同点的坐标进行标定，根据相对位置关系和标定坐标能够确定食材区域中食材的不同点的坐标，无论使用上述哪种方式计算食材区域的不同点的坐标，都不影响后续侧测量食材体积的本质，本发明实施例优选使用摄像头模组中的深度相机获取食材区域中食材的不同点的坐标。

在一些实施例中，控制器被配置为：

对所述图像中的食材进行种类和位置识别；

根据识别出的食材种类及识别的位置，对识别出的食材进行边缘标记，得到食材区域。

具体的，利用根据摄像机模组拍摄的食材图像，识别图像中的食材种类、位置，图像中食材种类、位置的识别可以使用特征提取的方式确定，如提取Haar特征(Haar-LikeFeatures，哈尔特征)、LBP特征(Local Binary Pattern，局部二值特征)、HOG特征(Histogram Of Oriented Gradients，方向梯度直方图)等，或使用神经网络的算法，其中神经网络可以是但不限于(深度)神经网络、卷积神经网络、深度置信网络、深度堆栈神经网络、深度融合网络、深度递归神经网络、深度循环神经网络、深度贝叶斯神经网络、深度生成网络、深度强化学习等网络结构的一种或其衍生模型。无论采用哪种深度神经网络，都不影响本申请实施例的实质，本发明实施例优选的使用深度学习的方法。

具体的，从互联网上收集不同种类的食材的至少一张图像作为初始图像作为识别样本，并对上述这些初始图像依据食材的食材种类进行分类，从而可以分为多个初始图像组。每个初始图像组可以包括多个初始图像，并且同一初始图像组食材的食材种类相同，不同初始图像组食材的食材种类不同。将每一初始图像组中的每个初始图像进行聚类，初始图像组中每个初始图像的图像特征，将初始图像组中的每个初始图像的特征向量进行聚类，可以得到初始图像组作为该食材种类的类特征向量，根据所述类特征向量识别食材种类并对识别出的食材进行边缘标记，得到食材区域。

在一些实施例中，可以采用但不限于k-means聚类、层次聚类、FCM聚类、高斯混合聚类等将每一初始图像组中的每个初始图像的特征向量进行聚类。在实际应用中，可以根据实际需求确定聚类的实施方式，在此不作限定。

步骤S603，对所述图像中的手部区域进行识别，根据识别出的手部区域确定手部姿态；

利用使用特征提取的方式或使用神经网络的算法，手部区域识别可以与食材区域识别采用同一套神经网络训练获取，也可以采用不同的网络训练获取，手部识别也可以与下述的手部姿态估计算法合并获取，无论哪种方式均不影响本发明实质，确定识别手部区域图像与识别食材区域基于同一构思这里不再赘述，本领域人员应当知晓。

在确定手部区域后，需要对手部姿态进行识别，在用户手持食材在摄像头模组下进行识别时，呈现的手部姿态不同，根据手部姿态的不同，对存取食材时的常见姿态进行分类，例如手拿橙子时，因橙子较小，因此手掌呈现握状姿态，而手拿柚子时，由于柚子较大，手掌通常完全展开状态，因此，可以根据人手由紧握到展开所包络的形状大小，建立手部不同姿态模型，如1)手部半握，2)手掌展开等，所述姿态类别可以为两类或者多类，本领域人员可以根据不同体积检测精度进行设定。

在一些实施例中，手部姿态估计可以利用模型匹配进行确定，将当前图像中的手部姿态特征与手部姿态模型库中的特征进行特征匹配，预设的特征匹配算法可以采用但不限于快速特征点提取和描述(Oriented Fast and Rotated BRIEF，ORB)算法、加速稳健特征(Speeded Up Robust Features，SURF)算法、尺度不变特征变换(Scale-invariantfeature transform，SIFT)算法等，根据匹配到的手部姿态模型库中的手部姿态特征对应的手部姿态，确定手部姿态；

在一些实施例中，手部姿态估计可以利用神经网络训练学习的方法，对不同手部姿态进行分类，构建识别分类器，快速实现识别分类器的更新和优化，得到手部的姿态情况，输出结果为手部姿态，如手部半握等，手部识别可以与食材识别采用同一套神经网络训练分类器，收集大量的手部姿态图像进行分类器训练，也可以采用不同的网络训练获取，手部姿态识别也可以与上述的食材识别算法合并获取，无论哪种方式均不影响本发明实质。

在一些实施例中，神经网络训练分类器利用少量的手部姿态图像在短时间内构建识别分类器，快速实现识别分类器的更新和优化，弥补了基于深度学习方法进行分类器更新的不及时的局限性。

步骤S604，根据所述食材区域中食材的不同点的坐标及手部姿态，还原所述食材的立体空间区域，并根据所述立体空间区域确定所述食材体积。

根据所述食材区域中食材的不同点的坐标确定食材上表面不同点的坐标，根据所述手部姿态预测所述手部区域中的不可见区域；

结合所述上表面及不可见区域，还原所述食材的立体空间区域；

对所述立体空间区域中相对点的深度差值进行累积，确定所述食材的体积。

其中，根据食材区域中食材的不同点的坐标确定食材上表面不同点的坐标，如图7所示，根据深度相机可以拍摄到的包含深度信息的坐标值，还原所述食材的立体空间区域需要知道手部区域中的不可见区域。

根据手部姿态预测所述手部区域中的不可见区域，利用手部区域图像识别手部姿态，根据手部姿态确定不可见区域，根据食材的上表面和计算的不可见区域进行组合，共同还原出食材的立体空间区域。

在一些实施例中，当手掌区域可见时，根据所述手部区域中的手掌可见区域，预测所述不可见区域不同点的坐标，并根据所述食材的形状特征，对所述上表面与不可见区域结合后的包络体进行调整，对调整后的包络体相对点的深度差值进行累积，确定所述食材的体积；或者

在另一些实施例中，当手掌区域不可见时，根据所述手部区域中的其他可见区域确定手掌区域，根据所述手掌可见区域，预测所述不可见区域不同点的坐标，并根据所述食材的形状特征，对所述上表面与不可见区域结合后的包络体进行调整，对调整后的包络体相对点的深度差值进行累积，确定所述食材的体积；

在另一些实施例中，当手掌区域不可见时，根据所述手部区域中的其他可见区域预测所述不可见区域不同点的坐标，并根据所述食材的形状特征，对所述上表面与不可见区域结合后的包络体进行调整，对调整后的包络体相对点的深度差值进行累积，确定所述食材的体积；

根据上述所述手部区域中的可见区域，预测所述不可见区域不同点的坐标，根据所述上表面不同点的坐标与所述不可见区域不同点的坐标的深度差值进行累积，确定所述食材的体积。

其中，可以提取所述手部区域的可见区域特征数据，与预先建立的不同手部握姿对应的特征数据进行匹配，根据匹配结果确定手部握姿；

利用预先建立的不同手部握姿对应的映射函数，根据所述可见区域不同点的坐标，得到不可见区域不同点的坐标。

具体的，由于手部大小在一个小范围内波动，手掌与手指、手腕等相对距离和坐标可在手部区域中获取，可以建立一类或多类映射关系，以确定不可见区域；例如，在本实施例中，分别建立两类映射关系，一类为对于手部握状建立映射关系，当确定手部处于握状时，根据手指与手腕处距离远近建立映射表，每种距离对应的姿态映射一种包络面网络，所述包络面网络中不可见区域不同点的坐标，对所述上表面与不可见区域结合后形成包络体，根据包络体确定食材体积，其中如表1所示，为一种包络面网络映射表。

表1包络面网络映射表

另一类，针对手部展开情况，建立手腕与手掌坐标变换表，根据手腕处坐标信息，建立转换关系，估计不可见区域的(手掌各处的)坐标情况，不可见区域的不同点的坐标可利用函数映射的方式确定，例如，手腕处坐标为W，通过函数映射确定不可见区域B和D的坐标，B＝F₁(W)、D＝F₂(W)，其中映射函数F₁、F₂为相同或不同的映射函数，根据不可见区域的位置本领域技术人员可以自由设定，使用类似方式可以获取食材底部其他位置的坐标，其中不可见区域B和D的坐标可以为被上表面遮挡的手掌处坐标，亦可以为上表面遮挡的作为下表面的不可见区域的坐标。

在确定上表面与不可见区域后，根据上表面不同点的坐标及下表面计算食材体积，由于食材上表面各点的深度已知，下表面各点深度已知，据此可以计算食材与手部的相对深度，将包络面的每一点深度进行累加，即可计算得到食材的体积。例如食材的上表面坐标A(x₁，y₁，z₁)和下表面坐标B(x₂，y₂，z₂)均已知，可得到上表面坐标A和下表面坐标B的坐标差值，则根据坐标计算两点之间的距离然后同样利用积分累加的形式，将所有上表面坐标和下表面之间坐标的距离进行累加，即可计算食材体积。

在一些实施例中，结合食材的种类以及食材的固有特征，例如石榴近似圆球形，且近似对称的特征，对包络面累加进行修正，简化计算过程，在确定包络体后，根据所述食材的形状特征，对所述上表面与不可见区域结合后的包络体进行调整，例如形成的包络体的形状为椭圆形，但由食材识别类别确定该食材为石榴，石榴的形状特征为圆球体，将包络体进行形状调整。

在一些实施例中，提取所述手部区域的可见区域不同点的坐标和特征数据，输入握姿预测模型得到手部握姿及所述不可见区域不同点的坐标，所述握姿预测模型以标识手部握姿及不可见区域不同点的坐标的可见区域不同点的坐标和特征数据为输入，输出手部握姿及所述不可见区域不同点的坐标为目标进行网络模型训练，所述网络模型为神经网络模型，在上述实施例中已描述了根据手部姿态图像进行分类器训练的方法，本实施例中利用标识手部握姿及不可见区域不同点的坐标的可见区域不同点的坐标和特征数据为输入，输出手部握姿及所述不可见区域不同点的坐标为目标进行网络模型训练，与上述实施例基于同一构思，这里不再赘述。

在一些实施例中，冰箱中各存储位置提供的存储条件可预先设置。不同型号的冰箱其内部存储结构的设计可能不同，因此可针对不同型号的冰箱的内部存储结构，设置相应型号的冰箱中存储位置提供的存储条件。具体地，可预先设置冰箱信息数据库，该数据库中可针对一种或多种类型的冰箱，记录相应类型冰箱中各存储位置能够提供的存储条件的相关信息，比如温度、封闭状态、容量等信息。

本申请实施例中，不同种类食材的存储条件要求可预先设置，根据不同食材间的存储条件差异的大小以及能否共同存储，对待规划的食材进行规划，可选的，还存在着优先存储条件，优先存储条件可以包括一个，或者包括多个不同维度的优先存储条件，举例来说，可包括用户喜好、食材的重要程度等，上述条件可通过大数据分析获得或者由用户设置；

具体地，可预先设置食材数据库，其中记录各种食材种类，以及每种食材对存储条件的要求，根据食材体积及储藏室中剩余空间分布智能推荐应在冰箱中何位置放置食材，如表2所示，为冰箱剩余空间分布表。

表2冰箱剩余空间分布

并可根据识别的食材种类，计算食材存储的优先级，通过查询冰箱储藏室中的存储剩余空间确定各食材的存储位置，并按照上述方式确定待规划的每种食材在冰箱中各存储位置的优先级进行排序，确定当前食材存储的优先级。

在计算得到每种食材的优先级后，根据每种食材的优先级、在冰箱中各存储位置的优先级排序，以及食材数量，确定待规划的食材在冰箱中适宜的存储位置。其中，可首先对优先级最高的食材，根据该食材在冰箱中储存空间进行优先级排序，确定该食材最优的存储位置，如果该食材的数量较大，该最优的存储位置被占满后仍有剩余部分食材需要存储，则选择优先级次之的存储位置分配给该食材，以此类推，直到该食材全部被分配了存储位置为止。然后选择综合优先级次之的食材，按照上述方式分配存储位置，直到所有待分配的食材全部分配有存储位置为止，或者直到冰箱没有可分配的存储位置为止。

在一些实施例中，确定待规划的食材在冰箱中的存储位置之后，还可输出待规划的食材在冰箱中的存储位置信息，以便用户按照该信息进行食材存放。本申请实施例可采用多种方式进行信息输出，实施例性的，可以通过冰箱上的显示屏显示该信息，也可以通过语音方式播报上述信息，还可以接受用户通过移动终端发送的查询请求，响应于该请求将上述信息发送到用户的移动终端上以供用户查看，当然也可以采用上述多种方式的组合为用户提供查询方式。

在一些实施例中，控制器还被配置为：根据所述食材种类及确定食材体积，确定食材总重量、食材总热量及食材营养总含量中至少一个；

根据所述食材总重量、食材总热量及食材营养总含量中至少一个，进行营养分析，并根据分析结果进行信息推送。

具体的，当获取到食材的体积信息之后，可以根据食材的体积，估计食材的重量、热量、营养成分等信息，首先食材的密度、单位食材的热量、营养成分等信息均可以通过预先测定或文献查询获取，因此，根据食材的体积，可以得到食材重量＝食材密度*食材体积，食材的热量＝单位重量食材的热量*食材的重量，食材的营养含量＝单位重量食材的营养成分含量*食材的重量，这样可以较全面的得到食材的信息，当用户取用食材时，能够为用户提供饮食营养分析与热量分析，当食材数量较少或者缺乏时，为用户提供购买推荐的服务，如表3所示，为冰箱内部食材营养含量表。

表3冰箱内部食材营养含量表

在本申请的一些实施例中，可针对不同种类的食材预先设置最低存储量(重量)的阈值，当食材数据库更新后，控制器根据更新后的食材数据库中各类型的食材所对应的最低存储量的阈值，如果判断某类或某些类的食材的重量低于相应食材的最低存储量阈值，则可在智能终端的显示屏上显示提示信息，用以提示用户该类食材的存储量已经过低，用户可根据该提示信息及时进行食材补充。

其中，各类型的食材所对应的最低存储量的阈值，可由用户设置，用户可通过冰箱提供的设置功能进行上述设置。

在本申请的一些实施例中，用户终端上可安装智能家居管理应用程序，通过该应用程序，用户可对冰箱进行设置操作，或者接收冰箱发送的信息，或者向智能终端发送指令(比如查询指令)。其中，可预先在服务器中设置与该冰箱关联的用户终端信息(比如用户终端的呼叫号码)或者用户的相关信息(比如用户的标识)，以便服务器与该用户的用户终端进行通信。其中，所述用户终端包括但不限于：手机、掌上电脑、可穿戴设备等。进一步地，智能终端可与服务器连接，服务器可通过移动通信网络与用户终端进行通信，从而使得用户可通过用户终端与冰箱进行远程通信。

举例来说，当冰箱中的某类或某些类食材的重量低于相应种类食材对应的最低存储量阈值时，冰箱可向服务器发送提示信息，以使得服务器将该提示信息发送给目标用户终端，该提示信息用于提示相应种类的食材的存储量过低。用户也可以通过用户终端对该冰箱的食材数据库进行查询，该查询请求可通过服务器发送到冰箱，以使冰箱相应该查询请求，并将查询结果通过服务器发送到用户终端。随时随地通过APP查看冰箱食材情况。例如，当用户在外购买食材时，可通过手机端的应用程序查看当前冰箱现有食材种类及储量，从而辅助用户购买食材。

本申请实施例中，用户可个性化设置食材购买提醒。用户可根据自己的需求，针对某些必需食材，设置食材购买提醒，当这些食材重量小于最低存储量阈值时，在冰箱显示屏显示提醒信息，并且还可以将提醒信息发送到用户的手机，以提醒用户尽快补充该食材。

本发明实施例提供一种食材体积估计方法，如图8所示，为完整步骤流程图；

步骤S801，接收所述摄像头模组发送的图像；

步骤S802，对所述图像中食材区域进行识别，确定所述食材区域中食材的不同点的坐标，确定食材种类；

步骤S803，对所述图像中的手部区域进行识别，根据识别出的手部区域确定手部姿态，若确定手部为握姿时，执行步骤S804，否则执行步骤S805；

步骤S804，根据所述手部区域中的可见区域，预测所述不可见区域不同点的坐标，并根据所述食材的形状特征，对所述上表面与不可见区域结合后的包络体进行调整，对调整后的包络体相对点的深度差值进行累积，确定所述食材的体积；

步骤S805，根据所述手部区域中的可见区域，预测所述不可见区域不同点的坐标，根据所述上表面不同点的坐标与所述不可见区域不同点的坐标的深度差值进行累积，确定所述食材的体积；

步骤S806，根据所述食材种类及确定食材体积，确定食材总重量、食材总热量及食材营养总含量中至少一个，根据所述食材总重量、食材总热量及食材营养总含量中至少一个，进行营养分析，并根据分析结果进行信息推送；

步骤S807，根据食材体积及储藏室中剩余空间分布智能推荐应在冰箱中何位置放置食材。

基于同一发明构思，本申请一些实施例还提供了一种智能家居系统，包括本申请一些实施例提供的上述冰箱。该智能家居系统解决问题的原理与前述冰箱相似，因此该智能家居系统的实施可以参见前述冰箱的实施，重复之处在此不再赘述。

在具体实施时，在本申请一些实施例中，智能家居系统还可以包括：洗衣机、电视机、空调等，在此不作限定。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。