具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例可以应用于视频监控系统中，当摄像机将拍摄的视频段、图像帧或者图像帧等多媒体数据要传输至多媒体管理设备时，本申请可识别出不同价值等级的多媒体数据，以按照不同的价值等级确定不同的多媒体数据发送至多媒体管理设备的时间，以节省多媒体数据传输时的带宽。

参考图1，图1为本申请提供的网络架构，该网络架构可以包括摄像机10、传输系统11和存储系统12。摄像机10可以包括摄像机，该摄像机可以为模拟摄像机、网络摄像机或高清摄像机等。该摄像机可以包括拾音器、传感器、编码器和采集卡等，其中，拾音器还可以称为监听头、麦克风和放大器的组合等。传输系统11可以包括视频线、音频线、无线网络、网线、光纤、光端机、交换机和路由器等传输设备。存储系统12包括显示设备、多媒体管理设备(存储设备)和控制设备。其中，显示设备可以为监视器或大屏幕电视墙等，存储设备可以为网络录像机(network video recorder，NVR)、网际协议存储局域网(internet protocolstorage area network，IP SAN)或云存储设备等，控制设备可以为视频分配器、矩阵、控制键盘和综合管理平台等。

摄像机10主要用于音视频数据的采集。传输系统11用于将摄像机采集到并且编解码完成的音视频信号传输到存储系统。存储系统12用于将从传输设备接收到的音视频信号实时显示到显示设备或存储到硬盘介质中，还可以将音视频信号进行大数据分析或AI分析等，得到有价值的信息，还能对音视频数据进行进一步优化或者分类，方便用户观看。

例如，对于安保场景，摄像机可以将拍摄到的图像帧或视频段等数据经过传输系统发送给存储系统，将图像帧或视频段的数据可以存储在存储系统的存储设备中，控制设备可以读取存储设备中的数据，控制该数据分配到多个显示设备中，也可以选定任一显示设备的画面显示到大屏幕电视墙上。在数据传输过程中，需要占用较大的带宽，在数据存储时，也需要较大的存储成本。

其中，摄像机可以与传输系统和存储系统为有线连接方式，或者无线连接方式。

需要说明的是，在一些场景中，原始多媒体数据的获取端和数据的接收端，多媒体管理设备(存储设备)可以是不同的设备，例如安保场景中，拍摄得到原始多媒体数据的获取端可以包括摄像机，多媒体管理设备可以包括NVR，是视频监控系统的存储转发部分，NVR与网络摄像机协同工作。在另一些场景中，原始多媒体数据的获取端和数据的接收端还可以是同一设备。例如智能手机、平板电脑、行车记录仪等，具有摄像功能外，还具有存储功能，这种场景下，传输系统可以设为缺省。

视频监控系统中，摄像机实时拍摄视频段或图像帧，且一般是拍摄多少多媒体数据内容就向存储设备存储多少多媒体数据内容，其中，有价值的数据占比较少，多数价值较小或无价值的数据耗费了大量的传输带宽和存储成本。虽然目前为了节省带宽，摄像机可以实时传输视频段或者图像帧的特征值，而将拍摄的现场照片缓存在摄像机本地，在闲时异步传输至存储设备。例如，当摄像机拍摄到的图像帧中有人物的图像区域时，可以只将人物的脸、鼻子、眼睛、嘴和耳朵等感官的特征值实时发送给存储设备，而将图像帧先暂存到摄像机本地，在网络闲时传输图像帧至存储设备。

该方案虽然缓解了网络忙时传输视频帧或者图像帧的压力，但是未能减少传输的数据量，因此也未能减少存储系统中存储空间的占用，而且图像帧并未和特征值一同传输至存储系统，容易造成作证数据不完整，影响后端实时决策。例如当特征值与存储系统中预存的某一人物的特征匹配，该人物为被标记的危险人物，但是该人物被实时拍摄的图像并未及时传输至存储系统，这样便不能及时得知该人物当时所处的环境，给用户带来不便。况且，将图片帧暂存到摄像机本地时，安防场景下，摄像机本地的存储空间有限，因此存在空间回收。例如当存储的磁盘容量达到回收阈值时，摄像机可以按照从存储时间最老的文件开始删除，以确保最新拍摄的图片帧或视频帧可以缓存到摄像机本地。但是这样可能存在，现场的图片帧或视频帧还未被传输至存储系统，就在摄像机本地被删除的风险，容易造成关键数据丢失的重大事故。

本申请针对图像帧或视频帧不能被及时传输至存储系统，造成佐证数据不完整或者被删除的风险的问题，提出一种多媒体数据处理方法，该方法中，摄像机仍然会把全部多媒体数据内容发送给存储设备，但是摄像机可以识别出不同价值等级的多媒体数据，从而将不同价值等级的多媒体数据可以采用不同的编码方式进行编码，不同的编码方式对应的压缩率不同，例如高价值等级的多媒体数据对应的编码方式的压缩率低，低价值等级的多媒体数据对应的编码方式的压缩率高，这样对于高价值等级的多媒体数据，其采用的是视觉无损的编码方式，保真度高。对于低价值等级的多媒体数据，其采用的是视觉有损的编码方式，保真度低。这样在传输时，高价值等级的多媒体数据由于压缩率低，占用的带宽相对于低价值等级的多媒体数据占用的带宽要小，且在存储系统中存储时，高价值等级的多媒体数据由于其压缩率低，需要的存储空间较小，低价值等级的多媒体数据由于其压速率高，需要的存储空间较大。这样，一方面，可以节约一定的传输带宽，也可以节约一定的存储空间。

下面对本申请实施例进行进一步说明。

本申请实施例提供一种多媒体数据编码方法，如图2所示，该方法包括：

201、摄像机进行拍摄，获取原始多媒体数据。

摄像机可以实时对镜头的视角范围内的环境进行拍摄，得到原始多媒体数据，该原始多媒体数据可以是摄像机拍摄时得到的视频文件。该视频文件可以由多个图像帧组成。图像帧也可以理解为视频帧。

本申请中的原始多媒体数据也可以理解为未经编码之前，摄像机拍摄得到的视频数据。

202、摄像机按照价值等级规则确定原始多媒体数据中各个原始数据段的价值等级，原始多媒体数据包括多个原始数据段，其中，多个原始数据段中包括第一原始数据段和第二原始数据段，第一原始数据段的价值等级高于第二原始数据段的价值等级。

其中，按照价值等级规则确定原始多媒体数据中各个原始数据段的价值等级，可以包括：通过语义分析识别原始多媒体数据中的价值事件，按照价值事件确定价值事件所在的原始数据段的价值等级，其中，价值等级规则用于描述价值事件与价值等级的对应关系。还可以把感兴趣区域(region of interest，ROI)与非ROI对应到不同的价值等级，例如：把视频/图像中前景部分作为高价值等级，背景部分作为低价值等级。

该语义分析可以是计算机视觉、视频语义分析、机器学习等AI算法。其中，计算机视觉可以理解为：用摄像机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使摄像机处理成为更适合人眼观察或传送给仪器检测的图像。视频语义分析可以理解为：通过计算机视觉处理建立视频低层物理特征空间和高层语义空间的映射关系，从视频内容中提取能反映人类主观概念中的语义信息，自动对视频语义内容进行标注。机器学习可以理解为一门人工智能的科学，该领域的主要研究对象是人工智能，采用数据或以往的经验,自动改进计算机算法，以此优化计算机程序性能。

也就是说，当摄像机得到原始多媒体数据时，会对该原始多媒体数据进行价值分析，确定该原始多媒体数据中的价值事件，而后按照价值等级规则中，价值事件与价值等级的对应关系，确定价值事件对应的价值等级。该原始多媒体数据包括多个原始数据段，该价值事件对应的价值等级，即为该价值事件所在的原始数据段对应的价值等级。

其中，原始数据段可以包括下述一种或者多种：视频段、完整图像帧、图像帧的一部分(非完整图像帧)。原始数据段可能是视频段，可能是图像帧，也可能是图像帧的一部分，是由原始多媒体数据的价值事件确定的。

在一些实施例中，摄像机在拍摄过程中，拍摄到的是由多个图像帧组成的视频文件。该原始多媒体数据可以理解为多个图像帧组成的视频文件。摄像机识别原始多媒体数据的价值事件，可以理解为摄像机识别视频文件的价值事件。由于视频文件由多个图像帧组成，当摄像机每拍摄到一个图像帧时，摄像机便可以对该图像帧进行分析，以确定该图像帧的价值事件。若摄像机通过语义分析识别出该图像帧中存在价值事件，则可以确定该图像帧中价值事件的数量，若存在至少一个价值事件时，至少一个价值事件在图像帧中的数量小于或等于第一阈值，则摄像机可以确定该图像帧的一部分存在价值事件，因此，摄像机可以根据对应关系确定图像帧的一部分中的至少一个价值事件对应的价值等级。这种情况下，该图像帧的一部分中的每个价值事件可以为一个原始数据段。如果图像帧中的价值事件的数量大于第一阈值，则摄像机可以将该图像帧的全部区域作为一个原始数据段。在确定了原始数据段时，摄像机可以根据价值规则等级确定价值事件所在的原始数据段对应的价值等级。

示例性的，当摄像机拍摄得到一个完整图像帧时，可以通过语义分析识别图像帧中的各个对象，参考图3，例如该对象包括以下中的一种或多种：至少一个人物A、至少一个动物B、至少一个建筑物C或至少一个植物D等。当摄像机识别出这多个对象时，可以将这多个对象与预置的价值事件库中的多个价值事件进行比对，以确定这多个对象中是否存在某些对象与预置的多个价值事件的相似度高于第二阈值。如果存在相似度高于第二阈值的对象，例如确定某个人物A与预置的价值事件的相似度高于第二阈值，则摄像机确定该图像帧存在人物A的价值事件。人物A在图像帧中的人像区域的数据为一个原始数据段。如果上述第一阈值为3，则图像帧中确定出与预置的价值事件相似度高于第二阈值的3个或3个以上的对象，则摄像机可以将该图像帧作为一个原始数据段，在确定价值等级时，确定该图像帧的价值等级即可；如果图像帧中确定出与预置的价值事件相似度高于第二阈值的对象小于3个，为2个对象，则摄像机将这2个对象中每个对象对应的图像区域的数据作为一个原始数据段，共2个原始数据段，每个原始数据段都记录有价值事件。在确定价值等级时，将确定每个对象的原始数据段的价值等级。

例如在安保场景中，摄像机需要实时确定拍摄到的视角范围内的对象中是否存在特定的追踪人物，于是，当摄像机捕捉到当前拍摄的图像帧中的对象中为人物的对象只有人物A，且人物A的人像区域与价值事件库中的价值事件E的相似度高于第二阈值，那么摄像机可以将图像帧中除人物A以外的图像区域作为非价值事件的图像区域。如果价值事件E描述的是某刑事犯罪嫌疑人的人像，那么摄像机可以确定人物A为刑事犯罪嫌疑人。由于图像帧中的价值事件仅有人物A，价值事件的对象小于3个，那么摄像机将该图像帧中的人物A的人像区域作为一个原始数据段，进而可根据对应关系确定该原始数据段的价值等级。同时，摄像机将图像帧中除人物A的人像区域以外的图像区域确定为非价值事件。类似的，如果图像帧中存在与特定追踪人物相似度高于第二阈值的多个人物，且数量大于3个，那么摄像机便可以将该图像帧的全部区域确定为一个原始数据段，并确定该原始数据段的价值等级。

其中，确定相似度时，可以通过语义识别出图像帧中的人物的面部特征，将人物的面部特征与价值事件库中存储的人员的面部特征进行比对，将比对后相似度高于第二阈值的人员确定为追踪人物。

在一些实施例中，原始数据段还可以是视频段，即摄像机可以将多个图像帧组成的视频段作为一个原始数据段。这种情况下，如果摄像机确定第一图像帧中某一对象与预置的价值事件的相似度大于或等于第三阈值，且小于第二阈值，则摄像机可以确定该图像帧中的对象为与价值事件库中的价值事件相似度不高，但是存在一定相似度的疑似对象，即摄像机不能准确确定该对象确为价值事件库中的价值事件。这时，摄像机可以继续追踪第一图像帧之后连续拍摄到的多个图像帧，将第一图像帧与多个图像帧组成的视频段作为一个原始数据段，以确定该视频段作为原始数据段的价值等级。这种情况下，第一图像帧中只要存在一个疑似对象时，就将该第一图像帧的视频段作为一个原始数据段，该原始数据段中记录有疑似价值事件。

在一些实施例中，如果确定与价值事件相似度的阈值包括第二阈值和第三阈值，在图像帧中每个对象与价值事件库中的价值事件的相似度均小于第三阈值的情况下，摄像机可以将该图像帧确定为一个原始数据段，且该原始数据段未记录价值事件，该图像帧可以作为非价值事件。

综上，上述原始多媒体数据如果包括多个原始数据段，多个原始数据段包括第一原始数据段和第二原始数据段，那么第一原始数据段中记录有价值事件，第二原始数据段中未记录价值事件时，第一原始数据段的价值等级高于第二原始数据段的价值等级。

示例性的，以安保场景为例，如果客户要求视频监控系统需要对多类重点人员进行追踪，多类重点人员例如刑事犯罪嫌疑人，摄像机侧需要对这些重点人员进行实时在线监控，以确定摄像机的视角范围内是否出现与这些重点人员高度相似的人员，以便及时通知存储系统的用户知晓。这些重点人员可以通过在摄像机侧进行预配置，也可以是存储系统或者其他系统对摄像机进行网络配置，即通过发送配置信息给摄像机，以便摄像机可以根据配置信息确定多媒体数据的原始数据段，以及原始数据段对应的价值事件以及价值等级。

在一些实施例中，参考表1，配置信息可以包括价值事件、事件标签、价值等级以及事件坐标等。价值事件可以是需要追踪的对象的图像，例如可以是安保场景中的多类重点人员的人像照片。摄像机可以根据配置的价值事件确定实时拍摄的图像帧中是否寻在价值事件和疑似价值事件，价值事件和疑似价值事件以外的事件便确定为非价值事件。

事件标签可以用于指示摄像机对原始数据段可采用的标记，例如指示摄像机对需要追踪的对象可采用多种重点人员的具体类型进行标记，例如事件标签可以用于指示摄像机在确定存在价值事件时，对该价值事件所在的原始数据段可添加的事件标签可以是重点人员的人员类型。譬如安保场景下，如果摄像机确定图像帧中存在与刑事犯罪嫌疑人相似度极高的价值事件，可以在该价值事件的原始数据段中添加刑事犯罪嫌疑人的事件标签；或者，摄像机确定图像帧中存在疑似刑事犯罪嫌疑人的疑似价值事件时，可将该疑似价值事件的事件标签确定为疑似，那么重点人员和疑似以外的事件的事件标签可以确定为安全。

价值等级可以是价值事件的等级，例如多类重点人员的价值等级为高，疑似重点人员(疑似价值事件)的价值等级为中，其他人员(非价值事件)的价值等级为低。

事件坐标可以指示摄像机需要标记价值事件在图像帧中的目标坐标，目标坐标可以理解为价值事件在图像帧中的图像区域，例如摄像机可以将重点人员的事件坐标用于指示重点人员在图像帧中的人像区域；将疑似价值事件的事件坐标用于指示疑似重点人员在图像帧中的人像区域，将非价值事件的事件坐标标记为缺省。

表1

203、摄像机选择与多个原始数据段中每个原始数据段的价值等级对应的编码方式，其中，由于编码会引起数据量的减少，因此也可以把编码认为是对数据进行了压缩，不同的编码方式对应的压缩率不同，第一原始数据段对应的编码方式的压缩率低于第二原始数据段对应的编码方式的压缩率。

需要说明的是，不同的编码算法往往对应于不同的编码方式，但是编码方式并非是与编码算法等同，例如：对于同一种编码算法，可能包括多个不同的等级，不同等级拥有不同的压缩率，那么每一种压缩率对应一种编码方式。

当确定了原始数据段的价值等级时，摄像机可以根据价值等级确定对应的编码方式。当第一原始数据段的价值等级高于第二原始数据段的价值等级时，摄像机可以确定第一原始数据段对应的编码方式的压缩率低于第二原始数据段对应的编码方式的压缩率。

在一些实施例中，第一原始数据段中记录有价值事件时，或者记录有疑似价值事件时，摄像机可以采用压缩率低的，或者说能保证视觉无损，或者保真度高的压缩率进行数据压缩。第二原始数据段未记录价值事件时，或者说第二原始数据段中的事件均为非价值事件，摄像机可以采用压缩率高的，或者说采用视觉有损，或者说采用保真度低的压缩率进行数据压缩。

示例性的，对应表1的实现方式，参考表2，可以根据不同的价值等级采用不同的压缩率。例如对于价值等级高的价值事件，该价值事件对应的原始数据段可以采用低压缩率的编码方式，该原始数据段可以对应图像帧的价值事件区域，价值事件区域为图像帧的部分区域或全部区域，或者原始数据段可以对应一个视频段。对应的编码方式，例如对图像帧的价值事件区域采用高清晰度压缩或无损压缩，图像帧的价值事件区域以外的区域采用标准压缩；或者价值事件为视频段时，对视频段采用高清压缩或无损压缩。

对于价值等级为中的疑似价值事件，该疑似价值事件的原始数据段的编码方式也可以与价值等级高的价值事件的编码方式类似，即对于图像帧中的疑似价值事件区域采用高清压缩或无损压缩，图像帧中疑似价值事件区域以外的区域采用标准压缩。对于疑似价值事件为视频段时，对该视频段可以采用高清压缩或无损压缩。

对于价值等级为低的事件，或者说对于非价值事件，可以对该非价值事件的原始数据段采用高压缩率的低清晰度压缩(有损压缩)，这时对图像帧或视频段不做清晰度要求。

其中，对于编码方式，举例来说，高清晰度压缩可以是高效率视频编码(highefficiency video coding，HEVC)，无损压缩可以是动态图像专家组(moving pictureexperts group，MPEG)标准。标准压缩可以是国际电信联盟提出的H.261、H.263或H.264等编码方式。低清晰度压缩例如可以为联合图像专家组(joint photographic expertsgroup，JPEG)。

表2

上述实施例中，价值事件在图像帧中时，价值事件区域可采用低压缩率的编码方式，非价值事件区域可采用高压缩率的编码方式；或者价值事件所在的视频段采用低压缩率的编码方式。在其他一些实施例中，同一图像帧的编码方式也可以根据其他的区别方式进行区别编码。例如，对于同一个图像帧，可能有多个行人。本申请实施例可以通过语义识别，从多个行人中检测出需要关注的行人(例如可以为上述重点人员中的至少一种)时，在确定价值等级时，可以将图像帧中需要关注的行人确定为价值事件，需要关注的行人在图像帧中的图像区域为一个原始数据段，该原始数据段可以采用压缩率低，例如HEVC的编码方式；可以将图像帧中不需要关注的行人确定为非价值事件，但是由于该非价值事件由于对象是行人，在图像帧中的图像区域的原始数据段可以采用压缩率为中的编码方式，例如MPEG标准；可以将图像帧中除行人以外的背景区域采用压缩率高的编码方式，例如采用JPEG。

其中，当摄像机拍摄到多个行人时，可以提取每个行人的面部特征，将提取的面部特征与价值事件库中存储的人员的面部特征进行比对后，可以将相似度高于一定阈值的行人确定为需要关注的行人，将相似度低于该阈值的行人确定为不需要关注的行人，将多个行人以外的图像区域确定为背景区域。

需要说明的是，价值等级对应的编码方式可以是在摄像机中预配置的，也可以是存储系统通过网络配置给摄像机的，例如上述配置信息还可以包括与价值等级对应的编码方式。

204、摄像机按照选择的编码方式对原始多媒体数据中的每个原始数据段进行编码，生成原始多媒体数据对应的编码多媒体数据。

摄像机可通过其中的传感器获取视角范围内的原始多媒体数据，传感器生成的原始多媒体数据的格式，或者说生成的每一帧图像帧的格式可以根据传感器设计的不同而不同。

在一些实施例中，传感器生成的原始多媒体数据的格式可以是RAW格式，根据传感器设计的不同，RAW格式也可以相应不同。例如RAW格式具体可以是bayer RGGB、RYYB、RCCC、RCCB、RGBW、CMYW等多种格式中的一种。摄像机还可以使用图像信号处理(image signalprocessing，ISP)将传感器获取的RAW格式转换为下列格式中的一种：YUV格式、HSV格式、Lab格式、CMY格式或YCbCr格式。本申请各实施例中，原多媒体数据经过ISP处理之后，仍然称为原始多媒体数据，即原始多媒体数据的格式还可以是YUV格式、HSV格式、Lab格式、CMY格式或YCbCr格式中的一种。

当通过摄像机中的编码器对原始多媒体数据中的每个原始数据段进行编码时，可以将图像帧转换为易于人眼识别并且占用存储空间更小的编码多媒体数据。编码多媒体数据可以是图像媒体格式或视频媒体格式。其中，图像媒体格式例如可以是：jpeg格式、bmp格式、tga格式png格式以及gif格式等中的一种；视频媒体格式可以是MPEG格式、AVI格式、nAVI格式、ASF格式、MOV格式、WMV格式、3GP格式、RM格式、RMVB格式、FLV/F4V格式、H.264格式或H.265格式中的一种。

由此，当摄像机得到编码多媒体数据时，便可以将编码多媒体数据通过传输系统发送至存储设备进行存储。

综上，本申请可以通过将原始多媒体数据划分为不同价值等级的原始数据段时，可采用不同价值等级对应的编码方式对原始数据段进行编码，将价值等级高的原始数据段采用压缩率低的编码方式，将价值等级低的原始数据采用压缩率高的编码方式，这样不仅可以保证价值等级高原始数据编码后的编码多媒体数据可以及时回传给后端设备，以便用户可以及时知晓重点人员或关注人员的动向。此外，由于不同压缩率对应的数据大小不同，占用的存储空间不同，可以使得存储系统在存储编码多媒体数据时，可达到节省存储设备的存储空间的效果。

在一些实施例中，在将编码多媒体数据发送至存储设备时，可以分情况进行发送。由于本申请实施例中，原始多媒体数据可以包括价值等级高的第一原始数据段，和价值等级较低的第二原始数据段，第一原始数据段中包括价值事件，即需要关注的人员或重点人员，因此，可将第一原始数据段立即发送给多媒体管理设备，或者说，在将第一原始数据段进行编码后得到编码多媒体数据时，可以将编码后得到的编码多媒体数据立即发送给多媒体管理设备，该多媒体管理设备可以是存储系统的存储设备，以便存储系统的管理者可以及时得到需要关注的人员或重点人员的动向。第二原始数据段的价值等级较低，第二原始数据段中未包括价值事件，因此，第二原始数据段可以先暂存在摄像机本地非易失性存储介质(例如磁盘、固态硬盘、可擦洗光盘)，以便在摄像机闲时从非易失性存储介质中读取并发送至后端的多媒体管理设备；或者将第二原始数据段进行编码后得到的编码多媒体数据先暂存在摄像机本地非易失性存储介质，以便在摄像机闲时从非易失性存储介质读取编码多媒体数据发送至后端的多媒体管理设备。

在一些实施例中，对于价值等级高的第一原始数据段对应的编码多媒体数据，在立即传输至存储系统的多媒体管理设备时，可以将第一原始数据段对应的编码多媒体数据用高速网络发送给多媒体管理设备，以便存储系统的管理者可以及时或者第一原始数据段记录的重要信息，例如刑事犯罪嫌疑人信息。对于价值等级低的第二原始数据段对应的编码多媒体数据，在摄像机闲时从摄像机本地读取后发送至存储系统的多媒体管理设备时，可以将第二原始数据段对应的编码多媒体数据采用低速网络发送给多媒体管理设备。这样，即可以保证价值等级高的数据段的及时传输，也可以降低网络传输时的带宽压力。

示例性的，参考表3，假设价值等级包括高、中和低三个等级，当确定价值等级为高的原始数据段时，可以将该原始数据段编码后的编码多媒体数据立即发送至多媒体管理设备，并采用高速网络发送。高速网络例如可以为高可靠的传输协议，例如5G无线传输，或者采用超可靠通信(enhance machine type communication，eMTC)切片传输。当确定价值等级为中的原始数据段时，可以采用低速网络传输，例如将原始数据段编码后的编码多媒体数据采用增强移动宽带(Enhanced Mobile Broadband，eMBB)大容量需求网络切片传输。当确定价值等级为低的原始数据段时，可先将该原始数据段暂存在摄像机本地，等到摄像机的网络闲时，将该原始数据段编码后的编码多媒体数据可采用低速网络传输，例如采用eMBB大容量需求网络切片传输至多媒体管理设备。

表3

对于多媒体管理设备在存储编码多媒体数据时，不同价值等级对应的编码多媒体数据可采用的存储介质和存储周期可以不同。

在一些实施例中，对于价值等级高的第一原始数据段，可采用长期保存的存储介质；对于价值等级低的第二原始数据段，可采用适合缓存的存储介质。这样，对于重要的数据，可采用保存周期较长的存储介质时，以便管理者可以在需要查看这些数据时方便查看。对应非重要的数据，可进行缓存，以便将新获取到的数据及时存储到可缓存的存储介质中。

示例性的，参考表4，假设价值等级包括高、中和低三个等级，当多媒体管理设备确定接收到价值等级为高的原始数据段对应的编码多媒体数据时，可以将该编码多媒体数据存储到可长期保存的存储介质，例如该存储介质可以为存储级内存(storage classmemory，SCM)或蓝光的光盘存储介质，或者还可以为固态硬盘(solid state disk，SSD)，或者组成磁盘阵列(redundant arrays of independent disks，RAID)1的磁盘阵列。其中，SCM不仅享有动态随机存取存储器(dynamic random access memory，DRAM)的性能表现，同时拥有NAND Flash的容量优点，具备存储级的持久化和内存快速字节级的访问的共性。存储周期可以为90天或者永久保存。

当多媒体管理设备确定接收到价值等级为中的原始数据段对应的编码多媒体数据时，可以将该编码多媒体数据采用通用的视频或图像的存储介质。例如该通用的视频或图像的存储介质可以为普通serial ATA(serial advanced technology attachment，SATA)硬盘，又称串口硬盘，或者还可以为组成RAID5的磁盘阵列。存储周期可以为30天，或者其他时间周期。

对于低价值等级的原始数据段对应的编码多媒体数据，可采用适合临时保存的，可频繁擦写的存储介质在摄像机本地进行缓存。存储周期可以为14天，或者其他时间周期。

表4

由此，在本申请实施例对于多媒体数据的处理方法中，对于多媒体数据可确定出其中不同价值等级的原始数据段，不同价值等级的原始数据段对应的编码方式可不同。价值等级高的原始数据段的压缩率可低于价值等级低的原始数据段的压缩率。这样，可将价值等级功高的原始数据段采用保真度高的编码方式进行编码，使得价值等级高的多媒体数据可在后端的多媒体管理设备中可视觉无损的播放。同时，对于价值等级高的原始数据段，可采用高速网络立即传输至后端的多媒体管理设备，对于价值等级低的原始数据段，可暂存在摄像机本地，等到摄像机网络闲时，采用低速网络传输至后端的多媒体管理设备，一方面可以保证价值等级高的数据及时传输至多媒体管理设备，另一方面还缓解了多媒体数据传输时的带宽压力。此外，将价值等级低的数据缓存到摄像机本地，还可以节省多媒体管理设备侧的存储成本。

图4为本申请实施例提供的电子设备40的示意性框图，可以用于执行上述多媒体数据编码的方法。该电子设备40可以为上述实施例中的摄像机。该电子设备40可以包括：

拍摄模块401，用于进行拍摄，获取原始多媒体数据；

处理模块402，还用于按照价值等级规则确定原始多媒体数据中各个原始数据段的价值等级，原始多媒体数据包括多个原始数据段，其中，多个原始数据段中包括第一原始数据段和第二原始数据段，第一原始数据段的价值等级高于第二原始数据段的价值等级；

处理模块402，还用于选择与多个原始数据段中每个原始数据段的价值等级对应的编码方式，其中，不同的编码方式对应的压缩率不同，第一原始数据段对应的编码方式的压缩率低于第二原始数据段对应的编码方式的压缩率；

编码模块403，还用于按照选择的编码方式对原始多媒体数据中的每个原始数据段进行编码，生成原始多媒体数据对应的编码多媒体数据。

在本申请实施例中，原始数据段包括下述一种或者多种：视频段、完整图像帧、图像帧的一部分。

在本申请实施例中，处理模块402，可以用于：通过语义分析识别原始多媒体数据中的价值事件，按照价值事件确定价值事件所在的原始数据段的价值等级，其中，价值等级规则用于描述价值事件与价值等级的对应关系。

在本申请实施例中，第一原始数据段中记录有价值事件；第二原始数据段中未记录价值事件。

在本申请实施例中，电子设备40还包括收发模块404，用于：把第一原始数据段立即发送给多媒体管理设备；电子设备40还包括存储模块405，用于把第二原始数据段存储在摄像机本地非易失性存储介质，之后把非易失性存储介质中的第二原始数据段发送给多媒体管理设备。

在本申请实施例中，还包括收发模块404，用于：把第一原始数据段用高速网络发送给多媒体管理设备；把第二原始数据段用低速网络发送给多媒体管理设备。

在本申请实施例中，原始多媒体数据的格式包括：RAW格式、RGB格式或YUV格式、HSV格式、Lab格式、CMY格式或YCbCr格式中的一种；编码多媒体数据的格式包括：图像媒体格式或视频媒体格式中的一种。

应理解，根据本申请实施例的电子设备40可对应于本申请实施例的方法实施例中的摄像机，并且电子设备40中的各个模块的操作和/或功能分别为了实现图2的方法的相应流程，为了简洁，在此不再赘述。

如图5所示，为本申请实施例提供的一种示例性的图像处理装置的硬件架构示意图。图像处理装置50的硬件架构适用于图2中的摄像机。

示例性的，该图像处理装置50可以包括通过内存总线连接的镜头组件、至少一个中央处理单元(central processing unit，CPU)、至少一个存储器、拾音器、传感器、GPU、编码器、接收接口和发送接口等。可选的，图像处理装置50还可以包括解码器(图中未示出)、专用的视频或图形处理器、微处理器和微控制器(microcontroller unit，MCU)(图中未示出)等。在一种可选的情况中，图像处理装置50的上述各个部分通过连接器相耦合，应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线或总线等相连，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它形式的接口，本实施例对此不做限定。在一种可选的情况中，上述各部分集成在同一个芯片上；在另一种可选的情况中，CPU、GPU、编码器、接收接口以及发送接口集成在一个芯片上，该芯片内部的各部分通过总线访问外部的存储器。专用视频/图形处理器可以与CPU集成在同一个芯片上，也可以作为单独的处理器芯片存在，例如专用视频/图形处理器可以为专用ISP。ISP可以位于传感器与处理器之间，用于在把原始多媒体数据发送给CPU之前，对原始多媒体数据进行信号处理。在本申请实施例中涉及的芯片是以集成电路工艺制造在同一个半导体衬底上的系统，也叫半导体芯片，其可以是利用集成电路工艺制作在所述衬底(通常是例如硅一类的半导体材料)上形成的集成电路的集合，其外层通常被半导体封装材料封装。所述集成电路可以包括各类功能器件，每一类功能器件包括逻辑门电路、金属氧化物半导体(metal-oxide-semiconductor，MOS)晶体管、双极晶体管或二极管等晶体管，也可包括电容、电阻或电感等其他部件。每个功能器件可以独立工作或者在必要的驱动软件的作用下工作，可以实现通信、运算、或存储等各类功能。

在一些实施例中，CPU可以是一个单核(single-CPU)处理器或多核(multi-CPU)处理器；可选的，CPU可以是多个处理器构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。在一种可选的情况中，对于图像信号或视频信号的处理一部分由GPU完成，一部分由专用视频/图形处理器完成，还有可能由跑在通用CPU或GPU上的软件代码完成。

与图4对应的，CPU可以是与图4的电子设备中的处理模块402具有相同的功能。

存储器，可用于存储计算机程序指令，包括操作系统(operation system，OS)、各种用户应用程序、以及用于执行本申请方案的程序代码在内的各类计算机程序代码；存储器还可以用于存储视频数据、图像信号数据等；CPU可以用于执行存储器中存储的计算机程序代码，以实现本申请实施例中的方法。可选的，存储器可以是非掉电易失性存储器，例如是嵌入式多媒体卡(embedded multi media card，EMMC)、通用闪存存储(universal flashstorage，UFS)或只读存储器(read-only memory，ROM)，或者是可存储静态信息和指令的其他类型的静态存储设备，还可以是掉电易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-onlymemory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的程序代码并能够由计算机存取的任何其他计算机可读存储介质，但不限于此。

与图4对应的，存储器可以是与图4中的存储模块405具有相同的功能。

该接收接口可以为处理器芯片的数据输入的接口，在一种可选的情况下，该接收接口可以是高清晰度多媒体接口(high definition multimedia interface，HDMI)。该发送接口可以是处理器芯片的数据接收的接口。

该接收接口和发送接口可以是与图4中的收发模块404具有相同的功能。

该编码器可以是与图4中的编码模块403具有相同的功能。

该传感器可以是与图4中的拍摄模块401具有相同的功能，能够把镜头组件所接收的光线转换成原始多媒体数据。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。