阅读说明：本技术 用于保护隐私的方法、装置和系统 (Method, device and system for protecting privacy ) 是由 栗鸿宇 申作军 于 2020-06-10 设计创作，主要内容包括：本公开提供一种用于保护隐私的方法、装置和系统。边缘设备获取由摄像头采集的视频信息；对视频信息进行视频分割处理,以得到原始视频帧；检测原始视频帧中是否包括隐私信息；若原始视频帧中包括隐私信息,则对原始视频帧中包括隐私信息的区域进行掩模处理以生成被掩模帧,并将被掩模帧作为输出视频帧；若原始视频帧中不包括隐私信息,则将原始视频帧作为输出视频帧。边缘设备在检测到视频帧中包括隐私信息的情况下,对包括隐私信息的区域进行掩模处理,从而有效实现对隐私信息的保护。(The present disclosure provides a method, apparatus, and system for protecting privacy. The edge device acquires video information acquired by a camera; performing video segmentation processing on the video information to obtain an original video frame; detecting whether an original video frame comprises privacy information or not; if the original video frame comprises the privacy information, masking an area comprising the privacy information in the original video frame to generate a masked frame, and using the masked frame as an output video frame; and if the original video frame does not contain the privacy information, taking the original video frame as an output video frame. The edge device masks the area including the privacy information under the condition that the edge device detects that the video frame includes the privacy information, so that the protection of the privacy information is effectively realized.)

用于保护隐私的方法、装置和系统

技术领域

本公开涉及安全领域，特别涉及一种用于保护隐私的方法、装置 和系统。

背景技术

随着人们对安全问题的日益关注，越来越多的监控录像设备被安装 到各类公共场所中。目前大约有2.45亿个监控摄像头正在全球范围内 运行。虽然大多数公众在遏制犯罪方面对密集监控行为持赞成态度，但 人们普遍不接受对其私人生活进行侵入性监控。目前，无论人们走到哪 里，无论他们是否意识到，他们都在被无数双眼睛观察着，因此这种情况在侵犯个人隐私方面引起了广泛的关注。

发明内容

发明人通过研究发现，随着技术的发展，监控摄像头的功能越强大， 它们也越有可能被滥用以收集隐私信息。被授权负责监控系统的安全人 员可能会滥用摄像头进行偷窥、网络跟踪，以及在未经授权的情况下收 集个人的活动或行为数据。***控的摄像头(如云台摄像头(PTZ)) 可能会被用来摄录私人住所以进行监视。由于目前在监控摄像系统中没 有设置隐私保护机制，因此无法有效地实现隐私保护。

据此，本公开提供一种隐私保护方案，使得监控系统具有隐私感知 能力。

根据本公开实施例的第一方面，提供一种用于保护隐私的方法， 由边缘设备执行，包括：获取由摄像头采集的视频信息；对所述视频信 息进行视频分割处理，以得到原始视频帧；检测所述原始视频帧中是否 包括隐私信息；若所述原始视频帧中包括所述隐私信息，则对所述原始 视频帧中包括所述隐私信息的区域进行掩模处理以生成被掩模帧，并将所述被掩模帧作为输出视频帧；若所述原始视频帧中不包括隐私信息， 则将所述原始视频帧作为输出视频帧。

在一些实施例中，上述方法还包括：检测所述被掩模帧中是否包括 预设行为信息；若所述被掩模帧中包括预设行为信息，则将所述被掩模 帧发送给对应的区块链节点，以便所述区块链节点将所述被掩模帧存储 到存储服务器中。

在一些实施例中，对所述原始视频帧中包括所述隐私信息的区域进 行掩模处理包括：利用预先生成的公钥生成图像掩模；利用所述图像掩 模遮挡所述原始视频帧中包括所述隐私信息的区域，以生成被掩模帧； 将与所述公钥相对应的私钥发送给区块链节点。

在一些实施例中，上述方法还包括：在接收到用户终端通过区块链 网络发送的访问请求后，从所述访问请求中提取出证书，其中区块链节 点在所述用户终端通过身份验证后，给所述用户终端发布所述证书；根 据所述证书判断所述用户终端是否具有访问权限；若根据所述证书判断 所述用户终端具有访问权限，则将所述输出视频帧提供给所述用户终端 进行播放。

在一些实施例中，上述方法还包括：若接收到所述用户终端提供的 私钥，则利用所述私钥去除所述输出视频帧中的被掩模帧的图像掩模， 以得到不包括图像掩模的视频帧，其中所述用户终端从区块链节点获取 所述私钥；将所述不包括图像掩模的视频帧提供给所述用户终端进行播 放。

在一些实施例中，上述方法还包括：在将所述输出视频帧提供给所 述用户终端的过程中，检测所生成的被掩模帧的数量；若所生成的被掩 模帧的数量大于预设门限，则中断所述边缘设备与所述区块链网络的连 接。

在一些实施例中，上述方法还包括：在将所述输出视频帧提供给所 述用户终端的过程中，根据所述用户终端发送的中断指示，中断所述边 缘设备与所述区块链网络的连接。

根据本公开实施例的第二方面，提供一种用于保护隐私的边缘设 备，包括：信息获取模块，被配置为获取由摄像头采集的视频信息；信 息处理模块，被配置为对所述视频信息进行视频分割处理，以得到原始 视频帧；隐私检测模块，被配置为检测所述原始视频帧中是否包括隐私 信息；保护模块，被配置为若所述原始视频帧中包括所述隐私信息，则对所述原始视频帧中包括所述隐私信息的区域进行掩模处理以得到被 掩模帧，并将所述被掩模帧作为输出视频帧，若所述原始视频帧中不包 括隐私信息，则将所述原始视频帧作为输出视频帧。

根据本公开实施例的第三方面，提供一种用于保护隐私的边缘设 备，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处 理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述 的方法。

根据本公开实施例的第四方面，提供一种视频处理装置，包括： 摄像头，被配置为采集视频信息；边缘设备，为上述任一实施例所述的 用于保护隐私的边缘设备。

根据本公开实施例的第五方面，提供一种用于保护隐私的系统， 包括：如上述任一实施例所述的视频处理装置；设置在区块链网络中的 区块链节点，被配置为将所述视频处理装置发送的被掩模帧存储到存储 服务器中，记录所述被掩模帧的访问信息和验证信息，并将所述被掩模 帧的访问信息和验证信息发送给区块链网络中的其它区块链节点；存储 服务器，被配置为存储区块链节点发送的被掩模帧。

在一些实施例中，区块链节点被配置为在接收到用户终端发送的访 问请求后，对所述用户终端进行身份验证，在身份验证通过后给所述用 户终端发布证书，以便所述用户终端利用所述证书获取指定视频处理装 置的输出视频帧，或者获取存储服务器中的指定被掩模帧。

在一些实施例中，存储服务器被配置为若接收到所述用户终端提供 的私钥，则利用所述私钥去除所述指定被掩模帧中的图像掩模，以得到 不包括图像掩模的视频帧，将所述不包括图像掩模的视频帧提供给所述 用户终端进行播放，其中所述用户终端从区块链节点获取所述私钥。

根据本公开实施例的第六方面，提供一种计算机可读存储介质， 其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时 实现如上述任一实施例涉及的方法。

通过以下参照附图对本公开的示例性实施例的详细描述，本公 开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将 对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见 地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技 术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获 得其他的附图。

图1为本公开一个实施例的用于保护隐私的方法的流程示意图；

图2为本公开另一个实施例的用于保护隐私的方法的流程示意图；

图3为本公开一个实施例的用于保护隐私的边缘设备的结构示意图；

图4为本公开另一个实施例的用于保护隐私的边缘设备的结构示意 图；

图5为本公开一个实施例的视频处理装置的结构示意图；

图6为本公开一个实施例的用于保护隐私的系统的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案 进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实 施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实 际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。 基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相 对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺 寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详 细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说 明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是 示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具 有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此， 一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行 进一步讨论。

图1为本公开一个实施例的用于保护隐私的方法的流程示意图。在 一些实施例中，下列的用于保护隐私的方法步骤由边缘设备执行。

在步骤101，获取由摄像头采集的视频信息。

在步骤102，对视频信息进行视频分割处理，以得到原始视频帧。

在步骤103，检测原始视频帧中是否包括隐私信息。

在一些实施例中，在边缘设备上安装单片机(Single board computer，SBC)，以便在边缘设备上部署和运行经过训练的目标检测 算法，完成视频分析、信息提取、对象检测等功能，极大的减少了带宽 消耗。

例如，通过在边缘设备上加载经过训练的神经网络模型，根据预设 的隐私策略对原始视频帧进行检测，以确定该原始视频帧中是否包括隐 私信息。

若原始视频帧中包括隐私信息，则执行步骤104；若原始视频帧中 不包括隐私信息，则执行步骤105。

在步骤104，对原始视频帧中包括隐私信息的区域进行掩模处理以 生成被掩模帧，并将被掩模帧作为输出视频帧。

在一些实施例中，利用预先生成的公钥生成图像掩模，利用图像掩 模遮挡原始视频帧中包括隐私信息的区域，以生成被掩模帧，并将与公 钥相对应的私钥发送给区块链节点进行存储。

由于在输出视频帧中，就已经在包括隐私信息的区域进行了掩模处 理，因此可有效避免隐私信息的泄露。

在步骤105，将原始视频帧作为输出视频帧。

在本公开上述实施例提供的用于保护隐私的方法中，边缘设备在检 测到视频帧中包括隐私信息的情况下，对包括隐私信息的区域进行掩模 处理，从而有效实现对隐私信息的保护。

在一些实施例中，当边缘设备的计算资源受限，不足以满足实时视 频分析的需求时，可以将边缘计算与雾计算进行混合，将至少一部分计 算任务加载到其近场的雾节点中，例如基站、笔记本电脑、平板电脑、 智能手机等。

在一些实施例中，边缘设备还进一步检测被掩模帧中是否包括预 设行为信息，若被掩模帧中包括预设行为信息，则将被掩模帧发送给对 应的区块链节点，以便区块链节点将被掩模帧存储到存储服务器中。

例如，预设行为可以是违法犯罪行为，通过将这些被掩模帧存储到 存储服务器中，可对日后的相关工作提供帮助。

这里需要说明的是，区块链节点仅存储与所存储的视频帧相关联的 地址信息、验证信息(例如散列、摘要等)和相关访问信息等。例如， 区块链网络中的某个区块链节点在接收到边缘设备发送的视频帧后，计 算该视频帧的散列。在将该视频帧存储到存储服务器后，存储相应的散 列和地址信息，并将所存储的散列和地址信息向区块链网络中的其它区块链节点进行泛洪传播。接收到该信息的区块链节点通过访问该视频帧， 并计算该视频帧的散列。通过将计算出的散列和所接收到的散列进行比 较，以确保该视频帧的完整性，有效确保该视频帧不被篡改。

图2为本公开另一个实施例的用于保护隐私的方法的流程示意图。 在一些实施例中，下列的用于保护隐私的方法步骤由边缘设备执行。

在步骤201，在接收到用户终端通过区块链网络发送的访问请求后， 从访问请求中提取出证书。

这里需要说明的是，用户终端在访问区块链节点时，区块链节点对 用户终端进行身份验证，在身份验证通过后给用户终端发布相应的证书。

在步骤202，根据证书判断用户终端是否具有访问权限。

在步骤203，若根据证书判断用户终端具有访问权限，则将输出视 频帧提供给用户终端进行播放。

也就是说，若证书表明用户终端具有访问边缘设备的权限，则用户 终端通过接入边缘设备，以便用户观看边缘设备输出的实时视频。由于 边缘设备将不涉及隐私信息的视频帧直接输出，因此用户看到的是没有 掩模的清晰帧。此外，边缘设备给涉及隐私信息的视频帧添加图像掩模， 因此用户看到的是被掩模帧。

在一些实施例中，若用户希望观看不带图像掩模的视频帧，则利用 用户终端向区块链节点发送私钥请求。区块链节点在对用户终端的权限 进行验证后，将用户终端所接入的边缘设备相关联的私钥发送给用户终 端。边缘设备在接收到用户终端提供的私钥后，则利用私钥去除输出视 频帧中的被掩模帧的图像掩模，以得到不包括图像掩模的视频帧。由此 用户观看到的视频帧均不包括图像掩模。

在一些实施例中，边缘设备在将输出视频帧提供给用户终端的过程 中，检测所生成的被掩模帧的数量。若所生成的被掩模帧的数量大于预 设门限，则中断边缘设备与区块链网络的连接。

例如，授权用户通过区块链网络访问边缘设备，观看某个公共区域 的实时视频信息。若在这个过程中，该用户通过操控摄像头的方向以拍 摄居民住房，并通过房屋窗户偷窥用户隐私。由此边缘设备就会生成大 量的被掩模帧。在这种情况下，触发边缘设备退出区块链网络，从而有 效避免用户逾越授权范围以偷窥用户隐私的情况发生。

在一些实施例中，在将输出视频帧提供给用户终端的过程中，根据 用户终端发送的中断指示，中断边缘设备与区块链网络的连接。

例如，设置有上述边缘设备的无人机在某些场景下，会拍摄到较多 的用户隐私，边缘设备会生成大量的被掩模帧。在这种情况下，授权用 户给边缘设备发送指示，以触发边缘设备退出区块链网络，从而确保边 缘设备尽可能少地涉及用户隐私信息。

图3为本公开一个实施例的用于保护隐私的边缘设备的结构示意 图。如图3所示，边缘设备包括信息获取模块31、信息处理模块32、 隐私检测模块33和保护模块34。

信息获取模块31被配置为获取由摄像头采集的视频信息。

信息处理模块32被配置为对视频信息进行视频分割处理，以得到 原始视频帧。

隐私检测模块33被配置为检测原始视频帧中是否包括隐私信息。

例如，通过在边缘设备上加载经过训练的神经网络模型，根据预设 的隐私策略对原始视频帧进行检测，以确定该原始视频帧中是否包括隐 私信息。

保护模块34被配置为若原始视频帧中包括隐私信息，则对原始视 频帧中包括隐私信息的区域进行掩模处理以得到被掩模帧，并将被掩模 帧作为输出视频帧。

在一些实施例中，保护模块34利用预先生成的公钥生成图像掩模， 利用图像掩模遮挡原始视频帧中包括隐私信息的区域，以生成被掩模帧， 并将与公钥相对应的私钥发送给区块链节点进行存储。

保护模块34还被配置为若原始视频帧中不包括隐私信息，则将原 始视频帧作为输出视频帧。

在本公开上述实施例提供的用于保护隐私的方法中，边缘设备在检 测到视频帧中包括隐私信息的情况下，对包括隐私信息的区域进行掩模 处理，从而有效实现对隐私信息的保护。

在一些实施例中，当边缘设备的计算资源受限，不足以满足实时视 频分析的需求时，可以将边缘计算与雾计算进行混合，将至少一部分计 算任务加载到其近场的雾节点中，例如基站、笔记本电脑、平板电脑、 智能手机等。

在一些实施例中，保护模块34还进一步检测被掩模帧中是否包括 预设行为信息，若被掩模帧中包括预设行为信息，则将被掩模帧发送给 对应的区块链节点，以便区块链节点将被掩模帧存储到存储服务器中。

例如，预设行为可以是违法犯罪行为，通过将这些被掩模帧存储到 存储服务器中，可对日后的相关工作提供帮助。

在一些实施例中，保护模块34在接收到用户终端通过区块链网络 发送的访问请求后，从访问请求中提取出证书。根据证书判断用户终端 是否具有访问权限。若根据证书判断用户终端具有访问权限，则将输出 视频帧提供给用户终端进行播放。

也就是说，若证书表明用户终端具有访问边缘设备的权限，则用户 终端通过接入边缘设备，以便用户观看边缘设备输出的实时视频。由于 边缘设备将不涉及隐私信息的视频帧直接输出，因此用户看到的是没有 掩模的清晰帧。此外，边缘设备给涉及隐私信息的视频帧添加图像掩模， 因此用户看到的是被掩模帧。

在一些实施例中，若用户希望观看不带图像掩模的视频帧，则利用 用户终端向区块链节点发送私钥请求。区块链节点在对用户终端的权限 进行验证后，将用户终端所接入的边缘设备相关联的私钥发送给用户终 端。保护模块34在接收到用户终端提供的私钥后，则利用私钥去除输 出视频帧中的被掩模帧的图像掩模，以得到不包括图像掩模的视频帧。由此用户观看到的视频帧均不包括图像掩模。

在一些实施例中，保护模块34在将输出视频帧提供给用户终端的 过程中，检测所生成的被掩模帧的数量。若所生成的被掩模帧的数量大 于预设门限，则中断边缘设备与区块链网络的连接。

在一些实施例中，保护模块34在将输出视频帧提供给用户终端的 过程中，根据用户终端发送的中断指示，中断边缘设备与区块链网络的 连接。

图4为本公开另一个实施例的用于保护隐私的边缘设备的结构示意 图。如图4所示，边缘设备包括存储器41和处理器42。

存储器41用于存储指令，处理器42耦合到存储器41，处理器42 被配置为基于存储器存储的指令执行实现如图1或图2中任一实施例涉 及的方法。

如图4所示，该装置还包括通信接口43，用于与其它设备进行信 息交互。同时，该装置还包括总线44，处理器42、通信接口43、以及 存储器41通过总线44完成相互间的通信。

存储器41可以包含高速RAM存储器，也可还包括非易失性存储 器(non-volatilememory)，例如至少一个磁盘存储器。存储器41也可 以是存储器阵列。存储器41还可能被分块，并且块可按一定的规则组 合成虚拟卷。

此外，处理器42可以是一个中央处理器CPU，或者可以是专用集 成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电 路。

本公开同时还涉及一种计算机可读存储介质，其中计算机可读存 储介质存储有计算机指令，指令被处理器执行时实现如图1或图2中任 一实施例涉及的方法。

图5为本公开一个实施例的视频处理装置的结构示意图。如图5所 示，视频处理装置包括摄像头51和边缘设备52。边缘设备52为图3或 图4中任一实施例涉及的边缘设备。

图6为本公开一个实施例的用于保护隐私的系统的结构示意图。如 图6所示，该系统包括设置在区块链网络60中的区块链节点61、视频处 理装置62、存储服务器63。这里需要说明的是，区块链节点61、视频处 理装置62、存储服务器63的数量可根据需要进行调整。视频处理装置 62为图5中任一实施例涉及的视频处理装置。

区块链节点61被配置为将视频处理装置62发送的被掩模帧存储到 存储服务器63中，记录被掩模帧的访问信息和验证信息，并将被掩模 帧的访问信息和验证信息发送给区块链网络60中的其它区块链节点。

存储服务器63被配置为存储区块链节点发送的被掩模帧。

在一些实施例中，区块链节点61被配置为在接收到用户终端发送 的访问请求后，对用户终端进行身份验证，在身份验证通过后给用户终 端发布证书，以便用户终端利用证书获取指定视频处理装置62的输出 视频帧，或者获取存储服务器63中的指定被掩模帧。

用户终端通过身份验证后，利用区块链节点发布的证书访问指定视 频处理装置，以便用户观看实时视频信息，实时视频信息中包括没有图 像掩模的视频帧和具有图像掩模式的视频帧。此外，用户终端通过身份 验证后，还能利用区块链节点发布的证书访问存储服务器中的指定视频 帧被掩模帧。

这里需要说明的是，存储服务器63中存在的视频帧均为被掩模帧。 若用户希望观看不带图像掩模的视频帧，则利用用户终端向区块链节点 61发送私钥请求。区块链节点61在对用户终端的权限进行验证后，将 与指定被掩模帧相关联的私钥发送给用户终端。存储服务器63在接收 到用户终端提供的私钥后，则利用私钥去除指定被掩模帧中的图像掩模，以得到不包括图像掩模的视频帧。由此用户观看到的视频帧均不包括图 像掩模。

在一些实施例中，在上面所描述的功能单元模块可以实现为用于 执行本公开所描述功能的通用处理器、可编程逻辑控制器 (Programmable Logic Controller，简称：PLC)、数字信号处理器 (Digital Signal Processor，简称：DSP)、专用集成电路(Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻 辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当 组合。

本领域普通技术人员可以理解实现上述实施例的全部或部分步 骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成， 所述的程序可以存储于一种计算机可读存储介质中，上述提到的存 储介质可以是只读存储器，磁盘或光盘等。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的 或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技 术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理 和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适 于特定用途的带有各种修改的各种实施例。