具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

可以理解，本公开实施例所使用的术语“每个”、“多个”及“任一”等，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指对应的多个中的任意一个。举例来说，多个词语包括10个词语，而每个词语是指这10个词语中的每一个词语，任一词语是指10个词语中的任意一个词语。

图1示出了本公开实施例提供的敏感信息的处理方法所涉及的实施环境，参见图1，该实施环境包括：第一终端101、服务器102及第二终端103等。

其中，第一终端101为主播用户所使用的终端。该第一终端中安装有直播应用，基于所安装的直播应用，第一终端101采集主播用户在直播过程中的音视频数据，并将采集的音视频数据发送给服务器102，由服务器102发送给第二终端103。该第一终端101中可以安装有敏感信息检测模型，基于该敏感信息检测模型，第一终端101可在主播用户直播过程中，对采集到的主播用户的音视频数据进行敏感信息检测，并在检测到任一帧音视频数据中包含敏感信息时，对该敏感信息进行及时处理，避免包含敏感信息的音视频数据在网络上传播。通过在主播用户端对音视频数据进行敏感信息检测，大大降低了服务器102的处理压力，提高了服务器的性能，尤其是在直播场景下，服务器性能的提升能够大大改善观众用户的直播体验。当然，考虑到第一终端的101的计算能力有限，还可以不在第一终端端上进行敏感信息检测，而是在服务器端进行敏感信息的检测。

第二终端103为直播间的观众用户所使用的终端。该第二终端103中安装有直播应用，基于所安装的直播应用，第二终端103能够接收服务器102发送的主播用户的音视频数据。

第一终端101和第二终端103可以为智能手机、平板电脑、笔记本电脑、智能音箱、智能手表等，本公开实施例不对第一终端101和第二终端103的产品类型作具体的限定。

服务器102为直播应用的后台服务器，该服务器102可以为独立的物理服务器，也可以为多个物理服务器构成的服务器集群或者分布式系统等。该服务器102中可以安装有敏感信息检测模型，基于所安装的敏感信息检测模型，在接收到第一终端101发送的主播用户的音视频数据，服务器102能够对主播用户的音视频数据进行敏感信息检测，并在检测到任一帧音视频数据中包含敏感信息，对该敏感信息进行处理，从而避免包含敏感信息的音视频数据在网络上传播，有效地净化了网络环境。

上述第一终端101、第二终端103与服务器102之间可以通过有线或无线通信方式进行直接或间接地连接，本公开实施例不作具体的限定。

本公开实施例提供了一种敏感信息的处理方法，以电子设备执行本公开实施例为例，该电子设备为图1中的第一终端101或服务器102。参见图2，本公开实施例提供的方法流程包括：

201.获取主播用户在直播过程中的音视频数据。

主播用户在直播间内可以进行语音直播，也可以进行视频直播，当主播用户进行的是语音直播，则可以在主播用户的直播过程中，获取到音频数据；当主播用户进行的是视频直播，则可以在主播用户的直播过程中，获取到视频数据，该视频数据包括音频数据和图像数据。

202.针对每帧音视频数据进行敏感信息检测。

其中，敏感信息包括涉黄、涉政、涉暴等内容的信息。敏感信息的形式为敏感图像、敏感音频中至少一种。对于任一帧音视频数据，如果该音视频数据中的图像数据、音频数据中至少一项包含敏感信息，则可以确定该帧音视频数据中包含敏感信息。例如，当检测到该音视频数据的图像数据中包含敏感图像，音频数据中不包含敏感音频，则确定该音视频数据中包含敏感信息；又例如，当检测到该音视频数据的图像数据中不包含敏感图像，而音频数据中包含敏感音频，则可以确定该音视频数据中包含敏感信息；再例如，当检测到该音视频数据的图像数据中包含敏感图像，且音频数据中包含敏感音频，则可以确定该音视频数据中包含敏感信息。

203.当检测到任一帧音视频数据包含敏感信息，对音视频数据中的敏感信息进行处理，得到处理后的音视频数据。

为避免包含敏感信息的音视频数据在网络上传播，当检测到任一帧音视频数据包含敏感信息，电子设备会对该音视频数据中的敏感信息进行诸如模糊化、加噪等的处理，使得处理后的音视频数据中不包含敏感信息。即便处理后音视频数据在网络上传播，也不会产生不良影响。

204.将处理后的音视频数据发送至观众用户。

本公开实施例提供的方法，对直播过程中主播用户的音视频数据进行实时检测，并在检测到音视频数据中包含敏感信息，及时对该音视频数据中的敏感信息进行处理，从而避免包含敏感信息的音视频数据在网络上传播产生不良影响，有效地维护了网络环境。

本公开实施例提供了一种敏感信息的处理方法，以电子设备执行本公开实施例为例，该电子设备为图1中的第一终端101或服务器102。本公开实施例为例，参见图3，本公开实施例提供的方法流程包括：

301.电子设备获取主播用户在直播过程中的音视频数据。

当电子设备为第一终端，即由第一终端执行敏感信息检测操作，在主播用户的直播过程中，第一终端实时采集主播用户的音视频数据，并对采集到的音视频数据进行敏感信息检测；当电子设备为服务器，即由服务器执行敏感信息的检测操作，在主播用户的直播过程中，第一终端实时采集主播用户的音视频数据，并将采集到的音视频数据发送至服务器。

针对主播用户所进行的直播类型不同，电子设备所获取的音视频数据也是不同的，如果主播用户进行的是音频直播，则电子设备获取的是音频数据；如果主播用户进行的是视频直播，则电子设备获取的是视频数据。

302.电子设备针对每帧音视频数据进行敏感信息检测

为了更好地对主播用户的音视频数据进行检测，避免任一帧包含敏感信息的音视频数据在网络上传播造成不良影响，电子设备以帧为单位对主播用户的每帧音视频数据进行敏感信息检测。

在一种可能的实现方式中，电子设备可以预先存储敏感信息数据库，该敏感信息数据库包括敏感图像库和敏感音频库，该敏感图像库中存储有涉及到敏感信息的敏感图像，该敏感音频库中存储有涉及敏感信息的敏感音频。在对音视频数据进行敏感信息检测时，针对音视频数据中的图像数据，电子设备可将该图像数据与敏感图像库中的敏感图像进行匹配，当该图像数据与敏感图像库中任一敏感图像相匹配，则确定该图像数据包含敏感信息；针对音视频数据中的音频数据，电子设备可将该音频数据与敏感音频库中的敏感音频进行匹配，当该音频数据与敏感音频库中的敏感音频相匹配，则确定该音频数据包含敏感信息。

在另一种可能的实现方式中，电子设备中安装有敏感信息检测模型，该敏感信息检测模型可针对音视频数据中的全部类型的敏感信息或指定类型的敏感信息进行检测，该指定类型根据实际的应用场景确定，为实际应用场景中重点关注的信息类型。如果该敏感信息检测模型能够对音视频数据中的全部类型的敏感信息进行检测，则需要基于包含全部类型的敏感信息的音视频数据，对初始敏感信息检测模型进行训练，从而得到能够检测出全部类型的敏感信息的敏感信息检测模型；如果该敏感信息检测模型能够对音视频数据中指定类型的敏感信息进行检测，则需要基于包含指定类型的敏感信息的音视频数据，对初始敏感信息检测模型进行训练，从而得到能够检测出指定类型的敏感信息的敏感信息检测模型。基于所安装的敏感信息检测模型，电子设备将每帧音视频数据输入到敏感信息检测模型中，输出敏感信息检测结果。该敏感信息检测结果包括是否包含敏感信息，以及敏感信息的敏感等级、敏感分数等，该敏感等级和敏感分数可根据敏感信息的内容确定。如果敏感信息为敏感图像，该敏感信息检测结果还可以包括敏感图像区域，如果敏感信息为敏感音频，该敏感信息检测结果还可以包括敏感音频的起始时间、结束时间等。

本公开实施例提供的方法，当电子设备为第一终端时，通过在主播用户端进行敏感信息检测，大大减轻了服务器的处理压力，提升服务器的性能。另外，无论电子设备为第一终端还是服务器，在进行敏感信息检测时，本公开实施例均能根据检测需求构建具有不同检测功能的敏感信息检测模型，来满足不同检测场景的需求。尤其是在直播场景下，通过构建对指定类型的敏感信息进行检测的敏感信息检测模型，而无需对敏感信息进行全面检测，提升了对敏感信息的检测速度，缩短了检测时长。

303.当检测到任一帧音视频数据包含敏感信息，电子设备对音视频数据中的敏感信息进行处理，得到处理后的音视频数据。

在本公开的一个实施例中，当检测到任一帧音视频数据中包含敏感信息，电子设备将对该音视频数据中的敏感信息进行处理，得到处理后的音视频数据。具体处理过程为：

3031.电子设备获取敏感信息的敏感等级和敏感分数。

基于上述步骤302中电子设备对敏感信息进行检测得到的敏感信息检测结果，电子设备可从敏感信息检测结果中获取到敏感信息的敏感等级和敏感分数。

3032.电子设备根据敏感等级和敏感分数，确定敏感信息的风险程度。

电子设备基于敏感信息的敏感等级和敏感分数进行综合判断，如果敏感信息的敏感等级和敏感分数均较高，则可确定敏感信息的风险程度较高；如果敏感信息的敏感等级和敏感分数均较低，则可确定敏感信息的风险程度较低。

3033.电子设备按照与风险程度相应的处理方式，对敏感信息进行处理，得到处理后的音视频数据。

考虑到敏感信息包括敏感图像、敏感音频中至少一项，敏感信息的形式不同，电子设备对敏感信息的处理方式也是不同的。针对敏感信息的不同形式，电子设备按照与风险程度相应的处理方式，对敏感信息进行处理时，包括但不限于如下几种情况：

第一种情况、敏感信息为敏感图像

当敏感信息为敏感图像时，电子设备可对敏感图像进行模糊化或加噪处理，以使得敏感图像无法正常显示在各个观众用户的终端上，从而避免敏感图像在网络上传播。具体地，电子设备可根据敏感信息对应的风险程度，确定风险程度对应的模糊化或加噪程度，进而按照与风险程度相应的模糊化或加噪程度，对敏感图像进行模糊化或加噪处理，得到处理后的图像。例如，敏感图像对应的风险程度较高，则确定风险程度对应的模糊化或加噪程度较高，当按照与风险程度相应的模糊化或加噪程度，对敏感图像进行模糊化或加噪处理，处理后的图像中敏感区域被全部遮挡，观众用户完全看不出原来图像的内容；敏感图像对应的风险程度较低，则确定风险程度对应的模糊化或加噪程度较低，当按照与风险程度相应的模糊化或加噪程度，对敏感图像进行模糊化或加噪处理，处理后的图像中敏感图像区域只是变的模糊，观众用户隐约可以看出原来图像的内容。

第二种情况、敏感信息为敏感音频

当敏感信息为敏感音频时，电子设备可对敏感音频进行加噪或剪切处理，以使得敏感音频在各个观众用户的终端无法正常播放，从而避免敏感音频在网络上传播。具体地，电子设备可根据敏感信息对应的风险程度，确定风险程度相应的加噪或剪切程度，进而按照与风险程度相应的加噪或剪切程度，对敏感音频进行加噪或剪切处理，得到处理后的音频。例如，敏感音频对应的风险程度较高，则确定风险程度对应的加噪或剪切程度较大，当按照与风险程度相应的加噪或剪切程度，对敏感音频进行加噪或剪切处理，处理后的音频中的敏感片段全部被噪声干扰或剪切掉，观众用户完全听不到原来音频的内容；敏感音频对应的风险程度较低，则确定风险程度对应的加噪或剪切程度较低，当按照与风险程度相应的加噪或剪切程度，对敏感音频进行加噪或剪切处理，处理后的音频中的敏感片段部分被噪声干扰或剪切掉，观众用户能够断断续续听到原来音频的内容。

在本公开的另一个实施例中，当检测到音频数据中包含敏感信息，电子设备还可将涉及到敏感信息的音频数据替换掉，从而避免包含敏感信息的音视频数据在网络上传播。具体地，电子设备可从主播用户的历史音视频数据中，获取与音视频数据时长相同的目标音视频数据，进而将音视频数据替换为目标音视频数据，得到处理后的音视频数据。其中，主播用户的历史音视频数据可以为本次直播过程中主播用户的历史音视频数据，也可以为主播用户在历史直播过程中的历史音频数据。为了吸引观众用户继续观看主播用户的直播，电子设备可根据观看人数、虚拟物品的赠送数量等指标，从历史音视频数据中获取精彩音视频片段，进而从精彩音视频片段中获取与音视频数据时长相同的音视频数据，作为目标音视频数据。

304.电子设备将处理后的音视频数据发送至观众用户。

当采用本公开实施例提供的方法对包含敏感信息的音视频数据处理后，得到的处理后的音视频数据不再包含敏感信息，电子设备将该处理后的音视频数据发送至观众用户，在确保观众用户观看到主播用户的直播的前提下，避免了敏感信息的传播，有效地维护了网络环境。

由于电子设备可以为第一终端，也可以为服务器，针对不同类型的电子设备，处理后的音视频数据发送至观众用户的路径是不同的。当电子设备为第一终端时，第一终端将该处理后的音视频数据先发送至服务器，再由服务器将处理后的音视频数据发送至观众用户；当电子设备为服务器，服务器可直接将该处理后的音视频数据发送至观众用户。

进一步地，为了便于后续对发布敏感信息的主播用户进行追责，电子设备还将保存未经处理的原始的音视频数据。

305.电子设备将针对音视频数据的敏感信息检测结果进行上报。

考虑到电子设备的检测具有一定的局限性，而敏感信息的内容和形式变化多样，为避免电子设备误判，提高敏感信息检测结果的准确性，电子设备还将针对音视频数据的敏感信息检测结果进行上报，由后台的技术人员对该敏感信息检测结果进行人工复核。

在本公开的另一个实施例中，当技术人员的复核结果为该音视频数据中不包含敏感信息，技术人员可对处理后的音视频数据进行复原处理，得到该音视频数据的还原数据。为使观众能够观获知主播用户真实的直播内容，电子设备可向观众用户发送提示消息，以提示观众用户播放该处理后的音视频数据的还原数据。进一步地，为便于观众用户播放该音视频数据，电子设备可在提示消息中携带该处理后的音视频数据的还原数据的观看链接，观众用户通过点击该观看链接，即可播放处理后的音视频数据的还原数据。

在本公开的另一个实施例中，当技术人员的复核结果为该音视频数据中不包含敏感信息，为了提高敏感信息检测模型的检测准确性，电子设备还将根据音视频数据和复核结果，对该敏感信息检测模型进行优化，得到优化后的敏感信息检测模型，从而在后续在直播场景下可基于该优化后的敏感信息检测模型，对音视频数据进行敏感信息检测。

本公开实施例提供的方法，对直播过程中主播用户的音视频数据进行实时检测，并在检测到音视频数据中包含敏感信息，及时对该音视频数据中的敏感信息进行处理，从而避免包含敏感信息的音视频数据在网络上传播产生不良影响，有效地维护了网络环境。

参见图4，本公开实施例提供了一种敏感信息的处理装置，该装置包括：

获取模块401，用于获取主播用户在直播过程中的音视频数据；

检测模块402，用于针对每帧音视频数据进行敏感信息检测；

处理模块403，用于当检测到任一帧音视频数据包含敏感信息，对音视频数据中的敏感信息进行处理，得到处理后的音视频数据，该处理后的音视频数据中不包含敏感信息；

发送模块404，用于将处理后的音视频数据发送至观众用户。

在本公开的另一个实施例中，检测模块402，用于将每帧音视频数据输入到敏感信息检测模型中，输出敏感信息检测结果，该敏感信息检测模型用于针对音视频数据中全部类型的敏感信息或指定类型的敏感信息进行检测。

在本公开的另一个实施例中，处理模块403，用于获取敏感信息的敏感等级和敏感分数；根据敏感等级和敏感分数，确定敏感信息的风险程度；按照与风险程度相应的处理方式，对敏感信息进行处理，得到处理后的音视频数据。

在本公开的另一个实施例中，处理模块403，用于当敏感信息为敏感图像，对敏感图像进行不同程度的模糊化或加噪处理，得到处理后的图像；和/或，

处理模块403，用于当敏感信息为敏感音频，对敏感音频进行不同程度的加噪或剪切处理，得到处理后的音频。

在本公开的另一个实施例中，处理模块403，用于从主播用户的历史音视频数据中，获取与音视频数据时长相同的目标音视频数据；将音视频数据替换为目标音视频数据，得到处理后的音视频数据。

在本公开的另一个实施例中，该装置还包括：

上报模块，用于将针对音视频数据的敏感信息检测结果进行上报，该敏感信息检测结果用于进行人工复核。

在本公开的另一个实施例中，发送模块404，还用于当复核结果为音视频数据中不包含敏感信息，向观众用户发送提示消息，提示消息用于提示观众用户播放该处理后的音视频数据的还原数据。

在本公开的另一个实施例中，该装置还包括：

优化模块，用于当复核结果为音视频数据中不包含敏感信息，根据音视频数据和复核结果，对敏感信息检测模型进行优化，得到优化后的敏感信息检测模型。

综上，本公开实施例提供的装置，对直播过程中主播用户的音视频数据进行实时检测，并在检测到音视频数据中包含敏感信息，及时对该音视频数据中的敏感信息进行处理，从而避免包含敏感信息的音视频数据在网络上传播产生不良影响，有效地维护了网络环境。

图5示出了本公开一个示例性实施例提供的一种电子设备500的结构框图。通常，设备500包括有：处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本公开中方法实施例提供的敏感信息的处理方法。

在一些实施例中，电子设备500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：电源504。

外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

电源504用于为电子设备50中的各个组件进行供电。电源504可以是交流电、直流电、一次性电池或可充电电池。当电源504包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

本领域技术人员可以理解，图5中示出的结构并不构成对电子设备500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备500的处理器执行以完成上述视频处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开实施例提供的电子设备，对直播过程中主播用户的音视频数据进行实时检测，并在检测到音视频数据中包含敏感信息，及时对该音视频数据中的敏感信息进行处理，从而避免包含敏感信息的音视频数据在网络上传播产生不良影响，有效地维护了网络环境。

本公开实施例提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现敏感信息的处理方法。该计算机可读存储介质可以是非暂态的。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开实施例提供的计算机可读存储介质，对直播过程中主播用户的音视频数据进行实时检测，并在检测到音视频数据中包含敏感信息，及时对该音视频数据中的敏感信息进行处理，从而避免包含敏感信息的音视频数据在网络上传播产生不良影响，有效地维护了网络环境。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。