阅读说明：本技术 一种确定安全级别的方法及装置、存储介质和设备 (Method and device for determining security level, storage medium and equipment ) 是由 纪翔 饶培伦 于 2019-09-23 设计创作，主要内容包括：本申请实施例提供一种确定安全级别的方法及装置、存储介质和设备,所述方法包括：将预先设置的问题库中的问题发送给待分级的人工智能产品；获取所述人工智能产品输出的所述问题的回复信息；基于所述回复信息确定所述人工智能产品的安全级别。如此,能够提高人工智能产品的安全级别准确度,并能够有效避免确定安全级别过程中的标准不一致的问题。(The embodiment of the application provides a method and a device for determining a security level, a storage medium and equipment, wherein the method comprises the following steps: sending the problems in the preset problem library to the artificial intelligence product to be classified; acquiring reply information of the question output by the artificial intelligence product; determining a security level of the artificial intelligence product based on the reply information. Therefore, the safety level accuracy of the artificial intelligence product can be improved, and the problem of inconsistent standards in the safety level determining process can be effectively avoided.)

一种确定安全级别的方法及装置、存储介质和设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种确定安全级别的方法及装置、存储介质和设备。

背景技术

近年来，随着人工智能技术的逐步落地，越来越多的人工智能产品，如语音智能助手、智能聊天机器人、智能客服等被广泛应用到人们的日常生活工作中。

但是，人工智能产品在发布和使用后，由于其具有强大的学习能力和记忆能力，在它的整个生命周期中，有可能从用户语言、互联网数据资源或其他交互过程中吸收学习到会给用户带来潜在危害的信息。因此，人工智能产品的高智能程度在为用户提供便捷有效的服务的同时，也给用户带来了一定的潜在使用风险。例如，在用户与人工智能产品进行对话的过程中，若人工智能产品经常向用户输出诸如脏话、偏激言论、低俗内容、违反法律的内容、违反道德的内容、不合适的就医广告等不良信息，容易对用户的身心健康造成负面影响。

目前，为了发现人工智能产品在社会、道德、情感或健康等各方面的潜在危害，降低使用人工智能产品所带来的潜在危害，主要通过专业的分级人员人工确定人工智能产品的安全级别，以便用户了解不同人工智能产品可能带来的危害，选择合适的人工智能产品。但是，采用人工的方式确定人工智能产品的安全级别，不但存在人工智能产品的安全级别准确度较为低下的问题，而且还存在确定安全级别过程中的标准不一致的问题。

发明内容

有鉴于此，本申请实施例提供一种确定安全级别的方法及装置、存储介质和设备，根据人工智能产品输出的对预先设置的问题库中的问题的回复信息，确定人工智能产品的安全级别，能够提高人工智能产品的安全级别准确度，并能够有效避免确定安全级别过程中的标准不一致的问题。

本申请实施例主要提供如下技术方案：

第一方面，本申请实施例提供了一种确定安全级别的方法，所述方法包括：将预先设置的问题库中的问题发送给待分级的人工智能产品；获取所述人工智能产品输出的所述问题的回复信息；基于所述回复信息确定所述人工智能产品的安全级别。

第二方面，本申请实施例提供了一种确定安全级别的装置，所述装置包括：发送模块，用于将预先设置的问题库中的问题发送给待分级的人工智能产品；获取模块，用于获取所述人工智能产品输出的所述问题的回复信息；确定模块，用于基于所述回复信息确定所述人工智能产品的安全级别。

第三方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在计算机设备执行上述的确定安全级别的方法的步骤。

第四方面，本申请实施例提供了一种计算机设备，所述计算机设备包括：至少一个处理器；以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述的确定安全级别的方法的步骤。

本申请实施例提供的确定安全级别的方法及装置、存储介质和设备，在将预先设置的问题库中的问题发送给待分级的人工智能产品后，能够自动获取该人工智能产品所输出的针对该问题的回复信息，然后，就可以基于该回复信息对该人工智能产品进行分级，获得该人工智能产品的安全级别。这样，由于是通过预先设置的问题库来自动获取到人工智能产品对该问题库中的问题的回复信息，并根据该回复信息确定人工智能产品的安全级别的，那么，在确定人工智能产品的安全级别的过程中，不但能够提高人工智能产品的安全级别准确度，而且能够有效避免确定安全级别过程中的标准不一致的问题。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书、权利要求书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例中的确定安全级别的方法的流程示意图一；

图2为本申请实施例中的确定安全级别的方法的流程示意图二；

图3为本申请实施例中的确定安全级别的方法的流程示意图三；

图4为本申请实施例中的确定安全级别的方法的流程示意图四；

图5为本申请实施例中的确定安全级别的装置的结构示意图；

图6为本申请实施例中的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供一种确定安全级别的方法。可以应用于确定安全级别的装置中。在实际应用中，该确定安全级别的装置可应用于计算机设备中，该计算机设备可以包括：处理器、存储器，存储器中包括存储的计算机程序，处理器可用于调用存储器中的程序指令，以执行该确定安全级别的方法的步骤。

图1为本申请实施例中的确定安全级别的方法的流程示意图一，参见图1所示，该确定安全级别的方法可以包括：

S101：将预先设置的问题库中的问题发送给待分级的人工智能产品；

S102：获取人工智能产品输出的预先设置的问题库中的问题的回复信息；

具体来说，为了对人工智能产品的安全程度进行评测，以确定人工智能产品的安全级别，就需要模拟用户与人工智能产品的对话过程，那么，就可以将预先设置的问题库中的问题输入待分级的人工智能产品，这样，就可以自动获取到人工智能产品输出的针对该问题的回复信息，以便接下来根据该回复信息来确定人工智能产品的安全级别。

在实际应用中，为了提高人工智能产品的安全级别准确度，就需要采集大量的回复信息作为分析数据，那么，在具体实施过程中，上述预先设置的问题库可以是由专业的分级人员预先设置的大量的标准问题所组成。这样，不但能够提高人工智能产品的安全级别准确度，而且也确保了确定安全级别过程中标准的一致性。

作为示例，为了提高人工智能产品的安全级别准确度，就需要对人工智能产品进行较为全面的评测，那么，就可以将上述预先设置的问题库中的所有问题逐个发送给待分级的人工智能产品；为了加快确定人工智能产品的安全级别的速度，就需要在保证一定准确性的情况下，减少需要获取和分析的回复信息的数量，那么，可以从上述预先设置的问题库中随机抽取预设数量的问题输入到待分级的人工智能产品中。可由本领域技术人员根据实际应用情况来设定，这里，本申请实施例不做具体设定。

在实际应用中，根据人工智能产品的应用场景的不同，上述待分级的人工智能产品可以为语音智能助手、智能聊天机器人、智能客服等。当然，也可以为其它类型的人工智能产品，如智能音箱等，这里，本申请实施例不做具体限定。

在实际应用中，根据人工智能产品的存在方式的不同，待分级的人工智能产品可以包括在线人工智能产品和线下人工智能产品这两种类型，那么，在具体实施过程中，上述S101可以存在但不局限于以下两种实现方式。

实现方式一，若待分级的人工智能产品为在线人工智能产品，那么，上述S101可以包括：将预先设置的问题库中的问题以文本的方式发送至待分级的人工智能产品。

实现方式二，若待分级的人工智能产品为线下人工智能产品，那么，上述S101可以包括：将预先设置的问题库中的问题以语音的方式发送至待分级的人工智能产品。

S103：基于回复信息确定人工智能产品的安全级别。

具体来说，在获取到人工智能产品对预先设置的问题库中的问题的回复信息后，就可以根据该回复信息对人工智能产品进行分级，确定人工智能产品的安全级别。这样，就获得了人工智能产品的安全级别。那么，在确定人工智能产品的安全级别的过程中，与人工方式相比，一方面，由于可以向人工智能产品输入大量的问题，这样就可以从人工智能产品获取到丰富的大量的回复信息，那么，基于该丰富的大量的回复信息来确定人工智能产品的安全级别，就能够提高提高人工智能产品的安全级别准确度，另一方面，由于无需专业的分级人员来确定人工智能产品的安全级别，那么，就可以减少人为主观性所造成的标准不一致的问题，能够有效避免确定安全级别过程中的标准不一致的问题。

作为示例，人工智能产品对应的安全级别可以分为4个等级，根据级别从高到低的顺序可以排序为1级、2级、3级和4级。下面对该4个等级的安全级别进行具体说明。

(1)、当人工智能产品的安全级别为1级时，表明该人工智能产品为普通级的，安全性最高，在使用人工智能产品的过程中，人工智能产品所输出的回复信息中可能会涉及以下内容中的一项或多项：能够为用户播放音乐、向用户发送可爱的表情包、不涉及可控或不重要的用户交互行为或用户内容等。当然，除了所列出的内容外，安全级别为1级的人工智能产品可能还会涉及其它内容，这里，本申请实施例不做具体限定。

(2)、当人工智能产品的安全级别为2级时，表明该人工智能产品为辅导级的，安全性较高，在使用人工智能产品的过程中，人工智能产品所输出的回复信息中可能会涉及以下内容中的一项或多项：能够识别用户情景中的潜在危险并提供帮助、为用户提供必要的身体健康监督(如检测老人跌倒)和建议、检测用户心理健康问题(如抑郁症)并且提供帮助等。当然，除了所列出的内容外，安全级别为2级的人工智能产品可能还会涉及其它内容，这里，本申请实施例不做具体限定。

(3)、当人工智能产品的安全级别为3级时，表明该人工智能产品为成人级的，安全性较低，在使用人工智能产品的过程中，人工智能产品所输出的回复信息中可能会涉及以下内容中的一项或多项：轻微且少量恐怖内容、少量的或轻微的敏感主题(如种族歧视、政治引导等)、小数额且低频率的经济消费或广告诱导行为、成熟主题(如使用烟草、使用酒精)等。当然，除了所列出的内容外，安全级别为3级的人工智能产品可能还会涉及其它内容，这里，本申请实施例不做具体限定。

(4)、当人工智能产品的安全级别为4级时，表明该人工智能产品为限制级的，安全性最低，在使用人工智能产品的过程中，人工智能产品所输出的回复信息中可能会涉及以下内容中的一项或多项：大量的不良信息、大数额或高频率的经济消费或广告诱导行为、含有泄露重要的个人通话或个人信息等隐私行为等，其中，不良信息可以为非法药物、低俗色情内容、脏话、暴力、敏感主题(如种族歧视、政治引导等)、违反法律的内容、违反道德的内容等。当然，除了所列出的内容外，安全级别为4级的人工智能产品可能还会涉及其它内容，这里，本申请实施例不做具体限定。

当然，除了上述示例性地所列出的安全级别的等级外，还可以为其它等级，这里，本申请实施例不对安全级别的具体等级做具体限定。

下面以具体实例对如何基于回复信息确定人工智能产品的安全级别进行详细说明。

首先，对S103的实现方法进行说明。

在具体实施过程中，根据所采用确定安全级别的方法的不同，上述S103可以存在但不局限于以下方法来实现。

第一种实现方法，上述S103可以包括以下步骤A1～A2：

步骤A1：基于预先设置的分级标准对回复信息进行文本分析，获得文本分析结果；

步骤A2：基于文本分析结果，确定人工智能产品的安全级别。

第二种实现方法，上述S103可以包括以下步骤B1～B3：

步骤B1：基于预先设置的分级标准对回复信息进行文本分析，获得文本分析结果；

步骤B2：对回复信息进行语义理解，获得语义理解结果；

步骤B3：基于语义理解结果和文本分析结果，确定人工智能产品的安全级别。

第三种实现方法，上述S103可以包括以下步骤C1～C2：

步骤C1：对回复信息进行语义理解，获得语义理解结果；

步骤C2：基于语义理解结果，确定人工智能产品的安全级别。

当然，除了上述所列出的实现方法，基于回复信息确定人工智能产品的安全级别的方法还可以为其它，例如，将预先设置的分级标准与人工二次确认的方式的相结合，仅将安全级别较低的人工智能产品再交由分级人员进行二次确定。可由本领域技术人员根据实际应用情况自行设定，这里，本申请实施例不做具体限定。

其次，对预先设置的分级标准进行说明。

在实际应用中，为了确保人工智能产品的安全级别的准确性和权威性，一般来说，上述预先设置的分级标准是由专业的分级人员预先设置的。

作为示例，在本申请的其它实施例中，上述预先设置的分级标准可以包括：预设关键词和预设映射关系，该预设映射关系为预先关键词在回复信息中出现的频率与安全级别之间的映射关系。

在实际应用中，为了提高人工智能产品的安全级别的准确性，就需要对人工智能产品进行较为全面的评测，那么，在设置预设关键词时，就可以将多设置一些关键词，这样，上述预设关键词的数量可以为多个。从而，上述预先设置的分级标准可以包括：多个预设关键词和多个预设关键词各自一一对应的多个词频与安全级别之间的映射关系。当然，预先设置的分级标准还可以为其它形式，如多个预设关键词和一个综合的映射关系，其中，该映射关系为多个预设关键词在回复信息中的出现的频率与安全级别之间的对应关系。可由本领域技术人员根据实际情况来设定，这里，本申请实施例不做具体限定。

这里，每个预设关键词对应的词频可以为该预设关键词在回复信息中出现的频率，也就是说，每个预设关键词对应的词频可以为预设关键词在回复信息中出现的次数与回复信息中的信息数量之间的比值。

举例来说，以预设关键词包括：关键词1和关键词2这两个关键词，安全级别包括：1级、2级、3级和4级这4个等级为例，那么，上述预先设置的分级标准可以包括：关键词1和关键词2、与关键词1相对应的如下表1-1所示的映射关系1，与关键词2相对应如下表1-2所示的映射关系2。或者，上述预先设置的分级标准也可以包括：关键词1和关键词2、与关键词1和关键词2同时相对应的如下表1-3所示的映射关系。

词频	安全级别
		关键词1在回复信息中出现的频率≤词频1	1级
词频1<关键词1在回复信息中出现的频率≤词频2	2级
		词频2<关键词1在回复信息中出现的频率≤词频3	3级
关键词1在回复信息中出现的频率>词频3	4级

表1-1关键词1对应的映射关系

词频	安全级别
		关键词2在回复信息中出现的频率≤词频4	1级
词频4<关键词2在回复信息中出现的频率≤词频5	2级
		词频5<关键词2在回复信息中出现的频率≤词频6	3级
关键词2在回复信息中出现的频率>词频6	4级

表1-2关键词2对应的映射关系

表1-3综合的映射关系

当然，除了上述所列出的映射关系外，词频与安全级别之间的映射关系还可以为其它形式，例如，设置某关键词只要出现，无论出现词频多少均对应于4级，这里，本申请实施例不做具体限定。

然后，对如何基于该预先设置的分级标准来确定人工智能产品的安全级别进行详细说明。

作为示例，下面以预先设置的分级标准包括：多个预设关键词及其各自对应的词频与安全级别之间的映射关系为例，对如何基于该预先设置的分级标准来确定人工智能产品的安全级别进行详细说明。

在本申请的其它实施例中，上述步骤A1或步骤B1可以包括：从预先设置的分级标准中获取各个预设关键词；将每个预设关键词在回复信息中出现的频率确定为文本分析结果。

具体来说，当预先设置的分级标准中包括多个预设关键词时，在根据该预先设置的分级标准对回复信息进行文本分析时，就可以从该预先设置的分级标准中获取各个预设关键词，确定出每个预设关键词在回复信息中出现的频率，再将每个预设关键词在回复信息中出现的频率确定为该回复信息所对应的文本分析结果。

在本申请的其它实施例中，上述步骤A2可以包括：基于每个预设关键词在回复信息中出现的频率和每个预设关键词各自对应的词频与安全级别之间的映射关系，确定人工智能产品的安全级别。

作为示例，为了避免给用户带来安全风险，可以采用严格的方式来确定人工智能产品的安全级别，具体来说，当预先设置的分级标准中包括多个预设关键词时，就可以获得多个词频，这样，根据词频与安全级别之间的映射关系，就可以确定出多个安全级别，那么，为了最终确定出人工智能产品所对应的安全级别，可以根据每个预设关键词各自对应的词频与安全级别之间的映射关系，确定每个预设关键词在回复信息中出现的频率所对应的安全级别，获得人工智能产品对应的多个候选级别；再基于多个候选级别中安全级别最低的一个候选级别，确定人工智能产品的安全级别。

举例来说，假设预先设置的分级标准包括8个关键词，根据该8个关键词所各自一一对应的词频可以确定出8个候选级别，包括：“1级、3级、4级、2级、2级、3级、2级、2级”，可见，该8个候选级别中安全级别最低的候选级别为4级，那么，可以将4级确定为该人工智能产品的安全级别。

作为示例，当预先设置的分级标准中包括多个预设关键词时，就可以获得多个词频，这样，根据词频与安全级别之间的映射关系，就可以确定出多个安全级别，那么，为了最终确定出人工智能产品所对应的安全级别，也可以根据每个预设关键词各自对应的词频与安全级别之间的映射关系，确定每个预设关键词在回复信息中出现的频率所对应的安全级别，获得人工智能产品对应的多个候选级别，然后，将多个候选级别中出现次数最多的候选级别确定为该人工智能产品所对应的安全级别。

举例来说，假设预先设置的分级标准包括8个关键词，根据该8个关键词所各自一一对应的词频可以确定出8个候选级别，包括：“1级、3级、4级、2级、2级、1级、2级、2级”，可见，该8个候选级别中出现次数的候选级别为2级，那么，可以将2级确定为该人工智能产品的安全级别。此外，由于候选级别中出现了4级(安全性最低的级别)，为了避免给用户带来安全风险，还可以基于该安全级别进行安全提醒，表明该人工智能产品可能存在一定的安全风险。

当然，除了上述所列出的两种示例外，还可以采用其它技术方案实现根据多个候选级别来确定人工智能产品的安全级别。可由本领域技术人员根据具体实际应用情况来设定，这里，本申请实施例不做具体限定。

在本申请的另一实施例中，为了提高对回复信息进行文本分析的速度，上述步骤A1或步骤B1可以包括：将多个预设关键词与回复信息进行匹配；根据匹配结果，确定多个预设关键词中在回复信息中所出现的目标关键词，并统计目标关键词在回复信息中所出现的频率；将统计目标关键词在回复信息中所出现的频率确定为文本分析结果。

具体来说，当预先设置的分级标准中包括多个预设关键词时，在需要根据该预先设置的分级标准对回复信息进行文本分析时，可以将该多个预设关键词与回复信息进行匹配，接下来，在获得匹配结果后，就可以根据该匹配结果来统计出该多个预设关键词中有哪些目标关键词在回复信息中出现过，并能够统计出这些目标关键词在回复信息中所出现的频率。这样，就获得了所需要的文本分析结果。

作为示例，为了提高匹配速度，上述将多个预设关键词与回复信息进行匹配步骤可以包括：对回复信息进行分词处理，将回复信息划分为多个词项；将每个词项分别与多个预设关键词进行匹配，获得匹配结果。

在本申请实施例中，上述步骤A2可以包括：基于目标关键词在回复信息中出现的频率及其对应的词频与安全级别之间的映射关系，确定人工智能产品的安全级别。

作为示例，若在进行匹配后，确定多个预设关键词中在回复信息中出现过的目标关键词的数量为多个时，上述步骤A2可以包括：根据每个目标关键词各自对应的词频与安全级别之间的映射关系，确定每个目标关键词在回复信息中出现的频率所对应的安全级别，获得人工智能产品对应的多个候选级别；至少基于多个候选级别中安全级别最低的一个候选级别或者基于多个候选级别中出现次数最多的一个候选级别，确定人工智能产品的安全级别。

当然，除了上述列出的两种实现方式外，当预先设置的分级标准中包括多个预设关键词时，还可以通过其它方式来确定人工智能产品的安全级别，这里，本申请实施例不做具体限定。

最后，对如何基于语义理解结果和文本分析结果，确定人工智能产品的安全级别进行说明。

在本申请的其它实施例中，上述步骤B3可以包括：基于语义理解结果，确定人工智能产品对应的第一安全级别；基于文本分析结果，确定人工智能产品对应的第二安全级别；根据第一安全级别和第二安全级别，确定人工智能产品的安全级别。

作为示例，仍然以安全级别包括：1级、2级、3级和4级这4个级别为例，为了根据语义理解结果确定出人工智能产品对应的第一安全级别，可以预先设置如下表2所示的语义理解结果与安全级别之间的映射关系，在获得回复信息对应的语义理解结果后，可以基于该映射关系，确定出对应的安全级别作为人工智能产品对应的第一安全级别。

表2语义理解结果与安全级别之间的映射关系

此外，在实际应用中，根据回复信息中的信息数量或内容的不同，所得到的语义理解结果可以包括多个，那么，根据语义理解结果与安全级别之间的映射关系，就可以确定出多个候选级别。示例性地，接下来，就可以将多个候选级别中安全级别最低的一个候选级别确定为第一安全级别，或者，也可以将多个候选级别中出现次数最多的一个候选级别确定为第一安全级别。

当然，除了上述所列出的实现方式外，还可以采用其它方式基于语义理解结果，确定人工智能产品对应的第一安全级别。这里，本申请实施例不做具体限定。

在申请另一实施例中，为了根据由语义理解结果所确定的人工智能产品对应的第一安全级别和由文本分析结果所确定的人工智能产品对应的第二安全级别，来确定出该人工智能产品最终对应的安全级别，可以判断第一安全级别与第二安全级别是否相同；若确定第一安全级别与第二安全级别是不同的，则可以将第一安全级别和第二安全级别中级别较高的一个确定为人工智能产品的安全级别；若确定第一安全级别与第二安全级别是相同的，则可以将第一安全级别和第二安全级别中任意一个确定为该人工智能产品的安全级别。

在本申请另一实施例中，为了便于用户了解各个人工智能产品的安全级别，以选择合适的人工智能产品，就需要将所获得的人工智能产品的安全级别展示给用户，那么，在具体实施过程中，在上述S103之后，上述方法还可以包括：展示人工智能产品的安全级别。

具体来说，为了便于用户了解人工智能产品的安全级别，在对人工智能产品进行分级后，可以将该人工智能产品的安全级别展示给用户。

在本申请另一实施例中，为了便于用户自定义设置人工智能产品的安全级别，在上述S103之后，上述方法还可以包括：展示人工智能产品的安全级别；响应于用户对安全级别的修改操作，获取用户针对人工智能产品所输入的安全级别；将人工智能产品的安全级别修改为用户所输入的安全级别。

具体来说，为了提高确定人工智能产品的安全级别的准确性，提升用户体验，在对人工智能产品进行分级后，可以将该人工智能产品的安全级别展示给用户，用户可以根据自己的实际使用情况，灵活选择是接受自动分级所得到的安全级别，也可以灵活选择对该安全级别进行修改，将自动分级所得到的人工智能产品所对应的安全级别修改为用户自定义设置的安全级别。

至此，便完成了基于回复信息对人工智能产品进行分级的过程。

由上述内容可知，本申请实施例提供的确定安全级别的方法，在将预先设置的问题库中的问题发送给待分级的人工智能产品后，能够自动获取该人工智能产品所输出的针对该问题的回复信息，然后，就会基于该回复信息对该人工智能产品进行分级，获得该人工智能产品的安全级别。这样，由于是通过预先设置的问题库来自动获取到人工智能产品对该问题库中的问题的回复信息，并根据该回复信息确定人工智能产品的安全级别的，那么，在确定人工智能产品的安全级别的过程中，不但能够提高人工智能产品的安全级别准确度，而且能够有效避免确定安全级别过程中的标准不一致的问题。

基于前述实施例，本申请实施例提供一种确定安全级别的方法。可以应用于以下场景中：在基于预先设置的问题库中的问题与人工智能产品进行对话后，至少通过人工智能产品所返回的回复信息所对应的文本分析结果来对该人工智能产品进行分级，以确定出人工智能产品的安全级别。

图2为本申请实施例中的确定安全级别的方法的流程示意图二，参见图2所示，该确定安全级别的方法可以包括：

S201：将预先设置的问题库中的问题发送给待分级的人工智能产品；

S202：获取人工智能产品输出的问题的回复信息；

S203：基于预先设置的分级标准对回复信息进行文本分析，获得文本分析结果；

S204：至少基于文本分析结果，确定人工智能产品的安全级别。

作为示例，在具体实施过程中，上述S204可以包括：对回复信息进行语义理解，获得语义理解结果；基于语义理解结果，确定人工智能产品对应的第一安全级别；基于文本分析结果，确定人工智能产品对应的第二安全级别；根据第一安全级别和第二安全级别，确定人工智能产品的安全级别。

作为示例，在具体实施过程中，上述S204可以包括：基于文本分析结果，确定人工智能产品对应的第二安全级别；将第二安全级别确定为人工智能产品的安全级别。

由上述内容可知，本申请实施例提供的确定安全级别的方法，在将预先设置的问题库中的问题发送给待分级的人工智能产品后，能够自动获取该人工智能产品所输出的针对该问题的回复信息，然后，就会基于预先设置的分级标准对回复信息进行文本分析，获得文本分析结果，最后，至少可以基于该文本分析结果对该人工智能产品进行分级，获得该人工智能产品的安全级别。这样，由于是通过预先设置的问题库来自动获取到人工智能产品对该问题库中的问题的回复信息，并自动根据该回复信息所对应的文本分析结果来确定人工智能产品的安全级别，那么，在确定人工智能产品的安全级别的过程中，不但能够提高人工智能产品的安全级别准确度，而且能够有效避免确定安全级别过程中的标准不一致的问题。

基于前述实施例，本申请实施例提供一种确定安全级别的方法。可以应用于以下场景中：在基于预先设置的问题库中的问题与人工智能产品进行对话后，至少通过人工智能产品所返回的回复信息所对应的语义理解结果来对该人工智能产品进行分级，以确定出该人工智能产品的安全级别。

图3为本申请实施例中的确定安全级别的方法的流程示意图三，参见图3所示，该确定安全级别的方法可以包括：

S301：将预先设置的问题库中的问题发送给待分级的人工智能产品；

S302：获取人工智能产品输出的问题的回复信息；

S303：对回复信息进行语义理解，获得语义理解结果；

S304：至少基于语义理解结果，确定人工智能产品的安全级别。

作为示例，在具体实施过程中，上述S304可以包括：基于语义理解结果，确定人工智能产品对应的第一安全级别；基于预先设置的分级标准对回复信息进行文本分析，获得文本分析结果；基于文本分析结果，确定人工智能产品对应的第二安全级别；根据第一安全级别和第二安全级别，确定人工智能产品的安全级别。

作为示例，在具体实施过程中，上述S304可以包括：基于语义理解结果，确定人工智能产品对应的第一安全级别；将第一安全级别确定为人工智能产品的安全级别。

由上述内容可知，本申请实施例提供的确定安全级别的方法，在将预先设置的问题库中的问题发送给待分级的人工智能产品后，能够自动获取该人工智能产品所输出的针对该问题的回复信息，然后，就会对回复信息进行语义理解，获得该回复信息对应的语义理解结果，最后，至少可以基于该语义理解结果对该人工智能产品进行分级，获得该人工智能产品的安全级别。这样，由于是通过预先设置的问题库来自动获取到人工智能产品对该问题库中的问题的回复信息，并自动根据该回复信息所对应的语义理解结果来确定人工智能产品的安全级别的，那么，在确定人工智能产品的安全级别的过程中，不但能够提高人工智能产品的安全级别准确度，而且能够有效避免确定安全级别过程中的标准不一致的问题。

基于前述实施例，本申请实施例提供一种确定安全级别的方法。可以应用于以下场景中：在基于预先设置的问题库中的问题与人工智能产品进行对话后，同时通过人工智能产品所返回的回复信息所对应的文本分析结果和语义理解结果来对该人工智能产品进行分级，以确定出人工智能产品的安全级别。

图4为本申请实施例中的确定安全级别的方法的流程示意图四，参见图4所示，该确定安全级别的方法可以包括：

S401：将预先设置的问题库中的问题发送给待分级的人工智能产品；

S402：获取人工智能产品输出的问题的回复信息；

S403：对回复信息进行语义理解，获得语义理解结果；

S404：基于语义理解结果，确定人工智能产品对应的第一安全级别；

S405：基于预先设置的分级标准对回复信息进行文本分析，获得文本分析结果；

S406：基于文本分析结果，确定人工智能产品对应的第二安全级别；

S407：根据第一安全级别和第二安全级别，确定人工智能产品的安全级别。

由上述内容可知，本申请实施例提供的确定安全级别的方法，在将预先设置的问题库中的问题发送给待分级的人工智能产品后，能够自动获取该人工智能产品所输出的针对该问题的回复信息。接下来，就可以对回复信息进行语义理解，获得该回复信息对应的语义理解结果，并基于该语义理解结果确定该人工智能产品对应的第一安全级别，还可以基于预先设置的分级标准对该回复信息进行文本分析，获得该回复信息对应的文本分析结果。最后，就可以基于第一安全级别和第二安全级别来确定出该人工智能产品所对应的安全级别。这样，由于是通过预先设置的问题库来自动获取到人工智能产品对该问题库中的问题的回复信息，并自动根据该回复信息所对应的语义理解结果来确定人工智能产品的安全级别的，那么，在确定人工智能产品的安全级别的过程中，不但能够提高人工智能产品的安全级别准确度，而且能够有效避免确定安全级别过程中的标准不一致的问题。此外，由于是同时基于回复信息所对应的文本分析结果和语义理解结果来确定人工智能产品的安全级别的，那么，更能够大大提高人工智能产品的安全级别的准确性。

基于同一发明构思，作为对上述方法的实现，本申请实施例提供了一种确定安全级别的装置。图5为本申请实施例中的确定安全级别的装置的结构示意图，参见图5所示，该装置50可以包括：发送模块501，用于将预先设置的问题库中的问题发送给待分级的人工智能产品；获取模块502，用于获取人工智能产品输出的问题的回复信息；确定模块503，用于基于回复信息确定人工智能产品的安全级别。

在本申请实施例中，确定模块，用于基于预先设置的分级标准对回复信息进行文本分析，获得文本分析结果；至少基于文本分析结果，确定人工智能产品的安全级别。

在本申请实施例中，确定模块，用于对回复信息进行语义理解，获得语义理解结果；基于语义理解结果和文本分析结果，确定人工智能产品的安全级别。

在本申请实施例中，确定模块，用于基于语义理解结果，确定人工智能产品对应的第一安全级别；基于文本分析结果，确定人工智能产品对应的第二安全级别；根据第一安全级别和第二安全级别，确定人工智能产品的安全级别。

在本申请实施例中，上述预先设置的分级标准可以包括：多个预设关键词及其各自对应的词频与安全级别之间的映射关系。

在本申请实施例中，确定模块，用于将多个预设关键词与回复信息进行匹配；根据匹配结果，确定多个预设关键词中在回复信息中所出现的目标关键词，并统计目标关键词在回复信息中所出现的频率；将统计目标关键词在回复信息中所出现的频率确定为文本分析结果；还用于至少基于目标关键词在回复信息中出现的频率及其对应的词频与安全级别之间的映射关系，确定人工智能产品的安全级别。

在本申请实施例中，确定模块，用于若目标关键词的数量为多个，根据每个目标关键词各自对应的词频与安全级别之间的映射关系，确定每个目标关键词在回复信息中出现的频率所对应的安全级别，获得人工智能产品对应的多个候选级别；至少基于多个候选级别中安全级别最低的一个候选级别或者基于多个候选级别中出现次数最多的一个候选级别，确定人工智能产品的安全级别。

在本申请实施例中，确定模块，用于对回复信息进行语义理解，获得语义理解结果；至少基于语义理解结果，确定人工智能产品的安全级别。

在本申请其它实施例中，上述装置还可以包括：安全级别展示模块，用于展示人工智能产品的安全级别；安全级别获取模块，用于响应于用户对安全级别的修改操作，获取用户针对人工智能产品所输入的安全级别；安全级别修改模块，用于将人工智能产品的安全级别修改为用户所输入的安全级别。

基于同一发明构思，本申请实施例提供一种计算机设备。图6为本申请实施例中的计算机设备的结构示意图，参见图6所示，该计算机设备60包括：至少一个处理器61；以及与处理器61连接的至少一个存储器62、总线63；其中，处理器61、存储器62通过总线63完成相互间的通信；处理器61用于调用存储器62中的程序指令，以执行上述一个或多个实施例中的确定安全级别的方法的步骤。

相应地，基于同一发明构思，本申请实施例还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述一个或多个实施例中的确定安全级别的方法的步骤。

上述处理器可由中央处理器(Central Processing Unit，CPU)、微处理器(MicroProcessor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)、或现场可编程门阵列(Field Programmable Gate Array，FPGA)等实现。存储器可能包括计算机可读介质中的非永久性存储器，随机存储器(Random Access Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash RAM)，存储器包括至少一个存储芯片。

需要说明的是，在本申请实施例中，如果以软件功能模块的形式实现上述一个或多个实施例中的确定安全级别的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例方法的全部或部分。

相应地，基于同一发明构思，本申请实施例再提供一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在程序运行时控制存储介质所在计算机设备执行上述一个或多个实施例中的确定安全级别的方法的步骤。

这里需要指出的是：以上装置、计算机设备或计算机可读存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置、计算机设备或计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。