具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1所示，本发明提供一种文本处理方法，所述方法包括以下步骤：

S10，获取第一目标对象与第二目标对象形成的音频数据。作为示例，例如在客户咨询寿险项目时，可以获取客户与人工客服或智能客服进行语音对话时形成的对话语音；其中，第一目标对象可以是客户，第二目标对象可以是人工客服或智能客服。

S20，对所形成的音频数据进行识别，生成多个原始识别文本。作为示例，得到多个原始识别文本的过程可以包括：对对话形成的音频数据进行特征提取，然后利用预先训练的声学模型和语言模型对所提取出的音频特征数据进行解码，得到对应的识别文本；根据第一目标对象和/或第二目标对象对话时的停顿时间，将对应的识别文本分为多个原始识别文本。作为示例，例如可以从对话语音中提取出梅尔倒谱系数(Mel-Frequency CepstralCoefficient，MFCC)或者线性感知预测(Perceptual Linear Prediction，PLP)特征，然后使用混合高斯模型-隐马尔科夫模型(GMM-HMM)作为预先训练的声学模型来对提取出的音频特征数据进行解码，得到与对话语音所对应的识别文本；然后再根据客户和/或人工客服、智能客服对话时的停顿时间，将对应的识别文本分为多个原始识别文本。本实施例在进行语音识别之前，还可以通过VAD(Voice Activity Detection，语音活动检测)方法检测出对话语音中的噪声语音数据，在检测出噪声语音数据后，还可以利用最小均方自适应滤波器来对这些噪声语音数据进行降噪，从而可以得到不包含噪声语音数据的识别文本。

S30，将多个原始识别文本进行合并，形成合并文本。作为示例，本方法中对多个原始识别文本进行合并的方式可以是直接组合，即将多个原始识别文本直接组合形成一个合并文本。例如对某对话语音进行识别后，得到多个原始识别文本：P1，P2，P3…，PN；对这多个原始识别文本P1，P2，P3…，PN进行合并，得到合并文本P。具体地，如果有3个原始识别文本P1：“你好”，P2：“我是ABC”和P3：“请问你是”，则对这3个原始识别文本进行直接组合形成的合并文本P为：“你好我是ABC请问你是”。

S40，对合并文本中的每个文本字符进行序号标记，并以区间形式记录每个原始识别文本在合并文本中的开始序号和结束序号，得到每个原始识别文本的序号区间；其中，在对合并文本中的每个文本字符进行序号标记时，以零开始记录序号。作为示例，以步骤S30中的原始识别文本P1、P2和P3为例，原始识别文本P1(即“你好”)在合并文本P中的开始序号为0，结束序号为1；原始识别文本P2(即“我是ABC”)在合并文本P中的开始序号为2，结束序号为6；原始识别文本P3(即“请问你是”)在合并文本P中的开始序号为7，结束序号为10；以区间形式记录原始识别文本P1、P2和P3的开始序号和结束序号，则原始识别文本P1的序号区间为[0，1]，原始识别文本P2的序号区间为[2，6]，原始识别文本P2的序号区间为[7，10]。

S50，关联所有原始识别文本的序号区间，形成目标字典。作为示例，以步骤S40中的原始识别文本P1、P2和P3的序号区间为例，则目标字典D为：{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}。

S60，从合并文本中随机截取部分文本或全部文本进行目标文本识别，并在完成目标文本识别后，分别确定截取文本的开始序号和结束序号在目标字典中的区间位置，以及根据截取文本的区间位置确定截取文本横跨原始识别文本的文本段落数量。作为示例，例如可以从合并文本P中随机截取一段文本，得到对应的截取文本T；对截取文本T进行目标文本识别，同时记录截取文本T在合并文本P中的开始序号N1和结束序号N2。若当前时刻的截取文本T为：“好我是ABC请问你是”，则当前时刻的截取文本T(即“好我是ABC请问你是”)在合并文本P中的开始序号N1为1，结束序号N2为9，则当前时刻的截取文本T横跨的段落数量为3，即横跨了原始文本P1、P2和P3。在本实施例中，目标文本包括但不限于不符合目标场景要求的违规文本；所述目标场景包括但不限于寿险、车险等。在进行寿险项目咨询时，对应的目标场景就是寿险场景；在进行车险项目咨询时，对应的目标场景就是车险场景。在寿险场景中，违规文本可以是违反法律法规的文本、违反道德规定的文本、带有辱骂性质的文本等，本方法中的违规文本可以利用人工根据目标场景进行预先确定，此处不再进行赘述。

S70，将文本段落数量与预设阈值进行比较，并根据比较结果对截取文本进行段落切分，获取对应的段落切分结果。

本方法通过采用目标字典的方式来有效记录原始识别文本的段落信息，并根据截取文本的开始序号、结束序号准确还原截取文本的段落信息；在还原截取文本的段落信息的过程中，通过记录截取文本横跨原始识别文本的段落数，然后根据横跨的段落数量自动采取不同的处理方式来得到最终的段落切分结果。本方法在截取文本横跨不同的段落数时，可以提供的不同切分方法来得到对应的段落切分结果，而且通过本方法中记载的切分方法来对截取文本进行段落切分，不仅不会让得到的段落切分结果与原始识别文本存在差异，并且在截取文本中存在重复的段落或文本时，本方法也仅完成一次切分，而不需要在完成切分后还需要再根据原始识别文本来对切分结果进行再次确认。所以，与现有技术中循环判断原始段落的方法相比，本方法在效率上也有较大的提升，准确率也较高，并且也无需担心截取文本和原始识别文本多段重复等意料之外的情况对于分段时的干扰。

根据上述记载，在一示例性实施例中，根据比较结果对所述截取文本进行段落切分，获取对应的段落切分结果的过程包括：若所述文本段落数量大于等于第一阈值，则根据所述截取文本中包含的完整原始识别文本来对所述截取文本进行切分，并将切分后的若干个文本段落作为对应的段落切分结果。若所述文本段落数量等于第二阈值，则对所述截取文本添加标记符，并利用所添加的标记符来对所述截取文本进行切分，并将切分后的若干个文本段落作为对应的段落切分结果。若所述文本段落数量等于第三阈值，则不对所述截取文本进行切分，并将所述截取文本直接作为段落切分结果。其中，所述第一阈值大于所述第二阈值，所述第二阈值大于所述第三阈值。作为示例，如图2所示，以上述的原始文本P1(即“你好”)、P2(即“我是ABC”)、P3(即“请问你是”)、合并文本P(即“你好我是ABC请问你是”)、截取文本T(即“好我是ABC请问你是”)、截取文本T在合并文本P的开始序号N1和结束序号N2、以及对应的目标字典D(即“{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}”)为例。由于此时的截取文本T在合并文本P中的开始序号N1为1，结束序号N2为9，则可知此时的截取文本T的开始序号N1＝1位于目标字典D中的区间[0，1]内，此时的截取文本T的结束序号N2＝9位于目标字典D中的区间[7，10]内；即此时的截取文本T的开始序号N1位于目标字典D中原始识别文本P1的区间内，此时截取文本T的结束序号N2位于目标字典D中原始识别文本P3的区间内；所以此时的截取文本T横跨的文本段落数量N为3，即此时的截取文本T横跨了原始识别文本P1、P2和P3。在本实施例中，第一阈值、第二阈值和第三阈值可以根据实际情况进行设定，本申请不对其进行数值限定。作为一个示例，本实施例可以选择将第一阈值设置为3，第二阈值设置为2，第三阈值设置为1。

在一示例性实施例中，如图3所示，步骤S60对截取文本进行目标文本识别的过程包括：

S610，获取与合并文本处于相同场景下的参考文本。作为示例，其中，在进行寿险项目咨询时，对应的目标场景就是寿险场景；在进行车险项目咨询时，对应的目标场景就是车险场景。参考文本是指用来进行对所截取的文本进行目标文本识别时的参考词汇、中文句对等；例如在寿险场景中，参考文本可以是“跳楼”、“自杀”、“抢劫”等。在进行健康咨询场景中，所述目标文本还可以是电子病历文本、医疗文献文本、医疗仪器名称、医疗机构名称中的关键词。例如，目标文本可以是电子病历文本中的呼吸道、呼吸道感染、呼吸膜、动脉血氧分压、支气管炎、哮喘、呼吸衰竭、肺炎等关键词。

S620，对参考文本进行词性标注，获取参考文本中的名词和代词，以及利用依存句法分析方法从参考文本中的名词和代词中抽取出参考文本中的实体，作为参考实体。具体地，通过对参考文本词性标注、并依存句法分析的方式，使用Pyltp与Hanlp开源库，将参考文本中的名词和代词提取出来。其中，Pyltp与Hanlp分别是哈工大与Hankcs发布的基础自然语言处理库，用于词性标注和实体抽取。实现步骤：1.参考文本的文章分片段：按断句标点符号进行断句。设置片段长度；2.调用Pyltp与Hanlp这两个库中的词性标注(POS)与依存句法分析(DP)模块对参考文本进行词性标注和实体抽取，词性标注和实体抽取的结果以json形式返回解析结果。需要说明的是，对于词性标注，只保留词性标注标签中含有n的词，即各种类的名词，例如n＝一般名词，ni＝组织机构词，nl＝地点词，ns＝地理位置词，nt＝时间词，以及代词p。标注方式举例：我咨询寿险＝(我，p)、(寿险，n)。依存句法分析，使用主-谓-宾(SBV)关系，会在参考文本中的句子中对应单词上作标注，例如“我咨询寿险”标注为(我，Subject)、(咨询，Predict)、(寿险，Object)，将提取到的名词对应到主语和宾语成分上，将在句子里不满足这两个成分的名词删除。需要说明的是，同时使用Pyltp和Hanlp是为了避免一个库识别不全的情况，两者结果能够提高实体的识别和抽取精度。其中，依存句法分析是由法国语言学家L.Tesniere最先提出，它将句子分析成一棵依存句法树，描述出各个词语之间的依存关系，也即指出了词语之间在句法上的搭配关系，这种搭配关系是和语义相关联的。在本发明中，通过依存句法分析的方式，可以抽取出训练文本中的实体。

S630，对截取文本进行词性标注，获取截取文本中的名词和代词，以及利用依存句法分析方法从截取文本中的名词和代词中抽取出截取文本中的实体，作为待比对实体。截取文本的词性标注和待比对实体的抽取过程参见上述参考文本，此处不再进行赘述。

S640，计算参考实体与待比对实体的相似度，并将计算出的相似度结果与预设相似度阈值进行比对；若所计算出的相似度大于等于预设相似度阈值，则认为截取文本中存在目标文本；若所计算出的相似度小于预设相似度阈值，则认为截取文本中不存在目标文本。具体地，计算待比对实体和参考实体的相似度，有：

SimSha(S1，S2)＝Count(S1∩S2)/(Count(S1)+Count(S2))；

其中，S1为待比对实体，S2为参考实体，S1∩S2表示实体待比对实体S1和参考实体S2所包含的相同的词，Count(S1)表示待比对实体中词的个数，Count(S2)表示参考实体中词的个数，SimSha(S1，S2)表示待比对实体S1和参考实体S2的相似度。若SimSha(S1，S2)大于等于预设相似度阈值，则认为截取文本中存在目标文本；若SimSha(S1，S2)小于预设相似度阈值，则认为截取文本中不存在目标文本。作为示例，本实施例中的预设相似度阈值可以根据目标场景的识别精度进行设定，例如可以设置为75％，也可以设置为80％，还可以设置为其他数值。本方法中的目标文本即是一些实施例中的违规文本。

在一示例性实施例中，以原始文本P1(即“你好”)、P2(即“我是ABC”)、P3(即“请问你是”)、合并文本P(即“你好我是ABC请问你是”)、截取文本T(即“好我是ABC请问你是”)、截取文本T在合并文本P的开始序号N1和结束序号N2、目标字典D(即“{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}”)、以及横跨的文本段落数量N为例。此时的截取文本T横跨的文本段落数量N为3，即此时的截取文本T横跨了原始识别文本P1、P2和P3，并包含有完整的原始识别文本P2。当第一阈值为3时，此时的截取文本T横跨的文本段落数量N等于第一阈值，则根据此时的截取文本T所包含的完整原始识别文本来将截取文本T切分为若干个文本段落，并得到对应的段落切分结果R的过程可以是：根据原始识别文本P2来将此时的截取文本T重新切分为3个文本段落，即文本段落“好”、“我是ABC”和“请问你”；将切分出的3个文本段落作为对应的段落切分结果，则此时的段落切分结果R为：“好”、“我是ABC”和“请问你”。作为另一示例，若将对话语音进行转换后形成了至少5个原始识别文本，且该状态下的截取文本T横跨了其中的5个原始识别文本，则该状态下的截取文本T至少包含有3个完整的原始识别文本，此时可以利用这3个完整的原始识别文本将该状态下的截取文本T重新切分为5个文本段落，然后得到对应的段落切分结果R。

在一示例性实施例中，若所述文本段落数量等于第二阈值，则对所述截取文本进行切分的过程包括：若所述文本段落数量等于第二阈值，则利用预设的标记符连接所述截取文本横跨的每个原始识别文本，得到对应的连接文本；在所述截取文本中的每个字符后面添加所述标记符，并将添加标记符后的文本记为标记文本；其中，每个标记文本中至少包括一个标记符；对所述截取文本中的倒数第二个字符完成所述标记符的添加后，判断是否存在某个标记文本为所述连接文本的子串；若存在某个标记文本为所述连接文本的子串，则通过所述标记符对所述截取文本进行切分，并将切分后的若干个文本段落作为对应的段落切分结果。

作为示例，以原始文本P1(即“你好”)、P2(即“我是ABC”)、P3(即“请问你是”)、合并文本P(即“你好我是ABC请问你是”)、目标字典D(即“{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}”)为例。若此时的截取文本T为：“好我是AB”，则由上述实施例可知，此时的截取文本T(即“好我是AB”)在合并文本P中的开始序号N1为1，结束序号N2为5；所以，此时的截取文本T(即“好我是AB”)的开始序号N1＝1位于区间[0，1]内，此时的截取文本T的结束序号N2＝5位于区间[2，6]内；即此时的截取文本T(即“好我是AB”)的开始序号N1位于目标字典D中原始识别文本P1的区间内，结束序号N2位于目标字典D中原始识别文本P2的区间内；相当于此时的截取文本T横跨的文本段落数量N为2，即此时的截取文本T横跨了原始识别文本P1和原始识别文本P2。若本实施例中的第二阈值为2时，则通过预设的标记符(例如换行符“\n”)连接原始识别文本P1和原始识别文本P2，得到连接文本NP：“你好\n我是ABC”；从截取文本T的第一个文本字符开始，分别在此时的截取文本T中的每个文本字符后面添加对应的标记符(例如换行符“\n”)，直至添加至截取文本T的倒数第二个文本字符。本实施例将在截取文本T中对应字符后添加标记符后的文本记为标记文本NT，所以，本实施例通过对截取文本T中的字符完成标记符的添加后，可以得到多个标记文本NT。其中，在对截取文本T添加标记符时，每次仅添加一个标记符，即每个标记文本NT中仅包含一个标记符。例如以此时的截取文本T：“好我是AB”为例，开始对其添加标记符时，得到对应的标记文本NT为：“好\n我是AB”，再对其添加标记符时，得到对应的标记文本NT为：“好我\n是AB”，对此时的截取文本倒数第二个字符添加标记符时，得到对应的标记文本NT为：“好我是A\nB”。依次判断完成标记符添加后的每个标记文本NT是否为连接文本NP的子串，即判断标记文本NT是否在连接文本NP中存在相同的文本。若某个标记文本NT为连接文本的子串，则通过对应的标记符对该标记文本NT进行切分，得到对应的段落切分结果R。在本实施例中，由于截取文本T为合并文本P的子串，且合并文本P是由原始识别文本P1和P2合并得到，则必然存在一个标记文本NT是连接文本NP的子串。即在本实施例中，存在标记文本NT：“好\n我是AB”是连接文本NP：“你好\n我是ABC”的子串。所以，根据标记符“\n”对标记文本NT进行切分后，可以得到此时的段落切分结果R为：“好”、“我是AB”。

在一示例性实施例中，若所述文本段落数量等于第三阈值，则不对所述截取文本进行切分，并将所述截取文本直接作为段落切分结果。作为示例，以原始文本P1(即“你好”)、P2(即“我是ABC”)、P3(即“请问你是”)、合并文本P(即“你好我是ABC请问你是”)、目标字典D(即“{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}”)为例。若此时的截取文本T为：“ABC”，则由上述实施例可知，此时的截取文本T(即“ABC”)的开始序号N1为4，结束序号N2为6。所以，此时的截取文本T(即“ABC”)的开始序号N1＝4位于区间[2，6]内，结束序号N2＝6也位于区间[2，6]内；即此时的截取文本T(即“ABC”)的开始序号N1位于目标字典D中原始识别文本P2的区间内，结束序号N2也位于目标字典D中原始识别文本P2的区间内，此时的截取文本T横跨的文本段落数量N为1，即此时的截取文本T仅位于原始识别文本P2中。若第三阈值为1时，则此时的截取文本T不需要重新进行分段，其对应的段落切分结果R为此时截取文本T所对应的文本，即此时的段落切分结果R为：“ABC”。

综上所述，本发明提供一种文本处理方法，通过采用目标字典的方式来有效记录原始识别文本的段落信息，并根据截取文本的开始序号、结束序号准确还原截取文本的段落信息；在还原截取文本的段落信息的过程中，通过记录截取文本横跨的段落数，然后根据横跨的不同段落数自动采取不同的处理方式来得到最终的段落切分结果。本方法在截取文本横跨不同的段落数时，可以提供的不同切分方法来得到对应的段落切分结果，而且通过本方法中记载的切分方法来对截取文本进行段落切分，不仅不会让得到的段落切分结果与原始识别文本存在差异，并且在截取文本中存在重复的段落或文本时，本方法也仅完成一次切分，而不需要在完成切分后还需要再根据原始识别文本来对切分结果进行再次确认。所以，与现有技术中循环判断原始段落的方法相比，本方法在效率上也有较大的提升，准确率也较高，并且也无需担心截取文本和原始识别文本多段重复等意料之外的情况对于分段时的干扰。同时，本方法的整个技术方案思路简洁、清晰，通信步骤数少于现有技术，使得本方法可以以较少步骤完成更多技术功能，实现更多技术效果。

如图4所示，本发明还提供一种文本处理系统，包括有：

音频采集模块M10，用于获取第一目标对象与第二目标对象形成的音频数据。作为示例，例如在客户咨询寿险项目时，可以获取客户与人工客服或智能客服进行语音对话时形成的对话语音；其中，第一目标对象可以是客户，第二目标对象可以是人工客服或智能客服。

音频识别模块M20，用于对所述音频数据进行识别，生成多个原始识别文本。作为示例，得到多个原始识别文本的过程可以包括：对对话形成的音频数据进行特征提取，然后利用预先训练的声学模型和语言模型对所提取出的音频特征数据进行解码，得到对应的识别文本；根据第一目标对象和/或第二目标对象对话时的停顿时间，将对应的识别文本分为多个原始识别文本。作为示例，例如可以从对话语音中提取出梅尔倒谱系数(Mel-Frequency Cepstral Coefficient，MFCC)或者线性感知预测(Perceptual LinearPrediction，PLP)特征，然后使用混合高斯模型-隐马尔科夫模型(GMM-HMM)作为预先训练的声学模型来对提取出的音频特征数据进行解码，得到与对话语音所对应的识别文本；然后再根据客户和/或人工客服、智能客服对话时的停顿时间，将对应的识别文本分为多个原始识别文本。本实施例在进行语音识别之前，还可以通过VAD(Voice Activity Detection，语音活动检测)方法检测出对话语音中的噪声语音数据，在检测出噪声语音数据后，还可以利用最小均方自适应滤波器来对这些噪声语音数据进行降噪，从而可以得到不包含噪声语音数据的识别文本。

文本合并模块M30，用于对所述多个原始识别文本进行合并，形成合并文本。作为示例，本系统中对多个原始识别文本进行合并的方式可以是直接组合，即将多个原始识别文本直接组合形成一个合并文本。例如对某对话语音进行识别后，得到多个原始识别文本：P1，P2，P3…，PN；对这多个原始识别文本P1，P2，P3…，PN进行合并，得到合并文本P。具体地，如果有3个原始识别文本P1：“你好”，P2：“我是ABC”和P3：“请问你是”，则对这3个原始识别文本进行直接组合形成的合并文本P为：“你好我是ABC请问你是”。

文本标记模块M40，用于对所述合并文本中的每个文本字符进行序号标记，并以区间形式记录每个原始识别文本在所述合并文本中的开始序号和结束序号，得到每个原始识别文本的序号区间；其中，在对合并文本中的每个文本字符进行序号标记时，以零开始记录序号。作为示例，以步骤S30中的原始识别文本P1、P2和P3为例，原始识别文本P1(即“你好”)在合并文本P中的开始序号为0，结束序号为1；原始识别文本P2(即“我是ABC”)在合并文本P中的开始序号为2，结束序号为6；原始识别文本P3(即“请问你是”)在合并文本P中的开始序号为7，结束序号为10；以区间形式记录原始识别文本P1、P2和P3的开始序号和结束序号，则原始识别文本P1的序号区间为[0，1]，原始识别文本P2的序号区间为[2，6]，原始识别文本P2的序号区间为[7，10]。

序号区间关联模块M50，用于关联所有原始识别文本的序号区间，形成目标字典。作为示例，以文本标记模块M40中的原始识别文本P1、P2和P3的序号区间为例，则目标字典D为：{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}。

文本识别模块M60，用于从所述合并文本中随机截取部分文本或全部文本进行目标文本识别。作为示例，例如可以从合并文本P中随机截取一段文本，得到对应的截取文本T，然后再对截取文本T进行目标文本识别。在本实施例中，目标文本包括但不限于不符合目标场景要求的违规文本；所述目标场景包括但不限于寿险、车险等。在进行寿险项目咨询时，对应的目标场景就是寿险场景；在进行车险项目咨询时，对应的目标场景就是车险场景。在寿险场景中，违规文本可以是违反法律法规的文本、违反道德规定的文本、带有辱骂性质的文本等，本系统中的违规文本可以利用人工根据目标场景进行预先确定，此处不再进行赘述。

文本段落模块M70，用于在完成目标文本识别后，分别确定截取文本的开始序号和结束序号在所述目标字典中的区间位置，以及根据所述截取文本的区间位置确定所述截取文本横跨原始识别文本的文本段落数量。作为示例，当前时刻的截取文本T为：“好我是ABC请问你是”，则当前时刻的截取文本T(即“好我是ABC请问你是”)在合并文本P中的开始序号N1为1，结束序号N2为9，则当前时刻的截取文本T横跨的段落数量为3，即横跨了原始文本P1、P2和P3。

段落切分模块M80，用于将所述文本段落数量与预设阈值进行比较，并根据比较结果对所述截取文本进行段落切分，获取对应的段落切分结果。

本系统通过采用目标字典的方式来有效记录原始识别文本的段落信息，并根据截取文本的开始序号、结束序号准确还原截取文本的段落信息；在还原截取文本的段落信息的过程中，通过记录截取文本横跨原始识别文本的段落数，然后根据横跨的段落数量自动采取不同的处理方式来得到最终的段落切分结果。本系统在截取文本横跨不同的段落数时，可以提供的不同切分方法来得到对应的段落切分结果，而且通过本系统中记载的切分方法来对截取文本进行段落切分，不仅不会让得到的段落切分结果与原始识别文本存在差异，并且在截取文本中存在重复的段落或文本时，本系统也仅完成一次切分，而不需要在完成切分后还需要再根据原始识别文本来对切分结果进行再次确认。所以，与现有技术中循环判断原始段落的系统相比，本系统在效率上也有较大的提升，准确率也较高，并且也无需担心截取文本和原始识别文本多段重复等意料之外的情况对于分段时的干扰。

根据上述记载，在一示例性实施例中，如图5所示，段落切分模块M80包括有第一切分单元D100、第二切分单元D200和第三切分单元D300。所述第一切分单元D100用于在所述文本段落数量大于等于第一阈值时，根据所述截取文本中包含的完整原始识别文本来对所述截取文本进行切分，并将切分后的若干个文本段落作为对应的段落切分结果。所述第二切分单元D200用于在所述文本段落数量等于第二阈值时，对所述截取文本添加标记符，并利用所添加的标记符来对所述截取文本进行切分，并将切分后的若干个文本段落作为对应的段落切分结果。所述第三切分单元D300用于在所述文本段落数量等于第三阈值时，将所述截取文本直接作为段落切分结果。其中，所述第一阈值大于所述第二阈值，所述第二阈值大于所述第三阈值。作为示例，如图2所示，以上述的原始文本P1(即“你好”)、P2(即“我是ABC”)、P3(即“请问你是”)、合并文本P(即“你好我是ABC请问你是”)、截取文本T(即“好我是ABC请问你是”)、截取文本T在合并文本P的开始序号N1和结束序号N2、以及对应的目标字典D(即“{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}”)为例。由于此时的截取文本T在合并文本P中的开始序号N1为1，结束序号N2为9，则可知此时的截取文本T的开始序号N1＝1位于目标字典D中的区间[0，1]内，此时的截取文本T的结束序号N2＝9位于目标字典D中的区间[7，10]内；即此时的截取文本T的开始序号N1位于目标字典D中原始识别文本P1的区间内，此时截取文本T的结束序号N2位于目标字典D中原始识别文本P3的区间内；所以此时的截取文本T横跨的文本段落数量N为3，即此时的截取文本T横跨了原始识别文本P1、P2和P3。在本实施例中，第一阈值、第二阈值和第三阈值可以根据实际情况进行设定，本申请不对其进行数值限定。作为一个示例，本实施例可以选择将第一阈值设置为3，第二阈值设置为2，第三阈值设置为1。

在一示例性实施例中，文本识别模块对截取文本进行目标文本识别的过程包括：

获取与合并文本处于相同场景下的参考文本；作为示例，其中，在进行寿险项目咨询时，对应的目标场景就是寿险场景；在进行车险项目咨询时，对应的目标场景就是车险场景。参考文本是指用来进行对所截取的文本进行目标文本识别时的参考词汇、中文句对等；例如在寿险场景中，参考文本可以是“跳楼”、“自杀”、“抢劫”等。在进行健康咨询场景中，所述目标文本还可以是电子病历文本、医疗文献文本、医疗仪器名称、医疗机构名称中的关键词。例如，目标文本可以是电子病历文本中的呼吸道、呼吸道感染、呼吸膜、动脉血氧分压、支气管炎、哮喘、呼吸衰竭、肺炎等关键词。

对参考文本进行词性标注，获取参考文本中的名词和代词，以及利用依存句法分析系统从参考文本中的名词和代词中抽取出参考文本中的实体，作为参考实体。具体地，通过对参考文本词性标注、并依存句法分析的方式，使用Pyltp与Hanlp开源库，将参考文本中的名词和代词提取出来。其中，Pyltp与Hanlp分别是哈工大与Hankcs发布的基础自然语言处理库，用于词性标注和实体抽取。实现步骤：1.参考文本的文章分片段：按断句标点符号进行断句。设置片段长度；2.调用Pyltp与Hanlp这两个库中的词性标注(POS)与依存句法分析(DP)模块对参考文本进行词性标注和实体抽取，词性标注和实体抽取的结果以json形式返回解析结果。需要说明的是，对于词性标注，只保留词性标注标签中含有n的词，即各种类的名词，例如n＝一般名词，ni＝组织机构词，nl＝地点词，ns＝地理位置词，nt＝时间词，以及代词p。标注方式举例：我咨询寿险＝(我，p)、(寿险，n)。依存句法分析，使用主-谓-宾(SBV)关系，会在参考文本中的句子中对应单词上作标注，例如“我咨询寿险”标注为(我，Subject)、(咨询，Predict)、(寿险，Object)，将提取到的名词对应到主语和宾语成分上，将在句子里不满足这两个成分的名词删除。需要说明的是，同时使用Pyltp和Hanlp是为了避免一个库识别不全的情况，两者结果能够提高实体的识别和抽取精度。其中，依存句法分析是由法国语言学家L.Tesniere最先提出，它将句子分析成一棵依存句法树，描述出各个词语之间的依存关系，也即指出了词语之间在句法上的搭配关系，这种搭配关系是和语义相关联的。在本发明中，通过依存句法分析的方式，可以抽取出训练文本中的实体。

对截取文本进行词性标注，获取截取文本中的名词和代词，以及利用依存句法分析系统从截取文本中的名词和代词中抽取出截取文本中的实体，作为待比对实体。截取文本的词性标注和待比对实体的抽取过程参见上述参考文本，此处不再进行赘述。

计算参考实体与待比对实体的相似度，并将计算出的相似度结果与预设相似度阈值进行比对；若所计算出的相似度大于等于预设相似度阈值，则认为截取文本中存在目标文本；若所计算出的相似度小于预设相似度阈值，则认为截取文本中不存在目标文本。具体地，计算待比对实体和参考实体的相似度，有：

SimSha(S1，S2)＝Count(S1∩S2)/(Count(S1)+Count(S2))；

其中，S1为待比对实体，S2为参考实体，S1∩S2表示实体待比对实体S1和参考实体S2所包含的相同的词，Count(S1)表示待比对实体中词的个数，Count(S2)表示参考实体中词的个数，SimSha(S1，S2)表示待比对实体S1和参考实体S2的相似度。若SimSha(S1，S2)大于等于预设相似度阈值，则认为截取文本中存在目标文本；若SimSha(S1，S2)小于预设相似度阈值，则认为截取文本中不存在目标文本。作为示例，本实施例中的预设相似度阈值可以根据目标场景的识别精度进行设定，例如可以设置为75％，也可以设置为80％，还可以设置为其他数值。本系统中的目标文本即是一些实施例中的违规文本。

在一示例性实施例中，以原始文本P1(即“你好”)、P2(即“我是ABC”)、P3(即“请问你是”)、合并文本P(即“你好我是ABC请问你是”)、截取文本T(即“好我是ABC请问你是”)、截取文本T在合并文本P的开始序号N1和结束序号N2、目标字典D(即“{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}”)、以及横跨的文本段落数量N为例。此时的截取文本T横跨的文本段落数量N为3，即此时的截取文本T横跨了原始识别文本P1、P2和P3，并包含有完整的原始识别文本P2。当第一阈值为3时，此时的截取文本T横跨的文本段落数量N等于第一阈值，则第一切分单元D100根据此时的截取文本T所包含的完整原始识别文本来将截取文本T切分为若干个文本段落，并得到对应的段落切分结果R的过程可以是：根据原始识别文本P2来将此时的截取文本T重新切分为3个文本段落，即文本段落“好”、“我是ABC”和“请问你”；将切分出的3个文本段落作为对应的段落切分结果，则此时的段落切分结果R为：“好”、“我是ABC”和“请问你”。作为另一示例，若将对话语音进行转换后形成了至少5个原始识别文本，且该状态下的截取文本T横跨了其中的5个原始识别文本，则该状态下的截取文本T至少包含有3个完整的原始识别文本，此时可以利用这3个完整的原始识别文本将该状态下的截取文本T重新切分为5个文本段落，然后得到对应的段落切分结果R。

在一示例性实施例中，若所述文本段落数量等于第二阈值，则第二切分单元对截取文本进行切分的过程包括：若所述文本段落数量等于第二阈值，则利用预设的标记符连接所述截取文本横跨的每个原始识别文本，得到对应的连接文本；在所述截取文本中的每个字符后面添加所述标记符，并将添加标记符后的文本记为标记文本；其中，每个标记文本中至少包括一个标记符；对所述截取文本中的倒数第二个字符完成所述标记符的添加后，判断是否存在某个标记文本为所述连接文本的子串；若存在某个标记文本为所述连接文本的子串，则通过所述标记符对所述截取文本进行切分，并将切分后的若干个文本段落作为对应的段落切分结果。

作为示例，以原始文本P1(即“你好”)、P2(即“我是ABC”)、P3(即“请问你是”)、合并文本P(即“你好我是ABC请问你是”)、目标字典D(即“{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}”)为例。若此时的截取文本T为：“好我是AB”，则由上述实施例可知，此时的截取文本T(即“好我是AB”)在合并文本P中的开始序号N1为1，结束序号N2为5；所以，此时的截取文本T(即“好我是AB”)的开始序号N1＝1位于区间[0，1]内，此时的截取文本T的结束序号N2＝5位于区间[2，6]内；即此时的截取文本T(即“好我是AB”)的开始序号N1位于目标字典D中原始识别文本P1的区间内，结束序号N2位于目标字典D中原始识别文本P2的区间内；相当于此时的截取文本T横跨的文本段落数量N为2，即此时的截取文本T横跨了原始识别文本P1和原始识别文本P2。若本实施例中的第二阈值为2时，则通过预设的标记符(例如换行符“\n”)连接原始识别文本P1和原始识别文本P2，得到连接文本NP：“你好\n我是ABC”；从截取文本T的第一个文本字符开始，分别在此时的截取文本T中的每个文本字符后面添加对应的标记符(例如换行符“\n”)，直至添加至截取文本T的倒数第二个文本字符。本实施例将在截取文本T中对应字符后添加标记符后的文本记为标记文本NT，所以，本实施例通过对截取文本T中的字符完成标记符的添加后，可以得到多个标记文本NT。其中，在对截取文本T添加标记符时，每次仅添加一个标记符，即每个标记文本NT中仅包含一个标记符。例如以此时的截取文本T：“好我是AB”为例，开始对其添加标记符时，得到对应的标记文本NT为：“好\n我是AB”，再对其添加标记符时，得到对应的标记文本NT为：“好我\n是AB”，对此时的截取文本倒数第二个字符添加标记符时，得到对应的标记文本NT为：“好我是A\nB”。依次判断完成标记符添加后的每个标记文本NT是否为连接文本NP的子串，即判断标记文本NT是否在连接文本NP中存在相同的文本。若某个标记文本NT为连接文本的子串，则通过对应的标记符对该标记文本NT进行切分，得到对应的段落切分结果R。在本实施例中，由于截取文本T为合并文本P的子串，且合并文本P是由原始识别文本P1和P2合并得到，则必然存在一个标记文本NT是连接文本NP的子串。即在本实施例中，存在标记文本NT：“好\n我是AB”是连接文本NP：“你好\n我是ABC”的子串。所以，根据标记符“\n”对标记文本NT进行切分后，可以得到此时的段落切分结果R为：“好”、“我是AB”。

在一示例性实施例中，若所述文本段落数量等于第三阈值，则第三切分单元D300不对所述截取文本进行切分，并将所述截取文本直接作为段落切分结果。作为示例，以原始文本P1(即“你好”)、P2(即“我是ABC”)、P3(即“请问你是”)、合并文本P(即“你好我是ABC请问你是”)、目标字典D(即“{‘P1’：[0，1]，‘P2’：[2，6]，‘P3’：[7，10]}”)为例。若此时的截取文本T为：“ABC”，则由上述实施例可知，此时的截取文本T(即“ABC”)的开始序号N1为4，结束序号N2为6。所以，此时的截取文本T(即“ABC”)的开始序号N1＝4位于区间[2，6]内，结束序号N2＝6也位于区间[2，6]内；即此时的截取文本T(即“ABC”)的开始序号N1位于目标字典D中原始识别文本P2的区间内，结束序号N2也位于目标字典D中原始识别文本P2的区间内，此时的截取文本T横跨的文本段落数量N为1，即此时的截取文本T仅位于原始识别文本P2中。若第三阈值为1时，则此时的截取文本T不需要重新进行分段，其对应的段落切分结果R为此时截取文本T所对应的文本，即此时的段落切分结果R为：“ABC”。

综上所述，本发明提供一种文本处理系统，通过采用目标字典的方式来有效记录原始识别文本的段落信息，并根据截取文本的开始序号、结束序号准确还原截取文本的段落信息；在还原截取文本的段落信息的过程中，通过记录截取文本横跨的段落数，然后根据横跨的不同段落数自动采取不同的处理方式来得到最终的段落切分结果。本系统在截取文本横跨不同的段落数时，可以提供的不同切分方法来得到对应的段落切分结果，而且通过本系统中记载的切分方法来对截取文本进行段落切分，不仅不会让得到的段落切分结果与原始识别文本存在差异，并且在截取文本中存在重复的段落或文本时，本系统也仅完成一次切分，而不需要在完成切分后还需要再根据原始识别文本来对切分结果进行再次确认。所以，与现有技术中循环判断原始段落的系统相比，本系统在效率上也有较大的提升，准确率也较高，并且也无需担心截取文本和原始识别文本多段重复等意料之外的情况对于分段时的干扰。同时，本系统的整个技术方案思路简洁、清晰，通信步骤数少于现有技术，使得本系统可以以较少步骤完成更多技术功能，实现更多技术效果。

本申请实施例还提供了一种计算机设备，例如文本处理设备，该设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如图1所述方法的步骤。图6示出了一种文本处理设备1000的结构示意图，参阅图6所示，文本处理设备1000包括：处理器1010、存储器1020、电源1030、显示单元1040、输入单元1060。

处理器1010是文本处理设备1000的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器1020内的软件程序和/或数据，执行文本处理设备1000的各种功能，从而对文本处理设备1000进行整体监控。本申请实施例中，处理器1010调用存储器1020中存储的计算机程序时执行如图1所述的方法。可选的，处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用等，调制解调处理器主要处理无线通信。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。在一些实施例中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、各种应用等；存储数据区可存储根据文本处理设备1000的使用所创建的数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。

文本处理设备1000还包括给各个部件供电的电源1030(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及文本处理设备1000的各种菜单等，本发明实施例中主要用于显示文本处理设备1000中各应用的显示界面以及显示界面中显示的文本、图片等对象。显示单元1040可以包括显示面板1050。显示面板1050可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight-Emitting Diode，OLED)等形式来配置。

输入单元1060可用于接收用户输入的数字或字符等信息。输入单元1060可包括触控面板1070以及其他输入设备1080。其中，触控面板1070，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板1070上或在触控面板1070附近的操作)。

具体的，触控面板1070可以检测用户的触摸操作，并检测触摸操作带来的信号，将这些信号转换成触点坐标，发送给处理器1010，并接收处理器1010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1070。其他输入设备1080可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

当然，触控面板1070可覆盖显示面板1050，当触控面板1070检测到在其上或附近的触摸操作后，传送给处理器1010以确定触摸事件的类型，随后处理器1010根据触摸事件的类型在显示面板1050上提供相应的视觉输出。虽然在图6中，触控面板1070与显示面板1050是作为两个独立的部件来实现文本处理设备1000的输入和输出功能，但是在某些实施例中，可以将触控面板1070与显示面板1050集成而实现文本处理设备1000的输入和输出功能。

文本处理设备1000还可包括一个或多个传感器，例如压力传感器、重力加速度传感器、接近光传感器等。当然，根据具体应用中的需要，上述文本处理设备1000还可以包括摄像头等其它部件。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如图1所述方法的步骤。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本领域技术人员可以理解的是，图6仅仅是文本处理设备的举例，并不构成对该设备的限定，该设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时，可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的，应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可应用至通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器中以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

根据上述记载，本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

应当理解的是，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。