具体实施方式

本发明实施例提供了一种基于自然语言的断句方法、装置、设备及存储介质，用于采用自然语言处理算法进行断句，从而提高断句的灵活性和准确性。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于自然语言的断句方法的一个实施例包括：

101、从第一业务场景中获取待处理语音数据，或者从第二业务场景中获取待处理文本数据；

服务器从第一业务场景中获取语音数据，得到待处理语音数据，或者服务器从第二业务场景中获取文本数据，得到待处理文本数据。需要强调的是，为进一步保证上述数据字段的私密和安全性，上述待处理语音数据和待处理文本数据还可以存储于一区块链的节点中。

在本实施例中，第一业务场景为电话销售场景，第二业务场景为客户服务场景，服务器从电话销售场景获取的数据为语音类型数据，即待处理语音数据，服务器从第二业务场景中获取的数据为文本类型数据，即待处理文本数据，其中，待处理语音数据可以为“请问是哪位有什么事情”、“是的我是张先生”、“有什么事情”等，待处理文本数据可以为“你好咨询个问题”、以及“知道了谢谢”等。

可以理解的是，本发明的执行主体可以为基于自然语言的断句装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

102、当从第一业务场景中获取待处理语音数据时，将待处理语音数据输入预置的语音识别模型中，生成待识别文本序列，并结合自然语言处理算法对待识别文本序列进行特征筛选与断句，生成目标文本断句数据，待识别文本序列包括多个文本字符；

当从第一业务场景中获取待处理语音数据时，服务器将待处理语音数据输入语音识别模型中进行处理，首先生成待识别文本序列，然后再结合自然语音处理算法对待识别文本序列进行断句，从而生成目标文本断句数据。

例如，当服务器从电话销售场景中获取“请问是哪位有什么事情”的待处理语音数据时，服务器将待处理语音数据输入语音识别模型中，生成待识别文本序列，其中在语音识别模型中对“请问是哪位有什么事情”的待处理语音数据进行消除噪声、信道处理、特征提取等处理，从而生成待识别文本序列[请问是哪位有什么事情]，然后结合自然语言处理算法对待识别文本序列进行断句，生成目标文本断句数据为“请问是哪位，有什么事情”。

103、当从第二业务场景中获取待处理文本数据时，将待处理文本数据输入预先训练好的文本断句模型中，并结合自然语言处理算法对待处理文本数据进行特征筛选与断句，生成目标文本断句数据；

当从第二业务场景中获取待处理文本数据时，服务器将待处理文本数据输入训练好的文本断句模型中进行数据处理，然后结合自然语言处理算法对待处理文本数据进行断句处理，从而生成目标文本断句数据。

例如，当从客户服务场景中获取“你好咨询个问题”的待处理文本数据时，服务器将“你好咨询个问题”输入训练好的文本断句模型中进行数据处理，并结合自然语言处理算法对待处理文本数据进行断句，生成目标文本断句数据为“你好，咨询个问题”。

104、根据目标文本断句数据和对应的场景配置生成目标应答数据，并将目标应答数据传输至目标终端，场景配置为提前设置好的场景配置。

服务器根据目标文本断句数据生成目标应答数据，并将目标应答数据传输至目标终端，例如，目标文本断句数据为“你好，咨询个问题”，服务器则基于“你好，咨询个问题”的目标文本断句数据和对应的场景配置生成目标应答数据“请您说明问题”，最后将“请您说明问题”的目标应答数据传输至目标终端。

本发明实施例中，将从第一业务场景(电话销售场景)获取的待处理语音数据输入语音识别模型中，生成待识别文本序列，并结合自然语言处理算法对待识别文本序列进行断句，或者将从第二业务场景(客户服务场景)获取的待处理文本数据输入训练好的文本断句模型中，并结合自然语言处理算法对待处理文本数据进行断句；通过使用自然语言处理算法对第一业务场景的待处理语音数据和对第二业务场景的待处理文本数据进行断句，提高了断句的灵活性和准确性。

请参阅图2，本发明实施例中基于自然语言的断句方法的另一个实施例包括：

201、从第一业务场景中获取待处理语音数据，或者从第二业务场景中获取待处理文本数据；

服务器从第一业务场景中获取语音数据，得到待处理语音数据，或者服务器从第二业务场景中获取文本数据，得到待处理文本数据。需要强调的是，为进一步保证上述数据字段的私密和安全性，上述待处理语音数据和待处理文本数据还可以存储于一区块链的节点中。

在本实施例中，第一业务场景为电话销售场景，第二业务场景为客户服务场景，服务器从电话销售场景获取的数据为语音类型数据，即待处理语音数据，服务器从第二业务场景中获取的数据为文本类型数据，即待处理文本数据，其中，待处理语音数据可以为“请问是哪位有什么事情”、“是的我是张先生”、“有什么事情”等，待处理文本数据可以为“你好咨询个问题”、以及“知道了谢谢”等。

202、当从第一业务场景中获取待处理语音数据时，将待处理语音数据输入预置的语音识别模型中，进行特征提取，生成语音信号特征；

例如，当服务器从电话销售场景中获取“请问是哪位有什么事情”的待处理语音数据时，服务器将“请问是哪位有什么事情”的待处理语音数据输入语音识别模块中进行特征提取，生成语音信号特征为：

具体的，当从第一业务场景中获取待处理语音数据时，服务器将待处理语音数据输入预置的语音识别模型，进行噪声消除处理，生成消除噪声后的语音数据；然后服务器对消除噪声后的语音数据进行信号增强处理，生成增强处理后的语音数据；最后服务器对增强处理后的语音数据进行特征提取，生成语音信号特征。

当服务器从电话销售场景中获取“请问是哪位有什么事情”的待处理语音数据时，服务器将“请问是哪位有什么事情”输入语音识别模型中，首先对“请问是哪位有什么事情”进行噪声处理，噪声为数据中的干扰数据，即描述不准确的数据。在本实施例中采用聚类算法进行噪声处理，首先采用聚类算法将相似的待处理语音数据中的相似的样本点归为一个类簇，然后将落在该类簇之外的样本点确定为噪声点，并过滤掉这些噪声点，生成消除噪声后的语音数据；然后服务器对消除噪声后的语音数据进行信号增强处理，首先对消除噪声后的语音数据进行预加重处理，从而放大高频信号，得到放大高频信号后的语音数据，然后将放大高频信号后的语音数据拆分为短时帧信号的数据，得到拆分后的语音数据，对拆分后的语音数据添加窗口函数，生成添加窗口后的语音数据，结合傅里叶变换对添加窗口后的语音数据进行计算并进行归一化，生成增强处理后的语音数据；最后从增强处理后的语音数据中提取特征，生成语音信号特征。

203、对语音信号特征进行处理，生成待识别文本序列，并结合自然语言处理算法对待识别文本序列进行特征筛选与断句，生成目标文本断句数据，待识别文本序列包括多个目标文本字符；

在生成语音信号特征之后，服务器对步骤202中的语音信号特征进行处理，生成待识别文本序列[请问是哪位有什么事情]，最后结合自然语言处理算法对[请问是哪位有什么事情]进行断句，生成目标文本断句数据“请问是哪位，有什么事情”。

具体的，服务器将语音信号特征输入语音识别模型的声学模型中进行评分，生成多个声学模型评分；服务器将语音信号特征输入语音识别模型的语言模型中进行评分，生成多个语言模型评分，其中语言模型可以为n-gram模型、RNN模型等；然后服务器采用解码器在多个声学模型评分和多个语言模型得分中搜寻评分最高的目标声学模型评分和目标语言模型评分，将目标声学模型评分和目标语言模型评分对应的文本字符确定为目标文本字符，从而生成包括多个目标文本字符的待识别文本序列，最后结合自然语言处理算法对待识别文本序列进行断句，生成目标文本断句数据。

204、当从第二业务场景中获取待处理文本数据时，将待处理文本数据输入预先训练好的文本断句模型中，并结合自然语言处理算法对待处理文本数据进行特征筛选与断句，生成目标文本断句数据；

当从第二业务场景中获取待处理文本数据时，服务器将待处理文本数据输入训练好的文本断句模型中进行数据处理，然后结合自然语言处理算法对待处理文本数据进行断句处理，从而生成目标文本断句数据。

例如，当从客户服务场景中获取“你好咨询个问题”的待处理文本数据时，服务器将“你好咨询个问题”输入训练好的文本断句模型中进行数据处理，并结合自然语言处理算法对待处理文本数据进行断句，生成目标文本断句数据为“你好，咨询个问题”。

具体的，当从第二业务场景中获取待处理文本数据时，服务器将待处理文本数据输入预先训练好的文本断句模型中，结合自然语言处理算法对待处理文本数据进行特征筛选，生成文本观测序列和观测标签序列；服务器基于文本观测序列和观测标签序列进行断句，生成目标文本断句数据。

当服务器从客户服务场景中获取“你好咨询个问题”的待处理文本数据时，服务器将待处理文本数据输入训练好的文本断句模型中，首先结合自然语言处理算法生成[你好咨询个问题]的文本观测序列和“0100001”的观测标签序列，服务器基于“0100001”的观测标签序列对[你好咨询个问题]的文本观测序列进行断句，生成目标文本断句数据为“你好，咨询个问题”。

当从第二业务场景中获取待处理文本数据时，服务器将待处理文本数据输入预先训练好的文本断句模型中，结合自然语言处理算法对待处理文本数据进行特征筛选，生成文本观测序列和观测标签序列包括：

当从第二业务场景中获取待处理文本数据时，服务器将待处理文本数据输入预先训练好的文本断句模型的嵌入层进行向量映射，生成向量序列，向量序列不包括空格；然后服务器将向量序列输入双向长短时记忆循环神经网络，进行特征筛选，生成筛选特征后的向量序列；最后服务器将筛选特征后的向量序列输入条件随机场，生成文本观测序列和观测标签序列，文本观测序列包括多个字符，观测标签序列包括多个观测标签，多个字符与多个观测标签一一对应。

当服务器从客户服务场景中获取“你好咨询个问题”的待处理文本数据时，服务器将待处理文本数据输入嵌入层，即Embedding层进行向量映射，需要说明的是，待处理文本数据有多个字符数据组成，经过Embedding层，服务器将待处理文本数据中的多个字符数据映射为低维空间的上的字向量，从而生成初始向量序列，并基于预置的规则，将初始向量序列中的空格过滤掉，从而生成向量序列；服务器将向量序列输入双向长短时记忆循环神经网络，即BiLSTM神经网络，该神经网络用于删除向量序列中的无用特征，具体过程为：调用矩阵标识参数，并将矩阵标识参数与向量序列进行相乘，并结合激活函数进行计算，从而得到无用特征，并将无用特征过滤掉，完成向量序列的筛选，从而生成筛选特征后的向量序列，然后将筛选特征后的向量序列输入条件随机场，即CRF层进行标签计算，从而生成[你好咨询个问题]的文本观测序列和“0100001”的观测标签序列。

服务器基于文本观测序列和观测标签序列进行断句，生成目标文本断句数据包括：服务器判断观测标签序列中的每个观测标签是否为预置的断句标签；若目标观测标签为断句标签，服务器则确定目标观测标签对应的字符为目标断句字符，并在目标断句字符后添加预置的断句分隔符进行断句，生成目标文本断句数据。

服务器对“0100001”的观测标签序列进行标签判断，假设断句标签为“1”，不断句标签为“0”，服务器则从观测标签序列中的第一位观测标签开始进行标签判断，判断每个观测标签是否为预置的断句标签“1”，判定第二位观测标签和最后一位观测标签为断句标签“1”，服务器则将第二位观测标签确定为目标断句字符，并在该目标断句字符添加断句分割符“，”，需要说明的是，在本实施例中，不在句末插入断句分隔符，因此生成目标文本断句数据为“你好，咨询个问题”。

205、根据目标文本断句数据和对应的场景配置生成目标应答数据，并将目标应答数据传输至目标终端，场景配置为提前设置好的场景配置。

服务器根据目标文本断句数据生成目标应答数据，并将目标应答数据传输至目标终端，例如，目标文本断句数据为“你好，咨询个问题”，服务器则基于“你好，咨询个问题”的目标文本断句数据和对应的场景配置生成目标应答数据“请您说明问题”，最后将“请您说明问题”的目标应答数据传输至目标终端。

本发明实施例中，将从第一业务场景(电话销售场景)获取的待处理语音数据输入语音识别模型中，生成待识别文本序列，并结合自然语言处理算法对待识别文本序列进行断句，或者将从第二业务场景(客户服务场景)获取的待处理文本数据输入训练好的文本断句模型中，并结合自然语言处理算法对待处理文本数据进行断句；通过使用自然语言处理算法对第一业务场景的待处理语音数据和对第二业务场景的待处理文本数据进行断句，提高了断句的灵活性和准确性。

上面对本发明实施例中基于自然语言的断句方法进行了描述，下面对本发明实施例中基于自然语言的断句装置进行描述，请参阅图3，本发明实施例中基于自然语言的断句装置一个实施例包括：

获取模块301，用于从第一业务场景中获取待处理语音数据，或者从第二业务场景中获取待处理文本数据；

第一断句模块302，当从第一业务场景中获取待处理语音数据时，用于将所述待处理语音数据输入预置的语音识别模型中，生成待识别文本序列，并结合自然语言处理算法对所述待识别文本序列进行特征筛选与断句，生成目标文本断句数据，所述待识别文本序列包括多个文本字符；

第二断句模块303，当从第二业务场景中获取待处理文本数据时，用于将所述待处理文本数据输入预先训练好的文本断句模型中，并结合自然语言处理算法对所述待处理文本数据进行特征筛选与断句，生成目标文本断句数据；

应答数据生成模块304，用于根据所述目标文本断句数据和对应的场景配置生成目标应答数据，并将所述目标应答数据传输至目标终端，场景配置为提前设置好的场景配置。

本发明实施例中，将从第一业务场景(电话销售场景)获取的待处理语音数据输入语音识别模型中，生成待识别文本序列，并结合自然语言处理算法对待识别文本序列进行断句，或者将从第二业务场景(客户服务场景)获取的待处理文本数据输入训练好的文本断句模型中，并结合自然语言处理算法对所述待处理文本数据进行断句；通过使用自然语言处理算法对第一业务场景的待处理语音数据和对第二业务场景的待处理文本数据进行断句，提高了断句的灵活性和准确性。

请参阅图4，本发明实施例中基于自然语言的断句装置的另一个实施例包括：

获取模块301，用于从第一业务场景中获取待处理语音数据，或者从第二业务场景中获取待处理文本数据；

第一断句模块302，当从第一业务场景中获取待处理语音数据时，用于将所述待处理语音数据输入预置的语音识别模型中，生成待识别文本序列，并结合自然语言处理算法对所述待识别文本序列进行特征筛选与断句，生成目标文本断句数据，所述待识别文本序列包括多个文本字符；

第二断句模块303，当从第二业务场景中获取待处理文本数据时，用于将所述待处理文本数据输入预先训练好的文本断句模型中，并结合自然语言处理算法对所述待处理文本数据进行特征筛选与断句，生成目标文本断句数据；

应答数据生成模块304，用于根据所述目标文本断句数据和对应的场景配置生成目标应答数据，并将所述目标应答数据传输至目标终端，场景配置为提前设置好的场景配置。

可选的，第一断句模块302包括：

特征提取单元3021，当从第一业务场景中获取待处理语音数据时，用于将所述待处理语音数据输入预置的语音识别模型中，进行特征提取，生成语音信号特征；

第一断句单元3022，用于对所述语音信号特征进行处理，生成待识别文本序列，并结合自然语言处理算法对所述待识别文本序列进行特征筛选与断句，生成目标文本断句数据，所述待识别文本序列包括多个目标文本字符。

可选的，特征提取单元3021还可以具体用于：

当从第一业务场景中获取待处理语音数据时，将所述待处理语音数据输入预置的语音识别模型，进行噪声消除处理，生成消除噪声后的语音数据；

对所述消除噪声后的语音数据进行信号增强处理，生成增强处理后的语音数据；

对所述增强处理后的语音数据进行特征提取，生成语音信号特征。

可选的，第一断句单元3022还可以具体用于：

将所述语音信号特征输入所述语音识别模型的声学模型中进行评分，生成多个声学模型评分；

将所述语音信号特征输入所述语音识别模型的语言模型中进行评分，生成多个语言模型评分；

在所述多个声学模型评分和多个语言模型得分中搜寻评分最高的目标声学模型评分和目标语言模型评分，并基于所述目标声学模型评分和目标语言模型评分确定待识别文本序列，所述待识别文本序列包括多个目标文本字符；

结合自然语言处理算法对所述待识别文本序列进行断句，生成目标文本断句数据。

可选的，第二断句模块303包括：

特征筛选模块3031，当从第二业务场景中获取待处理文本数据时，用于将所述待处理文本数据输入预先训练好的文本断句模型中，结合自然语言处理算法对所述待处理文本数据进行特征筛选，生成文本观测序列和观测标签序列；

第二断句模块3032，用于基于所述文本观测序列和所述观测标签序列进行断句，生成目标文本断句数据。

可选的，特征筛选模块3031还可以具体用于：

当从第二业务场景中获取待处理文本数据时，将所述待处理文本数据输入预先训练好的文本断句模型的嵌入层进行向量映射，生成向量序列，所述向量序列不包括空格；

将所述向量序列输入双向长短时记忆循环神经网络，进行特征筛选，生成筛选特征后的向量序列；

将所述筛选特征后的向量序列输入条件随机场，生成文本观测序列和观测标签序列，所述文本观测序列包括多个字符，所述观测标签序列包括多个观测标签，所述多个字符与所述多个观测标签一一对应。

可选的，第二断句模块3032还可以用于：

判断所述观测标签序列中的每个观测标签是否为预置的断句标签；

若目标观测标签为断句标签，则确定所述目标观测标签对应的字符为目标断句字符，并在所述目标断句字符后添加预置的断句分隔符进行断句，生成目标文本断句数据。

本发明实施例中，将从第一业务场景(电话销售场景)获取的待处理语音数据输入语音识别模型中，生成待识别文本序列，并结合自然语言处理算法对待识别文本序列进行断句，或者将从第二业务场景(客户服务场景)获取的待处理文本数据输入训练好的文本断句模型中，并结合自然语言处理算法对所述待处理文本数据进行断句；通过使用自然语言处理算法对第一业务场景的待处理语音数据和对第二业务场景的待处理文本数据进行断句，提高了断句的灵活性和准确性。

上面图3和图4从模块化功能实体的角度对本发明实施例中的基于自然语言的断句装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于自然语言的断句设备进行详细描述。

图5是本发明实施例提供的一种基于自然语言的断句设备的结构示意图，该基于自然语言的断句设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于自然语言的断句设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于自然语言的断句设备500上执行存储介质530中的一系列指令操作。

基于自然语言的断句设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于自然语言的断句设备结构并不构成对基于自然语言的断句设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种基于自然语言的断句设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于自然语言的断句方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于自然语言的断句方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。