数据处理方法、装置及电子设备

文档序号:361621 发布日期:2021-12-07 浏览:11次 >En<

阅读说明:本技术 数据处理方法、装置及电子设备 (Data processing method and device and electronic equipment ) 是由 湛志强 张杨 于 2021-09-07 设计创作,主要内容包括:本申请公开了一种数据处理方法、装置及电子设备,方法包括:获得目标表格数据;对所述目标表格数据进行文本转换,以得到所述目标表格数据对应的目标文本数据;其中,所述目标文本数据的流畅度属性的值大于或等于流畅度阈值,所述目标文本数据的一致性属性的值大于或等于一致性阈值,所述流畅度属性的值大小表征所述目标文本数据的文本流畅度的高低,所述一致性属性的值大小表征所述目标文本数据和所述目标表格数据之间的相似度的高低。(The application discloses a data processing method, a data processing device and electronic equipment, wherein the method comprises the following steps: obtaining target table data; performing text conversion on the target table data to obtain target text data corresponding to the target table data; the value of the fluency attribute of the target text data is greater than or equal to a fluency threshold, the value of the consistency attribute of the target text data is greater than or equal to a consistency threshold, the magnitude of the value of the fluency attribute represents the text fluency of the target text data, and the magnitude of the value of the consistency attribute represents the similarity between the target text data and the target table data.)

数据处理方法、装置及电子设备

技术领域

本申请涉及数据处理技术领域,尤其涉及一种数据处理方法、装置及电子设备。

背景技术

目前,Table-to-Text是自然语言处理NLP(natural language processing)中的一个重要研究领域,旨在将表格数据转变为便于用户阅读和理解的文本信息。

目前多采用神经网络模型将表格信息处理成文本信息,但是仍然存在文本信息的流畅度和语义一致性均较低的情况。

发明内容

有鉴于此,本申请提供一种数据处理方法、装置及电子设备,如下:

一种数据处理方法,包括:

获得目标表格数据;

对所述目标表格数据进行文本转换,以得到所述目标表格数据对应的目标文本数据;

其中,所述目标文本数据的流畅度属性的值大于或等于流畅度阈值,所述目标文本数据的一致性属性的值大于或等于一致性阈值,所述流畅度属性的值大小表征所述目标文本数据的文本流畅度的高低,所述一致性属性的值大小表征所述目标文本数据和所述目标表格数据之间的相似度的高低。

上述方法,优选的,对所述目标表格数据进行文本转换,以得到所述目标表格数据对应的目标文本数据,包括:

使用生成模型对所述目标表格数据进行文本转换,以得到所述目标表格数据对应的目标文字数据;

其中,所述生成模型基于神经网络构建并使用多个训练样本进行训练得到,所述训练样本包含表格训练数据和文本训练数据,且,所述生成模型还使用所述训练样本对应的激励训练数据进行训练,所述激励训练数据表征所述生成模型对所述表格训练数据进行文本转换的流畅度属性和一致性属性。

上述方法,优选的,所述激励训练数据通过以下方式获得:

获得所述生成模型对所述表格训练数据进行文本转换所得到的多个候选文本数据;

获得每个所述候选文本数据的流畅度激励值,所述流畅度激励值的大小表征所述候选文本数据的文本流畅度的高低;

获得每个所述候选文本数据与对应的文本训练数据之间的一致性激励值,所述一致性激励值的大小表征所述候选文本数据与所述文本训练数据之间的相似度的高低;

根据所述流畅度激励值和所述一致性激励值,获得整体激励值,所述整体激励值作为所述激励训练数据,用于对所述生成模型的模型参数进行更新。

上述方法,优选的,所述目标文本数据的流畅度属性通过判别模型获得;

其中,所述判别模型使用所述文本训练数据及其对应的文本样本数据训练得到,所述文本样本数据为使用所述生成模型对所述表格训练数据进行文本转换所得到的样本数据。

上述方法,优选的,所述判别模型通过以下方式训练:

根据所述文本样本数据和所述文本训练数据,获得所述判别模型的损失函数值,所述损失函数值的大小表征所述判别模型获得流畅度属性的误差大小;

使用所述损失函数值,对所述判别模型的模型参数进行更新。

上述方法,优选的,根据所述文本样本数据和所述文本训练数据,获得所述判别模型的损失函数值,包括:

使用所述判别模型,获得所述文本训练数据的第一激励值和所述文本样本数据的第二激励值;

至少根据所述第一激励值和所述第二激励值,获得损失函数值。

上述方法,优选的,至少根据所述第一激励值和所述第二激励值,获得损失函数值,包括:

对所有所述文本训练数据对应的所述第一激励值的对数值取期望值,以得到第一期望值;

分别用1减去每个所述文本样本数据对应的所述第二激励值,以得到新的第二激励值;对所有文本样本数据对应的所述新的第二激励值的对数值取期望值,以得到第二期望值;

根据所述第一期望值和所述第二期望值,获得所述损失函数值。

上述方法,优选的,根据所述流畅度激励值和所述一致性激励值,获得整体激励值,包括:

使用激励权重参数,对所述流畅度激励值和所述一致性激励值进行加权求和,以得到整体激励值;

其中,所述激励权重参数至少与所述文本训练数据和所述候选文本数据相关。

一种数据处理装置,包括:

目标获得单元,用于获得目标表格数据;

文本转换单元,用于对所述目标表格数据进行文本转换,以得到所述目标表格数据对应的目标文本数据;

其中,所述目标文本数据的流畅度属性的值大于或等于流畅度阈值,所述目标文本数据的一致性属性的值大于或等于一致性阈值,所述流畅度属性的值大小表征所述目标文本数据的文本流畅度的高低,所述一致性属性的值大小表征所述目标文本数据和所述目标表格数据之间的相似度的高低。

一种电子设备,包括:

存储器,用于存储应用程序和所述应用程序运行所产生的数据;

处理器,用于执行所述应用程序,以实现:获得目标表格数据;对所述目标表格数据进行文本转换,以得到所述目标表格数据对应的目标文本数据;其中,所述目标文本数据的流畅度属性的值大于或等于流畅度阈值,所述目标文本数据的一致性属性的值大于或等于一致性阈值,所述流畅度属性的值大小表征所述目标文本数据的文本流畅度的高低,所述一致性属性的值大小表征所述目标文本数据和所述目标表格数据之间的相似度的高低。

从上述技术方案可以看出,本申请公开的一种数据处理方法、装置及电子设备中,在获得到目标表格数据之后,通过对目标表格数据进行文本转换,进而得到目标文本数据,而通过本申请中的文本转换能够使得目标文本数据的流畅度属性和一致性属性均大于或等于各自的阈值。可见,本申请中的文本转换能够使得所得到的文本的流畅度和语义一致性均较高。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种数据处理方法的流程图;

图2为本申请实施例中的表格数据示意图;

图3为本申请实施例中对生成模型进行训练的示例图;

图4及图5分别为本申请实施例一提供的一种数据处理方法的部分流程图;

图6为本申请实施例中对生成模型和判别模型进行训练的示例图;

图7为本申请实施例二提供的一种数据处理装置的结构示意图;

图8为本申请实施例二提供的一种数据处理装置的另一结构示意图;

图9为本申请实施例三提供的一种电子设备的结构示意图;

图10-图12分别为本申请实施例适用于服务器用于对表格进行文本转换的示例图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

参考图1所示,为本申请实施例一提供的一种数据处理方法的实现流程图,该方法可以适用于能够进行数据处理的电子设备中,如手机、pad、笔记本、计算机或服务器等。本实施例中的技术方案主要用于提高表格转换成的文本的流畅度和一致性。

具体的,本实施例中的方法可以包含如下步骤:

步骤101:获得目标表格数据。

其中,目标表格数据是指包含多个单元格且单元格中具有字符的表格数据,如图2中所示。目标表格数据为需要转换成文本语句的表格数据。

具体的,本实施例中可以通过数据读取等方式获得到指定存储位置上的目标表格数据。

步骤102:对目标表格数据进行文本转换,以得到目标表格数据对应的目标文本数据。

具体的,本实施例中可以首先对目标表格数据进行特征提取,以得到对应于至少一个特征层的多个表格特征,再至少按照特征层对应的特征权重参数对表格特征进行处理,从而得到目标表格数据对应的目标文本数据。所得到的目标文本数据具有流畅度属性和一致性属性,而通过本实施例中的文本转换使得目标文本数据的流畅度属性的值大于或等于流畅度阈值且一致性属性的值大于或等于一致性阈值。

这里的流畅度属性的值大小表征目标文本数据的文本流畅度的高低,流畅度属性的值越大,表征目标文本数据的文本流畅度越高,更加方便用户的阅读;而一致性属性的值大小表征目标文本数据与目标表格数据之间的相似度的高低,也就能够表征目标文本数据与目标表格数据之间在语义上的一致性的高低,一致性属性的值越大,表征目标文本数据与目标表格数据之间的语音一致性更高。

由上述方案可知,本申请实施例一提供的一种数据处理方法中,在获得到目标表格数据之后,通过对目标表格数据进行文本转换,进而得到目标文本数据,而通过本申请中的文本转换能够使得目标文本数据的流畅度属性和一致性属性均大于或等于各自的阈值。可见,本实施例中的文本转换能够使得所得到的文本的流畅度和语义一致性均较高。

在一种实现方式中,步骤102中在对目标表格数据进行文本转换时,可以通过以下方式获得目标表格数据对应的目标文本数据:

使用生成模型对目标表格数据进行文本转换,以得到目标表格数据对应的目标文字数据。

其中,生成模型基于神经网络构建,使得生成模型中包含至少一个特征层。另外,生成模型使用多个训练样本进行训练得到,而训练样本包含表格训练数据和文本训练数据,文本训练数据为针对表格训练数据通过人工标注等方式设置的文本数据,该文本训练数据为针对表格训练数据同时满足流畅度属性的值大于或等于流畅度阈值且一致性属性的值大于或等于一致性阈值的文本数据。

需要说明的是,生成模型除了使用训练样本中的表格训练数据和文本训练数据进行学习训练之外,还使用训练样本对应的激励训练数据进行训练,这里的激励训练数据表征生成模型对表格训练数据进行文本转换的流畅度属性和一致性属性。也就是说,生成模型有两个训练方向,第一个训练方向在于:使用训练样本中的表格训练数据和文本训练数据进行训练,第二个训练方向在于:在使用表格训练数据和文本训练数据对生成模型进行训练之后,获得能够表征被训练的生成模型的文本转换性能的激励训练数据,例如表征生成模型对表格训练数据进行文本转换的流畅度属性和一致性属性的整体激励值等,再使用激励训练数据对生成模型再次进行训练,如图3中所示,由此使得通过所训练出的生成模型对目标表格数据进行文本转换所得到的目标文本数据的流畅度属性的值和一致性属性的值大于或等于各自对应的阈值。

首先,本实施例中可以使用生成模型对表格训练数据和文本训练数据进行学习,以使得生成模型中的模型参数得到优化。具体的,本实施例中可以以表格训练数据为输入样本,以文本训练数据为输出样本,对生成模型的模型参数进行优化。这里的生成模型的模型参数可以包含有神经网络结构中各个特征层对应的特征权重参数等等。

此外,激励训练数据可以通过以下流程获得,如图4中所示:

步骤401:获得生成模型对表格训练数据进行文本转换所得到的多个候选文本数据。

具体的,在使用生成模型对表格训练数据进行文本转换时,生成模型通过蒙特卡罗搜索算法MC预测用于组成候选文本数据的候选词,例如,首先预测第一候选词,第一候选词有多个,再分别以第一候选词为基础预测第二候选词,每个第一候选词对应的第二候选词有多个,以此类推,如图5中所示,第一候选词到最后一个候选词组成候选文本数据,由此获得到多个候选文本数据。

步骤402:获得每个候选文本数据的流畅度激励值。

其中,流畅度激励值的大小表征候选文本数据的文本流畅度的高低。

具体的,本实施例中,每个候选文本数据的流畅度属性可以通过判别模型来获得,判别模型可以基于分类算法构建,基于此,判别模型以每个候选文本数据为输入,能够输出每个候选文本各自的流畅度激励值,以此表征相应候选文本数据的文本流畅度的高低。

例如,本实施例中可以采用以下公式(1)获得每个候选文本数据的流畅度激励值:

其中,t为候选词的序号,Y为候选文本数据中的语句,语句由候选词组成。T是Y中所包含的候选词的数量,即候选文本数据的候选词长度。n是MC的第n个结果即第n个候选词,N是MC(Monte Carlo)的搜索结果总个数,例如N可以为8,即表示对每个候选词的预测有8个,N的值可以根据需求设置。DΦ是判别模型,Gθ生成模型,a是生成模型预测下一个词的动作。β表示生成模型的模型参数,φ表示判别模型的模型参数。基于此,所得到的Q为候选文本数据的流畅度激励值。

步骤403:获得每个候选文本数据与对应的文本训练数据之间的一致性激励值。

其中,一致性激励值的大小表征候选文本数据与文本训练数据之间的相似度的高低,即语义一致性的高低。

具体的,本实施例中可以使用bleu相关的算法分别对每个候选文本数据与文本训练数据之间的语义相似度进行计算,以得到每个候选文本数据各自与文本训练数据之间的一致性激励值。

例如,本实施例中可以采用以下公式(2)获得每个候选文本数据各自与文本训练数据之间的一致性激励值:

其中,Bt是bleu_table算法,用于计算文本与表格之间的语义一致性激励值,由此得到的O即为候选文本数据与文本训练数据之间的一致性激励值。

需要说明的是,步骤402和步骤403的执行顺序可以不受附图中所示顺序的限制,也可以先执行步骤403,再执行步骤402,或者同时执行步骤403和步骤402,步骤402和步骤403的执行顺序不同所形成的不同的技术方案均在本申请的保护范围内。

步骤404:根据流畅度激励值和一致性激励值,获得整体激励值。

其中,整体激励值作为激励训练数据,用于对所述生成模型的模型参数进行更新或优化。

在一种实现方式中,本实施例中可以对流畅度激励值和一致性激励值取平均值,以得到整体激励值。例如,流畅度激励值和一致性激励值分别为大于0且小于1的自然数,将两个自然数求平均,就可以得到整体激励值。

在另一种实现方式中,本实施例中可以使用激励权重参数,对流畅度激励值和一致性激励值进行加权求和,以得到整体激励值。这里的激励权重参数包含流畅度激励值的权重值,用1减去该权重值,就可以得到一致性激励值的权重值,或者,这里的激励权重参数包含一致性激励值的权重值,用1减去该权重值,就可以得到流畅度激励值的权重值。

具体实现中,激励权重参数的大小至少与文本训练数据和候选文本数据相关。例如,本实施例中可以使用如下公式(3)来获得一致性激励值的权重值:

其中,LCS(The longest common subsequence)是最长公共子序列算法,是文本训练数据中的第k个文本,Gi是MC搜索得到的第i个结果,λ是一致性激励值的权重值。

基于此,本实施例中可以使用如下公式(4)来获得整体激励值:

r=(1-λ)×rd+λ×rbleu-t (4)

其中,rbleu-t指文本训练数据和候选文本数据之间的一致性激励值,rd指判别模型输出的流畅度激励值,基于此,r是整体激励值。

基于以上实现,本实施例中在获得到整体激励值之后,可以通过策略梯度方案对生成模型的模型参数如神经网络结构中的各层权重参数进行更新,由此得到训练完成的生成模型。该生成模型用于对目标表格数据进行文本转换,以得到流畅度属性和一致性属性各自的值均较高的目标文本数据。

在一种实现方式中,本实施例中可以使用判别模型对目标文本数据的流畅度属性进行获取,并使用bleu_talbe算法对目标文本数据与目标表格数据之间的一致性属性进行获取,所获得到的流畅度属性的值和一致性属性的值用以保证生成模型进行文本转换的性能。基于此,判别模型可以使用文本训练数据及其对应的文本样本数据训练得到,这里的文本样本数据为使用生成模型对表格训练数据进行文本转换所得到的样本数据,也可以称为负样本数据。因此,本实施例中以文本训练数据为正样本数据,以相应表格训练数据所生成的文本训练数据为负样本数据,对判别模型进行训练,使得判别模型的模型参数得到优化。

具体的,判别模型可以通过以下方式进行训练,如图5中所示:

步骤501:根据文本样本数据和文本训练数据,获得判别模型的损失函数值。

其中,损失函数值的大小表征判别模型获得流畅度属性的误差大小。

具体的,本实施例中可以采用交叉熵损失函数获得表征文本样本数据和文本训练数据之间误差的损失函数值。例如,首先,使用判别模型,获得文本训练数据的第一激励值和文本样本数据的第二激励值,之后,至少根据第一激励值和第二激励值获得损失函数值。

例如,首先使用判别模型分别对文本训练数据和文本样本数据进行流畅度激励值获取,从而得到第一激励值和第二激励值,由于文本训练数据和文本样本数据是成对的,且有多个,因此,所得到的第一激励值和第二激励值同样分别有多个,基于此,本实施例中对所有文本训练数据对应的第一激励值的对数值取期望值,以得到第一期望值,并且,分别用1减去每个文本样本数据对应的第二激励值,以得到新的第二激励值,由此,对所有文本样本数据对应的新的第二激励值的对数值取期望值,以得到第二期望值,最后,再根据第一期望值和第二期望值,获得损失函数值。例如,将第一期望值和第二期望值取和值之后再取负数,以得到损失函数值。

具体实现中,本实施例中可以使用如下公式(5)来获得损失函数值:

其中,为文本训练数据对应的第一期望值,为文本样本数据对应的第二期望值,min(φ)为损失函数值。

步骤502:使用损失函数值,对判别模型的模型参数进行更新。

基于此,本实施例中可以按照以上训练方案,使用多组表格训练数据和文本训练数据交替训练生成模型和判别模型多次,直到整体激励值和损失函数值均满足相应的收敛条件。例如,在对生成模型和判别模型进行训练过程中,直到:生成模型对应的整体激励值趋近于1或每轮训练的变化量小于相应阈值,且,判别模型的损失函数值趋近于0或每轮训练的变化量小于相应阈值。

例如,如图6中所示,按照以下训练流程使用多组由表格训练数据和文本训练数据组成的训练样本交替训练生成模型和判别模型,直到两个模型收敛:

首先,使用训练样本中的表格训练数据和文本训练数据对生成模型进行训练,以更新生成模型的模型参数;

其次,使用训练好的生成模型对表格训练数据进行文本转换,以得到生成模型进行文本转换过程中的候选文本数据,基于此,使用判别模型获得候选文本数据的流畅度激励值,并使用bleu_table算法获得候选文本数据与文本样本数据之间的一致性激励值,再使用流畅度激励值和一致性激励值所对应的整体激励值对生成模型的模型参数再次进行更新,以得到初步训练完成的生成模型;

之后,使用初步训练完成的生成模型对表格训练数据进行文本转换,以得到文本样本数据,以文本样本数据作为负样本并以文本训练数据作为正样本,获得判别模型的损失函数值,基于该损失函数值对判别模型的模型参数进行更新。

参考图7所示,为本申请实施例二提供的一种数据处理装置的结构示意图,该装置可以适用于能够进行数据处理的电子设备中,如手机、pad、笔记本、计算机或服务器等。本实施例中的技术方案主要用于提高表格转换成的文本的流畅度和一致性。

具体的,本实施例中的装置可以包含如下单元:

目标获得单元701,用于获得目标表格数据;

文本转换单元702,用于对所述目标表格数据进行文本转换,以得到所述目标表格数据对应的目标文本数据;

其中,所述目标文本数据的流畅度属性的值大于或等于流畅度阈值,所述目标文本数据的一致性属性的值大于或等于一致性阈值,所述流畅度属性的值大小表征所述目标文本数据的文本流畅度的高低,所述一致性属性的值大小表征所述目标文本数据和所述目标表格数据之间的相似度的高低。

由上述方案可知,本申请实施例二提供的一种数据处理装置中,在获得到目标表格数据之后,通过对目标表格数据进行文本转换,进而得到目标文本数据,而通过本申请中的文本转换能够使得目标文本数据的流畅度属性和一致性属性均大于或等于各自的阈值。可见,本实施例中的文本转换能够使得所得到的文本的流畅度和语义一致性均较高。

在一种实现方式中,文本转换单元702具体用于:使用生成模型对所述目标表格数据进行文本转换,以得到所述目标表格数据对应的目标文字数据;

基于此,本实施例中还可以以下单元,如图8中所示:

模型训练单元703,用于训练生成模型和判别模型。

其中,所述生成模型基于神经网络构建并使用多个训练样本进行训练得到,所述训练样本包含表格训练数据和文本训练数据,且,所述生成模型还使用所述训练样本对应的激励训练数据进行训练,所述激励训练数据表征所述生成模型对所述表格训练数据进行文本转换的流畅度属性和一致性属性。

可选的,所述激励训练数据通过以下方式获得:获得所述生成模型对所述表格训练数据进行文本转换所得到的多个候选文本数据;获得每个所述候选文本数据的流畅度激励值,所述流畅度激励值的大小表征所述候选文本数据的文本流畅度的高低;获得每个所述候选文本数据与对应的文本训练数据之间的一致性激励值,所述一致性激励值的大小表征所述候选文本数据与所述文本训练数据之间的相似度的高低;根据所述流畅度激励值和所述一致性激励值,获得整体激励值,所述整体激励值作为所述激励训练数据,用于对所述生成模型的模型参数进行更新。

在一种实现方式中,所述目标文本数据的流畅度属性通过判别模型获得;其中,所述判别模型使用所述文本训练数据及其对应的文本样本数据训练得到,所述文本样本数据为使用所述生成模型对所述表格训练数据进行文本转换所得到的样本数据。

可选的,所述判别模型通过以下方式训练:根据所述文本样本数据和所述文本训练数据,获得所述判别模型的损失函数值,所述损失函数值的大小表征所述判别模型获得流畅度属性的误差大小;使用所述损失函数值,对所述判别模型的模型参数进行更新。

基于以上实现,损失函数值通过以下方式获得:使用所述判别模型,获得所述文本训练数据的第一激励值和所述文本样本数据的第二激励值;至少根据所述第一激励值和所述第二激励值,获得损失函数值。例如,对所有所述文本训练数据对应的所述第一激励值的对数值取期望值,以得到第一期望值;分别用1减去每个所述文本样本数据对应的所述第二激励值,以得到新的第二激励值;对所有文本样本数据对应的所述新的第二激励值的对数值取期望值,以得到第二期望值;根据所述第一期望值和所述第二期望值,获得所述损失函数值。

在一种实现方式中,整体激励值通过以下方式获得:使用激励权重参数,对所述流畅度激励值和所述一致性激励值进行加权求和,以得到整体激励值;其中,所述激励权重参数至少与所述文本训练数据和所述候选文本数据相关。

需要说明的是,以上各单元的具体实现可以参考前文中的相应内容,此处不在详述。

参考图9,为本申请实施例三提供的一种电子设备的结构示意图,该电子设备可以为能够进行数据处理的电子设备,如手机、pad、笔记本、计算机或服务器等。本实施例中的技术方案主要用于提高表格转换成的文本的流畅度和一致性。

具体的,本实施例中的电子设备可以包含如下结构:

存储器901,用于存储应用程序和所述应用程序运行所产生的数据;

处理器902,用于执行所述应用程序,以实现:获得目标表格数据;对所述目标表格数据进行文本转换,以得到所述目标表格数据对应的目标文本数据;其中,所述目标文本数据的流畅度属性的值大于或等于流畅度阈值,所述目标文本数据的一致性属性的值大于或等于一致性阈值,所述流畅度属性的值大小表征所述目标文本数据的文本流畅度的高低,所述一致性属性的值大小表征所述目标文本数据和所述目标表格数据之间的相似度的高低。

由上述方案可知,本申请实施例三提供的一种电子设备中,在获得到目标表格数据之后,通过对目标表格数据进行文本转换,进而得到目标文本数据,而通过本申请中的文本转换能够使得目标文本数据的流畅度属性和一致性属性均大于或等于各自的阈值。可见,本实施例中的文本转换能够使得所得到的文本的流畅度和语义一致性均较高。

具体的,以电子设备为服务器为例,以下对本申请中的技术方案进行详细说明:

首先,本申请中的技术方案基于GAN模型,如图10中所示,通过建立对抗学习机制,对其中的生成器和判别器进行训练。GAN模型主要包括两个模块:生成器G和判别器D,生成器G即为前文中的生成模型,判别器D即为前文中的判别模型。其中,生成器能够根据输入的表格数据生成相应的文本描述;判别器能够评价输入的文本描述是否为真实数据,即人工标注的准确文本描述,由此得到流畅度激励值,同时使用bleu相关算法比较输入文本与相应表格,计算得到语义信息一致性激励值,并将二者有效融合以便用于更新生成器G。基于此,本申请的技术方案主要有以下核心要点:

1、在训练数据集的基础上预训练GAN模型中的生成器G,这里的训练数据集即为前文中的训练样本;

2、使用G生成负样本,并用于预训练GAN模型中的判别器D;

3、使用MC搜索生成多个候选文本描述(数据),并计算它们总的激励,即整体激励值;

4、采用策略梯度更新生成器G,并用更新后的G生成负样本用于判别器D的更新;

5、不断迭代更新G和D来训练整个GAN架构;

6、使用训练好的生成器生成输入表格的文本描述。

结合图11中所示的训练流程,在模型的训练过程中使用公式(1)来计算生成文本的流畅度激励,并且使用公式(2)来计算生成文本与对应表格内容的语义信息一致性。为了有效地融合以上两个激励,可以使用公式(3)和(4)计算得到最终的激励值,并使用策略梯度方法更新生成器参数。之后,我们使用更新后的G生成负样本,使用损失函数如公式(5)来训练判别器。

整个训练过程的算法如下:

输入:表格训练数据R和其对应的文本训练数据S;

训练目标:联合训练生成器G和判别器D

1、使用随机参数初始化G和D,即初始化G和D各自的模型参数β和φ;

2、使用R和S预训练生成器G;

3、保存G的模型参数到β;

4、输入R到G,生成的文本作为负样本,以S作为正样本;

5、使用正负样本来预训练判别器D。

其中,迭代训练生成器的算法如下:

1、在G生成每个单词时,使用MC算法得到8个候选,并和之前的文本形成(不完整的)句子,即前文中的候选文本数据;

2、使用公式(1)计算各个候选文本数据的流畅度激励;

3、使用BLEU-Table算法计算各个候选文本数据和原始表格数据的信息一致性激励;

4、使用公式(4)融合上述两个激励得到整体的激励;

5、使用策略梯度基于整体的激励更新生成器的模型参数。

而迭代训练判别器的算法如下:

1、使用更新后的生成器生成负样本

2、结合正样本如S和负样本,构成训练数据;

3、使用交叉熵损失函数训练k轮判别器,其中,k可以为3。

之后,重复执行迭代训练生成器的算法和迭代训练判别器的算法,由此交替训练生成器和判别器,直到整个GAN模型收敛。

综上,本申请可以适用于多种应用场景,如在英语作文写作中,本申请中的GAN模型可以根据表格中提供的关键词生成一篇语义完整、语法流畅的范文,用于指导学生的作文写作,如图12中所示。由此,本申请中采用GAN模型能够同时保证生成文本的流畅性和语义信息一致性,具体实现中是通过提出一种激励融合方法,能够合理地融合流畅度激励和语义一致性激励,提升模型的性能。

需要说明的是,在使用本申请的技术方案时,可以对在测试集上生成的文本数据的分布信息进行统计,如不同级别词汇的概率分布(通过查字典确定词汇的级别)和不同句子结构(通过句法解析器得到)的概率分布等,另外,对采用其他方法在测试集上生成的文本数据的分布信息进行统计,如果发现其他方法得到的统计信息和本申请的技术方案中所得到的统计信息一致,则认为其他方法是与本申请的技术方案属于相同的发明构思。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

20页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:语音编辑方法、电子设备及计算机可读存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!