具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1，基于自然语言理解与转化的业务逻辑无代码开发方法：

第一方面进行自然语言理解驱动的开发语义抽取。自然语言理解驱动的开发语义抽取的核心在于提取关键开发元素，以供下一步组件匹配使用。本发明将自然语言描述中的关键开发元素自动抽取作为一个序列标注问题处理。通过对海量自然语言描述的带标注无代码开发需求语料进行有监督训练，以获得高效、高准确率、高泛化能力的开发语义抽取模型。模型采用BERT(Bidirectional Encoder Representation from Transformers，BERT)方式将高维空间中表示词的高维一位编码(One-Hot Encoding)向量映射到低维稠密的连续向量空间。采用结合注意力机制的双向长短时记忆网络的意图识别模型自动提取知识语句上下文特征。

第二方面进行自然语言生成代码任务。解析出用户意图后将元数据送入模型引擎，模型引擎调用相应的代码生成模型。本发明将代码生成任务转换为机器翻译任务，首先通过采用基于Transformer的机器翻译模型将自然语言转换成抽象的中间形式语言表示，然后将中间代码与组件库相结合编译成目标源代码。为了确保生成的源代码能正确运行，将程序自动生成的目标源代码展示给用户，并提供代码修改界面，以便用户对生成的源代码进行删改。如用户对生成的代码进行了修改，则将该条数据添加进训练集，用于模型训练。

具体实现步骤如下：

1、输入自然语言文本；

2、对文本进行语义解析；

3、语义解析得到了得到用户意图；

4、解析出用户意图后将元数据送入模型引擎，模型引擎调用相应的代码生成模型；

5、利用生成代码模型生成中间代码表示；

6、将中间代码表示与组件库相结合，编译成目标源代码；

7、用户可以选择对生成的源代码进行编辑及确认；

8、根据用户意图对修改后的源代码进行部署或其他操作。

实施例2，基于自然语言理解与转化的业务逻辑无代码开发方法实验：

代码生成流程如图1所示。下面对本发明方法的实施过程分为四个部分作详细讲解。

(1)自然语言理解驱动的开发语义抽取

在本发明中，用户输入文本存在文本特征稀疏、字数少但包含信息量大、语义复杂、语境复杂等问题。为解决此问题，本发明采用结合注意力机制的双向长短时记忆网络的意图识别模型进行语义识别。

如图2所示，假设输入序列为X＝[x₁，x₂，...，x_n]，将X输入到BiLSTM层中，得到第t个单词的前后隐藏状态计算如下：

其中，为经过LSTM后的正向输出，为逆向输出，h_t为经过BiLSTM的输出，表示的是对应元素相加。

如果LSTM的隐藏单元数为k，将前后项隐藏状态连接得到h_t，且h_t∈R^2k，则输入的意图文本可以用H∈R^N×2k，表示所有隐藏状态h的集合，即H＝(h₁，h₂，...，h_n)。自注意力计算方法如下：

M＝tanh(W_S1H^T)

a＝softmax(W_S2M)

其中，H^T为H的转置矩阵，a为自注意力权重矩阵。W_s1∈R^m×2k和W_S2∈R^1×m为自注意力权重矩阵，m为自注意力的隐藏单元数，是一个超参数，可以任意设置，H^T∈R^2k×n为H的转置矩阵。通过计算可以得到a∈R^1×n。所以意图文本向量可以表示为：d＝a·H，其中d∈R^1×2k。如果从意图文本中提取r个语义特征，则需要r个自注意力头部进行语义特征提取，则W_S2∈R^{r ×m}，得到A∈R^r×n，最终得到文本意图的向量表示D＝A·H。

(2)自然语言生成中间代码

使用自然语言生成代码任务可以转换为机器翻译任务，但机器翻译方法并非完美，因编程语言本身与自然语言结构不同，且查询并不需要自然语言中全部信息，这导致自然语言中的无用字词成为干扰，使机器翻译方法得到的结果并不令人满意。针对现有问题，本发明将代码生成任务转换为机器翻译任务，首先将自然语言转换成抽象的中间形式语言表示，然后将中间形式语言编译成目标。

如图3所示，Transformer模型由编码器和解码器构成。编码器由6个同构的网络层堆叠而成，每一个网络层包含有多头注意力子层(Multi-Head Attention)和基于位置的前馈神经网络(Feed Forward)；解码器和编码器大体一致，不过在输入序列提取特征时采用的是Masked多头注意力层，整个模型使用残差连接与对各层输出使用规范化来更好的优化网络。

首先需要将词进行向量化表示，文本的向量化表示为：X＝[x₁，x₂，...，x_n]^T∈R^n×d。其中，n表示自然语言文本中的分词个数，d表示词向量维度，x_i表示文本中第i个词的词向量i＝(1，2，...，n)。每个分词的位置向量的计算如下所示：

其中，pos表示输入序列中每个词的具体位置，i表示维度。

最后每个分词的向量化表示如下所示：

re_i＝we_i+pe_i

其中，we_i表示句子中第i个词语的词向量，pe_i表示句子中第i个词语的位置向量。

自注意力机制用于计算词语之间的相关程度，通常可以用查询向量(Q)、键向量(K)和值向量(V)这三个向量进行描述，其中，Q、K和V是通过每条文本的向量矩阵X乘以3个不同的权值。矩阵W^Q，W^K，W^V得到，如下所示：

Q＝X·W^Q#

K＝X·W^K

V＝X·W^V

在获取自注意力信息时，首先利用Q向量去查询所有的候选位置，每个候选位置会有一对K和V向量，查询的过程就是Q向量和所有候选位置的K向量做点积运算的过程，点积结果经过Softmax函数后加权到各自的V向量上，求和就得到了最终的自注意力结果，计算如下所示。

多头自注意力机制则相当于h个并行的自注意力层的集成，其计算方式如下所示：

MultiHead(Q，K，V)＝Concat(head₁，head₂，...，head_h)W^o

多头自注意力层是整个模型的核心，其丰富了词语之间的关联关系，甚至能够理解句子的语义和句法结构信息。

然后经过基于位置的前馈神经网络(Feed-Forward Network)处理，前馈神经网络由两个线性变换组成，两者之间有一个ReLU的激活函数。编码器输出序列特征向量Z＝(z_a1，z_a2，...，z_an)。

FFN(x)＝max(0，xW₁+b₁)W₂+b₂#

解码器(Decoder)首先使用Masked多头注意力(masked multi-head attention)计算后得到连续表征向量Z＝(z_b1，z_b2，...，z_bn)。经过多头注意力与残差规范化处理后得到z_b与编码器生成的特征向量z_a进行多头注意力计算；在这一步中利用编码器输出向量z_a得到的Queries、Keys和解码器得到的z_b向量的Values进行多头注意力计算与翻译对齐，也就是将源序列与目标序列的高层特征进行了关联，在编码器和解码器中都使用多头自注意力来学习序列的表示，然后通过同样的残差&规范化处理和基于位置的前馈网络处理以及线性优化和Softmax一系列处理最终实现Y＝(y₁，y₂，...，y_n)的概率化输出。

(3)将中间代码表示编译为目标源代码

在本模块将使用自定义编译器，把简化的形式表示转换为应用程序源代码。如图4所示，大致显示了SDR到源代码的转换过程。所有可能的SDR组件都有相应的预定义模板源代码储存在组件库中。编译器按最小组件解析SDR并获取相应的模板，并最终添加到目标源代码中。文字字典由在预处理过程中于自然语言分离及在编译过程中重新引入的文本值组成。

(4)代码编辑

为了确保生成的源代码能正确运行，将程序自动生成的目标源代码展示给用户，并提供代码修改界面，以便用户对生成的源代码进行删改。如用户对生成的代码进行了修改，则将该条数据添加进训练集，用于模型训练。原型系统界面展示如图5所示。