具体实施方式

下面结合附图与具体实施方式对本发明作进一步的说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在一个或多个实施方式中，公开了一种预测蛋白质-多肽结合位点的方法(PepBCL)，具体包括以下过程：

获取待预测的蛋白质-多肽序列数据，将所述数据输入到训练好的基于预训练模型BERT和对比学习的神经网络模型，输出位点级别的多肽结合概率，并确定输入序列中的各个位点是否结合；

其中，所述基于预训练模型BERT和对比学习的神经网络模型首先将原始蛋白质序列编码为一个数字值向量；具体方法为：原始蛋白质序列中的每个氨基酸字母首先被大写，并根据定义的词汇词典翻译成数字序列，其中序列中的每个氨基酸都看作是句子中的一个词，并映射到一个数字值。

所述编码的数字值向量被在大量蛋白质序列上预先训练的嵌入层嵌入，以生成初始嵌入矩阵。将原始蛋白质-多肽序列中的每个氨基酸转换为嵌入矩阵后，通过多头注意力机制学习蛋白质序列的多角度上下文表示，加入前馈网络以通过激活函数提取更好的上下文表示；然后应用残差连接技术和层归一化，得到BERT编码输出。

进行BERT编码的具体过程为：

通过多头注意力机制学习蛋白质序列的多角度上下文表示，加入前馈网络以通过激活函数提取更好的上下文表示；然后应用残差连接技术和层归一化，得到BERT编码输出。所述嵌入矩阵经过BERT编码和全连接神经网络层，得到每个氨基酸的低维表示矩阵。

在已经提出的很多对比框架中，使用更多的负样本可以极大地提高模型的性能。鉴于此，进行BERT编码时，通过构建对比损失进行约束，收集设定数量的表示矩阵，以获得足够的位点级数据进行对比学习；构建对比损失作为针对批量数据的损失函数，使相同类别样本具有相似表示而不同类的样本具有不同的表示。最终生成具有区分性的结合与非结合位点表示特征。

具体地，结合图1，本实施例中，基于预训练模型BERT和对比学习的神经网络模型具体包括：序列embedding模块、基于BERT的编码器模块、对比学习模块和输出模块。

在序列embedding模块中，原始蛋白质序列中的每个氨基酸都被转换为一个预先训练好的嵌入向量。因此，输入的整条蛋白质序列就被转换为了一个嵌入矩阵。在基于BERT的编码器模块中，输入序列的嵌入矩阵首先由深度预训练模型BERT编码，生成具有互注意力信息的高维特征表示。随后，经过FNN(全连接神经网络)层，可以得到更好的蛋白质序列中每个氨基酸的低维表示。在已经提出的很多对比框架中，使用更多的负样本可以极大地提高模型的性能。鉴于此，本实施例提出了一个新的对比学习模块，该模块可以计算设定数量的数据的正样本-正样本对、负样本-负样本对和正样本-负样本对之间的对比损失，来约束编码器模块生成更加具有区分性的结合与非结合位点表示特征。最后，输出模块可以生成位点级别的多肽结合概率，并确定输入序列中的各个位点是否结合。

本实施例中，构建序列embedding模块的具体方法包括：

原始蛋白质序列中的每个氨基酸字母首先被大写，并根据定义的词汇词典翻译成数字序列，其中序列中的每个氨基酸都可以看作是句子中的一个词，并映射到一个数字值。例如，S(丝氨酸)对应数字11，L(亮氨酸)对应数字6。需要注意的是，稀有氨基酸将统一替换为字典中对应的数字26。考虑到不是大数据集，特别是由于过度填充导致的性能下降问题，我们没有将蛋白质序列填充到相同的长度。这样，原始蛋白质序列就被编码为一个数字值向量。然后，编码向量被在大量蛋白质序列上预先训练的嵌入层嵌入，以生成与一般嵌入层相比较好的初始嵌入。

本实施例中，构建基于BERT的编码器模块的具体方法包括：

BERT模型的基本单元是由多头注意力机制、前馈网络和残差连接技术组成的编码器块。多头注意力机制由许多独立的自注意力模块组成，用于学习蛋白质序列的多角度上下文表示。自注意力机制描述如下：

其中是序列embedding模块的输出，并分别通过线性层转化为查询矩阵键矩阵和值矩阵L是输入蛋白质序列的长度，d_m是初试嵌入维度，d_k是矩阵Q、K和V的维度。

多头注意力机制基于上述的自注意力机制，可表述为如下：

其中分别是第i个head的查询矩阵、键矩阵和值矩阵对应的线性变换层，h表示head的数目。是一个线性转换层，可以将多头注意力的输出维度映射到嵌入模块的初始嵌入维度。之后，应用残差连接技术和层归一化(LN)，X_MultiHead是多头注意力模块的最终输出。

加入前馈网络(FFN)以通过激活函数提取更好的表示，其数学描述如下：

其中X_MultiHead是多头注意力机制的输出，和是两个线性层并且在所有位置共享。d_m是初始嵌入维度，d_f是前向网络隐藏层的维度。gelu(Gaussian Error Linear Units)是一个非线性激活函数，前馈网络的输出也运用了残差连接技术并经过层归一化。

由于BERT模型有许多编码器块，因此BERT的最终编码过程可以表示为如下：

X⁽ⁱ⁾＝FFN(MultiHead(X^(i-1))),i＝1,...,n(5)

其中，X⁽ⁱ⁾是第i个编码器块的输出，n表示编码器块的总数。X⁽⁰⁾是初始输入嵌入矩阵，这里为了方便起见，我们认为多头注意力和FFN都包括残差连接技术和LN。

BERT模型编码后，我们将得到最后一个编码器块的输出X⁽ⁿ⁾，维数仍然很高。因此，为了避免维度的冗余，如下使用FNN(全连接神经网络)来更好地提取输入序列中氨基酸的表示，同时降低维度。

X_Encode＝elu(X⁽ⁿ⁾W⁽³⁾)W⁽⁴⁾ (6)

其中和是FNN的线性层，elu(ExponentialLinear Units)是一种流行的非线性激活函数。d₁,d₂分别是FNN第一层和第二层的隐藏层维度。通过这种方式，得到了输入序列中每个氨基酸较好的低维表示。

本实施例中，构建对比学习模块的具体方法如下：

本实施例提出了一种基于有监督数据的新颖的对比学习模块，使得相同类别输入的表示映射到表示空间中相近的点，而不同的类别输入则映射到远处。具体来说，考虑到没有将蛋白质序列填充到相同的长度，本实施例将首先从编码器模块收集设定数量的表示矩阵。通过这种方式，可以获得足够的位点级数据进行对比学习。随后，为了使相同类别样本具有相似表示而不同类的样本具有不同的表示，本实施例构建了对比损失作为我们的模型针对批量数据的损失函数。对于其中的一对位点表示，损失定义如下：

其中，一对位点表示z₁,z₂的相似性可以通过D(z₁,z₂)来度量。如果这对位点属于不同的类，则y等于1，这意味着一个位点是结合的，而另一个不是；如果这对位点属于同一类，则y等于0。D_max是D(z₁,z₂)的最大值，这里等于2。值得注意的是，通过给不同类别位点对一个更高的权重3，使模型间接地更多关注少数类。

本实施例中，构建输出模块的具体方法包括：

由前面的模块从原始蛋白质序列x中生成的位点表示向量z被送入多层感知机(MLP)，将特征向量转换为位点级别的类别输出y_p，即，

其中，Sequence-Embed表示序列embedding模块，BERT-baseced-Encode表示基于BERT的编码器模块。x_Encode是由许多位点特征向量组成的编码序列级表示，x_Encode,i是序列中的第i个位点表示，而n是序列中位点的数量。

这里使用交叉熵损失函数来训练输出模块以提高预测性能，即，

其中，k＝0或1表示非结合位点或结合位点，并且p_k是将位点视为类别k的概率。N是位点的数量，y_i是位点i的标签，L₂表示设定数量的数据的交叉熵损失。

为了避免L₂损失的反向传播干扰表示学习模块和由于深度模型BERT引起的梯度消失问题，表示学习部分的优化和预测部分被分离开来。具体来说，在训练输出模块时冻结基于BERT的编码器模块中的参数。模型的损失函数可描述为如下：

本实施例中，为了更好地评估本实施例提出的方法的整体性能，选择使用不平衡分类任务中常用的四个指标，包括召回率(Recall)、特异性(Specificity)、准确率(Precision)和马修斯相关系数(MCC)。它们的计算公式如下：

其中TP(真阳性)和TN(真阴性)表示正确预测的结合残基和非结合残基的数量，FP(假阳性)和FN(假阴性)表示错误预测的结合残基和非结合残基的数量。Recall是指模型正确预测的结合残基的比例，Specificity是指模型正确预测的非结合残基的比例。Precision表示预测为结合的残基的预测准确性。MCC是一个综合性度量指标，同时考虑了结合残基和非结合残基的预测表现，广泛用于不平衡数据集。此外，还计算了AUC，即ROC(接收者操作特征)曲线下的面积，以衡量神经网络模型的整体性能。

下面通过实验验证本实施例方法的性能

为了评估本实施例方法PepBCL的性能，首先构建了两个在以前的方法中广泛使用的数据集，并运用构建的基于预训练模型BERT和对比学习的神经网络模型进行实验。

具体的数据集如下：

(1)基准数据集

选择在SPRINT-Seq方法中提出的包含有1,279个肽结合蛋白的数据集作为我们的基准数据集，其中包含16,749(290,943)个多肽结合(非结合)残基。具体来说，该数据集通过以下两个步骤进行处理而得到：

①从BioLiP数据库中获取并收集蛋白质-多肽数据；

②通过BLAST包中的“blastclust”聚类并筛选去除序列同一性>30％的蛋白质。

(2)对比实验数据集：

准备Dataset 1和Dataset 2；从基于蛋白质结构的方法SPRINT-Str中收集了测试集(用TS125表示)，基准数据集中划分完测试集后剩下的作为训练集(用TR1154表示)，这样就把TR1154和TS125作为Dataset 1的训练集和测试集。为了进一步评估本实施例提出的方法PepBCL与最新的方法(PepBind、PepNN-Seq、PepNN-Struct)的性能，我们还获取了与PepBind方法相同的训练集(由TR640表示)和测试集(由TS639表示)作为Dataset 2的训练集和测试集。

(3)特异性实验数据集

从文章“A comprehensive comparative review of sequence-basedpredictors of DNA-and RNA-binding residues”中随机挑选了30个DNA结合蛋白质(命名为DNA30)和30个RNA结合蛋白质(命名为RNA30)；

从文章“StackCBPred:A stacking based prediction of protein-carbohydrate binding sites from sequence”中随机挑选了30个carbohydrate结合蛋白质(命名为CBH30)。把所得到的这三个数据集(DNA30、RNA30和CBH30)作为我们特异性实验的数据集。

在上述获取的数据集的基础上，我们将本实施例方法PepBCL与包括传统机器学习方法和多个最新方法在内的现有方法进行了比较。评价指标为体现模型综合性能的AUC和MCC，如图2和图3中所示，得到了最后的测试集预测评价结果。图2为PepBCL和其他现有方法在测试集TS125上的MCC折线图，图3(a)为PepBCL和其他现有方法在测试集TS125上的ROC曲线图；图3(b)为PepBCL和最新的方法PepBind在测试集TS639上的ROC曲线图。为了验证本实施例提出的对比学习模块能够帮助模型提取到更加高质量的特征，我们进行了消融实验，即首先构建一个与本实施例中相同的基于预训练模型BERT和对比学习的神经网络模型，再构建一个缺少对比学习模块的消融网络，并在对比实验数据集Dataset 1和Dataset 2上对两个网络进行实验。

对于完整网络我们通过最小化对比损失函数与交叉熵损失函数之和来优化网络参数；对于消融网络，我们仅通过最小化交叉熵损失函数来优化网络参数。最终我们将两个网络在测试集上得到的高维度特征通过t-SNE工具降维并可视化，不同类型的样本分别用不同颜色标注，两种颜色越分明说明模型得到的特征越好、质量越高。

图4为完整的与缺少对比模块的PepBCL模型的特征空间分布的t-SNE可视化图。其中，(A)和(B)表示PepBCL在Dataset1上使用和不使用对比模块的t-SNE可视化结果；(C)和(D)表示PepBCL在Dataset 2上使用和不使用对比模块的t-SNE可视化结果。图4所示结果表明，本实施例提出的对比学习框架学习了高质量的表示并提高了预测性能。

为了进一步直观的观察本实施例神经网络模型的优势，首先在测试集中随机挑选了两个蛋白质，他们的PDB id为4l3oA和1fchA。然后采用本实施例的神经网络模型与对比方法PepBind，分别对这两个蛋白质做了对比实验，并将所预测的结果通过可视化工具进行了可视化，如图5所示，两种不同颜色表示结合与非结合残基，与生物学实验得到的真实结合残基预测情况越相似则预测效果越好。

图5展示了在随机挑选的两个蛋白质(pdbID：4l3oA和1fchA)上PepBCL和现有方法预测结果的可视化图。(A)-(C)分别代表在蛋白质4l3oA上生物学实验得到的真实结合残基、PepBCL的预测结合残基和PepBind的预测结合残基；(D)-(F)分别代表在蛋白质1fchA上生物学实验得到的真实结合残基、PepBCL的预测结合残基和PepBind的预测结合残基。

为了验证本实施例神经网络模型对蛋白质-多肽结合位点的识别具有特异性，运用本实施例神经网络模型在数据集Dataset 1和数据集DNA30、RNA30和CBH30四个数据集上进行了对比实验，并采用评价指标进行评价。

图6(a)-(b)为将本实施例的方法PepBCL对与不同配体(多肽、DNA、RNA、碳水化合物)结合的蛋白质的结合位点预测性能。图6(a)表示本实施例的方法PepBCL在不同配体结合蛋白数据集上的召回率(recall)、查准率(Precision)和MCC。图6(b)表示本实施例的方法在四种不同的配体结合蛋白数据集上的ROC曲线图。

图6(a)-(b)所示结果表明，本实施例的模型PepBCL对蛋白质-多肽结合位点的识别具有特异性。

本实施例首次将对比学习应用到预测蛋白质-多肽结合位点的问题上，并结合预训练模型BERT来作为蛋白质序列的编码器，在多个测试集上取得了不错的结果。同时，巧妙的设计了多个对比实验，有效的验证了方法的综合性能。

实施例二

在一个或多个实施方式中，公开了一种预测蛋白质-多肽结合位点的系统，包括：

数据获取模块，用于获取待预测的蛋白质-多肽序列数据；

结合位点预测模块，用于将所述数据输入到训练好的基于预训练模型BERT和对比学习的神经网络模型，输出位点级别的多肽结合概率，并确定输入序列中的各个位点是否结合；

其中，所述基于预训练模型BERT和对比学习的神经网络模型包括：

序列embedding模块，用于将原始蛋白质-多肽序列中的每个氨基酸转换为嵌入矩阵；

基于BERT的编码器模块，用于使得所述嵌入矩阵经过BERT编码和全连接神经网络层，得到每个氨基酸的低维表示矩阵；

对比学习模块，用于在进行BERT编码时，通过构建对比损失进行约束；

输出模块，用于生成具有区分性的结合与非结合位点表示特征。

上述各模块的具体实现方式采用实施例一中公开的方法实现，不再赘述。

实施例三

在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的预测蛋白质-多肽结合位点的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的预测蛋白质-多肽结合位点的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。