具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1：

如图1所示，一种5G网络切片资源分配方法，包括：

步骤1：获取用户提出的切片请求，根据CoS等级将获取的切片请求分队排列，得到8个SFC队列；

步骤2：每次从8个SFC队列的队首取出切片请求，根据uRLLC、eMBB和mMTC的业务分类，为取出的切片请求配置通信路径；

步骤3：采用预先学习的资源分配方法为取出的切片请求分配计算资源、存储资源、带宽资源，得到满足各业务时延要求的切片资源分配策略，将其作为切片请求的资源分配方法；

步骤4：将完成资源分配的切片请求从SFC队列删除，将新获取的切片请求按CoS等级置于对应SFC队列的队尾，返回步骤2。

如图2所示，一种5G网络切片资源分配方法基于5G系统实现，5G系统包括数据面，数据面由计算机及提供计算机之间通信的网络构成；根据功能的不同，计算机分属于接入数据中心DC1、边缘数据中心DC2和核心数据中心DC3。

具体步骤包括：

步骤1：获取用户提出的切片请求。

步骤2：根据CoS等级将获取到的切片请求进行排列，得到8个SFC切片分级队列。

如表1所示为业内对CoS等级划分的方法，CoS等级包括0～7级，其中CoS＝7表示切片对端到端时延要求最高，CoS＝0表示切片对端到端时延要求最低。

表1 CoS等级划分图

步骤3：每次从8个SFC队列的队首取出切片请求，根据uRLLC、eMBB和mMTC的业务分类，为取出的切片请求配置通信路径。

端到端时延包括传播时延、传输时延、排队时延和处理时延。所述传播时延在配置通信路径时进行优化，所述传输时延、排队时延和处理时延在资源分配过程中进行优化。

需要说明的是，SFC请求包括该请求的CoS等级。

如图2、图3所示，在各时隙同时读取8个SFC切片分级队列中队首的数据包，按uRLLC、eMBB、mMTC的业务分类方法，对端到端时延要求越高的业务安排越短的通信路径。通信路径的缩短通过UPF、MEC功能下沉和DU、CU合并方法实现。

UPF、MEC功能下沉和DU、CU合并方法，包括：

设置5G系统的数据面；

将uRLLC业务的DU、CU、MEC和UPF设置在接入数据中心DC1，且DU与CU安排在同一个物理设备上；

将eMBB业务的DU设置在接入数据中心DC1，CU、MEC、UPF功能设置在边缘数据中心DC2；

将mMTC业务的DU设置在接入数据中心DC1，CU功能设置在边缘数据中心DC2，UPF、MEC功能设置在核心数据中心DC3。

步骤4：采用预先学习的资源分配方法为取出的切片请求分配计算资源、存储资源、带宽资源，得到满足各业务时延要求的切片资源分配策略，将其作为切片请求的资源分配方法。

本发明对实时性要求高的业务尽量多分配资源，在充分利用资源的同时，满足各种业务的端到端时延要求。

其中，计算资源指VNF映射到具体物理设备时计算机分配的虚拟计算能力，所述VNF包括DU、CU、MEC、UPF。存储资源指计算机分配的虚拟存储器。带宽资源指分组在出口获得的虚拟带宽；当虚拟带宽在接入数据中心DC1内部、边缘数据中心DC2内部或核心数据中心DC3内部时，该虚拟带宽属于计算机之间带宽的一部分；当虚拟带宽在接入数据中心DC1出口、边缘数据中心DC2出口时，该虚拟带宽属于接入数据中心DC1与边缘数据中心DC2之间、边缘数据中心DC2与核心数据中心DC3之间承载网络带宽的一部分。

需要说明的是，为各切片请求分配的虚拟资源之和不大于各切片所在计算机的实际物理资源的最大值。

如图3所示，预设的资源分配方法，包括：

将各业务传输时延、排队时延和处理时延之和乘以1+CoS并求和；

以求得之和最小化为优化目标，用强化学习法为各切片请求分配计算资源、存储资源、带宽资源。

当SFC队列为空时，该队列资源需求为0，则为其分配的计算资源、存储资源、带宽资源中任一资源为0。

针对uRLLC、eMBB和mMTC业务的不同情况将SFC队列所涉VNF放置到相应物理设备后，传播时延为定值，在强化学习中不用对传播时延进行优化，在强化学习中不包含全程传播时延。

强化学习法的状态为各时隙8个SFC队列中所有SFC请求情况；动作是为各队列队首SFC在相应物理节点分配计算资源、存储资源、带宽资源；单步奖励为优化目标的负相关函数，即

强化学习法同时从传输时延、处理时延和排队时延的角度进行优化，以最大程度地降低时延。各业务传输时延、排队时延、处理时延之和通过下式表示：

式(1)中，T_i表示进入资源分配的各切片请求产生的传输时延、排队时延、处理时延之和，满足i∈1～8；C_n表示某时隙第n个物理节点为第i个切片所分配的计算资源，单位为CPU cycles/s；B_n表示某时隙第n个物理节点为第i个切片所分配的出口带宽，单位为bit/s；x表示处理单位比特数据所需的计算资源，单位为CPU cycles/bit；l表示分组的平均长度，单位为bit；分组的到达过程符合到达率为λpackets/s的泊松分布。

具体地，优化目标通过下式表示：

式(2)中，T表示加权求和的结果；E_i表示该队列是否为空，当队列为空则E_i＝0，否则E_i＝1。

需要说明的是，强化学习法需要满足AAU与接入数据中心DC1、接入数据中心DC1与边缘数据中心DC2、边缘数据中心DC2与核心数据中心DC3之间在一跳直达的OTN等高带宽承载网络的基础上，且接入数据中心DC1内部、边缘数据中心DC2内部、核心数据中心DC3内部计算机之间也应在EPON等高宽带内部网络基础上。

步骤5：将完成资源分配的切片请求从SFC队列删除，将新获取的切片请求按CoS等级置于对应SFC队列的队尾，返回步骤2。

实施例2：

本实施例以自动调整温度系数α的SAC算法为例说明实施资源分配的强化学习过程。

为加快算法收敛过程，SAC算法引入了策略熵(用表示，用动作概率的相反数来计算)的概念，其训练流程如图4所示，包括：

步骤1：初始化神经网络。

步骤1.1：初始化神经网络参数。

神经网络参数包括：1个策略网络π，参数为φ；2个动作价值网络Q，参数分别为θ₁、θ₂。设置2个Q网络的目的是选择Q值中较小的一个，避免Q值的过高估计。为了减少数据相关性引入的与2个动作价值网络Q对应的2个目标网络，参数分别为为了减少数据相关性设置了回放存储器

本实施例的超参数设置为：策略网络π学习率λπ、动作价值网络Q学习率λ_Q、温度系数α学习率λ_α均为0.001，折扣率γ＝0.99，回放存储器大小为10⁶字节，神经网络隐藏层为2层，目标平滑系数同时目标函数设置为：

其中，θ表示θ₁、θ₂，表示

步骤1.2：将θ₁的参数复制给将θ₂的参数复制给

步骤1.3：清空回放存储器

步骤2：设置迭代次数i＝0。

步骤3：设置每次迭代已执行的步数j＝0。

步骤4：根据策略选择动作：a_t～π_φ(a_t|S_t)。

步骤5：更新状态：S_t+1～p(S_t+1|S_t,a_t)。

步骤6：将数据存入回放存储器：

步骤7：更新Q网络参数：

步骤8：更新π网络权重：

步骤9：更新温度系数：

步骤10：更新目标Q网络参数：

步骤11：设置迭代已执行的步数j＝j+1。

步骤12：判断迭代已执行的步数是否达到最大步数：若达到最大步数，设置迭代次数i＝i+1；若未达到最大步数，返回步骤4。

步骤13：判断迭代是否达到最大回合数：若达到最大回合数，输出神经网络参数φ和θ₁、θ₂；若未达到最大步数，返回步骤3。

实施例3：

本实施例提供了一种5G网络切片资源分配系统，包括：

切片分级模块：用于取用户提出的切片请求，根据CoS等级将获取的切片请求分队排列，得到8个SFC队列；

队列调度模块：用于每次从8个SFC队列的队首取出切片请求，根据uRLLC、eMBB和mMTC的业务分类，为取出的切片请求配置通信路径；

资源分配模块：用于采用预先学习的资源分配方法为取出的切片请求分配计算资源、存储资源、带宽资源，得到满足各业务时延要求的切片资源分配策略，将其作为切片请求的资源分配方法；

队列更新模块：用于将完成资源分配的切片请求从SFC队列删除，将新获取的切片请求按CoS等级置于对应SFC队列的队尾。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。