具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

图1为本发明实施例中大数据资源调度系统的架构图。如图1所示，本发明实施例中，包括“云-管-端”的三级结构，其中云为云服务器集群，包含了多个可扩展云服务器，其中，云服务器集群中包含一个中心服务器，定义为云端中心服务器，用于对各个云服务器的存储状态和运行状态进行监控，并基于各个云服务器的状态，动态释放和扩展资源，保证业务的正常运行。云端中心服务器可以是多个云服务器的其中一个，也可以指定为特殊的具备控制策略功能的服务器，可以动态获取热点数据组，并响应该热点数据组的I/O请求。管为边缘层，由多个边缘节点组成，边缘节点离用户侧较近，具备一定的计算及数据处理能力，可以在较短时间内响应用户的查询及数据获取请求。端为终端，由用户进行操控，并生成I/O请求，发送至边缘节点及云端，最终从云端或边缘节点处获取需要的数据。

图2是本发明实施例的一种基于大数据的资源调度的方法流程图，本发明实施例提供的方法，具体为：

S101、云服务器将热点数据组分发至多个移动边缘节点MEC；

热点数据组是对应于热点事件的待分发内容，热点数据组可以是视频、文字及图片等形式，其分别由不同的数据格式组成，并经过编码、解码等步骤形成特定内容的事件数字载体。

热点事件在单位时间内的响应频率较高，例如“热搜”事件，在单位时间内的访问量会达到上百万次，如此高的访问频率需要在较短时间内响应，对云端存储和整个网络而言都是一个挑战。

其中，云服务器可以通过人工智能算法来预测热点事件，并基于预测结果生成与预测结果对应的热点数据组。例如，将一段周期内收集到的事件进行文本解析，解析出热点事件的主题，并建立深度学习模型，将历史记录中不同的主题作为输入样本进行模型训练，训练出主题-标签模型，并基于主题-标签模型输出与主题对应的标签，统计一段时间内具备主题的请求数，若请求数增长率高于第一阈值，则利用主题-标签模型输出与主题对应的标签，并基于对应的标签进行关联热点数据组的检索。

热点事件是随机的，突发的，因此需要将主题与不同标签进行关联，而热点事件的关联和分类，则无法通过人为进行，因此，需要利用深度学习模型进行模型训练，从而确定不同主题与标签的关联性，标签可以是该主题的扩展或类型，标签可以反映出该主题的关注度，因此，需要关注该主题不同标签的累加增长率，可正确反映出该主题的关注度增长率，从而输出正确的热点事件，并以此来生成对应的热点数据组。

S102、所述多个MEC将所述热点数据组分发至多个移动终端；

本发明实施例中，采用了将热点数据组进行复制并分发的方式进行分布式存储，利用MEC响应时间快的特性，将热点数据组预先/预备“下沉”至边缘节点，以在用户终端开始搜寻热点事件内容时，缩短热点事件的响应时间。

S103、所述云服务器对所述多个MEC的关键性能指标KPI进行预测，若预测出的第一MEC的KPI不满足质量服务QoS条件，则暂停所述第一MEC的分发操作，并将所述第一MEC存储的热点数据组进行数据分裂，分裂为多个子热点数据组；

在本发明实施例中，可以通过利用与无线电信道相关联的关键指标(例如PRB,CQI,SNR等)度量来预测网络中的吞吐量，在此称为关键性能指标(Key PerformanceIndicator,KPI)。不同的KPI具有不同的测量方式，范围从每秒几次到每几秒一次；KPI的测量频率被称作KPI粒度。

在本发明实施例中，选择KPI以提供关于设备性能和网络性能的数据，若KPI参数达不到某一个标注阈值，则认定该KPI不满足服务质量(Quality Of Service,QoS)，反之则能满足。

在本发明实施例中，云服务器对所述多个MEC的关键性能指标KPI进行预测，具体可以为：

获取所述MEC的KPI的历史数据，将所述KPI历史数据生成KPI值阵列；

对于每个MEC而言，需要按照不同的粒度收集其所选择的历史时间段的KPI数据。其中，“高粒度”KPI可以每秒测量几次，而“低粒度”KPI可以每几秒钟测量一次。

将所述KPI值阵列输入至预测模型中，所述预测模型利用回归算法对所述KPI值阵列进行分析，并输出未来时间点的KPI值。

对历史KPI数据进行汇总，并生成KPI值阵列，并将该KPI值阵列输入至机器学习ML的智能预测模型中。

在本发明实施例中，可以考虑如下ML算法：随机森林(RF)，支持向量机(SVM)，梯度树增强(GB)和神经网络(NN)。其中，RF表示用于回归和分类任务的集成/增强学习方法。RF通过增长决策树(弱学习者)的集合，然后通过利用各个树的平均值进行预测来工作。因为每个树是在随机选择的特征子集上构建的，因此该方法可以减少过度拟合。通过考虑决策树的每个分割的特征的随机子集，它们被进一步去相关，使得拟合最小化。因此，本发明实施例优先选择该算法进行KPI的预测。该算法为现有技术，本发明实施例不再累述。

与RF相似，GB也代表一个总体算法，具有迭代地建立模型的思想，其中在每个阶段，增加一个“弱学习者”以改进现有模型。

SVM是基于构造用于做出将不同类别的点分开的决策边界的超平面。为了使分离更容易，可以通过被称作核的适当函数来变换输入特征。对于SVM，参数调谐代表了主要缺点。传统技术，网格搜索可用于自动搜索最优参数，但它耗时长。

多层感知器(MLP)，也称为前馈神经网络，代表深度学习模型。它由多层组成，输入端形成第一层，输出端为最后一层。从每一层，取所有值的线性组合，应用激活函数，并将结果发送到下一层。学习算法的目的是找出在线性组合中使用的适当权重。

若多个MEC中，具备一个MEC(定义为第一MEC)的某一个KPI(例如PRB负载率、CQI、RSRQ)不满足预期条件，则该MEC如果持续地进行内容分发，会导致网络响应时间大大增加，数据分发过程会急剧缓慢。因此，需要将第一MEC的分发操作暂停，并通过其余的MEC分担该分发操作。

在本发明实施例中，第一MEC中保存的热点数据组需要不同的MEC节点代为分发，而由于热点数据组数据量大，如果单单是不同的MEC代为转发同一个热点数据组，也容易出现第一MEC的KPI不达标的现象，因此，本发明创造性地提出了一种数据分裂的方式，将大容量的数据组切割为不同的小份数据组，并将小份数据组进行分发，会极大地降低网络的拥塞率。

将热点数据组进行数据分裂，分裂为多个子热点数据组，可以采用等分的方式，也可以采用非等分的方式，即考虑到不同MEC的资源饱和度，原则上采用资源饱和度高的分配较小数据量的子热点数据组，资源饱和度低的分配较大数据量的子热点数据组的方式。

S104、所述第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，并将所述多个子热点数据组按照负载均衡策略依次分发至所述相似MEC簇群的不同MEC中，以使所述相似MEC簇群将所述多个子热点数据按照不同路由路径依次分发至多个移动终端中。

在本发明实施例中，第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，具体可以为：

获取第一MEC的相邻MEC节点的PRB负载率及内容需求水平；

分别设置PRB负载率及内容需求水平的阈值范围(例如PRB负载率70％-80％，内容需求5GB-10GB)，并基于所述阈值范围对所述相邻MEC节点进行筛选，以筛选出所述相似MEC簇群。即，将相邻MEC中满足PRB负载率70-80％，且内容需求在5GB-10GB的MEC筛选出来，而过滤掉其他不符合该条件的MEC。通过相似度准则可以筛选出与第一MEC容量或工作效率相似的MEC节点，来代替MEC进行热点数据组的转发。

此外，在另一个实施例中，还可以通过获取第一MEC的相邻MEC节点的信噪比SNR；

设置所述SNR的阈值范围，并基于所述阈值范围对所述相邻MEC节点进行筛选，以筛选出所述相似MEC簇群。

可选地，将所述多个子热点数据组按照负载均衡策略依次分发至所述相似MEC簇群的不同MEC中，具体可以为：

获取所述相似MEC簇群的不同MEC的资源负载率，并对所述资源负载率按照从低到高进行排序；

将所述多个子热点数据组按照数据大小从高到低进行排序；

依次将所述排序后的多个子热点数据组依次发送至所述排序后的相似MEC簇群的不同MEC中，其中，所述多个子热点数据组的数据大小与对应的MEC资源负载率成反比。如图3所示，示例性地，在本发明实施例中，分别由MEC-A,MEC-B,MEC-C,MEC-D和MEC-E五个节点，其资源负载率分别为70％，74％，77％，72％，80％，按照资源负载率从低到高的排序是MEC-A,MEC-D,MEC-B,MEC-C和MEC-E.而此时子热点数据组也同样为5份，记为D1-D5，数据大小分别为1GB,4GB,5GB,2GB,3GB，则按照数据大小从高到低排序后其顺序为D3,D2,D5,D4,D1，则相应地，其分配规则为：D3分配给MEC-A，D2分配给MEC-D，D5分配给MEC-B，D4分配给MEC-C，D1分配给MEC-E.

在本发明实施例中，相似MEC簇群将多个子热点数据按照不同路由路径依次分发至多个移动终端，具体可以为：

相似MEC簇群将多个子热点数据设置为高优先级，并将多个子热点数据设置为确定性业务流量；其中，不同的数据发送有发送优先级的区别，高能级的数据流优先发送，中能级和低能级的数据流等高能级的先发送成功后才能进行发送。而确定性业务则表示在未来一定会发生的数据分发，子热点数据属于其中一种确定性业务，代表在未来该子热点数据确定要发送到不同的移动终端中。相对应地，非确定性业务则是存在着该业务的可能但并不确定。确定性业务的网络流量统称为确定性业务流量，与之对应的非确定性网络流量则称为非确定性业务流量。

相似MEC簇群预测未来的非确定性业务流量大小，若预测的非确定性业务流量大小与确定性业务流量大小之和超过预设阈值，则将子热点数据按照第一路由路径进行发送，将非热点数据按照第二路由路径进行发送，其中，非热点数据对应的业务流量为非确定性业务流量。在本发明实施例中，定义子热点数据是高优先级，则通过高优先级的专用发送路径，即第一路由路径进行发送，而非热点数据是中或低优先级，属于非确定性业务，可以稍微延后或暂停发送，因此，可以通过中或低优先级的第二路由路径进行发送。

其中，相似MEC簇群通过长短时记忆模型LSTM来预测未来的非确定性业务流量大小。长短期记忆(Long short-term memory,LSTM)是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

LSTM内部主要有三个阶段：

一.忘记阶段，这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会“忘记不重要的，记住重要的”。

二.选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入参数进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。

三.输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。

其中，采用LSTM进行业务流量预测属于现有技术，本发明对此不再累述。

在本发明实施例中，热点事件具有很强的时效性，随着时间的不同，热点数据组的流量阈值也会发生变化。因此，若热点数据组单位时间内的请求量低于热点流量阈值，则多云服务器将热点数据组对应的热点事件降级为非热点事件，并降低热点数据组的优先级。此时，云服务器可以继续寻找并预测新的热点事件，并生成新的热点数据组(第二热点数据组)，例如：

云服务器接收多个MEC透发的终端请求消息，并提取终端请求消息中不同的标签；

云服务器对多个标签进行分析，并将单位时间请求量超过热点流量阈值的标签定义为热点事件标签；

云端中心服务器生成与热点事件标签对应的第二热点数据组，并将第二热点数据组发送至多个MEC。

本发明实施例提供的方法及装置，在热点数据分发的过程中，为了应对热点数据流量暴涨导致响应不及时的问题，及时对多个MEC的关键性能指标KPI进行预测，若发现KPI不达标则将热点数据组进行分拆后，由多个相邻的MEC分担了热点数据内容分发的任务，有效降低单个MEC的负载率，提升网络资源利用率，提高网络QoS。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中的方法。

本发明实施例还提供一种装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。

本发明实施例提供的方法及装置，将相邻节点的容器进行评估，并通过QoS预测及二次筛选条件过滤，保证了迁移目标的容器满足数据迁移后的QoS保障，提升了用户体验。

图4为一个实施例中装置的硬件组成示意图。可以理解的是，图4仅仅示出了装置的简化设计。在实际应用中，装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出系统、处理器、控制器、存储器等，而所有可以实现本申请实施例的大数据管理方法的装置都在本申请的保护范围之内。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。

输入系统用于输入数据和/或信号，以及输出系统用于输出数据和/或信号。输出系统和输入系统可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。