基于业务动态画像的资源调整方法和系统
阅读说明：本技术 基于业务动态画像的资源调整方法和系统 (Resource adjustment method and system based on business dynamic portrait ) 是由 张继东 曹靖城 周帅 秦臻 于 2020-06-19 设计创作，主要内容包括：本申请涉及基于业务动态画像的资源调整方法和系统。该方法包括：基于预先收集基础数据建立业务画像标签库；获取业务基本信息,通过与标签库进行关联映射形成标准业务静态标签；采集业务运行时的指标数据,将所采集到的指标数据进行建模分析,并通过与标签库进行关联映射形成标准业务动态标签；结合业务静态标签和业务动态标签形成业务画像；基于业务画像制定业务资源动态调整方案。该系统包括业务画像标签库模块、业务静态标签模块、业务运行数据采集模块、业务动态标签模块、业务动态画像模块,和业务资源调整模块。该方法和系统可提升资源分配的合理性,提高综合利用率,提升资源调整的智能化水平。(The application relates to a resource adjusting method and system based on a business dynamic portrait. The method comprises the following steps: establishing a service portrait label library based on pre-collected basic data; acquiring basic service information, and performing association mapping with a tag library to form a standard service static tag; acquiring index data during service operation, performing modeling analysis on the acquired index data, and performing associated mapping on the index data and a tag library to form a standard service dynamic tag; forming a service portrait by combining the service static label and the service dynamic label; and formulating a dynamic business resource adjusting scheme based on the business portrait. The system comprises a service portrait label library module, a service static label module, a service operation data acquisition module, a service dynamic label module, a service dynamic portrait module and a service resource adjustment module. The method and the system can improve the rationality of resource allocation, improve the comprehensive utilization rate and improve the intelligent level of resource adjustment.)
技术领域
本发明涉及互联网领域，尤其涉及基于业务动态画像的资源调整方法和系统。
背景技术
随着互联网技术的不断发展，越来越多的业务利用网络业务资源来开展，俗称“上云”。
互联网服务提供商的网络资源在实际使用过程中，尤其在新业务上线、分配资源阶段，为保障未来高峰期该新业务稳定性及良好的客户体验，通常分配的资源会远高于实际需求，如果得不到及时调整就会造成大量资源的闲置和浪费，也使得资源使用成本居高不下。
针对这个问题，传统的解决方式是运维人员通过人工方式或自动化脚本方式，通过预先采集各业务资源的访问量、使用率、运行负荷等监控指标，并结合运维经验，预设固定的调整阈值，并在随后采集到的上述各监控指标达到预设的固定调整阀值时，调整资源的分配。
该固定阈值的传统方法主要存在以下两个方面的问题：
首先，该传统方法缺少客观的动态量化指标以识别当前业务发展所处阶段和资源需求特点。事实上，任何业务都有其不同发展阶段时，例如增长阶段、平稳阶段、萎缩阶段，不同阶段对资源的需求具有极大的差异。而固定阈值是基于新业务开始的最初阶段采集的监控指标设定的。随着该业务的不断展开，其对资源的需求可能发生了很大的变化，简单地基于初期预设的固定阈值去判断是否进行资源调整已经无法满足业务动态发展的需要，因此，需要对业务的动态资源需求进行精确匹配。
其次，该传统的固定阈值的方法主要参考已经过去的一固定时间段资源利用率指标对业务整体进行资源调配,因缺少智能数据分析、智能预测手段，调整后可能导致业务系统运行不稳定，从而产生负面影响。举例而言，某个业务在已经过去的一固定时间段(例如三个月)平均资源利用率不高，但是实际上近两周来是出现了指数级上升的趋势的，但传统方法简单根据过去一定时间段的平均资源率低就将分配的资源进行了调低处理，未能通过最近两周的上升趋势进行任何预判，结果接下来实际的资源需求猛增导致出现瓶颈，产生不好的用户体验。
因此，亟须一种资源动态调整方法，既可以大幅提升资源分配的合理性，提高综合利用率避免资源闲置浪费，又可以在保障业务安全稳定运行的同时，提升资源调整的智能化水平。
发明内容
提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征；也不旨在用于确定或限制所要求保护的主题的范围。
本发明旨在保障业务安全稳定运行的同时，大幅提升资源的综合利用率和资源调整的智能化水平。基于智能模型算法，建立业务动态画像，设定资源动态调整策略，可智能识别业务状态和资源需求变化趋势，提前对业务及其各个模块所对应的资源进行动态、精准调整，保障业务安全稳定运行的同时，提升资源分配的合理性及资源的利用率。
本发明的网络资源动态调整系统由业务画像标签库模块、业务静态标签模块、业务运行数据采集模块、业务动态标签模块、业务动态画像模块，和业务资源调整模块等组成。首先基于基础数据建立业务画像标签库，通过搜集业务等级、业务所属方等基本信息生成业务静态标签，搜集业务运行时产生的诸如访问量、资源使用率等指标数据分析业务的动态标签，然后综合业务静态、动态标签形成业务动态画像。利用SVM分类算法构建业务趋势特性分类模型，识别业务处于的发展状态；使用DeepAR算法对业务历史资源使用率进行建模并预测业务的未来发展趋势，形成资源需求预测模型。通过智能设定资源调整策略，提前对业务及其各个模块所对应的资源进行动态调整。
本发明公开了一种资源调整方法，包括以下步骤：基于预先收集基础数据建立业务画像标签库，基础数据包括业务基本信息和业务特性；获取业务基本信息，并通过与标签库进行关联映射，形成标准的业务静态标签，业务基本信息包括业务等级、业务类别，和业务所属方，其中业务等级至少分为三级；采集业务运行时的指标数据，并将所采集到的指标数据进行建模分析，并通过与标签库进行关联映射，形成标准的业务动态标签；结合业务静态标签和业务动态标签，形成业务画像；以及基于业务画像，制定业务资源动态调整方案。还包括：根据业务动态画像，检索低使用率的萎缩型业务，按照业务等级进行排序生成待回收业务清单，以进行业务资源的降配或回收。定期重复形成标准的业务静态标签、形成标准的业务动态标签，和形成业务画像的步骤，不断更新业务画像形成业务动态画像。
其中建立业务画像标签库的步骤包括：采集业务基本信息形成业务基本信息标签；采集资源配置信息形成业务资源配置标签；分级资源使用情况形成业务资源使用水平标签；构建业务资源使用变化趋势分类标签；基于业务基本信息标签、业务资源配置标签、业务资源使用水平标签，和业务资源使用变化趋势分类标签，获得业务画像标签库。
其中形成标准的业务动态标签的步骤包括：对指标数据的时序数据进行预处理；对经预处理的指标数据进行统计，并判断变化趋势；根据判断的变化趋势识别业务所处状态，包括：利用SVM分类算法构建业务趋势特性分类模型，分析资源使用情况为上升、下降或者平稳，从而识别业务所处状态是增长状态、平稳状态还是萎缩状态；分析业务未来的资源使用水平，形成与业务资源使用情况的分级相对应的特性标签，包括DeepAR算法对业务历史资源使用率进行建模并预测该业务在未来一固定时间段的资源使用水平，并形成与业务资源使用水平标签预设的业务资源使用情况的分级相对应的特性标签；以及将特性标签与标签库进行关联映射，形成标准的业务动态标签。
本发明公开一种资源调整系统，其包括业务画像标签库模块、业务静态标签模块、业务运行数据采集模块、业务动态标签模块、业务动态画像模块，和业务资源调整模块。
其中，业务动态画像模块综合业务静态标签模块生成的业务静态标签和业务动态标签模块生成的业务动态标签形成业务动态画像，业务资源调整模块根据业务动态画像制定业务资源动态调整策略。业务资源调整模块还通过利用SVM分类算法构建业务趋势特性分类模型，并使用DeepAR算法对业务历史资源使用率进行建模并预测业务的未来发展趋势形成资源需求预测模型，来制定业务资源动态调整策略。
附图说明
以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。
图1是本发明的资源动态调整方法流程图；
图2是图1中步骤S1的各子步骤的流程图；
图3是图1中步骤S4的各子步骤的流程图；
图4是图1中步骤S6的业务资源动态调整策略示意图；
图5是本发明的资源动态调整系统的框图；
图6是使用本发明的资源动态调整系统进行资源降配、回收的流程示意图。
附图中的流程图和框图显示了根据本申请的实施例的系统、方法可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
具体实施方式
以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。通过阅读下文具体实施方式的详细描述，本发明的各种优点和益处对于本领域普通技术人员将变得清楚明了。然而应当理解，可以以各种形式实现本发明而不应被这里阐述的各实施方式所限制。提供以下实施方式是为了能够更透彻地理解本发明。除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
以下结合图1到图4，对本发明的资源动态调整方法进行阐述。
如图1所示本发明的资源动态调整方法包括以下步骤：
首先，要建立业务画像标签库，标签库内包括业务基本信息、硬件配置信息、使用情况分级标准、变化趋势分类标签、使用周期分类标签等信息。标签库具有一定的数据规范，也就是标签的标准，比如资源使用水平统一使用如空闲、极低、较低、低、中等、较高、极高、不足这些词。
如图1中的步骤S1：基于预先收集的业务基本信息与业务特性等基础数据，建立业务画像标签库。其包括以下几个子步骤，参见图2，其中展示了步骤S1的各子步骤：
S1-1：采集各种不同业务等级、业务类别、业务所属方等业务基本信息，形成业务基本信息标签，其中，业务等级由高到低分为至少A、B、C三级(本领域技术人员可以理解，这三级的分法仅为示例，针对实际情况可采用更多级别)；
S1-2：采集CPU、内存、磁盘等硬件资源配置信息，形成业务资源配置标签；
S1-3：对资源使用情况进行分级，如空闲(0-0.2％)、极低(0.2％-0.5％)、较低(0.5％-2％)、低(2％-30％)、中等(30％-60％)、较高(60％-70％)、极高(70％-80％)、不足(80％-100％)，形成业务资源使用水平标签(本领域技术人员可以理解，这八级的分法及其具体百分比仅为示例，针对不同的业务可以采用不同数量的级别和百分比标准)；
S1-4：构建业务资源使用变化趋势分类标签，如增长、平稳、萎缩等,构建业务资源使用周期性分类标签，如周期、非周期等；
S1-5：将上述S1-1至S1-4得到的信息进行整理得到业务画像标签库。
接着，回到图1，在步骤S2：获取业务基本信息，包括但不限于业务所属方、业务等级、硬件资源(CPU、内存、存储资源等)配置情况等资源固有的信息，通过与标签库进行关联映射，使之符合标签库数据规范，也就是成为标准的标签，即建立标准的业务静态标签。
随后，在步骤S3：采集近一个固定时间段业务运行时各项指标数据，即业务负载数据，包括但不限于业务访问量、业务数据包及业务各子模块(如web页面、中间件、数据库等)的硬件资源使用率数据等，这些指标数据将在步骤S4中用于建立业务动态标签。
步骤S4对步骤S3采集到的业务负载及资源使用率数据等各项指标数据进行建模分析，建立标准的业务动态标签。其包括以下几个子步骤，参见图3，其中展示了步骤S4的各子步骤：
S4-1：对采集到的业务负载及资源使用率数据等各项指标的时序数据进行平滑、空值填充等预处理；
S4-2：统计经过预处理的指标数据的特征，如：近7天、1个月、3个月等时间粒度的均值、最大值、中位数、最小值等统计特征；利用时序分解算法分解各指标的趋势项，并判断指标的变化趋势；
S4-3：根据步骤S4-2的输出，利用SVM分类算法构建业务趋势特性分类模型，分析业务web页面、中间件、数据库等模块的资源使用情况(上升、下降或者平稳)，从而识别业务所处状态是增长状态、平稳状态还是萎缩状态；
S4-4：使用DeepAR算法对业务历史资源使用率进行建模并预测业务在未来一固定时间段(例如3个月)的资源使用水平，分析业务未来的资源使用水平，形成步骤S1-3中预设的业务资源使用情况的分级相对应的特性标签；
S4-5：将S4-3的分析结果及S4-4所得特性标签与标签库进行关联映射，使之符合标签库数据规范，也就是成为标准的标签，从而形成标准的业务动态标签。
在步骤S5中：结合前面步骤获取的业务静态标签和动态标签，形成业务画像,定期重复步骤S2-S4，不断更新业务画像形成业务动态画像。
最后在步骤S6：基于业务动态画像，动态分析业务资源调整方案，制定业务资源动态调整策略，包括回收、降配、扩容，参见图4，其中展示了步骤S6的详细策略的一个示例：
·符合以下情况在步骤S6-1回收业务资源：
A级业务：业务画像匹配【“空闲+平稳”，“空闲+萎缩”】中的任意一组特征；
B级业务：业务画像匹配【“空闲+平稳”，“空闲+萎缩”，“极低+平稳”，“极低+萎缩”】中的任意一组特征；
C级业务：业务画像匹配【“空闲+平稳”，“空闲+萎缩”，“极低+平稳”，“极低+萎缩”，“较低+平稳”，“较低+萎缩”】中的任意一组特征；
·符合以下情况在步骤S6-2对与业务整体资源使用呈现相同特征的业务模块降配业务资源：
A级业务：业务画像匹配【“极低+平稳”，“极低+萎缩”】中的任意一组特征；
B级业务：业务画像匹配【“较低+平稳”，“较低+萎缩”】中的任意一组特征时；
C级业务：业务画像匹配【“低+平稳”，“低+萎缩”】中的任意一组特征时；
·符合以下情况在步骤S6-3对与业务整体资源使用呈现相同特征的业务模块扩容业务资源：
A级业务：业务画像匹配【“不足+增长”，“不足+平稳”，“极高+增长”，“极高+平稳”，“较高+增长”，“较高+平稳”】中的任意一组特征；
B级业务：业务画像匹配【“不足+增长”，“不足+平稳”，“极高+增长”，“极高+平稳”】中的任意一组特征；
C级业务：业务画像匹配【“不足+增长”，“不足+平稳”】中的任意一组特征。
以下结合图5，对本发明的资源动态调整系统进行阐述。
本发明的资源动态调整系统500包括：业务画像标签库模块501、业务静态标签模块502、业务运行数据采集模块503、业务动态标签模块504、业务动态画像模块505，和业务资源调整模块506。
业务画像标签库模块501搜集业务基本信息与业务特征等建立业务画像标签库，包括业务静态标签和动态标签所涉及的各个属性值。静态标签指业务固有属性，包括业务所属方、业务等级、业务资源配置情况等；动态标签指业务运行时的动态特性，如：过去三个月、过去一个月、过去一周、当前、预测未来一周、预测未来一个月等不同时间段内的业务负载情况，业务资源使用趋势、最大、平均、最小使用率等。
业务静态标签生成模块502获取业务资源配置、业务基本属性(如：业务等级、业务所述方等)，通过与业务画像标签库模块501建立的标签库进行关联映射，形成标准的静态标签。
业务运行数据采集模块503实时采集业务运行时的访问量、业务数据包、业务及业务下各个模块资源使用率等数据，供业务动态标签生成模块504使用。
业务动态标签生成模块504基于业务运行数据采集模块503采集到的业务运行时指标数据，构建分类算法模型，分析业务资源使用水平、长期变化趋势等特征，通过与标签库业务画像标签库模块501建立的进行关联映射，形成标准的动态标签。
业务动态画像生成模块505综合业务静态标签生成模块502形成的业务静态和业务动态标签生成模块504基形成动态标签，形成业务动态画像。
业务资源调整模块506基于业务动态画像生成模块505形成业务动态画像，分析制定业务资源调整方案。
以下结合图6，阐述使用本发明的资源动态调整系统进行资源降配、回收的流程。
首先，在步骤S601，根据业务动态画像，检索长期资源利用率低于一定百分比(例如，2％)且为萎缩型的业务。
然后在步骤S602，根据步骤S601检索到的低使用率的萎缩型业务，按照业务等级进行排序生成待回收业务清单。
在步骤S603，判断所述待回收业务是否可以按业务模块进行有针对性的资源降配操作；并在判断不可能降配的情况下，在步骤S604进行业务资源回收，否则在步骤S605进行降配或其他调整操作。
由于业务资源回收属于高风险的操作，为稳妥起见，业务资源回收通常可以增加运维人员人工干预的步骤，即在步骤S604前系统弹出提醒(图中虚椭圆示出)，通知运维人员业务资源回收的条件已经满足，等待人工判断，并在人工判断确认后再进行业务资源的回收。
本发明基于业务基本信息及运行时各项指标数据，分析得到业务静态标签和动态标签，形成业务动态画像和变化趋势预测模型，可有效提升资源的利用率，解决资源使用过程中闲置浪费的问题，有效优化资源使用成本。
本发明基于业务动态画像设定资源调整策略，根据识别到的业务形态提前对业务及其各个模块所对应的资源进行动态调整，精确匹配资源动态需求，调整策略更加智能、精准。能够在动态调整资源的同时，保障业务系统的安全稳定，实现资源调整和业务安全的平衡。