跨平台多租户管控系统
阅读说明：本技术 跨平台多租户管控系统 (Cross-platform multi-tenant management and control system ) 是由 李勇 于 2021-07-16 设计创作，主要内容包括：本发明涉及大数据技术领域,具体涉及跨平台多租户管控系统,包括WEB服务模块、集群监控模块、资源管理模块、平台管理模块、数据采集模块、规则引擎模块、ES集群模块和集群接口服务模块,本发明提供跨集群统一管理平台解决了不同集群操作方式不统一,操作难度大的问题,极大提升了运维效率,减少了运维管理的难度,保障了操作的安全性；提供资源权限的自助申请解决了资源权限分配问题,原来由管理员直接分配资源可能会导致分配不均匀或无法按实际使用情况来分配资源和权限,或因线下申请的沟通效率低下导致分配延迟或分配错误等问题,现在通过多租户管理的自助式申请能做到让普通用户按需要申请符合自身实际情况的资源,避免了上述问题的发生。(The invention relates to the technical field of big data, in particular to a cross-platform multi-tenant management and control system, which comprises a WEB service module, a cluster monitoring module, a resource management module, a platform management module, a data acquisition module, a rule engine module, an ES cluster module and a cluster interface service module, and provides a cross-cluster unified management platform to solve the problems of non-unified operation modes and high operation difficulty of different clusters, greatly improve the operation and maintenance efficiency, reduce the difficulty of operation and maintenance management and ensure the safety of operation; the problem of resource authority distribution is solved by self-service application of providing resource authorities, the problem that the original method that resources are directly distributed by an administrator possibly causes uneven distribution or the resources and the authorities cannot be distributed according to actual use conditions, or the problems of distribution delay or distribution errors and the like are caused by low communication efficiency of off-line application, the existing self-service application of multi-tenant management can enable common users to apply the resources according with the actual conditions of the users according to the needs, and the problem is avoided.)
技术领域
本发明涉及大数据技术领域，具体涉及跨平台多租户管控系统。
背景技术
随着大数据平台的普及，越来越多的业务数据和业务场景，都不断迁移到了大数据平台上。以现有的大数据平台(以Hadoop为典型代表)为例进行介绍，其上汇集了多种类型的数据资源，而不同类型的数据资源往往通过大数据平台中的不同的数据管理组件来分别进行管理。例如：分布式文件系统(以HDFS为典型代表)管理着诸如目录和文件这样的文件型数据对象；分布式列式数据库系统(以Hbase为代表)则管理着名字空间、表、列族、列等数据对象；而分布式表格系统(以Hive为典型代表)则管理着数据库、表格、字段等数据对象。与此同时，不同的数据管理组件又使用了不同的访问控制策略来保护其管理的数据对象不受未经授权的访问操作。
但是，当大数据平台的HADOOP集群应用场景越来越多，因开发和分析的需求各不相同，通常会遇到如下跨集群管理、资源权限分配、权限和数据管控、资源被占用和操作安全性等问题，而现有的大数据平台并未具备解决这些问题的功能。
因此，发明跨平台多租户管控系统很有必要。
发明内容
为此，本发明提供跨平台多租户管控系统，通过各个模块之间的配合作用，以解决现有的大数据平台的HADOOP集群应用场景越来越多，因开发和分析的需求各不相同，通常会遇到如下跨集群管理、资源权限分配、权限和数据管控、资源被占用和操作安全性等问题，而现有的大数据平台并未具备解决这些问题的功能的问题。
为了实现上述目的，本发明提供如下技术方案：跨平台多租户管控系统，包括WEB服务模块、集群监控模块、资源管理模块、平台管理模块、数据采集模块、规则引擎模块、ES集群模块和集群接口服务模块，其中维护人员通过web服务模块对集群监控模块、资源权限管理模块、平台管理模块进行页面访问和管理，集群监控模块、资源权限管理模块、平台管理模块通过数据采集、规则引擎模块、ES集群模块、集群接口服务模块从集群采集数据和对集群进行数据权限、资源及租户的管理，集群监控模块通过ES集群模块将采集到的数据展示到前台。
优选的，所述集群接口服务模块包括CDH分析集群模块、CDH应用集群模块和FI离线集群模块。
优选的，所述集群监控模块包括集群资源监控和租户资源监控。
优选的，所述集群监控模块包括应用资源监控和HDFS监控。
优选的，所述集群监控模块还包括数据表监控和报表引擎。
优选的，所述资源管理模块包括集群租户管理和集群角色管理。
优选的，所述资源管理模块包括租户管理和租户组管理。
优选的，所述平台管理模块包括机构管理、平台角色管理和平台租户管理。
优选的，所述平台管理模块还包括审计管理、平台配置和推送通知。
优选的，所述数据采集模块包括作业管理和采集引擎。
本发明的有益效果是：
1.本发明提供跨集群统一管理平台解决了不同集群操作方式不统一，操作难度大的问题，极大提升了运维效率，减少了运维管理的难度，保障了操作的安全性，可靠性；提供资源权限的自助申请解决了资源权限分配问题，原来由管理员直接分配资源可能会导致分配不均匀或无法按实际使用情况来分配资源和权限，或因线下申请的沟通效率低下导致分配延迟或分配错误等问题，现在通过多租户管理的自助式申请能做到让普通用户按需要申请符合自身实际情况的资源，避免了上述问题的发生，极大提升了资源与权限分配的效率，做到了全流程掌控；用同步企业组织架构式的层次关系来管理权限与数据，并通过申请与审批的方法来管控解决了权限和数据管控问题，避免了原来权限和数据管控较为混乱的问题，使资源权限边界清晰有序，提升运维效率的同时，防止了因权限管理不到位而产生的数据泄露等重大安全管控问题。
2.本发明将采集数据存入ES集群并通过图表实时展示资源的使用情况及预警提示，解决了资源被占用而不能及时发现或终止的问题，避免了个别任务占用大量集群的计算和存储资源导致整个集群异常或者影响其他任务无法执行的情况，防止了集群崩溃等问题的发生；通过平台的审计管理功能解决了操作的安全性问题，因原来的线下申请资源权限无记录，且无日志管理，部分还是用的dos命令操作，现通过审计管理不仅全可视化操作还可将所有操作记录下来(包括集群和平台本身的操作)，内容有登录、退出、参数配置、用户管理、角色管理、租户管理、分组管理等操作，对安全性也无法把控，即便出现问题也可以追根溯源，找到问题点及操作人员，操作时间等。
附图说明
图1为本发明整体的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
参照附图1，本发明提供的跨平台多租户管控系统，包括WEB服务模块、集群监控模块、资源管理模块、平台管理模块、数据采集模块、规则引擎模块、ES集群模块和集群接口服务模块，其中维护人员通过web服务模块对集群监控模块、资源权限管理模块、平台管理模块进行页面访问和管理，集群监控模块、资源权限管理模块、平台管理模块通过数据采集、规则引擎模块、ES集群模块、集群接口服务模块从集群采集数据和对集群进行数据权限、资源及租户的管理，集群监控模块通过ES集群模块将采集到的数据展示到前台，具体的，设置的WEB服务模块可提供租户登陆服务，维护人员管理资源管理平台的服务，其中包括集群监控模块、资源管理模块和平台管理模块，设置的集群监控模块是用来监控集群资源，租户资源，application应用资源，以及使用情况，设置的资源管理模块是用来管理集群角色，分配角色权限，设置的平台管理模块是用来管理平台租户，机构，平台角色和平台对接服务，设置的数据采集模块是用来定时采集集群资源，租户资源，application应用资源，设置的规则引擎模块包括租户名规则、密码规则、采集任务和超时时间四个模块，租户名规则：长度为8-30位，由数字、字母或特殊字符(不能有％*)组成，不能以_开头；密码规则：密码必须同时包含大、小写字母、数字、特殊字符、长度(8-30)位；采集任务：每次采集任务的间隔周期；超时时间：在平台管理中可自由配置，设置的租户名规则是为了规范租户命名的方式，设置的密码规则是为了规范租户设置登录密码的格式，设置的采集任务是为了使系统定期采集租户设置的租户名和密码的内容，设置的超时时间是为了对租户设置的租户名和密码的时间进行限制，当租户一段时间内未进行设置时，系统会自动关闭页面，设置的ES集群模块主要是为了提供采集资源数据的存储。
进一步地，集群接口服务模块包括CDH分析集群模块、CDH应用集群模块和FI离线集群模块，具体的，设置的集群接口服务模块是用来调用CDH接口服务管理CDH集群，调用FI接口服务管理FI集群，设置的CDH应用集群模块是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，其提供了Hadoop的核心可扩展存储(HDFS)和分布式计算(MR)，还提供了WEB页面进行管理、监控；
进一步地，集群监控模块包括集群资源监控、租户资源监控、应用资源监控、HDFS监控、数据表监控和报表引擎，具体的，设置的集群监控模块可通过租户资源监控单元对多租户资源进行监控，包括VCORE、和内存的使用率，可统计变化趋势信息，可以对租户进行自定义分组，通过下拉选择切换的方式展示图表采集集群CPU、内存、存储、带宽、磁盘容量、磁盘IO的使用率和变化趋势等信息，可通过报表引擎单元与数据表监控单元按时间周期(小时，日，月)以图表的方式进行展示监控租户Application的Vcore和内存使用量、任务运行时长，可统计变化趋势，因为application应用众多，以自定义分组的形式(下拉选择)进行展示；
进一步地，资源管理模块包括集群租户管理、集群角色管理、租户管理和租户组管理，具体的，设置的资源管理模块可实现多集群资源权限的统一管理，比如cdh集群，cdp集群(cdh，hdp的升版)，fi集群(C80和6.5版本)，es集群等，不同类的集群，同类但不同版本的集群操作方式和所在平台都可能不一样，统一平台管理，极大提高了工作效率，提供统一的资源和权限的自助服务，租户按需申请资源及数据权限，包括HDFS、hive权限，YARN、Impala、HDFS资源，上述申请都需要上级组织管理员审批通过方可拥有资源和权限，租户在审批通过前可以修改资源权限，通过后可以变更资源权限，变更后需要提交再审批上级组织管理员根据租户资源使用情况，管理和变更租户的资源和权限，包括HDFS、hive权限，YARN、Impala、HDFS资源，与租户自助变更不同的是，上级组织管理员变更不需要审批，直接修改即可；
进一步地，平台管理模块包括机构管理、平台角色管理、平台租户管理、审计管理、平台配置和推送通知，数据采集模块包括作业管理和采集引擎，具体的，设置的平台管理模块通过各个单元之间的配合作用，主要是用来管理平台本身的租户和角色，以及平台本身的参数配置等(比如连接超时设置)，这里的机构既是平台租户的机构又是集群租户的机构，审计管理记录平台内的所有操作情况(包括集群和平台本身的操作)，内容有登录、退出、参数配置、租户管理、角色管理、租户管理、分组管理等操作，记录操作的时间和租户名(操作类型和操作内容用中文不要用英文，比如用登录不用login)；
本发明的使用过程如下：首先，租户和管理员可通过WEB服务模块登录界面，随后租户通过集群接口服务模块来创建租户名和密码，管理员可以通过资源管理模块中的集群租户管理单元、集群角色管理单元、租户管理单元和租户组管理单元来实现多集群资源权限的统一管理，租户可按需申请资源及数据权限，包括HDFS、hive权限，YARN、Impala、HDFS资源，上述申请都需要上级组织管理员审批通过方可拥有资源和权限，租户在审批通过前可以修改资源权限，通过后可以变更资源权限，变更后需要提交再审批上级组织管理员根据租户资源使用情况；管理员可通过租户资源监控单元对多租户资源进行监控，包括VCORE、和内存的使用率，可统计变化趋势信息，可以对租户进行自定义分组，通过下拉选择切换的方式展示图表采集集群CPU、内存、存储、带宽、磁盘容量、磁盘IO的使用率和变化趋势等信息，可通过报表引擎单元与数据表监控单元按时间周期以图表的方式进行展示监控租户Application的Vcore和内存使用量、任务运行时长，可统计变化趋势，因为application应用众多，以自定义分组的形式)进行展示，管理员可以通过设置的平台管理模块来管理平台本身的租户和角色，以及平台本身的参数配置等(比如连接超时设置)，这里的机构既是平台租户的机构又是集群租户的机构，审计管理记录平台内的所有操作情况(包括集群和平台本身的操作)，内容有登录、退出、参数配置、租户管理、角色管理、租户管理、分组管理等操作，记录操作的时间和租户名，数据采集模块、规则引擎模块和ES集群模块产生的数据会通过集群接口服务模块输送至CDH应用集群模块与FI离线集群模块内进行储存，方便后续管理人员进行查看。
以上所述，仅是本发明的较佳实施例，任何熟悉本领域的技术人员均可能利用上述阐述的技术方案对本发明加以修改或将其修改为等同的技术方案。因此，依据本发明的技术方案所进行的任何简单修改或等同置换，尽属于本发明要求保护的范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：热点文件的处理方法、装置、电子设备和介质