具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

考虑到由于大数据包含有复杂的敏感数据，会吸引更多潜在的攻击者。数据的大量聚集，使得一次成功的攻击，就能获得更多的重要数据，增加了攻击收益率。随着互联网、大数据应用的爆发，系统遭受攻击、数据丢失和个人信息泄露的事件时有发生，而地下数据交易黑灰产也导致了大量的数据滥用和网络诈骗事件的问题，本申请提供一种综合检测大数据漏洞和不安全配置的脆弱性扫描系统，通过对主流大数据组件进行漏洞扫描和安全配置合规性检查，包括Hadoop、Spark、Hbase、Solr、ES等，从而能够及时发现大数据组件中存在的安全漏洞和不安全配置，及时通过安全加固，提升大数据平台的安全保障水平，满足如等级保护、行业规范等政策法规的安全建设要求。

为了能够对主流大数据组件进行漏洞扫描和安全配置合规性检查，包括Hadoop、Spark、Hbase、Solr、ES等，从而能够及时发现大数据组件中存在的安全漏洞和不安全配置，及时通过安全加固，提升大数据平台的安全保障水平，满足如等级保护、行业规范等政策法规的安全建设要求，本申请提供一种综合检测大数据漏洞和不安全配置的脆弱性扫描系统的实施例，参见图1，所述综合检测大数据漏洞和不安全配置的脆弱性扫描系统具体包含有如下内容：

资产管理模块10，用于发现目标网络中的存活主机、网络设备、数据库，自动生成网络拓扑和查看各资产的详细信息；

可选的，资产管理包括了主流的Hadoop、Spark、Hbase、Solr、ES等大数据平台组件，准确识别其属性，包括IP地址、端口、操作系统、软件版本、负责人、地区等，为进一步漏洞扫描做好准备。系统能够自动生成网络拓扑，还可以进行后期人工修改，查看各资产的详细信息。支持资产导出、导入，方便用户快速发现、统计全网的信息资产，了解每个资产的安全风险等级，一目了然。

漏洞检测模块20，用于对大数据组件进行安全漏洞检测，生成漏洞描述和漏洞修复建议；

可选的，基于对大数据的漏洞研究，提炼出漏洞特征，形成了大数据漏洞扫描功能。脆弱性扫描系统可以对大数据组件进行安全漏洞检测，包括了主流的Hadoop、Spark、Hbase、Solr、ES等，提供了详细的漏洞描述和漏洞修复建议。大数据的漏洞包括了远程执行代码漏洞、命令注入漏洞、访问控制漏洞、权限提升漏洞、拒绝服务漏洞、信息泄露漏洞等。方便用户及时发现大数据平台中存在的安全漏洞，通过安全加固，防患于未然。

配置核查模块30，用于对大数据环境的各个组件进行安全配置合规性检查，确定大数据平台组件中的不安全配置；

可选的，脆弱性扫描系统还可以针对大数据环境的各个组件进行安全配置合规性检查，覆盖了大数据采集组件(Kafka、Flume)、大数据存储组件(Hbase、Hive、HDFS、Impala)、大数据处理组件(Yarn&MR、Spark、Storm、Zookeeper)。从而发现大数据平台组件中的不安全配置，包括了用户访问权限控制、日志记录完整性、文件权限最小化、帐号权限最小化、服务连接数限制、传输加密、接口认证等安全基线要求。帮助用户通过配置优化，提高大数据平台的安全防护水平。

报表管理模块40，用于采用报表和图形的形式对扫描结果进行分析，得到漏洞风险级别、漏洞类别、漏洞描述、漏洞类型、漏洞解决办法；

可选的，脆弱性扫描系统采用报表和图形的形式对扫描结果进行分析，可以预定义、自定义和多角度多层次的分析扫描结果。提供完善的漏洞风险级别、漏洞类别、漏洞描述、漏洞类型、漏洞解决办法。系统提供有关漏洞的国际权威机构记录(包括CVE编号支持)，以及与厂商补丁相关的链接。报表提供行政人员、技术员、安全专家及自定义报表等样式，输出的报表格式包括：HTML、DOC、PDF等。

快捷升级模块50，用于通过网络或者本地数据包，对漏洞库、软件进行在线升级、本地升级、定时升级；

可选的，脆弱性扫描系统利用程序内置的产品升级模块，可以通过网络或者本地数据包，对漏洞库、软件进行在线升级、本地升级、定时升级。从而确保系统可以及时准确的检测到最新公布的漏洞，提高大数据平台的安全防护水平。

分布式管理模块60，用于向下级引擎下达扫描任务，接收下级引擎上传的扫描结果，进行统一分析，生成整体的大数据脆弱性扫描报告。

可选的，随着网络规模的逐步庞大、逐步复杂，核心级网络、部门级网络、终端/个人用户级网络的建设，各个网络之间存在着防火墙、交换机等过滤机制，网络漏洞管理系统发送的检测数据包大部分将被这些网络设备过滤，降低了扫描的时效性和准确性。针对这种分布式的复杂网络，脆弱性扫描系统提供了分布式管理功能，系统能够向下级引擎下达扫描任务，接收下级引擎上传的扫描结果，进行统一分析，生成整体的大数据脆弱性扫描报告。下级引擎也可以自行新建扫描任务，满足自评估的需要。从而实现了对大规模网络的实时、定时的大数据脆弱性扫描和风险评估。

进一步地，所述漏洞检测模块还用于对大数据组件进行远程执行代码漏洞、命令注入漏洞、访问控制漏洞、权限提升漏洞、拒绝服务漏洞、信息泄露漏洞的安全漏洞检测。

进一步地，所述配置核查模块还用于对大数据环境的大数据采集组件、大数据存储组件、大数据处理组件进行安全配置合规性检查，确定大数据平台组件中用户访问权限控制、日志记录完整性、文件权限最小化、帐号权限最小化、服务连接数限制、传输加密、接口认证的不安全配置。

进一步地，所述分布式管理模块60还包括：

自评估单元61，用于下级引擎自行新建扫描任务，对大规模网络的实时、定时的大数据脆弱性进行扫描和风险评估。

进一步地，还包括：

漏洞预警单元71，用于在最新的高风险漏洞信息公布之时，通过邮件或者电话的方式向用户进行通告，并且提供相应的预防措施；

漏洞扫描单元72，用于对目标大数据平台进行漏洞扫描，并采用风险评估模型对大数据的漏洞和不安全配置进行检测，发现脆弱性，进行优先级排序，生成脆弱性扫描报告；

漏洞修复单元73，用于提供系统的安全配置建议和补丁的有效下载链接；

漏洞审计单元74，用于追踪、记录、验证漏洞管理的成效，同时启动定时扫描任务进行对比分析和成效验证。

可选的，安全管理需要持续改进，持之以恒。安全管理不仅仅是技术，更重要的是通过流程制度对漏洞风险进行控制。本申请还可以把漏洞管理的循环过程划分为漏洞预警、漏洞扫描、漏洞修复、漏洞审计。

(1)漏洞预警：最新的高风险漏洞信息公布之际，本申请会在第一时间通过邮件或者电话的方式向用户进行通告，并且提供相应的预防措施。同时提供产品升级包，保证漏洞知识库的完备性；

(2)漏洞扫描：依靠本申请脆弱性扫描系统对目标大数据平台进行漏洞扫描，并采用前沿的风险评估模型对大数据的漏洞和不安全配置进行检测，及时发现脆弱性，进行优先级排序，生成脆弱性扫描报告；

(3)漏洞修复：本申请脆弱性扫描系统本身提供了可操作性很强的漏洞修复方案，包括系统的安全配置建议和补丁的有效下载链接等，方便用户及时、高效地对漏洞进行修复；

(4)漏洞审计：漏洞管理还需要提供完整的审计机制，从而方便用户追踪、记录、验证漏洞管理的成效，督促用户对漏洞进行修复，同时启动定时扫描任务进行对比分析和成效验证。所有的这些过程全部自动化，从而保证漏洞管理的整体工作效率。

举例如下：

同时，本申请脆弱性扫描系统通过B/S模式管理，可以部署在网络的任何地方，只要能够访问到要进行安全评估的目标大数据平台就能够正常工作，检测范围覆盖了主流的大数据平台组件。出于安全性考虑，一般建议在核心交换机处旁路部署一台凌云大数据脆弱性扫描系统，及时检测出大数据平台组件中存在的各种安全漏洞、不安全配置，防患于未然。从而提升大数据平台的安全保障水平，满足日益增加的各种业务系统的安全需求。

从上述描述可知，本申请实施例提供的综合检测大数据漏洞和不安全配置的脆弱性扫描系统，能够通过对主流大数据组件进行漏洞扫描和安全配置合规性检查，包括Hadoop、Spark、Hbase、Solr、ES等，从而能够及时发现大数据组件中存在的安全漏洞和不安全配置，及时通过安全加固，提升大数据平台的安全保障水平，满足如等级保护、行业规范等政策法规的安全建设要求。

从硬件层面来说，为了能够对主流大数据组件进行漏洞扫描和安全配置合规性检查，包括Hadoop、Spark、Hbase、Solr、ES等，从而能够及时发现大数据组件中存在的安全漏洞和不安全配置，及时通过安全加固，提升大数据平台的安全保障水平，满足如等级保护、行业规范等政策法规的安全建设要求，本申请提供一种用于实现所述综合检测大数据漏洞和不安全配置的脆弱性扫描系统中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现综合检测大数据漏洞和不安全配置的脆弱性扫描系统与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的综合检测大数据漏洞和不安全配置的脆弱性扫描系统的实施例，以及综合检测大数据漏洞和不安全配置的脆弱性扫描系统的实施例进行实施，其内容被合并于此，重复之处不再赘述。

可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。

在实际应用中，综合检测大数据漏洞和不安全配置的脆弱性扫描系统的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。

上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。