具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1是本发明某一实施例提供的应用于能源产业链预警系统的数据管理系统的结构示意图。在本实施例中，应用于能源产业链预警系统的数据管理系统包括数据采集模块110、数据服务模块120和数据挖掘模块130；

所述数据采集模块110，用于获取能源产业链预警系统的初始数据；

所述数据服务模块120，用于对所述初始数据进行分类存储，得到结果信息，并对所述结果信息进行可视化处理；

所述数据挖掘模块130，用于根据所述结果信息，匹配预设的数据挖掘组件。

在本发明实施例中，所述初始数据包括气化站数据、电力市场数据、气象数据、燃气电厂数据、燃煤电厂数据和电网运行数据。

在某一具体实施例中，根据能源产业链预警系统数据来源主要来源于LNG站数据、电力市场数据、气象数据、燃气电厂数据、燃煤电厂数据和电网运行数据，具有多行业多主体多时间尺度的特点。因此数据采集采用数据库接口采集和文件数据采集。数据采集流程如图2所示。

在本发明实施例中，所述数据采集模块，还用于通过数据库接口采集方式，获取能源产业链预警系统的初始数据。

能源产业链预警所需的电网数据、气象数据等可通过接口从各方的数据库接入，设计SCADA系统、WAMS系统、OMS系统、GIS系统、中国气象数据系统等。根据数据库是否在同一主机上可以分为直接融合和间接融合。在同一服务器上的数据库，配置其访问权限，直接进行数据融合；在不同服务器上的数据库，利用外围数据库进行链接，配置其访问权限进行数据融合，从而获取完整的预测预警所需数据。

在本发明实施例中，所述数据采集模块，还用于通过文件数据采集方式，获取能源产业链预警系统的初始数据。

除了通过数据库直接接入获取的数据，能源产业链预警系统还需要提取包含大量通过上传的数据，通常使用EXCEL或SVM等电子文档格式保存。通常使用数据库语言SQL或Python等工具将文件数据导入本地系统。

在本发明实施例中，所述数据服务模块包括数据融合子模块，所述数据融合子模块包括：

决策支持度计算单元，用于根据所述初始数据的决策属性，获取对应的维度数据，并计算所述初始数据对预警决策的支持度值；

OWA算子权重向量计算单元，用于根据预设的模糊语义量化准则确定度量算子；

数据转换与排序单元，用于根据所述支持度值和所述度量算子进行数据融合，得到决策值。

在本发明实施例中，所述数据服务模块包括数据索引子模块，所述数据索引子模块包括供需层、环境层和市场层。

在本发明实施例中，所述数据服务模块包括数据可视化子模块，所述数据可视化子模块包括柱状图、饼图、地图标注、折线走势图、表格中的至少一种。

在某一实施例中，为了实现能源产业链预警系统的多源异构数据，包括：

(1)数据抽取

数据抽取是指在不同数据库和不同服务平台中获取数据时，有挑选地查抄和复制每一个数据源中的数据。不同于结构化的数据可以通过字段分类提取，半结构化数据需要通过结构化处理才能够进行之后的指标计算和统计建模分析。

(2)数据清洗

通过数据源抽取的数据需要经过数据清洗，包含：①清洗不精确的数据。首先使用统计学方法识别出数据中的异常，具体地，对每个属性字段值的平均值和标准差进行统计，据此为每个属性建立一个置信区间，通过查看属性值是否在置信区间内来判断属性是否异常；②清洗重复数据。数据库中常见的数据质量问题就包含相似重复数据，不同数据通道的集成和操作一般会导致大量重复记录生产。通过判断两条数据是否相似或相同对相似重复数据进行集中的清洗。

(3)数据融合

多源异构数据融合操作按照操作级别可分为数据级融合、特征级融合以及决策级融合。其中

数据级融合对数据信息的完整性和稳定性会造成负面影响。

特征级预警数据融合作为数据处理的中间环节，运用人工神经网络手段对原始数据特征进行信息提取，将提取后的电力大数据进行有效融合，特征级融合提升能源产业链预警数据信息融合的准确程度。

决策级预警数据融合在对个体信息进行决策和识别后方可进行数据融合，能够保证预警数据的整体性和统一性。决策级数据融合方法能够对大量数据进行压缩，具有良好的数据容错性。

本发明提出的多源异构数据融合结构模型如图3所示。模型中的数据融合模块包括决策支持度计算、OWA算子权重向量计算和数据转换与排序4个模块。

(a)本地数据库在经过前述的数据抽取、数据清洗之后实现了对数据的初步集成、消除了数据的异构性和差异性，为数据融合提供数据源。

(b)预警决策支持度计算模块根据决策属性从数据仓库获取相关维度的数据，并计算各数据源对预警决策的支持度值sij(数据源i对第j预警的支持度)；支持度的计算如下：

设μ为数据x的均值，σ为数据x的标准差，则令：

x₀＝μ-3σ (1)

若数据x越大，对预警决策j的支持度也越大，将区间[μ-3σ,μ+3σ]进行n等分，i表示第i个区间。数据x对预警决策j支持度可定义为：

s(x,j)表示数据x越大，对预警决策j的支持度也越大时，数据x对第j预警的支持度，μ为数据x的均值，σ为数据x的标准差，n为对[μ-3σ_,μ+3σ]区间的等分数。

若数据x越小，对预警j的决策支持度越大，则支持度表示为：

s'(x,j)＝(1_,1,1)-s(x,j) (4)

s'(x,j)表示数据x越小，对预警j的决策支持度越大时，数据x对第j预警的支持度。

(c)计算OWA算子权重向量

设：F:Rⁿ→R,有一个与F相关联的n维加权向量w＝(w₁,w₂…w_n)，w_i∈[0,1],1≤i≤n，且并使得：

式中，b_i是a_i中第i个最大的元素，则F称为n维OWA算子。

OWA权重向量w＝(w₁,w₂…w_n)由下面的公式确定：

w_i＝f(1/n)-f((i-1)/n) (6)

w_i为权重向量w中第i个元素值。

其中f为模糊语义量化算子：

其中x,a,b∈[0,1]。模糊语义量化算子中的a、b值根据模糊语义原则“大多数”、“至少一半”、“尽可能多”分别取值为(0.3，0.8)、(0,0.5)、(0.5,1)。

(d)依据OWA算子权重向量和预警决策支持度对数据进行融合，并计算各预警决策值：

其中：b_ij为(s_1,j,s_2,j,…s_n,j)中第i个最大元素。

(4)数据索引

在多源异构数据库的基础上，为了保障数据查询和分析效率，建立了不同专业领域知识下的数据索引“能源产业链预警数据概念层次网络”。按照供需、环境、市场三个方面进行第一层次划分，得到第一层层次节点；在第一层层次节点上，按照数据衡量的主体范围，如电力市场、碳市场、燃气电厂、燃煤电厂、LNG站、电网公司等进行第二层划分，得到第二层层次节点；根据数据的实际用途可以根据需要拓展更多的层次节点。

(5)数据查询

本发明提出的应用于能源产业链预警系统的多源异构数据管理系统一方面提供精确查询、模糊查询等数据库查询的功能；另一方面，利用推荐系统算法进行用户画像，提供相关和相似查询。例如某一方面的数据被持续关注和查询，意味着此项数据较为关键或者较容易出错。与精准查询、模糊查询不同，相似查询依赖于用户操作数据库的记录，推荐结果因不同兴趣的用户也不同，有着较强的专业性、安全性。

(6)数据可视化

本发明提出的应用于能源产业链预警系统的多源异构数据管理系统支持对预警结果及过程数据进行可视化。可视化形式包括使用柱状图、饼图、地图标注、折线走势图、表格、文字、图标中的至少一种，对全省从全局预警结果到综合指标体系预警统计分布结果进行展示。

在本发明实施例中，所述数据挖掘模块包括关联性分析组件，所述关联性分析组件包括频繁预警指标组合挖掘和预警周期模式挖掘。

在本发明实施例中，所述数据挖掘模块包括时序分析组件，所述时序分析组件包括时序关系挖掘和时序预测。

在本发明实施例中，所述数据挖掘模块包括表征学习组件，所述表征学习组件包括特征提取、特征学习和高维特征降维。

在某一实施例中，结合能源产业链预警多源异构数据库的数据服务内容，针对预警指标体系的内容与历史预警结果，设计数据挖掘方向。例如，设计了预警指标数据中频繁预警指标组合挖掘、预警周期模式挖掘等关联性分析组件；设计了时序数据中的时序关系挖掘、时序预测等时序分析组件；设计了多环节、多方面数据的特征提取、特征学习、高维特征降维等的表征学习组件；设计了多行业、多平台的回归模型、分类模型、聚类模型等机器学习方案。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。