基于人工智能的电网自主控制与决策方法及系统
阅读说明：本技术 基于人工智能的电网自主控制与决策方法及系统 (Power grid autonomous control and decision method and system based on artificial intelligence ) 是由 李海峰 徐春雷 金涛 李雪明 陈良亮 周材 于 2021-07-30 设计创作，主要内容包括：本发明公开了一种基于人工智能的电网自主控制与调度决策方法,包括以下过程：采集电网断面数据；基于电网断面数据,判断是否发生电压越界；若发生电压越界,则将电网断面数据输入AI智能体,通过深度强化学习框架对智能体进行训练同时快速输出电网的控制策略；依据控制策略调控电网,此过程为AI智能体与电网的交互过程；直至无电压越界。本发明通过AI智能体训练出控制策略来调控电网,通过AI智能体与电网的不断交互,实现电网的在线决策。(The invention discloses an artificial intelligence-based power grid autonomous control and scheduling decision method, which comprises the following processes: collecting power grid section data; judging whether voltage out-of-range occurs or not based on the power grid section data; if voltage out-of-range occurs, inputting the section data of the power grid into an AI intelligent agent, training the intelligent agent through a deep reinforcement learning framework, and simultaneously and quickly outputting a control strategy of the power grid; regulating and controlling the power grid according to a control strategy, wherein the process is an interaction process of an AI intelligent agent and the power grid; until no voltage is out of range. The power grid is regulated and controlled by training a control strategy through the AI agent, and the online decision of the power grid is realized through the continuous interaction of the AI agent and the power grid.)
技术领域
本发明属于电网智能调控技术领域，具体涉及一种基于人工智能的电网自主控制与决策方法，还涉及一种基于人工智能的电网自主控制与决策系统。
背景技术
随着特高压交直流混联、高比例可再生能源持续接入、储能装置逐步应用以及电力市场规则与市场参与者行为的改变，电力系统的电力电子化特征日趋显现，电网运行的不确定性、动态性和多元性显著增强。通常情况下，大电网的设计和运行理念是保证正常及故障工况下的安全稳定运行，并制定包括电压、频率、线路潮流在内的多项安全指标。但在某些突发重大故障时，若缺乏及时有效的在线控制策略，局部扰动可能会扩散导致连锁故障甚至大停电。因此，实时监测电网异常并采取快速、有效的调度控制措施对电网安全稳定运行至关重要。
数据采集与监控系统(Supervisory Control And Data Acquisition，SCADA)以及同步相量测量单元(Power Management Unit，PMU)覆盖率的增长为大电网广域在线监测提供了有效途径。基于PMU数据驱动的高级应用也陆续被电网公司调控中心所采用，包括：基于低秩矩阵的PMU数据质量分析与在线恢复技术、基于N+1等效的电压稳定评估及预测技术、基于扩展卡尔曼滤波的低频振荡监测和基于能量函数与机器学习的振源定位技术、基于监督式机器学习的电压安全、暂态稳定评估方法等。类似于许多其他广域量测系统(WideArea Measurement System，WAMS)在线应用，上述方法仅针对电网异常状况进行诊断，侧重于电网状态的态势感知，难以在线直接给出快速且精准的实时控制策略。近年来，先进人工智能技术，特别是深度强化学习技术不断进步，并在多个领域成功应用，为电网智能自适应调控提供了启示。其强大的学习与逻辑推演能力可为电力系统调度与控制提供技术手段，显著提升调度决策和系统控制的速度。
发明内容
本发明的目的在于克服现有技术中的不足，提供了一种基于人工智能的电网自主控制与决策方法，通过AI智能体训练出控制策略来调控电网，通过AI智能体与电网的不断交互，实现电网的实时在线决策。
为解决上述技术问题，本发明提供了一种基于人工智能的电网自主控制与调度决策方法，包括以下过程：
采集电网断面数据；
基于电网断面数据，判断是否发生电压越界；
若发生电压越界，则将电网断面数据输入AI智能体进行训练输出电网的控制策略；所述AI智能体为深度确定性策略梯度算法训练得到的深度神经网络；依据控制策略调控电网，此过程为AI智能体与电网的交互过程；
采集调控后的电网断面数据，若判断仍发生电压越界，则重复AI智能体与电网的交互过程，直至无电压越界。
可选的，所述断面数据以母线/线路模型或节点/断路器模型存储。
可选地，所述判断是否发生电压越界的过程为：
若所有母线电压都在正常区域内，则无电压越界；
若存在一个或多个母线电压在正常区域外，则存在电压越界。
可选地，所述控制策略包括：调节发电机端电压、投切电容/电抗器、变压器分接头调整和/或拉停线路。
可选地，所述AI智能体训练过程中，包括：
计算动作奖惩值，其计算过程为：
定义Vj为母线j的电压幅值，那么控制动作的第i次迭代奖励值可用式(1)来计算：
通过式(1)使智能体朝着正常区域控制节点电压，每个训练样本的最终奖励值Rf定义为所有控制迭代所得奖励的平均值：
式中：变量n为完成一个训练样本后所采取的控制迭代总次数。
相应的，本发明还提供了一种基于人工智能的电网自主控制与调度决策系统，包括：
数据采集模块，用于采集电网断面数据；
电网状态判断模块，用于基于电网断面数据，判断是否发生电压越界；
在线决策模块，用于判断若发生电压越界，则将电网断面数据输入AI智能体进行训练输出电网的控制策略；所述AI智能体为深度确定性策略梯度算法训练得到的深度神经网络；依据控制策略调控电网，此过程为AI智能体与电网的交互过程；
电网调控模块，用于采集调控后的电网断面数据，若判断仍发生电压越界，则重复AI智能体与电网的交互过程，直至无电压越界。
与现有技术相比，本发明所达到的有益效果是：利用训练好的智能体和历史断面数据，针对电网出现的问题进行调控决策，该智能体不断与电网进行交互，在一次交互过程中，实现完全基于数据驱动的电网调度在线决策，提升系统运行的经济性和可靠性。
附图说明
图1是基于深度强化学习的智能调度整体框架；
图2是基于深度确定性策略梯度算法的电力系统自主控制流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
将电网调控决策过程规范为马尔科夫决策过程，将复杂电网调控决策问题看做是随机动态环境下的离散时序控制问题。针对电网中的量测量，确定系统的状态空间；根据电网调控问题中的控制变量，确定系统的控制空间；根据调控问题的目标，设定系统的奖励函数，用于评估调控效果。
本发明基于深度强化学习技术的电网自主控制与决策方法，提出了数据驱动型电网智能调控技术框架，即“电网脑”系统，其框架设计如图1所示。该系统由电网数据驱动，实时处理和分析大量在线数据，通过AI智能体与电网或高精度电网仿真软件进行不断交互从而进行学习，由智能体根据电网实时运行状态提供在线调控策略并给出该策略对应的预期效果。
本发明的一种基于人工智能技术的电网自主控制与决策方法，流程如图2所示，包括以下过程：
第一步，构造基于深度确定性策略梯度法DDPG的AI智能体，对AI智能体进行初始化。
深度确定性策略梯度法DDPG作为典型的深度强化学习方法，融合了“演员-评论家”(actor-critic)方法和策略梯度(policy gradient)算法的优点，采用策略网络提供控制动作(起到“演员”作用)，同时采用值函数网络来评估控制动作的效果(起到“评论家”作用)。策略网络或值函数网络均可以采用两个神经网络以不同速率更新其策略，以达到良好的训练效果。
基于深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法的电力系统自主控制流程如图2所示。以自主电压控制为案例，通过智能体的不断训练和经验累计，使电网各个母线电压幅值在各种扰动前后均能够维持在安全范围之内。理想的控制目标是发现电压越界后，智能体经过一次控制迭代直接给出最有效的控制策略，解决系统电压问题。
第二步，通过在线数据(SCADA、PMU)或系统状态估计结果采集电网断面数据，断面数据是以母线/线路模型(如BPA格式)或节点/断路器模型(如QS格式)进行存储的，可起始于稳态或准稳态时的任何工况。基于断面数据，AI智能体得到电网状态值。
第三步，基于断面数据进行母线电压越界判断。
一般地，可将系统节点电压幅值分为三类：即正常区域[0.95p.u.,1.05p.u.]、越界区域[0.8p.u.,0.95p.u.]或[1.05p.u.,1.25p.u.]和发散区域[<0.8p.u.或>1.25p.u.]。
若该运行工况下的所有母线电压都在正常区域内，则无电压越界问题，此断面数据忽略，AI智能体不需要提供控制措施，继续对新的断面数据进行判断；若该运行工况下存在一个或多个母线电压在正常区域外，则存在电压越界问题，AI智能体将被激发。
第四步，若存在电压越界情况，AI智能体将提供控制策略，反馈给电网环境做验证。这里AI智能体给出的控制策略包括：为了有效调整变电站母线电压水平，进行调节发电机端电压、投切电容/电抗器、变压器分接头调整、拉停线路等措施。这里的电网环境可以为EMS系统或高精度潮流计算引擎，如商业潮流计算软件PSAT等。
电网环境获得控制策略后实施控制动作，通过潮流求解获取控制动作后的电网状态反馈给AI智能体。
第五步，AI智能体对动作后的电网状态进行判断，计算相应的动作奖惩值。
定义Vj为母线j的电压幅值，那么控制动作的第i次迭代奖励值可用式(1)来计算：
通过式(1)可使智能体朝着正常区域控制节点电压。为了得到更有效的控制策略(一次迭代解决电压问题)，每个训练样本的最终奖励值Rf可定义为一个完整样本内所有控制迭代所得奖励的平均值：
式中：变量n为完成一个训练样本后所采取的控制迭代总次数。采用该方式可有效促使AI智能体采取更少的控制迭代次数有效解决电压控制问题。
第六步，AI智能体从与电网环境的交互中更新控制策略的各参数值并逐步提升控制性能。
第七步，若在规定的迭代次数内解决电压越界问题，即所有母线电压都在正常区域内，则针对该运行工况的训练提前终止；若控制过程中出现潮流计算结果发散或超过规定的次数，针对该运行工况的训练也将被强行终止。
本发明利用训练好的智能体和历史断面数据，针对电网出现的问题进行调控决策，该智能体不断与电网进行交互，在一次交互过程中，实现完全基于数据驱动的电网调度在线决策，提升系统运行的经济性和可靠性。
实施例2
基于与实施例同样的发明构思，本发明的一种基于人工智能的电网自主控制与调度决策系统，包括：
数据采集模块，用于采集电网断面数据；
电网状态判断模块，用于基于电网断面数据，判断是否发生电压越界；
在线决策模块，用于判断若发生电压越界，则将电网断面数据输入AI智能体进行训练输出电网的控制策略；所述AI智能体为深度确定性策略梯度算法训练得到的深度神经网络；依据控制策略调控电网，此过程为AI智能体与电网的交互过程；
电网调控模块，用于采集调控后的电网断面数据，若判断仍发生电压越界，则重复AI智能体与电网的交互过程，直至无电压越界。
本发明系统中各模块的具体实现方案，参见实施例1方法的具体步骤过程。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。