具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，本发明某一实施例提供一种基于数据驱动的配电网无功优化方法，包括以下步骤：

S101：将配电网可测节点注入功率的历史数据输入预设的下层神经网络进行训练，获取下层训练模型，并根据所述下层训练模型获取不可测关键节点电压数据。

请参阅图2，具体的，整个配电网控制流程包分为下层训练阶段、上层训练阶段和实时控制阶段，三个阶段通过信息传递并与配电网交互完成整个优化过程，在下层训练阶段，Agent1通过深度神经网络对历史数据进行训练，将可测节点注入功率作为输入数据，其中，配电网可测节点注入功率的历史数据包括可测节点负荷，可测节点负荷训练预设的下层神经网络，获取下层训练模型，不可测关键节点电压为输出数据，并将训练出配电网不可测关键节点电压并传输至上层训练模型，其中，可测节点表示具有四遥接入的节点，不可测节点表示未接入调度主站的节点，不可测关键节点表示未接入调度主站但对配电网运行情况最具有表达性的节点。

预设的下层神经网络包含了三层卷积结构和两层全连接结构，单个卷积结构又包括一个卷积层与批正则化层，在每一个批正则化层和全连接层后面均有Relu函数作为激活函数，对于网络的输入层，输入数据为接入调度主站的可测节点负荷，设目标区域电网网架含有N+1个节点、s条线路，其中m个节点装有分布式电源，神经网络的输入神经元个数为2N，将DG接入节点作为pv节点，将普通负荷节点作为pq节点，即：

X＝[P_pv.1,...P_pv.m...P_pv.1P_pv.N-m,Q_pv.1,...,Q_pv.m,Q_pq.1,...,Q_pq,N-m]；

式中，表示含DG的有功负荷，表示不含DG的有功负荷，表示含DG的无功负荷，表示不含DG的无功负荷。

输出层即为不可测关键节点电压数据，如下：

Y＝[V₁...,V_k,...V_n]；

其中，n表示不可测关键节点的数量，V_k(k＝1，...，n)表示第k个不可测关键节点的电压。

S102：根据获取的目标区域电网的可测节点、所述不可测关键节点电压数据以及预设的离散无功调节设备的投切状态输入预设的上层神经网络进行训练，获取上层训练模型，并根据所述上层训练模型获取离散无功设备的投切动作指令。

请参阅图2，具体的，将上层训练模型中的目标函数转换为马尔科夫过程，采用策略梯度法优化马尔科夫过程，获取离散无功设备的投切动作指令。在上层训练阶段，通过调度中心提取目标区域电网的可测节点以及下层训练阶段得到的不可测关键节点电压的运行数据，结合离散调节设备的投切状态作为联合状态输入，离散无功设备的投切动作指令作为动作输出，通过Agent 2拟合上层深度神经网络的双网络模型并在主评价网络与主动作网络的交互过程中完成网络训练。

请参阅图3，预设的上层神经网络选用包含Actor-critic的双网络模型，并分别拟合包含策略函数的以及状态价值函数的actor网络与critic网络，θ₁与θ₂为网络参数，图3中的U_i为原始输入电压矩阵，感受野是卷积神经网络数据输入数据的区域特征图，以区域特征图为单位进行输入特征量的特征提取，T_i与C_Ti为离散设备状态输入，s_i为整体状态输入。

即此A2C模型主要包括三个部分，首先是用于提取输入电压的卷积网络层，其次是拟合从状态到动作AN(主动作网络)与拟合状态价值函数的CN(主评价网络)。模型输入为配电网无功优化的马尔科夫决策过程的状态s，其中包括目标节点电压矩阵，离散设备投切状态T(采用one hot编码)和采离散设备投切次数C_T(采用one hot编码)。

采用策略梯度法(PG)优化目标AN，常用的策略梯度法的优化目标为：

s和a分别为马尔科夫决策过程的状态和动作，E_t表示经过在不断交互过程中的采样期望，A_t表示动作优势函数，如下：

式中表示状态s的状态价值函数，θ₂表示CN的参数，q(s，a)表示状态s下动作a的价值函数，r(s，a)在状态s下采取动作a的即时回报，s'表示在状态s下采取动作a的后继状态，μ表示折扣系数。

CN的作用是拟合价值状态函数，其标签可以根据贝尔曼方程获得，如下：

如果将进行动作决策的调度中心作为决策主体，实际电力系统作为环境，那么配电网的无功优化模型可以转化为典型的多步决策问题，采用适当状态空间编码，可以保证决策过程的马尔科夫性。结合持续无功优化问题，决策过程<S,R,A,P,γ>的变量定义如下，状态空间S为输入状态信息，主要包括不可测关键节点以及可测节点电压信息和离散动作设备的投切状态信息，定义离散无功设备的投切动作指令中第i个决策阶段的状态s如下：

式中，表示第i个决策阶段内的目标节点电压矩阵，维度为n×k，其中n＝m+p表示四遥接入调度中心的节点数m以及关键节点p的数量，k表示决策周期内的量测次数，T_i表示第i个决策阶段内离散动作设备的投切档位，C_Ti表示离散设备投切次数。

S103：将所述下层训练模型与上层训练模型部署至实际运行的配电网，获取整体运行模型。

S104：根据所述整体运行模型的网损以及所述离散无功设备的投切动作指令构建目标函数，采用A2C算法求解所述目标函数，获取配电网无功优化结果。

具体的，A2C全称为优势动作评论算法(Advantage Actor Critic)，在实时运行中，将训练好的上下双层模型部署至实际运行的配电网，在实时运行阶段，把优化问题转变为马尔科夫过程，并以网损和离散设备动作成本作为优化目标，以离散设备动作指令为控制变量进行实时求解并得到最优化策略(此过程与配电网进行实时交互并在Agent 2中完成)。

根据各节点电压与预设的目标电压值的平方差值最小确定最优网损的目标函数，根据最优网损的目标函数获取整体运行模型的网损。离散无功设备的投切动作指令包括离散无功设备的动作成本，根据整体运行模型的网损和离散无功设备的动作成本，构建目标函数，并引入根据节点电压、节点的无功功率以及预设的控制变量构建的约束条件，采用A2C算法求解目标函数，获取配电网无功优化结果，忽略相邻节点功率因数，将网损表达如下：

式中，P_Loss表示网损，V_i,V_j表示任意两点电压值，G_ij表示节点，N表示一天内的指令周期个数，假设预设的目标电压值为V_set，表示各节点电压与预设的目标电压值V_set的平方差值最小作为目标函数，使全网可观测与关键节点电压能够一致收敛到V_set，从而达到全网相对最优网损，将目标函数通过最小二乘法化简成另一种表达形式，如下：

选取以各可测以及关键节点电压的平均值作为目标电压值V_set，如下：

由于各节点电压趋于一致会同时使得无功网损降低，从而减小目标区域电网的无功需求，防止功率倒送。在考虑系统运行经济性和离散设备的调节成本后，配电网动态无功优化目标函数可以分网损和动作损失，由于本文设置优化函数包括对电压的优化，因此无需为其单独设置目标函数，考虑网损以及设备投切成本后，其目标函数如下：

式中，N为一天内的指令周期个数，P_lossi为第i个指令周期内的系统网损优化变式，c_j为第j个设备的动作成本，是一个0-1函数，第i个指令周期内第j个设备动作时为1，否则为0，m是离散设备的数目，λ_c是动作成本系数，约束条件定义如下：

U^min≤U≤U^max；

Q^min≤Q≤Q^max；

T^min≤T≤T^max；

g_i(X,T)＝0i＝1,2...N；

式中，U,U^max,U^min表示节点电压、节点电压的最大值和节点电压的最小值，Q,Q^max,Q^min表示无功功率、无功功率的最大值和无功功率的最小值，T,T^max,T^min表示离散设备的输入状态、离散设备的输入状态的最大值和离散设备的输入状态最小值，g_i(X,T)表示控制变量，表示动作次数约束，含分档电容器和OLTC，将节点电压的约束条件添加到目标函数中，优化目标改为，如下：

式中，γ₁和γ₂为惩罚系数，表示判断函数，σ约束条件满足时取值为0，不满足时取值为1。在低感知度配网中，式g_i(X,T)＝0i＝1,2...N难以精确建立，在此表达了理论上的非线性潮流关系，部分节点有实时量测，式U^min≤U≤U^max只针对有量测的节点以及关键节点，事实上，对于所描述的可测节点电压以及关键节点电压，其电压分布具有很强的代表性，在分散性较强的情况下，其节点电压具有邻域代表性，可以近似认为，当目标节点电压在允许范围内时，全网所有节点电压均在允许范围内，采用A2C算法求解目标函数，获取配电网无功优化结果。

本发明根据上下层训练的结果构建整体的模型，并部署至实际运行的配电网，获取整体运行模型，根据所述整体运行模型的网损以及所述离散无功设备的投切动作指令构建目标函数，采用A2C算法求解所述目标函数，获取配电网无功优化结果。本发明简化了模型的同时还优化了电压分布，降低了有功网损，针对有限的可测节点电压数据不能完全反映目标区域电网电压波动的问题，通过下层训练模型进行不可测关键节点的电压拟合，提升优化模型的合理性与精确性。

请参阅图4，本发明另一实施例提供一种基于数据驱动的配电网无功优化装置，包括：

下层训练模块11，用于将配电网可测节点注入功率的历史数据输入预设的下层神经网络进行训练，获取下层训练模型，并根据所述下层训练模型获取不可测关键节点电压数据。

上层训练模块12，用于根据获取的目标区域电网的可测节点、所述不可测关键节点电压数据以及预设的离散无功调节设备的投切状态输入预设的上层神经网络进行训练，获取上层训练模型，并根据所述上层训练模型获取离散无功设备的投切动作指令。

运行模块13，用于将所述下层训练模型与上层训练模型部署至实际运行的配电网，获取整体运行模型。

优化模块14，用于根据所述整体运行模型的网损以及所述离散无功设备的投切动作指令构建目标函数，采用A2C算法求解所述目标函数，获取配电网无功优化结果。

关于基于数据驱动的配电网无功优化装置的具体限定可以参见上文中对于基于数据驱动的配电网无功优化方法的限定，在此不再赘述。上述基于数据驱动的配电网无功优化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。