阅读说明：本技术 一种建筑空调系统需求响应的强化学习建模方法 (Reinforced learning modeling method for demand response of building air conditioning system ) 是由 丁研 黄宸 廉翔超 吕亚聪 于 2021-06-28 设计创作，主要内容包括：本发明公开了一种建筑空调系统需求响应的强化学习建模方法,包括以下步骤：利用建筑已知室内温度、制冷量、气象、人员数据,开发RC灰箱模型,建立室内温度与空调系统制冷量之间的联系；对空调系统与蓄电池控制建立基于值函数线性逼近的强化模型；利用气象、人员数据对强化学习模型智能体进行训练；将训练完备的智能体应用于目标时间段,得出空调系统与蓄电池的控制策略。本发明可反映建筑热特性,降低对参考数据与先验知识。可以在保证室内人员热舒适的前提下,提出低能耗、低用电费用的空调系统和蓄电池运行策略。(The invention discloses a reinforcement learning modeling method for demand response of a building air conditioning system, which comprises the following steps: developing an RC ash box model by utilizing known indoor temperature, refrigerating capacity, weather and personnel data of a building, and establishing a relation between the indoor temperature and the refrigerating capacity of an air conditioning system; establishing a reinforced model based on value function linear approximation for the control of the air conditioning system and the storage battery; training a reinforcement learning model intelligent agent by using meteorological and personnel data; and applying the intelligent body with complete training to a target time period to obtain a control strategy of the air conditioning system and the storage battery. The invention can reflect the thermal characteristics of the building and reduce the reference data and the prior knowledge. On the premise of ensuring the thermal comfort of indoor personnel, an air conditioning system with low energy consumption and low electricity consumption cost and a storage battery operation strategy can be provided.)

一种建筑空调系统需求响应的强化学习建模方法

技术领域

本发明属于建筑能量管理与人工智能交叉领域，具体涉及一种建筑空调系统需求响应的强化学习建模方法。

背景技术

建筑运行能耗为我国能源消耗重要方面，而建筑运行中，空调能耗占较大比重。但是由于建筑系统对于外界气象条件响应有延迟与衰减，这对空调系统控制增加了复杂性。以致空调运行策略多基于运行人员经验制定策略，即运行人员根据当前气象条件、天气预报、以往经验、运行经济等因素，调节空调运行策略。对于人员舒适度、节能状况仅有主观判断，无法保证室内人员舒适度与降低能源消耗。

目前有很多针对建筑空调系统自动控制的方法，当采取反馈控制时由于其具有延迟的特性，无法及时对室内温度进行控制并且不能保证系统处于高效状态运行；当采取有监督机器学习算法进行控制时，往往需要参考数据与先验知识，实际运行中已有条件难以满足算法要求。同时，已有控制方法大多仅针对空调系统进行控制，并未涉及蓄电池控制，无法进一步实现电网负荷转移的目的。

发明内容

有鉴于此，本发明提供一种建筑空调系统需求响应的强化学习建模方法，在减少对参考数据与先验知识依赖的条件下，实现对建筑空调及蓄电池系统进行自动控制，以保证室内人员舒适性并降低空调系统能耗与用电费用。

为实现上述目的，本发明提出了一种建筑空调系统需求响应的强化学习建模方法，包括以下步骤：

步骤1)：首先对目标建筑建立反映室内温度与制冷量变化关系的RC灰箱模型，模型输入变量为逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall，模型输出变量为室内逐时温度T_in；

步骤2)：利用已知的室内逐时温度T_in与逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall数据对灰箱模型进行训练，辨识建筑墙壁热阻R_w、窗户热阻R_win、墙壁热容C_w、室内空气热容C_in、窗户得热系数c₁、墙壁得热系数c₂；

步骤3)：对空调控制系统与蓄电池控制系统建立强化学习模型，模型中智能体的交互环境为步骤1)的灰箱模型，灰箱模型中参数为步骤2)的辨识结果，输入变量为逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall，输出变量为逐时空调系统制冷量Q_L、蓄电池控制系统充/放电动作ΔE_t；

步骤4)：利用连续60日实际测量的室内逐时温度T_in与逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall数据对强化学习模型进行训练，保存训练模型；

步骤5)：将待模拟时段室内逐时温度T_in与逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall数据输入步骤4)训练完备的强化学习模型中，得出空调系统与蓄电池的控制策略。

进一步地，所述步骤3)中将步骤1)所建立的灰箱模型与强化学习算法结合，作为强化学习智能体交互环境建模，RC灰箱模型表达式为：

进一步地，所述步骤3)中强化学习模型采用基于值函数逼近的强化学习算法，逼近方法为线性逼近，基函数为高斯核函数。

进一步地，控制所述步骤4)中强化学习模型训练效果的回报函数如下：

式(3)r_AC,t表示空调系统控制智能体在t时刻获得的奖励，式r_ES,t中表示蓄电池控制智能体在t时刻获得的奖励，式(3)其中α₁、α₂分别为为温度重要性、用电费用重要性参数，ω₁、ω₂为时间参数，分别表示有人在室时刻与空调开启时刻，P′_t为归一化设备能耗，P_max为设备最大能耗；λ_t当前t时刻电价，为温度偏移惩罚函数，ΔE_t表示蓄电池电能变化量，表示控制结果违背温度设定区间惩罚，-α₂×P′_t×λ_t×ω₂表示花费用电费用惩罚，表示蓄电池花费用电费用的惩罚，-δ_t表示放电量大于剩余电量的惩罚。

有益效果

1.本发明基于RC灰箱模型对建筑进行建模，有效表现建筑的热力学特性，准确地模拟了室内温度对空调控制策略的响应。

2.本发明通过建立强化学习模型，有效利用算法与环境交互的信息，降低了对参考数据与先验知识的依赖。

3.本发明利用强化学习模型对空调系统及蓄电池进行控制策略的提出与仿真，在保证室内人员热舒适的同时，减少空调系统运行负荷，并降低系统的运行费用。

附图说明

图1为本发明一种建筑空调系统需求响应的强化学习建模方法的技术路线图；

图2为本发明一个实施例中RC灰箱模型室温计算结果与DeST室温仿真结果对比图；

图3为本发明一个实施例中训练过程累计回报函数随迭代次数变化结果图；

图4为本发明一个实施例中基于强化学习控制的室内温度与空调能耗模拟结果图；

图5为本发明一个实施例中基于强化学习控制的室内温度与空调、充放电能耗模拟结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明提供一种建筑空调系统需求响应的强化学习建模方法，其流程图如图1所示，包括以下步骤：

步骤1：首先对建筑建立可反映室内温度与制冷量变化关系的RC灰箱模型，模型输入变量为逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall，模型输出变量为室内逐时温度T_in。

该灰箱模型表达式如下所示：

步骤2：利用已知的室内逐时温度T_in与逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall数据对灰箱模型进行训练。采用粒子群优化算法对R_w、R_win、C_w、C_in、c₁、c₂进行辨识。

步骤3：对空调控制系统与蓄电池控制系统建立强化学习模型，模型中智能体的交互环境为步骤1中的灰箱模型，灰箱模型中参数为步骤2中辨识结果，输入变量为逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall，输出变量为逐时空调系统制冷量Q_L、蓄电池充/放电动作ΔE_t。其中，强化学习模型采用基于值函数逼近的强化学习算法，逼近方法为线性逼近，并采用高斯核函数作为基函数。

步骤4：利用连续一段时间实际测量的室内逐时温度T_in与逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall数据对强化学习模型进行训练，并保存训练模型。

步骤5：将待模拟时段室内逐时温度T_in与逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall数据输入步骤4训练完备的强化学习模型中，得出空调系统与蓄电池的控制策略。

实施例：

步骤1：首先对目标建筑建立反映室内温度与室内制冷量关系的RC灰箱模型；

步骤2：利用已知的室内逐时温度T_in与逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall数据对灰箱模型进行训练。采用粒子群优化算法对R_w、R_win、C_w、C_in、c₁、c₂进行辨识。

具体地，本实施例中RC灰箱模型的计算结果与DeST仿真的室内温度对比如图2所示。经计算，RC灰箱模型的RRMSE为2.26％，表明RC灰箱模型能够准确反映室内温度与室内负荷变化关系。

步骤3：对空调控制系统与蓄电池控制系统建立强化学习模型。模型中智能体的交互环境为步骤1中的灰箱模型，灰箱模型中参数为步骤2中辨识结果，输入变量为逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall。

步骤4：利用连续一段时间实际测量的室内逐时温度T_in与逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall数据对强化学习模型进行训练，并保存训练模型。

本实施例中，采用了60日共计1440小时逐时气象、人员数据，迭代次数设定为1000代。训练中，累计回报值最终趋于稳定，累计回报值随迭代次数变化如图3所示。

步骤5：将待模拟时段室内逐时温度T_in与逐时室内人员数量n、空调制冷量Q_L、太阳总辐射量窗户面积F_win、墙体(除窗户)面积F_wall数据输入步骤4训练完备的强化学习模型中，得出空调系统与蓄电池的控制策略。

具体地，本实施例选取与步骤4不同的3日共计72小时逐时气象、人员数据，迭代次数设定为1000代，室内温度变化、空调能耗如图4所示，室内温度变化、蓄电池充放电控制策略如图5所示。

与相同控制要求的基于规则的控制策略比较，基于强化学习模型所产生的策略可降低空调系统能耗9.8％，降低用电费用14.8％；使用蓄电池后，与基于规则的控制策略比较可进一步降低用电费用29.7％。