具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

为了方便叙述，本发明中如果出现“上”、“下”、“左”、“右”字样，仅表示与附图本身的上、下、左、右方向一致，并不对结构起限定作用,仅仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。

术语解释部分:本发明中的术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或为一体；可以是机械连接，也可以是电连接，可以是直接连接，也可以是通过中间媒介间接相连，可以是两个元件内部连接，或者两个元件的相互作用关系，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的具体含义。

名词解释：本发明中的“大行程”是指丝杠整体行程大于100mm，可以扩展到1.5m-2m以上。“高精度”是指位移分辨率在0.01μm-1nm左右。

正如背景技术所介绍的，现有技术中存在的不足，为了解决如上的技术问题，本发明提出了一种组合式螺母驱动型液体静压丝杠副、伺服进给系统及方法；基于设计的组合式螺母驱动型液体静压丝杠副，让微纳运动伺服进给系统在加工过程中主动进行探索，并根据进给系统最终输出的微进给精度以及液体静压丝杠副中油膜厚度对自身行为进行评估，根据评估结果不断优化自身进给控制策略，最终在大量训练过程中累积经验，逐步学习直至获得适用于超精密微纳运动伺服进给系统的最优控制策略，实现在不同超精密加工场景中的微纳级分辨率微量进给运动。

利用深度神经网络将超精密进给过程中微进给量以及油膜厚度与丝杠旋转速度、螺母旋转速度建立映射关系，基于深度强化学习算法实时调整丝杠转速或螺母转速以使得工作台获得稳定、超高精度的进给速度。控制器的训练过程包含仿真环境训练与实体训练两部分：在仿真训练阶段，基于液体静压传动原理建立进给单元的简化模型，并使用深度强化学习算法对其进行训练直至获得在仿真环境中具有良好微进给精度的控制器。在实体训练阶段，基于真实的进给环境进一步使用深度强化学习算法对仿真环境中训练好的控制器再次训练，直至控制器在更为复杂的实际进给过程中达到要求的进给控制效果。

本发明的一种典型的实施方式中，本实施例先提出了一种组合式液体静压螺母组件6，如图3所示，包括：双锥液体静压轴承内圈601、双锥液体静压轴承外圈602、轴承内圈衬套603、空心电机转子衬套604、空心电机转子605、空心电机定子606、编码器码盘轴套607、编码器码盘608、编码器读数头609、读数头支架610、连接支架611、密封圈612、液体静压丝杠螺母613，具体的连接结构如下：

上述的双锥液体静压轴承外圈602通过螺栓与连接支架611固定；

如图4、图5所示，双锥液体静压轴承内圈601侧面通过安装孔6032与轴承内圈衬套603固连，双锥液体静压轴承内圈601内圆周面与轴承内圈衬套外圆周面6031配合，双锥液体静压轴承中的液压油通过双锥液体静压轴承内圈601与双锥液体静压轴承外圈602之间的缝隙流出，远离连接支架611的双锥液体静压轴承端面直接排出液压油，连接支架611近端的双锥液体静压轴承端面首先排出液压油至由连接支架611、双锥液体静压轴承外圈602以及轴承内圈衬套603所封闭的密闭空间中，后经双锥液体静压轴承内圈601与轴承内圈衬套603中的排油槽6034配合形成的排油通道将液压油排出，此设计在便于排油的同时也可更好的排散热量。轴承内圈衬套603通过安装孔6033与液体静压丝杠螺母613的法兰盘一侧固连，如图6所示，液体静压丝杠螺母613的法兰盘另一侧通过安装孔6041与空心电机转子衬套604固连，轴承内圈衬套603与空心电机转子衬套604中的内圆周面均加工有圆弧凹槽6035与圆弧凹槽6044以便于适用套入不同外形的液体静压丝杠螺母；空心电机转子衬套604通过安装孔6042与空心电机转子605固连，空心电机转子衬套604通过安装孔6043与编码器码盘轴套607固连；编码器码盘608与编码器码盘轴套607固连；空心电机定子606通过安装孔6112与连接支架611固连。

如图7所示，读数头支架610通过螺栓长孔6101与空心电机定子606固连，读数头支架610通过安装孔6103与编码器读数头609固连，且可通过分别调整连接螺栓与螺栓长孔6101以及长孔6102的配合位置获得编码器读数头609与编码器码盘608的相对位置；

如图8所示，连接支架611通过连接孔6111与工作台11固连；

连接支架611中加工有环形油槽6114与进油孔6115，进油孔6115与环形油槽6114相通，环形油槽6114两侧加工有环形凹槽6113，密封圈612安装于环形凹槽6113中；

轴承内圈衬套603、空心电机转子衬套604与液体静压丝杠螺母613固连后所形成的外圆周面与连接支架611内圈留有间隙并发生相对转动；

密封圈612内圆周面与轴承内圈衬套603、空心电机转子衬套604与液体静压丝杠螺母613固连后所形成的圆周面配合，密封圈612外圆周面与环形凹槽6113配合，当液压油经由进油孔6115进入环形油槽6114后通过位于环形油槽6114两侧的密封圈612实现油路密封；

环形油槽6114中的液压油通过液体静压丝杠螺母613的法兰圆周面的进油口供油，并最终通过液体静压丝杠螺母613两端与丝杠的啮合间隙流出；

特别的，在装有编码器码盘608的液体静压丝杠螺母侧，经由丝杠5与液体静压丝杠螺母613啮合间隙流出的液压油（如图9所示），在编码器码盘轴套607锥型内表面6071的约束下流出组合式液体静压螺母组件,有效避免流出的液压油污染编码器码盘608。

进一步的，基于上述组合式液体静压螺母组件6，本实施例还提供了一种

基于深度强化学习的大行程高精度微纳运动伺服进给系统，其包括DRL智能决策模块、丝杠电机控制模块、螺母电机控制模块和进给平台本体模块。

其中，进给平台本体包括：底座1、伺服电机2、联轴器3、液体静压轴承支座4、液体静压轴承支座7、丝杠5、前面所述的组合式液体静压螺母组件6、可承受径向负载的液体静压轴承8、液体静压导轨9、位移检测装置10、工作台11、可承受轴径向负载的液体静压轴承12、电机支座13以及非接触式测距装置14；

底座1的两端设有液体静压轴承支座4和液体静压轴承支座7，在液体静压轴承支座4上安装可承受轴径向负载的液体静压轴承12；在液体静压轴承支座7上安装可承受径向负载的液体静压轴承8；丝杠5的一端通过可承受轴径向负载的液体静压轴承12支撑，另一端通过可承受径向负载的液体静压轴承8支撑；所述的丝杠5与组合式液体静压螺母组件6配合，且组合式液体静压螺母组件6顶部与液体静压导轨9的滑块相连；在液体静压导轨9上安装有位移检测装置10，在组合式液体静压螺母组件6上安装有非接触式测距装置14；丝杠5的一端通过伺服电机2驱动。

整体控制流程如下：DRL智能决策系统训练完毕后根据当前丝杠副油膜厚度以及工作台进给位置获得当前所需执行动作，DRL智能决策系统将动作指令发送至丝杠电机控制器与螺母电机控制器，两伺服电机均包含一个三相交流异步电机，并基于电机自身具有的位置/速度/电流检测器反馈的信号采用三环PID控制算法（电流环、速度环和位置环）驱动伺服电机。通过控制、协调丝杠电机与螺母电机的运动使得液体静压丝杠副运动合成实现工作台双驱动“差速”微进给。

安装在液体静压丝杠螺母613中的非接触式测距装置14可实时测得丝杠与螺母之间的油膜厚度，位移检测装置10可实时检测工作台移动的位置信息，液体静压丝杠螺母613与丝杠5之间的油膜厚度与工作台的位置信息均反馈至DRL智能决策模块。

如图2所示，DRL智能决策模块决策方法及控制流程如下：

1.建立大行程高精度进给模型

用户设定需求进给速度为V _Aim，算法初始化丝杠电机速度为V _s，螺母电机初始速度V _n=V _s-V _Aim，且V _n大于进给系统不可回避、非线性的回转爬行速度V _c。

丝杠电机速度增减量ΔV _s(t)∈[－V _small，V _small]，V _small为在双驱液体静压丝杠副双驱差动超精密进给时对丝杠电机V _s微调整的最大值，丝杠电机与螺母电机速度的同步增减量ΔV _sn(t)∈[0,V _max-V _s]，V _max为丝杠电机或螺母电机可达到的最大速度。

通过动态、实时调整ΔV _s(t)可补偿由于丝杠电机和螺母电机速度波动、液体静压功能部件阻尼以及系统振动等干扰因素造成的工作台进给误差，使工作台最终实现超精密进给；由于液体静压丝杠副中的螺距误差、运行时丝杠与螺母不可避免的位姿误差使得液体静压丝杠副运行过程中产生动压效应，智能决策算法通过实时改变ΔV _sn的大小可动态调整液体静压丝杠副中油膜承载力以应对液体静压丝杠副各种复杂的外部负载，保证工作台的进给精度不受丝杠螺母位移波动的影响。智能决策算法调整后的丝杠电机速度与螺母电机速度为：

V _S (t+1)=V _S (t)+ ΔV _s (t)+ ΔV _sn (t)

V _Sn (t+1)=V _Sn (t)+ ΔV _sn (t)。

2.建模为马尔可夫决策过程

（1）系统进给状态空间描述为S(t)= [h(t), p(t)]，通过将液体静压丝杠副运行中实时油膜厚度h(t)与进给台实时进给位移p(t)作为环境状态，对伺服进给系统进给状态进行表达。h(t)需满足0.2 h ₀≤h(t) ≤0.8h ₀，h ₀为设定的无负载时轴向油膜厚度，且实时油膜厚度h(t)与进给台实时进给位移p(t)均需要取连续值。

（2）动作空间描述为A(t)=[ΔV _s(t), ΔV _sn(t)]。

（3）大行程高精度伺服进给系统作为一个智能体，在环境状态为S(t)时，通过决策函数μ(S(t))在动作空间中选择动作。智能体执行动作A(t)后根据奖赏函数R(S,A)获得奖赏值R(t)。

奖励函数设置包含两个部分，油膜厚度恒定规则和高精度进给规则，具体如下：

.基于深度强化学习算法进行训练

智能体采用Actor-Critic架构的DDPG算法框架进行训练，Actor网络与Critic网络分别对策略函数μ与值函数Q进行函数逼近，其参数分别为θ ^μ 与θ ^Q 。Actor在当前给定环境下使用策略梯度（policygradient）进行策略学习选择机器人动作，Critic使用策略评估（policy evaluation）对价值函数进行评估产生信号评价Actor所做动作。为策略网络和评价网络分别建立深层神经网络模型，该网络由一维卷积层、全连接层和输出层组成。

DDPG算法流程：

（1）初始化经验回放池，初始化神经网络参数及设定训练次数；

（2）Actor网络基于当前状态S(t)根据策略μ生成动作μ(S(t))，引用Uhlenbeck-Ornstein随机过程作为随机噪声N _t 后最终执行动作A(t)=μ(S(t))+N _t ；

（3）智能体执行动作A(t)，实现对ΔV _s(t)和ΔV _sn(t)的调整，并返回奖赏值R(t)和新的状态S(t+1)；

（4）Actor网络将状态转换过程[S(t)，A(t)，R(t)，S(t+1)]以数组形式存入经验回放池作为训练网络的数据集；

（5）从经验回放池中随机取样N组数据作为训练Actor网络和Critic网络的最小批次训练数据；

（6）对从经验回放池中随机抽取的数据求目标值，第k组数据目标值可以表述为：，式中Q'表示Critic网络的目标网络，μ'表示Actor网络的目标网络。R _k 为第k组样本所获即时奖励，γ为折扣因子且。通过Adam算法或SGD算法优化损失函数L(θ ^Q )更新Critic网络参数θ ^Q ；

；

（7）使用梯度下降法向着Q值增加的方向更新Actor网络参数θ ^μ ；

（8）使用running average算法将Actor网络参数θ ^μ 与Critic网络参数θ ^Q 更新为Actor目标网络参数θ ^μ' 与Critc目标网络参数θ ^Q' ；

基于所述的伺服系统具体结构及固有属性，合理构建双驱动液体静压丝杠副进给数学模型用于前期算法仿真训练，控制器在仿真训练获得较好的控制效果后转入伺服进给系统实体训练。深度神经网络经过多次训练直至达到使用要求后，即便工作台受到外部静载荷、阶跃载荷和正弦载荷等多种复杂外载荷时，双驱液体静压丝杠副油膜厚度h(t)可始终与h ₀保持一致，大幅降低液体静压丝杠副低速超精密进给时轴向负载引起的螺母波动位移；同时，多次训练完成后，实时进给位移p(t)可与目标进给位移 p ₀保持一致。

本发明提出的基于深度强化学习的大行程高精度微纳运动伺服进给系统及控制方法，将工作台的超精密微量进给建模为马尔可夫决策过程，引入深度强化学习算法控制双驱液体静压丝杠副，实现动态环境下超精密微量进给。与常规基于模型的运动控制方法相比，基于深度强化学习的双驱液体静压丝杠副控制方法不依赖外部环境，适用于多变量、强耦合性、强非线性的大行程高精度微纳运动场景，具有较好的鲁棒性。

在保证微量高精度进给的同时，通过同时增加或减少丝杠转速与螺母转速可实时调整液体静压丝杠副中液体油膜的动压效应，以应对液体静压丝杠副各种复杂的外部负载，保证工作台的进给精度不受丝杠螺母位移波动的影响。

此外，基于现有液体静压丝杠副、液体静压轴承结合本发明提出的方案即可实现液体静压丝杠螺母主驱动，克服了现有技术需对液体静压轴承和液体静压丝杠副本体加以改进或重新设计才可实现液体静压丝杠副螺母主驱动的不足，可大幅降低技术难度、并节省成本。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。