具体实施方式

图1示意性地示出了机器人102和用于运行机器人102的设备104。机器人102构造来，利用末端执行器（在该例子中为抓取装置108）抓取第一工件106。机器人102在工作空间110中可以以多种不同的姿势p运动。在该例子中，可以根据三维笛卡尔坐标系来说明姿势p。坐标系的原点112在该例子中居中地布置在抓取装置108的两个手指114之间，利用手指114可抓取第一工件106。笛卡尔坐标系的另外的布局同样是可能的。

笛卡尔坐标系利用坐标x、y、z来限定针对在工作空间110中的运动的位置。

在图1中，在工作空间110中，示出了第二工件116。在该例子中，在第二工件116中设置有开口118，该开口118构造来，容纳第一工件106。

例如，第一工件106是轴、尤其是电机轴。例如，第二工件116是球轴承，所述球轴承构造来容纳轴。球轴承可以布置在电机外壳中。

机器人102构造来，使第一工件106在工作空间110中在根据策略的轨迹上运动，使得第一工件106在该轨迹的末端处容纳在第二工件116中。

设备104包括至少一个处理器120和针对指令的至少一个存储器122，在通过至少一个处理器120实施所述指令时进行在下文所描述的方法。也可以设置至少一个图形处理单元（Graphical Processing Unit），利用所述图形处理单元可特别有效地训练函数近似器、尤其是人工神经网络。至少一个处理器120和至少一个存储器122可以实施为一个或者多个微处理器。设备104可以布置在机器人102之外，或者可以以集成到机器人102中的方式来布置设备104。可以设置有用于在处理器、存储器、操控装置和机器人102之间通信的数据线路。这些数据线路在图1中未示出。

设备104可以包括输出装置124，所述输出装置124构造用于操控机器人102。输出装置124可以包括输出级或者通信接口，用于操控机器人102的一个或者多个执行元件。

图2示意性地示出了设备104的部分。

设备104包括尤其是自主的智能体202，所述智能体202构造来与它的环境相互作用。

在每个离散的时步t，智能体202都可以观测状态，并且根据策略π实施动作，所述动作限定了接下来的状态。在每个动作之后，智能体202获得奖励。

该环境在该例子中通过马尔可夫决策过程来示出，所述马尔可夫决策过程具有状态、动作、转移动态和奖励函数。转移动态可以是随机的。

未来的奖励 的总和的期望值通过结果来限定，其中因子，当从状态出发跟踪策略π时，达到所述未来的奖励 。

对于在第一步骤中与策略π无关的行为，可以考虑Q值。Q值可以被考虑作为针对未来的奖励的总和的期望值：

，

当在瞬时的时步t实施动作并且从那时起遵循策略π时，达到所述未来的奖励。

智能体202跟踪的目标是，确定用于达到最终状态的最优策略。可以设置，确定如下指示（Angabe）：该指示说明，机器人102是否已完成它的任务，亦即是否已达到最终状态。通过最优策略，针对每个当前状态，选出动作，所述动作使关于所有关系到相应的状态为未来的状态的期望的奖励最大化。在该例子中，以用折扣γ来加权的方式，在未来的状态的总和中考虑对未来的状态的期望的奖励，所述总和限定了期望的奖励。

智能体202可以通过如下方式实现这一点：确定针对环境的Q函数，并且选择动作，所述动作使该Q函数在每个时步t的Q值最大化。

Q函数被用于优化函数近似器，并且例如通过根据经验和Q函数的瞬时估计来估计Q值，可以确定Q函数：

。

这被称为时间差学习（temporal difference learning）。可以设置，根据指示来确定，状态是否是最终状态。

这些函数可以通过人工神经网络来近似。例如，使用两个人工神经网络。第一人工神经网络204表示确定性策略π。第一人工神经网络204被称为演员网络（actor network）。第二人工神经网络206根据在它的输入端处的状态和动作对来确定Q值。第二人工神经网络206被称为评论家网络（critic network）。该行为方式被称为深度确定性策略梯度（Deep Deterministic Policy Gradients），并且例如在T. P. Lillicrap、J. J. Hunt、A.Pritzel、N. Heess、T. Erez、Y. Tassa、D. Silver和D. Wierstra的“Continuous controlwith deep reinforcement learning”（arXiv preprint arXiv:1509.02971，2015年）中予以描述。

深度确定性策略梯度是针对连续的状态和动作空间的无模型的方法。为了避免在具有非线性神经网络的学习过程中的不稳定性，可以确定针对Q值的界限。在该学习过程期间中采用这些界限，由此该学习过程保持稳定。

在学习过程中，关于智能体与环境的交互的数据被存储在重现存储器（Wiedergabespeicher）中。代替将转移、奖励和关于是否已达到最终状态的指示的列表存储在重现存储器中，如下地处理这些转移、奖励和指示。也可能的是，存储该列表，并且接着不断地从所述列表中导出新的图。转移在该例子中包括状态、动作、通过在状态实施动作而达到的状态。经此达到的奖励和指示涉及该转移。代替转移的列表，设置数据图，在该数据图中，第一节点限定状态，并且第二节点限定通过在状态实施动作而达到的状态。在图中在第一节点与第二节点之间的边在该情况下限定动作。奖励和指示分配给该边。在数据图中的不同的转移可以以不同的概率而导致学习过程的发散。对于时间差学习，概率与数据图的结构有关。

相对于用来没有达到最终状态的另外的转移的概率，用来达到最终状态的转移产生发散的概率是最小的。相比于学习过程中的发散通过从其不可达到图中的最终状态的状态形成的概率，从其经由图中的路径可达到最终状态的状态导致学习过程的发散的概率更低。

可以从数据图出发来确定下界限。例如，确定数据图的如下子图：利用所述子图，在假设所述子图是完整的情况下，以分析方式可确定所有分配给该子图的Q值。这些Q值可以被用作针对数据图的下界限。可以先验地（也就是通过例如关于机器人102、第一工件106、第二工件116和/或要解决的任务和/或所使用的奖励函数的领域知识）限定其他的下界限和上界限。

采用界限的可能性在于，根据下界限LB和上界限UB来限制Q函数。由此，得到Q函数：

。

在针对第二人工神经网络206的训练中，针对第二人工神经网络206的输出可以将代价函数限定为均方差（mean squared error）：

。

在该例子中，训练的目标是，学习第二人工神经网络206的参数，针对所述第二人工神经网络206的参数，代价函数有比针对另外的参数更小的值。代价函数例如以梯度下降方法被最小化。

可以设置的是，给数据图中的如下节点配备有无结果的工作、也就是零动作：限定动作的边都没有从所述节点出发。另外的节点也可以被配备有无结果的工作。无结果的动作在该例子中是如下动作：例如通过预先给定为零的加速度，所述动作使机器人102的状态不改变。

经此，避免了数据图中的如下叶子：不再有动作从所述叶子出发。下界限可以针对每次转移来确定，所述转移以无限循环结束。与没有无结果的动作的情况相比，通过无结果的动作可确定更多下界限。经此可能的是，下界限总共更窄。

作为针对第一人工神经网络204的输入，在该例子中使用限定状态的变量的第一部分。第一人工神经网络204的输入与限定状态的变量的第二部分无关。

变量可以是所估计的变量。这些变量也可以是所测量的变量，或者可以根据所测量的变量来计算或者估计这些变量。

在该例子中，通过在x方向上的所估计的力、在y方向上的所估计的力、在z方向上的所估计的力、围绕在x方向上延伸的轴线的转动的所估计的力矩、围绕在y方向上延伸的轴线的转动的所估计的力矩和围绕在z方向上延伸的轴线的转动的所估计的力矩，限定状态，这些力和力矩以瞬时姿势p出现在抓取装置108上。在该例子中，与所估计的力、所估计的力无关地，并且与所估计的力矩无关地，确定第一人工神经网络204的输入。变量的第二部分在该例子中没有被用作针对第一人工神经网络204的输入。这减小了维度，并且因而负责：第一人工神经网络204变得更小，而且因此可以更快速地或者更简单地训练第一人工神经网络204。在另外的应用中，可能会确定和使用对此的这些变量，其中不使用另外的变量。这对于机器人102的如下运动是特别有利的：在该运动中，第一工件106被插到开口118中，所述开口118在z方向上延伸。

在该例子中，通过尤其是恒定的第一部分，并且通过第二部分，限定动作。在针对抓取装置108的运动的例子中，第一部分限定了在x方向上的力、在y方向上的力、在z方向上的力和针对围绕在z方向上延伸的轴线的转动的力矩。力可以是。在该例子中，这意味着，机器人102使抓取装置108持续地沿着抓取装置108的z轴线运动。第二部分在该例子中限定了针对围绕在x方向上延伸的轴线的转动的力矩的第一理论值，和/或限定了围绕在y方向上延伸的轴线的力矩的第二理论值。在该例子中，根据第一人工神经网络204的第一输出变量，确定第一理论值。在该例子中，根据第一人工神经网络204的第二输出变量，确定第二理论值。在该例子中，这些输出变量中的每个输出变量都被缩放到为[-3, 3]Nm的区间上。

总之，在该例子中，作为动作确定调节量。在该例子中，在第一部分中是，，。第一部分也可以设置另外的值。当要不同地操控机器人102时，也可以不同地构建调节量。在该例子中，向调节器208输出调节量，用于调整抓取装置108的新姿势p，所述调节器208操控所述机器人102，直至达到新姿势p。在该例子中，如果针对抓取装置108的调节器208已达到稳定状态（例如以低于预先给定的临界速度的速度已达到稳定状态），那么动作结束。可以设置，调节器208构造来，确定机器人102的状态。可以设置的是，调节器208构造来，将机器人102已达到最终状态的指示置到第一值（例如1）上。可以设置，用另外的值来初始化指示，或者要不然将指示置到另外的值（例如0）上。可以测量用于确定指示的速度，可以从所测量的变量中计算或者估计用于确定指示的速度。

经此，机器人102将在z方向上的恒定的力施加到第一工件106上，利用该力使工件106在z方向上运动。机器人102通过在x方向和y方向上的力矩关于抓取装置108运动。

针对另外的应用的例子是机器人102的如下运动：在该运动中，第一工件108应被旋拧到开口118中。在该情况下，围绕在z方向上延伸的轴线的连续的转动运动可能是有意义的。这可以通过如下方式予以考虑：与在x方向上的所估计的力无关地，与在y方向上的所估计的力无关地，与在z方向上的所估计的力无关地，根据所估计的力矩，根据所估计的力矩并且与所估计的力矩无关地，确定第一人工神经网络204的输入。第一人工神经网络204的第一输出在该情况下可以是针对力矩的第一理论值。第一人工神经网络204的第二输出在该情况下可以是针对力矩的第二理论值。在该情况下，与第一人工神经网络204无关地，确定用于确定调节量的另外的变量。

奖励可以通过第一奖励函数来预先给定，所述第一奖励函数给至最终状态的转移指派了针对奖励的值，并且给每个另外的转移都指派了针对奖励的值。

奖励可以通过第二奖励函数来预先给定，所述第二奖励函数根据抓取装置108的瞬时姿势p和该抓取装置在最终状态中的姿势p的间距给转移指派值。在该例子中，如果第二工件116将第一工件106容纳在为此设置的开口118中，则达到最终状态。

在该例子中，为此根据位置误差，确定第一奖励。在该例子中，位置误差被确定为欧几里德差分向量的范数。例如，从来自抓取装置108的瞬时姿势p的位置和来自抓取装置108在最终状态中的姿势p的位置中，确定该差分向量。在该例子中，为此根据定向误差，确定第二奖励。在该例子中，定向误差被确定为在来自抓取装置108的瞬时姿势p的定向与来自抓取装置108在最终状态中的姿势p的定向之间的针对关于x轴线的转动的角度误差的和针对关于y轴线的转动的角度误差的范数。在该例子中，不考虑关于z轴线的转动。关于z轴线的转动可以在另外的任务（Aufgabenstellungen）中被考虑。

在该例子中，用下式：

来确定第二奖励函数，该式具有可调整的第一参数=0.015和可调整的第二参数=0.7。经此，奖励在该例子中保持在区间[-1, 0]中。

在这样的布局中，容易可能的是，在学习过程中出现发散，因为在所属的数据图中，在初始状态与最终状态之间出现大的路径长度。

为了避免在学习过程中（也就是在训练中）的发散，设置了，在该学习过程中，采用无结果的动作，并且采用附加的上界限UB和下界限LB。在该例子中，根据最小的奖励和最大的奖励，限定上界限UB和下界限LB。在该例子中，针对Q函数设置下界限和上界限0，针对所述Q函数适用：

。

在该例子中，针对调节量的第二部分，限定无结果的动作。在该例子中，被限定为无结果的动作。在另外的场景中，也可以针对调节量的另外的部分限定无结果的动作。

在该例子中，设置有学习装置210，所述学习装置210构造来，根据奖励函数中的至少一个奖励函数来确定奖励。学习装置210在该例子中构造来，确定Q函数的值。可以设置的是，学习装置210构造来评估指示，并且根据指示的值，要么在利用动作到达的状态是最终状态时与Q值无关地确定Q函数的值，要么要不然根据Q值来确定Q函数的值。可以设置的是，学习装置构造来，利用下界限LB或者上界限UB来限制Q函数的值。

为了训练第一人工神经网络204，可以根据在第二人工神经网络206的输出处的Q值来限定代价函数：

。

训练的目标在该例子中是，学习第一神经网络204的参数，针对所述第一神经网络204的参数，代价函数有比针对另外的参数更小的值。通过限定Q值，该Q值本身在该例子中是负的。代价函数因而在该例子中以梯度下降方法被最小化。

在下文，描述了第一人工神经网络204和第二人工神经网络206的训练。为了训练，可以采用Adam优化器。

第一人工神经网络204（也就是演员网络）在该例子中包括三个完全连接的层，在该第一人工神经网络204中，两个隐藏的层分别包括100个神经元。第一人工神经网络204包括针对说明状态的力和力矩的输入层。在该例子中，使用所估计的变量 。力和力矩在该例子中可以线性地映射到状态描述的在区间[-1, +1]中的值上。第一人工神经网络204包括针对限定动作的力和力矩的输出层。这些层在该例子中包括tanh激活函数。可以随机地初始化针对这些层的权重，尤其是通过Glorot均匀分布初始化针对这些层的权重。输出层的输出在该例子中限定了针对动作的调节量 。在该例子中，输出层是二维的。第一输出在该例子中限定了在x方向上的力矩。第二输出在该例子中限定了在y方向上的力矩。在该例子中，与第一人工神经网络204无关地，恒定地预先给定调节量的第一部分，例如，，，。第一输出和第二输出限定调节量的第二部分。

第二人工神经网络206（也就是评论家网络）在该例子中包括三个完全连接的层，在该第二人工神经网络206中，两个隐藏的层分别包括100个神经元。第二人工神经网络206包括针对如下力和力矩的输入层：所述力和力矩说明状态和动作。这些力和力矩在该例子中可以线性地映射到状态描述的在区间[-1, +1]中的值上。第二人工神经网络206包括一维输出层。输出层在该例子中不包括非线性，尤其是不包括激活函数。在第二人工神经网络206的输出处，输出Q值。另外的层在该例子中包括ReLU激活函数。可以随机地初始化针对这些层的权重，尤其是通过He均匀分布初始化针对这些层的权重。

在训练中可以设置，抓取装置108从起始姿势运动出来。起始姿势可以是例如8个可能的预先给定的起始姿势中的一个。在该例子中，训练的一个回合（eine Episode）要么在已达到最终状态时已结束，要么在预先给定数目的计算步骤t=T（例如T=1000）之后已结束。在该例子中，已以预先给定数目的回合（例如40个回合）来训练。在该例子中，在该回合中在预先给定数目的计算步骤t=N（例如N=20）之后，已确定第一人工神经网络204和/或第二人工神经网络206的权重。在训练之后，可以实施测试阶段。在测试阶段中，可以实施预先给定数目的回合，在该例子中为8个回合。该起始姿势可以在测试阶段中与来自训练的一个或者多个起始姿势相区分。

在训练中，通过第一人工神经网络204，根据该第一人工神经网络204的权重，实施不同的动作。在训练中，通过第二人工神经网络206，根据该第二人工神经网络206的权重，实施Q函数的不同值。在该例子中，从通过适配第一人工神经网络204和/或第二人工神经网络206的权重出发，进行训练。训练的目标例如是，适配第一人工神经网络204和/或第二人工神经网络206的权重，使得通过第一人工神经网络204确定的动作，Q函数的、第二人工神经网络206确定的值与针对另外的权重的值相比取更大的值。例如，确定第一人工神经网络204和/或第二人工神经网络206的如下权重：针对所述权重，Q函数的值取最大值。为了适配权重，在该例子中使用如下代价函数：根据第一人工神经网络204和/或第二人工神经网络206的权重，限定所述代价函数。

在该例子中，根据第一人工神经网络204和第二人工神经网络206的输出，限定代价函数。在该例子中，根据代价函数的梯度的值并且根据学习率，适配第一人工神经网络204和/或第二人工神经网络206的权重，所述学习率限定了代价函数的梯度的值对权重中的各个权重有何种影响。针对第一人工神经网络204并且针对第二人工神经网络，可以设置对不同学习率的选择。优选地，第一人工神经网络204的第一学习率小于第二人工神经网络206的第二学习率。有利的是，第一学习率是第二学习率的十分之一。

作为训练的超参数，除了第一学习率和第二学习率之外，上面提及的预先给定数目的计算步骤和/或回合也可变化。

优选地，使用第一奖励函数，因为第一奖励函数利用较少的计算存储器就够用。这尤其是在嵌入式系统中是有利的。第一奖励函数是稀疏奖励函数（eine spares rewardsFunktion），所述稀疏奖励函数与第二奖励函数相比要更简单地被一般性限定。经此，应用者可以在工作中更快速地结束训练。这尤其是在如下工业环境中是有利的：在所述工业环境中，应针对任务来训练机器人102。

通过该方法，相对于按照深度确定性策略梯度的方法，在训练中实现下列优点：

相对超参数中的变化更高的稳健性（Robustheit），

更可靠地达到最终状态，

在利用不同的随机种子（Random Seeds）初始化权重方面的更小的方差，

相对于奖励函数的变化更高的稳健性，

相对于（例如在嵌入式系统中的）有限的存储器更高的稳健性，

更安全的探索。

图3示意性地示出了用于运行机器人102的方法中的步骤。

在步骤300中，确定至少一个力和至少一个力矩，所述至少一个力和所述至少一个力矩作用于机器人102的末端执行器108上。可以设置，确定所估计的变量，或者如所描述的那样确定相对应的变量。

在步骤302中，根据至少一个力和至少一个力矩，确定第一状态。

第一状态在该例子中关于轴线来限定，其中力引起末端执行器108在该轴线的方向上运动，其中力矩引起末端执行器108围绕该轴线转动。

在该例子中，确定如下向量：所述向量限定第一状态，其中该向量限定第一力、第二力、第三力、第一力矩、第二力矩和第三力矩，其中针对这些力限定了不同的轴线，其中给每个力矩分配有不同的轴线中的另外的轴线。例如，通过所估计的变量，限定该向量。

在步骤304中，根据机器人102和/或该机器人102的环境的第一状态，并且根据第一模型的输出，确定调节量的第一部分，用于针对机器人102从第一状态到第二状态的转移来操控机器人102。

第一模型例如包括第一人工神经网络204。向量的第一部分在该例子中限定第一人工神经网络204的输入，用于确定调节量的第一部分。在该例子中，与向量的第二部分无关地，限定第一人工神经网络204的输入。

在步骤306中，根据第一状态，并且与第一模型无关地，确定调节量的第二部分。

在该例子中，限定调节量的向量被确定。该向量包括第一力、第二力、第三力、第一力矩、第二力矩和第三力矩，其中针对这些力限定不同的轴线。给每个力矩分配有不同的轴线中的另外的轴线。

在该例子中，与第一人工神经网络204的输出无关地，尤其是恒定地限定向量的第一部分。在该例子中，根据第一人工神经网络204的输出，限定向量的第二部分。

在该例子中，向量如针对调节量所描述的那样被确定。

在步骤308中，根据机器人102的至少一个状态，确定数据图。在该例子中，使用最后进行的转移，以便补充数据图。限定无结果的动作的边可以被分配给如下节点：所述节点在数据图中为叶子，并且没有分配给机器人102的最终状态。可选地，无结果的动作分配给针对调节量的第一部分的尤其是恒定的值。

在步骤310中，根据第一状态，并且根据第一模型的输出，利用第二模型确定质量级别。

第二模型在该例子中包括第二人工神经网络206。向量在该例子中限定第二人工神经网络206的输入。第二人工神经网络206的输出在该例子中限定质量级别。

在步骤312中，根据质量级别，确定第一模型的参数。为此，如之前针对第一人工神经网络204描述的那样，实施训练。

在步骤314中，根据如下奖励来确定理论值：所述奖励分配给从第一状态到第二状态的转移。

在该例子中，根据界限来确定理论值。根据数据图，确定界限。在该例子中，根据第一状态确定图的子图，并且如所描述的那样，根据Q值确定界限，所述Q值分配给子图的节点。

在可选的步骤314中设置，根据预先给定的界限，确定理论值，所述预先给定的界限与任务有关地考虑领域知识。

在步骤316中，根据质量级别和理论值，确定第二模型的至少一个参数。为此，如之前针对第二人工神经网络206所描述的那样，实施训练。

可以按该顺序或者另外的顺序针对多个回合和/或周期（Epochen）来重复该方法的步骤，以便根据最优策略来训练第一人工神经网络204，使第二人工神经网络206的Q值最大化。可以设置，根据调节量ζ，操控机器人102，通过最优策略来确定所述调节量ζ。

末端执行器108可以包括至少一个手指114，所述至少一个手指114具有与第一工件110互补的部段，并且自定心地实施所述至少一个手指114的表面。经此，在向下的恒定压力的情况下，能够实现特别好的支撑。自定心在如下高力矩的情况下也是特别重要的：所述高力矩关于工作空间110并不垂直向下作用。经此，可以避免对象的在其他情况下可能的扭转。