具体实施方式

以下所述神经网络都是指人工神经网络。

借助本发明可以提供用于控制技术系统的自主自学习智能体。这些智能体以及相应的受控技术系统不仅可以自主工作，而且还可以自适应且自主地适应新环境。用途例如是机器人、自动驾驶、航天或医疗应用。例如可以将机器人用于不同环境，其中机器人可以在环境改变后自主学习新环境，进而可以使其行为适配新环境。

根据本发明，为了实现上述目的，提出两个针对现有技术的重要扩展。

-第一扩展涉及引入神经网络(在下文中称为第一神经网络NN1)的本征参考，即第一神经网络NN1的自我意象。该本征参考在下文中被称为情绪。

-第二扩展涉及在使用另一神经网络(在下文中称为第二神经网络NN2)的情况下学习作为整个系统的一部分的世界模型。该世界模型在下文中也被称为世界观。

可以将两个扩展相互组合。

图3示出图1所示结合情绪的循环神经网络NN1的根据本发明的扩展。神经网络NN1(第一神经网络)由第一智能体S实现。智能体S在下文中也被称为自我。

在现有技术中，将第一神经网络NN1的第一输入向量x和第一神经网络NN1的当前状态h_t共同转变为第一神经网络NN1的新状态h_t+1。然后由第一神经网络NN1的新状态h_t+1生成第一神经网络NN1的第一输出向量y。在此情况下，为了训练第一神经网络NN1，可以例如使用距离函数、优选欧几里得距离函数将第一输出向量y与第一参考y*或第一参考向量进行对比。

除了由现有技术已知的第一输入向量x之外，还将第二输入向量e馈送至第一神经网络NN1。在此，第一神经网络NN1的第二输入向量e表示自我或第一神经网络NN1或第一智能体S的情绪。

因为x和e都是向量，所以可以借助两个输入向量x、e对任意数量的标量输入和情绪进行建模。因此，系统的当前情绪可以包含多个变量，例如疼痛(例如当机器人发生碰撞时)、饥饿(例如当蓄电池电量不足时)或喜悦(例如待控制的技术系统解决任务时的奖励)。

此外，除了由现有技术已知的第一输出向量y之外，还产生第二输出向量e'。第二输出向量e'表示自我或第一神经网络NN1或第一智能体S的下一状态h_t+1的预期情绪。

根据本发明产生第二输出向量e'，具体方式在于，将第一神经网络NN1的第二输入向量e、第一输入向量x和当前状态h_t共同转变为第一神经网络NN1的新状态h_t+1。与由现有技术已知的神经网络不同，由如此产生的新状态h_t+1产生第一输出向量y，即将第二输入向量e考虑在内。同样由如此产生的新状态h_t+1生成第一神经网络NN1的第二输出向量e'。

在此情况下，为了训练第一神经网络NN1，可以例如使用距离函数、优选欧几里得距离函数将预期情绪或第二输出向量e'与第二参考e*或第二参考向量进行对比。在此，第二参考e*表示第一神经网络NN1的第二输出向量e'的理想状态，进而表示第一神经网络NN1的新状态h_t+1的预期情绪的理想状态。

任何适用的距离函数都可以用于e'与e*之间或y与y*之间的对比。

例如，预期情绪的理想状态可以是0(表示不存在)或1(表示存在)，其中也可以采用0至1之间的值。

结合图3所示根据本发明的扩展，这个系统能够对借助虚线箭头导引至第二输出向量e'的所有可学习的参数进行训练。就训练本身而言，也可以采用既优化当前情绪又以类似于所谓的强化学习的方法将未来预期情绪考虑在内的方法。

然而，针对输出向量y的虚线箭头无法单独借助情绪进行训练，因此，必须使用第一参考y*或第一参考向量进行此训练。

图4示出图2中所示结合情绪的长短期记忆网络的根据本发明的扩展。除了所基于的神经网络之外，图4所示实施例与图3所示实施例相对应。

但也可以将图3和图4所示扩展用于其他类型的神经网络。

针对情绪训练，即针对从新状态h_t+1导引至第二输出向量e'的连接的训练，就图3和图4所示扩展而言，可以采用两个另外的替代方案，但也可以结合基于第二参考e*的训练来使用这两个替代方案：

1)不仅将第二输出向量e'(输出情感)与第二参考e*进行对比，还将其与第二输入向量e进行对比。这样就能确保第二输出向量e'实际上与第二输入向量e相匹配，即与输入情感相匹配。

2)由第一神经网络NN1的新状态h_t+1，在将第一输出向量y考虑在内的情况下推导出第二输出向量e'(输出情感)，即由新状态h_t+1和第一输出向量y推导出第二输出向量e'。这样就能完全通过情绪来训练网络中的所有参数。

也可以将这两个替代方案组合在一起。

此外，可以将这两个替代方案应用于图6至图9所示根据本发明的神经网络的扩展。

图5示出作为图1所示人工神经网络的扩展的根据本发明的系统。

借助图5所示扩展可以省去用于训练第一输出向量y的理想参考，即省去第一参考y*。在现有技术中，对于训练神经网络NN1而言，精确预设的目标变量是绝对必要的，而就图5所示扩展而言，则不再需要这种目标变量。

在图5所示扩展中，除了第一神经网络NN1之外，还设有第二神经网络NN2。将第一神经网络NN1与第二神经网络NN2耦合，其中将第一神经网络NN1的第一输出向量y馈送至第二神经网络NN2作为第二神经网络NN2的第一输入向量y。

在此，第二神经网络NN2由第二智能体W来实现。第二智能体W在下文中也被称为世界观，因为借助第二神经网络NN2可以学习作为整个系统的一部分的世界模型。也就是说，借助第二神经网络NN2对世界的行为进行建模，例如对机器人所在的环境进行建模。第二神经网络NN2例如可以是循环神经网络，尽管也可以使用任何其他类型的神经网络。

第二神经网络NN2基于第一输入向量y(＝第一神经网络NN1的第一输出向量y)生成第二智能体W或世界观对第二神经网络NN2的第一输入向量y的预期响应。该预期响应可用作第二神经网络NN2的第一输出向量x'。为了生成第二神经网络NN2的第一输出向量x'，将第二神经网络NN2的第一输入向量y和第二神经网络NN2的当前状态w_t共同转变为第二神经网络NN2的新状态w_t+1。然后由第二神经网络NN2的新状态w_t+1生成第二神经网络NN2的第一输出向量x'。

将第二神经网络NN2的第一输出向量x'与第一神经网络NN1的第一输入向量x进行对比，以便训练第一神经网络NN1。也就是说，根据第二神经网络NN2的行为或第二神经网络NN2的第一输出向量x'对第一神经网络NN1进行训练。

可以结合实际输出和所生成的期望或第二神经网络NN2的第一输出向量x'对图5所示整个系统进行全面训练，从而可以评估所有可学习的参数。

图6示出图5所示系统的根据本发明的扩展，其中图6所示系统是图3和图5所示系统的组合。

在此，一方面可以通过情绪(第一神经网络NN1的第二输入向量e或第一神经网络NN1的第二输出向量e')对实际的控制系统，即用来控制技术系统(例如机器人)的智能体S，进行控制或训练。由此确保第一神经网络NN1或第一智能体S遵循尽可能理想的状态。

另一方面，通过世界观(即通过第二神经网络NN2或通过第二智能体W)将第一神经网络NN1的输出(即第一神经网络NN1的第一输出向量y)与第一神经网络NN1的输入(即与第一神经网络NN1的第一输入向量x)进行对比，因为世界观可以产生一个预期的输入(即第二神经网络NN2的第一输出向量x')，其中借助第二神经网络NN2的第一输出向量x'对第一神经网络NN1的第一输入向量x进行训练。这样就能在没有参考的情况下进行训练。

因此，系统或第一智能体S能够完全在没有注释数据的情况下进行训练并且只需要将状态标识为理想或不理想的激励。可以通过注释，例如诸如碰撞之类的极端事件或易于检测的参数(例如下降的能级)，对这些激励进行编码。

上述两种用于情绪训练的变型也可以用于图6所示系统。

图7示出图6所示系统的根据本发明的扩展。

在此情况下，除了第二神经网络NN2的第一输出向量x'之外，还生成第二神经网络NN2的第二输出向量e”。在此，由第二神经网络NN2的新状态w_t+1推导出第二神经网络NN2的第二输出向量e”。在此情况下，第二神经网络NN2的第二输出向量e”表示第二神经网络NN2的新状态w_t+1的预期情绪。

预期情绪例如可能由世界上的另一参与者(即对方)的行动而引起。如果例如使对方大笑，则也可以预料到积极的反应，或者，如果例如一个机器人与另一机器人发生碰撞，则可以预料到另一机器人的报警信号。也可以将这些预期情绪或第二神经网络NN2的第二输出向量e”与第一神经网络NN1的第二输入向量e进行对比，这样也能对第一神经网络NN1进行训练。

从所谓的多任务学习的意义上来说，借助第二神经网络NN2的第二输出向量e”对第一神经网络NN1的训练可以有助于稳定第一神经网络NN1的整个训练。基于第一神经网络NN1通过第二智能体W或第二神经网络NN2的连接，可以对抽象影响，例如第一神经网络NN1的输出y对世界观的影响、由此引起的世界观的状态变化以及由此产生的对自我或第一神经网络NN1的情绪反馈，进行建模。

图8示出图7所示系统的根据本发明的扩展。

根据图8所示扩展，第二智能体W实现第三神经网络NN3，因此，借助第二智能体W或第二神经网络NN2不仅可以对世界观的状态进行编码，还可以对世界观的自我意象的模型进行评估。

将第二神经网络NN2的第一输出向量x'馈送至第三神经网络NN3作为第三神经网络NN3的第一输入向量x'。此外，将第二神经网络NN2的第二输出向量e”馈送至第三神经网络NN3作为第三神经网络NN3的第二输入向量e”。如上所述，第二神经网络NN2的第二输出向量e”表示第二神经网络NN2的新状态w_t+1的预期情绪。在此，由第二神经网络NN2的新状态w_t+1生成第二神经网络NN2的第二输出向量e”。

共同使用第三神经网络NN3的第一输入向量x'、第二输入向量e”和当前状态h'_t，以便将第三神经网络NN3转变成新状态h'_t+1。

由第三神经网络NN3的新状态h'_t+1生成第三神经网络NN3的第一输出向量y'，将这个第一输出向量馈送至第二神经网络NN2作为第二神经网络NN2的另一输入向量。借助两个神经网络NN3和NN2通过第三神经网络NN3的第一输出向量y'的连接，将第二智能体W的世界观与自我意象耦合。这样一来，在没有第一神经网络NN1的情况下，这两个神经网络NN3和NN2也能够模拟交互。

此外，由第三神经网络NN3的新状态h'_t+1生成第三神经网络NN3的第二输出向量e”'。在此，第三神经网络NN3的第二输出向量e”'表示第三神经网络NN3的新状态h'_t+1的预期情绪。

为了训练第三神经网络NN3，将第三神经网络NN3的第二输出向量e”'与第三参考e**进行对比。在此，第三神经网络NN3的第二输出向量e”'与第三参考e**的对比还可以包括距离函数的计算，例如上述距离函数中的一个。在此情况下，第三参考e**表示第三神经网络NN3的第二输出向量e”'的理想状态，进而表示第三神经网络NN3的新状态h'_t+1的预期情绪的理想状态。

此外，可以将第一神经网络NN1与第三神经网络NN3彼此耦合，具体方式例如在于，将第一神经网络NN1的新状态h_t+1与第三神经网络NN3的当前状态h'_t彼此耦合。该耦合在图8(和图9)中通过箭头P标示。这样就能有利地基于第一神经网络NN1对第三神经网络NN3进行训练或者基于第三神经网络NN3对第一神经网络NN1进行训练。

自我意象或第三神经网络NN3不生成任何可以用作第二智能体W的输出或输出向量的输出或输出向量。但可以将自我意象或第三神经网络NN3用于结合第三神经网络NN3的第一输出向量y'(在第二智能体W外部无法使用)，基于自我意象的变化来研究世界观的变化。

借助耦合P还可以在两个不同的状态下操作整个系统，这两个状态在此称为清醒阶段和做梦阶段。

在清醒阶段，第一智能体S或第一神经网络NN1与第二智能体W或第三神经网络NN3耦合(箭头P)。自我意象或第三神经网络NN3从第一神经网络NN1的每个行动中学习这个行动如何改变自身状态以及世界观或第二智能体W的状态。

在做梦阶段，第一智能体S或第一神经网络NN1与第二智能体W或第三神经网络NN3解耦(无箭头P)。在解耦状态下，不会将第一神经网络NN1的第一输出向量y导引至第二神经网络NN2。在该状态下，自我意象或第三神经网络NN3可以在第二智能体W内自由行动。

世界观或第二神经网络NN2可以生成预期输入(第三神经网络NN3的第一输入向量x')和预期情绪(第三神经网络NN3的第二输入向量e”)并且第三神经网络NN3可以生成其他输入(第二神经网络NN2的另一输入向量y')，因此，世界观或第二神经网络NN2以及自我意象或第三神经网络NN3可以完全自由地交替行动。

尽管如此，仍然可以对第一智能体S或第一神经网络NN1进行训练，因为自我或第一神经网络NN1的新状态h_t+1仍然生成第一神经网络NN1的第二输出向量e'，可以将这个第二输出向量与第二(理想的)参考e*进行对比。

因此，做梦可用于产生自我意象或第三神经网络NN3与预期世界观的有所改善的交互。

在替代性变型方案中，这些内部状态不会耦合，而是第一神经网络NN1和第三神经网络NN3中的学习连接(箭头)会耦合。这样就产生一个配置，其中训练(第三神经网络NN3的)自我意象也会引起(第一神经网络NN1的)实际自我的改善。作为替代方案，在将自我与输入和输出解耦时，自我和自我意象可以交换角色。这表明，代替通过距离函数松散地对两个网络进行训练，两个网络可以使用相同的存储器来存储权重。因此，对于第一神经网络NN1和第三神经网络NN3的参数而言，这两个网络始终采用相同的值。

图9示出图8所示系统的根据本发明的扩展。根据图9所示扩展，可以将图8所示整个系统与扩展功能耦合。这些扩展功能例如可以是能够存储和加载第二神经网络NN2的状态和/或第三神经网络NN3的状态的扩展存储器(设计为存储设备)。仅示例性列出的其他扩展可以是：

-可以将第二神经网络NN2的状态和/或第三神经网络NN3的状态转换成单词和字母的符号序列的语言处理器；

-扩展输入功能，例如视觉和听觉皮层；

-可以生成人类语音的语音合成模块；

-可以建模和执行复杂的运动计划的触觉和运动规划模块；

-用于加载和存储图形的模块，其能够将世界和自我意象的不同状态相互链接、对这些状态进行处理、存储和加载(关联存储器)；

-用于处理和分析命题逻辑和算术的模块；

-能够识别复杂的社会行为并将其映射到感觉上的扩展感觉功能。

此外，可以设有能够与第二神经网络NN1的状态和第三神经网络NN3的状态交互的任何其他模块。

可以借助本发明进行控制的技术系统的一个示例是独立完成任务并逐渐探测其周围环境的火星探测器。

在此情况下，第一神经网络NN1的第二输入向量e例如可以表示重要参数(蓄电池的电量、轴的功能等，其中这些参数可以由适当的传感器来提供)。但是，第一神经网络NN1的第二输入向量e也可以表示或描述目标，例如探测其周围环境的冲动(好奇心)或处理所分配的任务(忠诚度)，其中图9中所示的扩展功能可以用于该目的。

这些扩展功能可以直接在自我意象或第三神经网络NN3中引起第二智能体W的状态变化。例如，如果工作列表尚未完成，则第二智能体W的状态发生变化，使得引起情绪e'(通过第一神经网络NN1的第二输出向量表示)，进而又使第一智能体S激起处理列表的欲望。为此，可能需要其他扩展功能。例如可以设有任务规划器作为使第一智能体S能够处理一系列行动的扩展功能。

设置扩展功能能够模块化地扩展第一智能体S的功能范围。特别是还可以设置仅在需要时才会被训练的自由功能。

类似地实现对火星探测器的周围环境的探测，即世界观的学习。在此，可以提供用于制图(例如借助即时定位与地图构建(SLAM)，其中同时对地图和火星探测器的位置进行评估)的扩展功能。可以由适用的传感器，例如超声波传感器或激光雷达，来提供与此相关的信息。另一模块可以检查地图的缺漏和错误。如果发现这类缺漏或错误，则可以改变自我意象或第三神经网络NN3的状态，从而产生相应的情绪e'(通过第一神经网络NN1的第二输出向量表示)。因此，系统或第一智能体S试图离开该状态并消除地图中的错误和/或缺漏。这一点也可以通过任务规划器来实现。

就这些扩展功能而言，可以使用预先训练的神经网络或者也可以直接使用算法，如果这些算法是基于可微分式编程而实现的话。这样就能有利地将神经网络与编程混合，从而显著加速神经网络的开发和训练。

根据本发明的方法首次提供一种整体解决方案，其可以通过情绪和与世界的交互以类似于人类感知过程的方式进行训练。为此，无需如现有技术中所需要的那样预设固定的世界观。

而是，世界观是要自主自学习的。纯粹通过情绪，通过弱标签来学习需要的行为。根据根据本发明的方法，智能体S可以完全自主地以自学习的方式行动。根据图8所示改进方案，甚至对世界中的或世界观的自我意象进行建模，借此可以对世界观进行训练。图8所示系统可以在清醒和睡眠阶段自行学习，而无需与真实世界进行交互。

此外，在图8所示系统中，例如可以重新发现许多神经解剖学和神经病理学观察：

-关断自我或第一智能体S将使整个系统处于只能与自身交互的状态。该状态在神经病理学中被描述为闭锁综合征。

-可以完全关断完全意识。这一点可以通过移除世界观来实现。整个系统仍然可以行动，但其将不再能够创建复杂的计划，因为这需要世界观。这相当于神经病理学中所观察到的所谓的自动症。梦游的状态也会引起类似的现象。

-移除区块e'(第一神经网络NN1的第二输出向量)类似于限制大脑的杏仁核。在此，整个系统无法再正确地处理情绪。就自闭症而言，也存在类似的限制。

-图9所示扩展功能的限制也可以被映射到相应的神经病理学现象上。这些现象例如包括遗忘症、皮质性聋或皮质性盲。

-可以通过错误地创建多个自我意象而生成多重人格。

-难以解释的正常神经过程，例如自我和自我意象的交互(其也许会引起意识的感觉)，可以如下方式理解：如果自我实际上经历了自我意象在梦中已经经历过的情形，则会产生既视感。

-这个系统也有利于理解感受性问题。

每个系统都可能具有不同的自我意象和世界观。因此，相同的图像(例如红色的感知)是可能的，但完全相同的可能性极小。因此，本发明也可以用于对这类现象的客观研究。

总而言之，借助本发明可以以先前未知的详细程度映射人类意识。此外，第一智能体S能够适应全新的环境，因为可以完全重新对世界观和自我意象进行学习和适应。借此，这个系统不仅能够学习和适应世界的变化，而且能够观察和考虑到自我的变化。使用这个系统无需任何训练数据。仅自身基于情绪的反馈就足以适应复杂的新情况。

附图标记表

e 第一神经网络NN1的第二输入向量

e' 第一神经网络NN1的第二输出向量

e” 第二神经网络NN2的第二输出向量或第三神经网络NN3的第二输入向量

e”' 第三神经网络NN3的第二输出向量

e* 第二参考

e** 第三参考

h_t 第一神经网络NN1的当前状态

h'_t 第三神经网络NN3的当前状态

h_t+1 第一神经网络NN1的新状态

h'_t+1 第三神经网络NN3的新状态

NN1 第一人工神经网络

NN2 第二人工神经网络

NN3 第三人工神经网络

P 耦合/箭头

S 第一智能体(也称为“自我”)

T 训练

W 第二智能体(也称为“世界观”)

w_t 第二神经网络NN2的当前状态

w_t+1 第二神经网络NN2的新状态

x 第一神经网络NN1的第一输入向量

x' 第二神经网络NN2的第一输出向量或第三神经网络NN3的第一输入向量

y 第一神经网络NN1的第一输出向量

y' 第三神经网络NN3的第一输出向量或第二神经网络NN2的另一输入向量

y* 第一参考