阅读说明：本技术 一种核电站控制室多通道融合人机交互方法以及系统 (Nuclear power station control room multi-channel fusion man-machine interaction method and system ) 是由 程波 程俊 宋呈群 王鹏 周毅超 栾语 吴一谦 张学刚 于正龙 刘至垚 张建波 于 2019-08-08 设计创作，主要内容包括：本发明提供了一种核电站控制室多通道融合人机交互方法以及系统,该方法包括步骤：S1、选取核电站控制室典型的交互任务构建多种单一模态的交互方式；S2、根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数；S3、接收所述多通道交互参数进行数据融合处理,并从融合后的所述多通道交互参数中推理出用户表达意图；S4、将所述用户表达意图输出到应用程序以执行相应控制。该系统包括交互设备模块、数据采集模块、交互控制模块和输出模块。本发明提供的核电站控制室多通道融合人机交互方法以及系统,能够为用户提供安全、自然、高效的交互操作体验,降低了人因失效概率,提高了人机交互的可靠性。(The invention provides a nuclear power station control room multi-channel fusion man-machine interaction method and a system, wherein the method comprises the following steps: s1, selecting typical interaction tasks of the nuclear power station control room to construct a plurality of single-mode interaction modes; s2, selecting an applicable interactive mode according to the current state of the user to acquire the interactive operation of the user to acquire multi-channel interactive parameters; s3, receiving the multi-channel interaction parameters to perform data fusion processing, and reasoning out user expression intentions from the fused multi-channel interaction parameters; and S4, outputting the user expression intention to an application program to execute corresponding control. The system comprises an interactive equipment module, a data acquisition module, an interactive control module and an output module. The nuclear power station control room multi-channel fusion man-machine interaction method and system provided by the invention can provide safe, natural and efficient interactive operation experience for users, reduce the probability of human failure and improve the reliability of man-machine interaction.)

一种核电站控制室多通道融合人机交互方法以及系统

技术领域

本发明涉及核电站运行控制领域，尤其涉及一种核电站控制室多通道融合人机交互方法以及系统。

背景技术

核电站的安全运行对于核电站自身、国家乃至全人类的福祉至关重要，而安全运行是通过控制室操纵员和人机接口设备之间的人机交互来完成的。已有在运核电站控制室的人机交互方式主要为传统的人机交互方式，如鼠标、键盘、触摸屏操作，这类传统的人机交互技术方式单一、操作不方便、耗费大量的操作时间，不便于人与机器的快速自然交流，而且使用中会经常出现误操作，如按键的误按就是典型的案例，导致人因失效的概率大大增加，亟需进一步地改善。

发明内容

本发明针对核电站传统交互操作形式单一、容易出现误操作等问题，提供了一种核电站控制室多通道融合人机交互方法以及系统，能够提供安全、自然、高效的交互操作体验，有效提升操纵员的操作效率，保障核电站运行的安全性。

本发明用于解决以上技术问题的技术方案为：一方面，提供一种核电站控制室多通道融合人机交互方法，包括步骤：

S1、选取核电站控制室典型的交互任务构建多种单一模态的交互方式；

S2、根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数；

S3、接收所述多通道交互参数进行数据融合处理，并从融合后的所述多通道交互参数中推理出用户表达意图；

S4、将所述用户表达意图输出到应用程序以执行相应控制。

本发明上述的多通道融合人机交互方法中，步骤S3具体包括：

S31、接收所述多通道交互参数，并对所述多通道交互参数进行动态、联合解码分析，并采用冗余融合、互补融合和/或混合融合方式对解码分析后的所述多通道交互参数进行数据融合处理；

S32、建立数据库，结合所述数据库对用户表达意图进行小样本在线学习，并从融合后的所述多通道交互参数中推理出所述用户表达意图。

本发明上述的多通道融合人机交互方法中，步骤S2具体包括：

检测用户进行所述交互操作时的心理物理态势确定用户当前状态；

依据预设的多模态交互适用原则选取适用的所述交互方式采集用户的交互操作获取所述多通道交互参数。

本发明上述的多通道融合人机交互方法中，所述用户表达意图包括操作意图和交互控制动作意图；所述数据库包括应用数据库和交互数据库，所述交互数据库中预存有包括人因数据和环境知识的共用数据集，所述交互数据库用于从融合后的所述多通道交互参数中计算出所述交互控制动作意图，所述应用数据库用于从融合后的所述多通道交互参数中计算出所述操作意图。

本发明上述的多通道融合人机交互方法中，步骤S2还包括：

判断所述交互操作的人机交互负荷是否达到设定阈值；若是，则提示用户停止交互操作。

另一方面，还提供一种核电站控制室多通道融合人机交互系统，包括：

交互设备模块，用于选取核电站控制室典型的交互任务构建多种单一模态的交互方式；

数据采集模块，用于根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数；

交互控制模块，用于接收所述多通道交互参数进行数据融合处理，并从融合后的所述多通道交互参数中推理出用户表达意图；

输出模块，用于将所述用户表达意图输出到应用程序以执行相应控制。

本发明上述的多通道融合人机交互系统中，所述交互控制模块包括：

交互信息处理模块，用于接收所述多通道交互参数，并对所述多通道交互参数进行动态、联合解码分析，并采用冗余融合、互补融合和/或混合融合方式对解码分析后的所述多通道交互参数进行数据融合处理；

数据库，用于对用户表达意图进行小样本在线学习，并从融合后的所述多通道交互参数中推理出所述用户表达意图。

本发明上述的多通道融合人机交互系统中，所述数据采集模块具体用于：检测用户进行所述交互操作时的心理物理态势确定用户当前状态，并依据预设的多模态交互适用原则选取适用的所述交互方式采集用户的交互操作获取所述多通道交互参数。

本发明上述的多通道融合人机交互系统中，所述用户表达意图包括操作意图和交互控制动作意图；所述数据库包括应用数据库和交互数据库，所述交互数据库中预存有包括人因数据和环境知识的共用数据集，所述交互数据库用于从融合后的所述多通道交互参数中计算出所述交互控制动作意图，所述应用数据库用于从融合后的所述多通道交互参数中计算出所述操作意图。

本发明上述的多通道融合人机交互系统中，所述数据采集模块还包括：

交互负荷评价模块，用于判断所述交互操作的人机交互负荷是否达到设定阈值；若是，则提示用户停止交互操作。

实施本发明提供的一种核电站控制室多通道融合人机交互系统以及方法，具有以下有益效果：

本发明提供的一种核电站控制室多通道融合人机交互方法以及系统，能够根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数，降低了人因失效概率，提高了人机交互的可靠性，并通过对多通道交互参数进行数据融合处理，能够准确推理出用户表达意图，保证安全、自然、高效的交互操作体验，提高核电站运行的安全性，并能够使核电站操纵员对核电站的监控更自然、便捷，有效提升操纵员的操作效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例提供的多通道融合人机交互方法的流程图；

图2是本发明实施例提供的多通道融合人机交互系统的结构框图。

具体实施方式

为了使本领域技术人员能够更加清楚地理解本发明，下面将结合附图及具体实施例对本发明做进一步详细的描述。

本发明针对传统交互方式存在的交互方式单一、自然性较低、耗费时间长及误触等问题，提供了一种核电站控制多通道融合人机交互方法以及系统，其核心思想是：选取核电站控制室典型的交互任务构建多种单一模态的交互方式，根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数，对所述多通道交互参数进行数据融合处理，并从融合后的所述多通道交互参数中推理出用户表达意图，而后将所述用户表达意图输出到应用程序即可执行相应控制，从而提高核电站控制室操纵员与人机接***互的自然性和高效性，减轻操纵员的认知负荷，降低人因失效概率，提高核电站运行的安全性。

图1是本实施例示出的一种核电站控制室多通道融合人机交互方法的流程图，如图1所示，该方法包括步骤：

S1、选取核电站控制室典型的交互任务构建多种单一模态的交互方式；

S2、根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数；

S3、接收所述多通道交互参数进行数据融合处理，并从融合后的所述多通道交互参数中推理出用户表达意图；

S4、将所述用户表达意图输出到应用程序以执行相应控制。

上述实施方式在对核电站控制进行任务分析的基础上，选取核电站控制室典型的交互任务构建交互方式，保证了交互方式的可用性；具体的，典型的交互任务包括画面布局、鼠标定位、参数和设备检索、设备开关操作、设备定值输入、三通阀选择操作和趋势图局部缩放，还包括事故工况下执行核电站事故规程中涉及到的参数监视、画面调用、设备操作等等；多种单一模态的交互方式包括眼控交互、手势交互、语音交互和键盘鼠标交互。

其中，眼控交互可通过眼动仪等交互设备进行构建，通过眼动仪实现对操纵员注意力的跟踪，从而可以代替鼠标，通过视线进行光标定位，实现类似于通过鼠标、触摸板控制光标的功能，为操纵员省去找光标这一过程；

手势交互可通过摄像头和传感器等交互设备进行构建，通过手势交互识别操纵员在控制室盘台上执行的所有动作，包括但不限于移动、点击、滑动、抓住、松开、放大、缩小、局部放大等，也可以通过调用虚拟键盘，操纵员不需移动位置即可在虚拟键盘进行输入和控制；手势控制的同时可以在屏幕上实时显示手部骨架的动作图，以便用户在使用前可以直观感受及确认手势交互的准确性；

语音交互可通过语音传感器等交互设备实现，通过语音交互操作实现语音识别、语音理解、语音合成等功能，实现通过语音和系统提示音进行交互的方式和利用语音技术与系统交互的方式，建立适应孤立语音识别和连续语音识别的统一系统，实现简短命令控制任务和连续的文本输入任务。

本发明上述实施方式中，新型交互能够与既有的核电厂控制室盘台的输入设备，如键盘、鼠标和轨迹球等协同工作，从而不影响原有的用户体验。

进一步地，上述步骤S3具体包括：

S31、接收所述多通道交互参数，并对所述多通道交互参数进行动态、联合解码分析，并采用冗余融合、互补融合和/或混合融合方式对解码分析后的所述多通道交互参数进行数据融合处理；

本实施中，多通道交互参数是由不同的传感器获取的不同数据结构的多源异构信息，动态、联合解码分析是将多源异构信息时序化输入，分析同源信息序列前后之间以及多源异构信息之间随着时间变化产生的内在关系，并输出对应的结构信息；比如利用图像时序序列与加速度传感器信号时序的联合解码分析，能够精确的识别各种人体姿态；

冗余融合方式是指多源异构信息的某一路信息完全可以确认输出类别，但依然融合另一路信息来进一步确认该输出类别；互补融合方式是指多源异构信息的某一路信息可以确认其输出父类别，需要融合另一路信息来确认该父类别的子类别；比如通过图像信息可以确认有人在活动，但不能确认具体什么活动，通过惯性传感信号可以进一步确认该活动的精细动作；而混合融合方式是指将冗余融合和互补融合方式结合起来共同输出解构信息。

本发明上述实施方式中，由于多通道交互参数是由不同的传感器获取的不同数据结构的多源异构信息，为了降低数据的冗余度和提高交互过程的处理速度，将接收到的多通道交互参数进行动态、联合解码分析，并采用多种融合方式进行数据融合处理，能够有效地减轻数据库推理用户表达意图的处理负担，并间接提高用户表达意图识别的准确度。

进一步地，上述步骤S3还包括步骤：

S32、建立数据库，结合所述数据库对用户表达意图进行小样本在线学习，并从融合后的所述多通道交互参数中推理出所述用户表达意图。

其中，所述用户表达意图包括操作意图和交互控制动作意图；所述数据库包括应用数据库和交互数据库，所述交互数据库中预存有包括人因数据和环境知识的共用数据集，所述交互数据库用于从融合后的所述多通道交互参数中计算出所述交互控制动作意图，所述应用数据库用于从融合后的所述多通道交互参数中计算出所述操作意图。

本实施例中，应用数据库用于计算理解实际应用中用户的具体操作意图，比如将显示画面从某个大屏幕拖拽到另一大屏幕的意图；交互数据库用于计算理解特定的交互控制动作意图，比如向左挥手、眼球移动等具体的交互控制动作。为了更好的实现上述计算理解过程，在交互数据库中预存有一些常用的人因数据和环境知识作为共用数据集支持各类交互应用。

本发明上述实施方式，将数据库分为具体应用计算的应用数据库和支持交互控制计算的交互数据库两部分，有效提高了数据理解的准确度和效率；同时，预先结合数据库对用户表达意图进行小样本在线学习，使得经样本训练出的数据库具有更好的适应性和更高的准确性，保证从多通道交互参数中推理出的用户表达意图的准确度。

进一步地，上述步骤S2具体包括：

S21、检测用户进行所述交互操作时的心理物理态势确定用户当前状态；

S22、依据预设的多模态交互适用原则选取适用的交互方式采集用户的交互操作获取所述多通道交互参数。

本实施例中，用户进行交互操作时的心理物理态势及其对应的多模态交互适用原则包括：

处理突发状况时的心理物理态势，比如管道破裂时操纵员具有心理极度紧张的态势，此时需要锁定某些极易出现混淆的交互方式，比如突发状况时普通人的手会不自主的抖动，此时不适用手势交互；

处理一般事件时的心理物理态势，比如日常常规操作，此时操纵员处于情绪放松的心理状态，适用于所有交互方式；

处理重复性事件的心理物理态势，比如重复性的翻页检索操作，此时操纵员处于枯燥乏味的心理状态，适用于性能增强模式，比如当系统检测到人在做重复性动作，可以语音提示如何快捷操作。

本发明上述实施方式，能够降低用户的认知负荷和人因失效概率，提高人机交互的可靠性，从而保证核电站运行的安全性。

进一步地，上述步骤S2还包括步骤：

S23、判定所述交互操作的人机交互负荷是否达到设定阈值；若是，则提示用户停止操作。

本实施例中，可从时间上判定交互操作的人机交互负荷，比如当用户长时间操作，可以提醒用户适当休息，防止用户疲惫出错；也可从操作强度上判定交互操作的人机交互负荷，比如统计用户在某时间段的操作次数，评判人机交互负荷是否达到设定阈值，从而保证操纵员的工作绩效，降低其工作负荷；另一方面，用户可以感受到计算机在他的控制之下或允许他进行恰当控制，避免影响其情绪及带来的不适感。

图2为本实施例提供的一种核电站控制多通道融合人机交互系统，如图2所示，该系统包括交互设备模块10、数据采集模块20、交互控制模块30和输出模块40；其中，交互设备模块10用于选取核电站控制室典型的交互任务构建多种单一模态的交互方式；数据采集模块20用于根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数；交互控制模块30用于接收所述多通道交互参数进行数据融合处理，并从融合后的所述多通道交互参数中推理出用户表达意图；输出模块40用于将所述用户表达意图输出到应用程序以执行相应控制。

其中，交互控制模块30包括交互信息处理模块31和数据库32，交互信息处理模块31用于接收所述多通道交互参数，并对所述多通道交互参数进行动态、联合解码分析，并采用冗余融合、互补融合和/或混合融合方式对解码分析后的所述多通道交互参数进行数据融合处理；数据库32用于对用户表达意图进行小样本在线学习，并从融合后的所述多通道交互参数中推理出所述用户表达意图。

本实施例中，所述用户表达意图包括操作意图和交互控制动作意图；所述数据库包括应用数据库和交互数据库，所述交互数据库中预存有包括人因数据和环境知识的共用数据集，所述交互数据库用于从融合后的所述多通道交互参数中计算出所述交互控制动作意图，所述应用数据库用于从融合后的所述多通道交互参数中计算出所述操作意图。

进一步地，数据采集模块20具体用于：检测用户进行所述交互操作时的心理物理态势确定用户当前状态，并依据预设的多模态交互适用原则选取适用的所述交互方式采集用户的交互操作获取所述多通道交互参数。

数据采集模块20还包括交互负荷评价模块21，交互负荷评价模块21用于判断所述交互操作的人机交互负荷是否达到设定阈值；若是，则提示用户停止交互操作。

以下通过具体应用场景对上述人机交互系统的处理流程进行说明：

1)用户通过摄像头交互设备采集手势信息，通过麦克风交互设备采集语音信息，组成多通道交互参数，并传递给交互控制模块30；

2)交互控制模块30通过交互信息处理模块31对摄像头通道和麦克风通道的多源异构信息进行动态、联合解码分析，并采用互补的融合方式处理两通道数据信息；其中，互补融合方式为麦克风语音信息激活交互界面的某个选项，然后通过摄像头的图像数据识别人的姿态，并依据该姿态对选项进行操作；

3)交互信息处理模块31将互补融合数据发送到数据库32，结合数据库32对用户表达意图进行小样本在线学习，从多个并行/串行、精确/非精确、独立/协作输入信息流中准确推理出用户表达意图；

4)输出模块40将用户表达意图传递到应用程序以执行相应操作控制，从而为用户在自然交互界面上提供人性化的自然交互指令。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述多通道融合人机交互系统的其他实施细节可以参考上述人机交互方法中提供的对应的实施过程进行实现，本实施例在此不再赘述。

综上所述，本发明提供了一种核电站控制室多通道融合人机交互方法以及系统，能够根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数，降低了人因失效概率，提高了人机交互的可靠性，并通过对多通道交互参数进行数据融合处理，能够准确推理出用户表达意图，保证安全、自然、高效的交互操作体验，提高核电站运行的安全性，并能够使核电站操纵员对核电站的监控更自然、便捷，有效提升操纵员的工作效率。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。