具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参见附图1-2，本发明公开了一种基于AR的电站集成式管理方法，AR智能设备采集电站的现场数据，对该现场数据进行识别，判断其对应的设备编号和获取当前设备的状态信息。AR智能设备通常为AR眼镜。

具体的，现场数据包括巡检路线信息、设备状态处、巡检步骤、维修记录等内容。对这些数据进行识别处理，主要包括：二维图像识别和OCR识别。识别为通过图像特征点匹配的方式识别电站运维及检修应用场景中存在的图片。

二维图像识别包括设备图像识别和标识码识别。二维图像识别应用通过二维识别算法，通过预先设置的识别图对目标设备进行身份确认。识别流程包括识别图上传，设备与信息关联，信息展示。其中识别图上传、设备与信息关联通过AR云平台完成，关联的信息数据通过AR眼镜进行展示。

对于环境比较复杂，不方便通过图像识别方式进行身份确认的环境，本发明通过二维码或条形码等标识码的方式对目标设备进行识别。识别流程包括标识码制作、设备与信息关联、信息展示等，其识别流程与设备图像识别类似，在此不再赘述。

OCR识别技术主要用于电站运维及检修现场设备铭牌、文字标签等设备部位的识别。通过AR眼镜实时识别设备对应的编号，通过该编号调取后台中的相关信息到AR眼镜中进行展示。其中信息关联通过AR云平台进行，运维人员佩戴AR眼镜采集前端机组设备OCR识别对象图片，通过OCR算法进行识别，再根据识别结果进行关联信息展示。

还可以通过该现场数据进行目标物体的跟踪，具体的，根据识别图片的特征点信息进行空间姿态计算。空间姿态包括多图姿态、抗遮挡姿态、大倾角姿态、远距离姿态、运动模糊姿态和光线变化姿态。

并且，在实际过程中，需要对特定的3D物体实现稳定的识别与跟踪，由于场景比较复杂，使得对目标跟踪难度较大。因此，本发明当目标跟踪失败后设置有重启和保护的机制，通过结合目标检测，跟踪能够从失败中实时恢复。具体的，一种优选实施例，结合视觉和惯性传感器的混合跟踪策略，从来实现稳定的3D物体跟踪。

根据上述的设备识别结果，AR眼镜通过AR云平台对设备的运行状态数据进行AR展示，以实现电站运行状态的远程可视化。

并且，在巡检过程中可通过AR眼镜操作或者语音指令实现对巡检过程的拍照、录像等记录，所产生的图片、视频文件可保存于AR眼镜本地存储空间，也可以通过网络回传至后台存储空间，形成过程记录档，可实现巡检作业的记录与回溯，并形成巡检知识库。

AR智能设备、云平台与一个或多个用户端之间进行全息通讯，全息通迅模块负责多人协同时的信息共享和远程交互，构建一个通用灵活的异构多终端平台(例如AR眼镜、头显、手机、平板，PC等等)，以实现多个不同终端之间无缝全息通讯。

全息通讯信息整合和信息传输。

信息整合的目标是将多人协同远程维修指导过程中所涉及的各种信息合理自动地整理出各终端所需的部分，并且压缩成适合网络传输的格式。这些格式既包括原始的影像和音频信息(例如工厂现场的影像和多端之间的通话)，也包括和任务相关的多媒体资料信息(比如专家向工人端传输的和维修指导有关的资料)，多人之间的交互指令信息(比如专家对于场景中关键部位的指点)，以及由环境理解模块产生的相关知识。对于多媒体信息，将采用已经成熟的多媒体编解码技术；对于其他语义或几何信息，将采用矢量化技术对它们进行无损压缩，并且通过字典学习的方法不断得优化压缩效率。

信息传输的目标是将上述AR信息实时地在各个终端之间传递，使远程参与的用户之间达到无缝交互。

用户端对全息通讯过程所获取的数据进行AR标注，并将AR标注后的数据发送至AR智能设备和云平台。

对全息通讯的数据进行虚实融合过程，将输出以多媒体的方式在终端呈现给用户，使得各终端间传递的AR信息实时的显示在不同终端上。主要包括软件和硬件两部分。虚实融合软件部分的关键在于虚实之间的配准(亦称为对齐)，其目的是建立虚拟信息和真实信息(相机观测到的或者AR眼镜中透过镜片观测到的真实世界)之间的几何变换。硬件部分取决于终端设备，对于大部分成熟的终端形态，比如手机、PC、平板，由于采用的实际是视频透视的AR显示方式，虚实融合可以由上述软件部分来实现。对于另一部分的AR设备，采用自然的光学透视方式。

为了保证无线的安全接入，本发明采用以下安全方案，包括：

1)局域网地址过滤，限制具有某种类型的MAC地址特征的终端才能进入网络中；

2)设备白名单限制，通过设备白名单设置允许接入的设备清单，有在白名单中的设备才能接入网络；

3)临时设备账号密码接入，对于临时接入网络的设备可以采用账号密码登录的方式进行接入；

4)服务集标识管理，将网络进行一个逻辑化标识，对终端上发的报文都要求进行上带SSID服务集标识管理，如果没有SSID标识则不能进入网络；

5)有线等效保密协议加密，一种静态加密的机制，通信双方具有一个共同的密钥，终端发送的空口信息报文必须使用共同的密钥进行加密；

6)高级加密标准加密，一种动态密钥管理机制，同时密钥生成也基于不对称密钥机制来实现的，同时密钥的管理也定期更新，具有体的时间由系统可以设定，一般情况都设定为5分钟左右，这样非法用户要想在5分钟之内进行获取足够数量的报文进行匹配出密钥出来，从无线空口的流理来看，基本上是不可能的；

8)根据用户名来划分权限，即相同用户在不同地点接入无线网络其权限保持一致；密钥设置可能根据SSID信息与用户信息进行组合，即不同的SSID下不同的用户的密钥生成可以不一样，这样一定程度上保证用户之间串号问题产生，从而保护投资，以达到营维平衡；

9)通讯流量异常监控，实现流量异常、报文异常监管，从而保护网络的进一步安全。

同时，还可以与认证相互结合，一种优选的，采用Radius计费认证服务器，整体保证无线接入的安全性。

由于用户端容易发生跨站脚本攻击(Cross-sitescripting，通常简称为XSS)，可被用于进行窃取隐私、钓鱼欺骗、偷取密码、传播恶意代码等攻击行为。恶意的攻击者将对用户端有危害的代码放到服务器上作为一个网页内容，使得其他网站用户在观看此网页时，这些代码注入到了用户的浏览器中执行，使用户受到攻击。一般而言，利用跨站脚本攻击，攻击者可窃会话COOKIE从而窃取网站用户的隐私，包括密码。XSS攻击使用到的技术主要为HTML和Javascript，也包括VBScript和ActionScript等。XSS攻击对WEB服务器虽无直接危害，但是它借助网站进行传播，使网站的使用用户受到攻击，导致网站用户帐号被窃取，从而对网站也产生了较严重的危害。

本发明对AR智能设备、云平台与一个或多个用户端实行防跨站脚本攻击，包括：

1)在储存在用户端本地的数据上建立唯一超文本传输协议标识，即HTTP-OnlyCookie，并与其他技术组合使用；

2)使用CSP内容安全策略和nonce属性；

3)对输入数据进行过滤，对输出数据进行编码，并针对数据的上下文语境进行针对性的编码，一种优选的：

a)HTML标签中或标签属性值中->HTML编码；

b)HTML标签链接属性值中->URL编码；

c)HTML标签事件属性值中->JavaScript转义+HTML编码；

d)Script标签中->JavaScript转义；

e)JSON数据中->JavaScript转义+HTML编码；

f)Callback回调函数名->Callback转义；

g)其他->禁止。

SQL注入攻击即攻击者通过欺骗数据库服务器执行非授权的任意查询过程。SQL注入攻击就其本质而言，它利用的工具是SQL的语法，针对的是应用程序开发者在编程过程中的漏洞，“当攻击者能够操作数据，向应用程序中插入一些SQL语句时，SQL注入攻击就发生了”。实际上，SQL注入攻击是攻击者通过在应用程序中预先定义好的查询语句结尾加上额外的SQL语句元素，欺骗数据库服务器执行非授权的任意查询。SQL注入漏洞是目前互联网最常见也是影响非常广泛的漏洞。

故本发明对AR智能设备、云平台与一个或多个用户端实行服务器防注入攻击，包括：不开启生产环境中网页服务器的错误显示；对所有来自外部的变量输入进行检查、过滤、转义；禁止使用用PlainSQL纯计算机语言，使用预编译绑定变量的SQL计算机语言；设定数据库帐号管理权限，不使用根用户root连接数据库等。

较佳的，当信息传输仅有两个通讯主体时，将通讯数据通过TCP/IP直接在两台通讯主体所在的设备间传输；当通讯主体的数量大于两个时，则通过云服务器进行通讯过程的计算处理。

具体的，双人协同：当系统仅有两个用户时，例如单个工人和单个专家，将使用简单但是高效的连接方案，将数据通过TCP/IP直接在两台设备间传输。

多人协同：当系统有超过两个使用者，例如一个工人和多个专家联合远程维修，将使用云服务，用于繁重的计算工作，例如将目标跟踪迁移到云服务器上，既保证了更高的系统效率，也提供更安全的数据传输，同时支持多对多的交互协作(例如专家之间的意见交换)，输入输出设备可以是台式机，笔记本电脑，手机，平板，AR/VR眼镜，投影仪等。

较佳的，在若干个通讯主体进行通讯的过程中，若干个通讯主体中的管理员级别的通讯主体对实时播放视频进行图片截取并同时传输至其他若干个通讯主体，实现极快速度的冻屏技术，使得所有视频参与方以近乎实时的速度获取管理员截取的视频图像，并且可以实时得到管理员在截图上的标注信息。

在若干个通讯主体进行通讯的过程中，若干个通讯主体中的管理员级别的通讯主体选取正在传输的若干个视频中的一个进行第一预设分辨率格式的传输，其他视频则进行第二分辨率格式的传输，第一预设分辨率大于第二预设分辨率；在若干个通讯主体进行通讯的过程中，若干个通讯主体中的管理员级别的通讯主体控制AR智能设备端的拍摄参数，拍摄参数包括拍摄角度、对焦、缩放。

例如，当房间里有多方通话且有多个视频发送方时，为了保持高清传输和降低带宽需求，一次只有一个视频源传输高清视频，其余视频源传输低清视频，选取高清传输的视频源由通话过程中的管理员控制。在远程协助过程中，除了音视频协助，还需要其他协助方案。

较佳的，全息通讯还包括创建实时会话房间，通过账号验证的通讯主体进入实时会话房间进行全息通讯。

本发明利用AR眼镜快速识别巡检设备，通过与电厂电力系统的对接，快速、准确显示设备状态信息，以便巡检人员第一时间处理问题，提升巡检工作效率；且实现现场第一视角画面实时传输给远程专家和安全监管人员，利用AR眼镜代替相关人员“到达”运维现场，辅助远程精准定位问题，并对前端作业人员给予精确指导。

本发明还公开了一种基于AR的电站集成式管理系统，包括相互连接的AR智能设备端、用户端和云平台管理端；用户端包括手机、平板、电脑。

AR智能设备端包括用户模块和任务模块，用户模块用于实现用户登录、登录状态保活、修改密码、用户注销等功能。任务模块用于实现任务列表、任务详情、设备信息获取与展示、作业录像拍照上传等功能。

云平台管理端包括用户模块、角色管理模块、后台用户管理模块、任务管理模块、日志管理模块和数据接口模块。用户模块用于实现用户登录、修改密码、用户注销等功能。角色管理模块用于实现添加角色(根据需要创建不同的系统角色，并分配角色的权限)、编辑角色(对角色进行编辑，包括角色名称，权限的修改)、角色列表(列出系统的所有角色)、角色状态设置(状态包括启用和停用。一个角色被停用后，属于该角色的用户不能登录系统)、删除角色等功能。后台用户管理模块用于实现添加用户、编辑用户信息、用户列表、用户状态设置、删除用户等功能。任务管理模块用于实现创建任务、编辑任务、取消任务、删除任务、查看任务图片、删除图片、查看作业录像、删除作业录像等功能。日志管理模块用于实现操作日志记录和日志列表等功能。数据接口模块用于实现登录接口、保活接口、注销接口、任务列表接口、任务详情接口、图片上传接口、录像上传接口、设备信息接口。

具体的，AR智能设备采集电站的现场数据，对该现场数据进行识别，判断其对应的设备编号和获取当前设备的状态信息，并通过该现场数据进行目标物体的跟踪，当跟踪失败时，则启动目标检测以恢复跟踪。

AR智能设备、云平台管理端与一个或多个用户端之间进行全息通讯，全息通讯包括：将所要传输的数据压缩成不同类型的多媒体数据格式，多媒体数据格式包括视频格式、音频格式、多媒体格式、交互指令格式；AR智能设备通过云平台管理端获取电站设备的运行数据并进行展示；AR智能设备将所采集的现场数据发送至云平台管理端与用户端；用户端对全息通讯过程所获取的数据进行AR标注，并将AR标注后的数据发送至AR智能设备和云平台管理端；对全息通讯的数据进行虚实融合过程。

还包括无线网络模块，在该无线网络模块种，全息通讯过程中采用加密管理，加密管理包括局域网地址过滤、设备白名单限制、临时设备账号密码接入、服务集标识管理、有线等效保密协议加密、高级加密标准加密、临时密钥完整性协议、根据用户名来划分权限、和通讯流量异常监控。

还对AR智能设备、云平台管理端与一个或多个用户端实行防跨站脚本攻击和服务器防注入攻击。

防跨站脚本攻击包括：在储存在用户端本地的数据上建立唯一超文本传输协议标识；使用内容安全策略和nonce属性；对输入数据进行过滤，对输出数据进行编码，并针对数据的上下文语境进行针对性的编码。

服务器防注入攻击包括：不开启生产环境中网页服务器的错误显示；对所有来自外部的变量输入进行检查、过滤、转义；禁止使用纯计算机语言，使用预编译绑定变量的计算机语言；设定数据库帐号管理权限，不使用根用户连接数据库。

本发明还公开了一种服务器，用于上述的基于AR的电站集成式管理方法，包括：

节点服务模块，包括imgate服务和MCUServer服务，imgate服务负责接入层的网关，处理用户端与服务器的长连接；

消息服务模，包括roomsvr、msgsvr、statussvr、msgdbg、mculogsvr、pyimquerysvr、pyimdependsvr几个服务。Roomsvr服务负责房间服务，提供音视频实时流前的会话管理逻辑，临时会话等；msgsvr服务负责点对点的私聊服务；statussvr服务负责用户状态服务器，缓存用户的路由；msgdbg服务负责消息逻辑的存储网关服务；mculogsvr负责音视频通信的存储网关服务；pyimquerysvr服务负责查询im的状态；pyimdependsvr服务负责解除依赖；

文件服务模块，用于用户端之间传输文件及冻屏功能，用户端通过Post方式将本地文件先上传至fileserver服务，上传成功后获取正确的文件下载url，用户端分发此下载url给其他用户端，其他用户端通过此url下载文件到本地即可；

账户服务模块，提供用户管理，用户信息检验的服务，作为整个系统基础服务运行AR智能设备服务模块，为用户端提供基础业务的API接入，比如用户信息的获取、获取联系人列表、联系人的管理(增加、删除、修改)、修改密码、注册用户等服务；

后台服务模块，包含企业管理，用户管理，角色管理，系统日志，统计信息等功能。

还包括基于Linux操作系统的服务模块：nginx应用服务模块、mysql和mongodb数据库服务模块、FastCGI进程管理器模块，redis缓存服务模块和java、python编程服务模块。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。