具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例的描述中，“流程块”用于表示流程图中流程运行的过程块；

本发明实施例的描述中，“异步指令”是指进程不需要一直等下去，而是继续执行下面的操作，不管其他进程的状态。当有消息返回时系统会通知进程进行处理。本发明实施例中，当RPA机器人发出控制信号后，流程辅助设备会根据该控制信号依次执行一系列已设计的流程动作。等流程辅助设备依次完成已设计的各指令后，才返回"回答"信号或"结束"信号。

为了更加清楚、明白地解释本发明各实施例的内容，下面先对本发明实施例的基本工作原理进行简单介绍。

机器人流程自动化(Robotic Process Automation)简称RPA，是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。

AI(Artificial Intelligence)是人工智能的英文缩写，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

现有的业务中，当RPA中有涉及密码的输入场景时，流程设计者通常会使用以下方式设计：1、采用硬编码的方式，将密码写入代码中，最终在生成流程时，密码会通过产品内置的算法转化成密文写入代码中。当使用者通过执行器执行RPA流程时，密文数据再通过对应的解密算法被还原成明文密码并填入目标元素中。2、采用管理中心的存储凭据，即存储的账号密码。流程设计者在遇到需要输入账号密码的场景时，会先通过一个ID或者名字请求管理中心下发对应的账号密码，管理中心在收到用户的请求后，通常会将用户名和密码字段返回。用户使用返回的账号密码填入对应的场景中即可。以上两个方法的账号密码输入都依赖于Windows提供的键盘API函数Keybd_event函数。Keybd_event能触发一个按键事件，也就是说会产生一个WM_KEYDOWN或WM_KEYUP消息，通过这个消息实现模拟键盘输入的效果。

基于安全考虑，目前有一些网站/应用会阻止在应用层的自动化脚本的运行，例如，会将现有的Keybd_event API屏蔽。在这样的应用场景下，业务人员通常需要通过手动操作键盘来输入账号密码等关键信息。考虑到人工手动操作容易导致自动化流程效率低下的问题，本发明实施例提供的技术方案采用实际的物理硬件，即本发明实施例提供的流程辅助设备，作为账号密码等关键信息的输入设备。该流程辅助设备的操作都是在驱动层，通过该流程辅助设备可实现驱动级的模拟按键。

其中，流程辅助设备包括：MCU(Microcontroller Unit，微控制单元)、USB(Universal Serial Bus，通用串行总线)接口和EEPROM(Electrically ErasableProgrammable read only memory，带电可擦可编程只读存储器)。该流程辅助设备是一个类似于U盘的构造。每个流程辅助设备都设置有一个固定的设备ID(Identity Document，身份识别号)，该ID可刻印在流程辅助设备的外部，使其清晰可见，以区分不同的流程辅助设备。

考虑到部分RPA工具都被禁用的场景，需要将部分自动化点击和自动化输入的操作能力放在流程辅助设备中执行，因此给流程辅助设备设计了“异步执行”的相关指令，包括“提交异步动作”、“异步模拟点击”和“异步输入密码”等，这些指令会被整合成一个“代码块”写入流程辅助设备中。在执行RPA流程的时候，如果遇到自动化脚本被禁用的场景，RPA会提前激活流程辅助设备中的对应代码，此时，流程辅助设备会执行预先设置的一系列流程动作。因为流程辅助设备的操作都是驱动层的，所以在应用层的自动化脚本被屏蔽的应用场景下，通过流程辅助设备可实现驱动级的模拟按键。相对于现有技术在该场景下通过人工手动操作键盘来输入信息的方式，本发明实施例采用流程辅助设备进行信息输入的方式效率更高，准确性更好。。

下面，结合图1a～1d，以登录网银这一应用场景为例，对流程辅助设备的动作进行简单介绍。

图1a是在网银登录场景下RPA机器人与流程辅助设备的交互示意图。图1b是利用流程自动化平台(UiBot)搭建的流程图，图1c是利用流程辅助设备登录网银时的相关指令的截图。如图1a所示，在开发阶段，可先将一个流程辅助设备插入开发者电脑。通过流程辅助设备管理软件，可将登录各网银所需要用到的密码写入流程辅助设备内。图1d是在流程辅助设备管理软件中密码存储的截图。如图1d所示，可将需要用到的多组密码存储到设备号为“10000268”的流程辅助设备(简称KeyBox)中，即建立流程辅助设备的ID与所存储的密码之间的绑定关系。并且，在流程开发阶段，对于某个银行登录页面场景，需为所要用到的流程辅助设备的ID指定一组密码，作为该网银登录时所要用到的输入密码。此外，如图1c所示，还可将流程辅助设备需要执行的异步指令“输入账号123456789”、“模拟键盘Tab执行单击”以及“输入密码”等对应的代码段写入流程辅助设备中。

在流程设计完成并发布后，在用户使用该流程的过程中，RPA机器人会按照流程块的顺序依次执行各流程块对应的流程内容。如图1b所示，RPA机器人在运行到KeyBox登录网银这一流程块时，会执行如图1c所示的各个指令。以登录某个目标网上银行为例，RPA机器人可先启动IE浏览器，并打开待登录银行的网址，并通过鼠标点击“个人银行大众版”，和“使用账号密码登录”。RPA机器人通过将鼠标移动到(1190,328)的位置，该位置是登录框的“账号”所在的像素位置，然后通过鼠标点击左键，这样就可以将光标放到“账号”输入框内。在该应用场景下，由于RPA自动化脚本被该网站屏蔽，因此，输入账号和密码的操作可通过流程辅助设备来执行。如图1a所示，RPA机器人根据主机上插入的流程辅助设备的ID号，向该流程辅助设备发送输入账号和密码的控制指令，流程辅助设备在接收到该控制指令后，会执行异步命令，即依次执行预先设计的流程动作。如图1c所示，流程辅助设备先输入账号“123456789”，然后按Tab键执行单击操作，即切换到密码输入框，再将已存储的第一组密码输入到已定位的密码输入框中。

由于进行网上银行登录的网站对自动化脚本的屏蔽是在应用层，而本发明实施例中流程辅助设备是通过USB接口与主机建立的通信连接，即流程辅助设备的操作都是在驱动层，所以，在自动化脚本无法正常运行的应用场景下利用流程辅助设备可辅助RPA机器人完成自动化流程操作，该操作精准可靠，效率更高，可靠性更好。

流程辅助设备在完成预设指令对应的动作后，会返回动作结束的消息。RPA机器人在接收到流程辅助设备返回的消息后，可接着进行流程内容的操作，例如，在上述网银登录的应用场景下，如果检测到存在验证码，RPA可调用具有AI能力的组件，例如通过OCR(Optical Character Recognition，光学字符识别)识别验证码所在的图片，得到验证码的内容。如果需要对验证码的内容进行解析，例如需要对验证码中的数字进行运算等，可通过NLP(Natural Language Processing，自然语言处理)得到验证码的结果，并将其输入到验证码填写处。

下面，分别从RPA机器人的角度和流程辅助设备的角度，对业务流程处理过程进行详细介绍。

实施例一

图2是本发明实施例一提供的一种基于RPA及AI的业务流程处理方法的流程图，该方法的执行主体是RPA机器人。典型的是，该方法可应用于流程自动化工具被禁用的应用场景下，可通过基于RPA及AI的业务流程处理方法装置来执行，该装置可通过软件和/或硬件的方式来实现。如图2所示，该方法包括：

S110、在接收到流程的运行指令时，按照各流程块的顺序依次执行各流程块对应的流程内容。

其中，在流程图中，流程块的执行顺序可通过箭头的指示方向来表示。在流程图中，存在用于表示流程开始的流程开始块、表示流程结束的结束块，以及在流程开始块和流程结束块之间进行不同操作处理的流程块。如图1b所示，RPA机器人在接收到流程的运行指令时，从流程开始块，依次执行KeyBox登录网银、查看和下载流水、邮件发送列表的内容，到流程块结束。

其中，对于在流程开始块和流程结束块之间进行不同操作处理的流程块，在该流程图开发阶段，研发人员会为不同操作设置不同的指令，执行流程块对应的流程内容即为执行该流程块对应的操作指令，从而实现不同的功能。例如，通过执行如图1c所示的各个指令，可实现网银的自动登录。

S120、在执行流程内容的过程中，如果需要启动流程辅助设备，则基于与流程辅助设备之间的通信连接，向流程辅助设备发送控制指令，该控制指令用于指示流程辅助设备执行控制指令对应的流程动作。

其中，流程辅助设备是为了在自动化脚本被屏蔽的应用场景下，例如，在金融领域，银行流水下载或税务申报等场景下，代替被屏蔽了的RPA工具实现流程自动化操作的设备。该流程辅助设备的动作可通过其内部的MCU来控制。由于该流程辅助设备是通过USB接口与主机建立的通信连接，即流程辅助设备的操作都是驱动层的，而一般RPA工具被屏蔽的场景通常屏蔽的是应用层的自动化脚本，所以利用流程辅助设备可辅助RPA机器人完成自动化流程操作。

此外，流程辅助设备还具有存储功能，该存储功能可通过其内部的EEPROM器件或者MCU内置的flash空间来实现。每个流程辅助设备都具有其唯一的ID号。流程辅助设备的使用和管理，一般可通过流程辅助设备管理软件来实现。例如，对于流程辅助设备中存储的密码，用户可以在不更新流程的情况下，通过该管理软件修改存储在流程辅助设备内的账号密码，这样的设计可以大大增加RPA流程的灵活性，避免用户频繁地更新流程软件版本。并且，考虑到硬件兼容性和可扩展能力，用户可以通过流程辅助设备管理软件升级流程辅助设备固件以扩展其能力。

本实施例中，对于是否需要启动流程辅助设备，可通过流程的业务场景来确定。

示例性的，在RPA机器人进行自动化流程操作的过程中，可检测自动化脚本是否被屏蔽，即在自动化流程无法正常执行的情况下，例如，在网银登录过程中，RPA机器人模拟键盘输入用户的账号时，无法将账号成功输入到登录对话框中，此时，则说明该银行通过某种技术手段将自动化软件发来的消息屏蔽了，此时，可确定启动流程辅助设备。

示例性的，由于发布的流程在被用户使用之前，一般会经过研发人员的开发和测试，即一些无法使用RPA工具的应用场景在测试过程中会得到确定。流程发布后，在用户使用该流程的过程中，对于在无法使用RPA工具的应用场景下的RPA的操作，例如，输入银行密码等操作，则需要启动流程辅助设备，以借助流程辅助设备来完成流程的自动化操作。

本实施例中，在需要启动流程辅助设备，可基于与流程辅助设备之间的通信连接，向流程辅助设备发送控制指令。其中，不同的控制指令会携带有对应的标识信息，例如，该指令是密码输入指令，还是模拟点击指令，如果是密码输入指令，输入的密码编号等信息，都会在该控制指令中的标识信息中体现。流程辅助设备在接收到该控制指令后，会触发该控制指令对应的代码段，从而执行该控制指令对应的一系列流程动作。

进一步的，流程辅助设备在完成控制指令对应的流程动作后，可向RPA机器人返回结束消息。RPA机器人在接收到流程辅助设备发送的返回消息后，将继续执行剩余未执行流程块对应的流程内容。例如，如图1b所示，在通过KeyBox登录网银后，RPA机器人将继续执行查看和下载流程，并通过邮件发送报表的操作。

本发明实施例提供的技术方案，在RPA执行自动化流程的过程中，在遇到自动化脚本被屏蔽导致RPA工具被禁用的应用场景下，RPA的动作可通过流程辅助设备来执行。RPA基于与流程辅助设备之间的通信连接，通过向流程辅助设备发送控制指令，可使得流程辅助设备执行控制指令对应的流程动作，实现RPA工具被禁用场景下，高效、精准且可靠的流程自动化操作。

实施例二

图3是本发明实施例二提供的一种基于RPA及AI的业务流程处理方法的流程图，本实施例在上述实施例的基础进行了细化，将应用场景细化为网银登录的场景，并对该场景下的自动化流程操作进行了介绍，如图3所示，该方法包括：

S210、在接收到流程的运行指令时，按照各流程块的顺序依次执行各流程块对应的流程内容。

本实施例中，流程内容为登录网银。

S220、打开网银登录界面。

S230、基于与流程辅助设备之间的通信连接，向流程辅助设备发送登录信息输入指令，该登录信息输入指令用于指示流程辅助设备将网银对应的账号和密码分别输入登录对话框的对应位置处。

本实施例中，在RPA工具被禁用的网银登录的应用场景下，用户可预先通过USB接口在当前操作的主机上插入流程辅助设备，以建立当前主机与流程辅助设备之间的通信连接。在通信连接建立后，RPA可读取到该流程辅助设备的ID号，并向该流程辅助设备发送登录信息输入指令。在本实施例的应用场景下，登录信息输入指令为账号和密码输入指令。在流程开发阶段，需为流程辅助设备指定登录不同网银所对应的不同的密码。如图1c所示，流程辅助设备需输入第1组密码。

其中，密码可以加密的形式存储于流程辅助设备中。流程辅助设备可根据接收到的登录信息输入指令确定需要输入的密码，并对该密码进行解密，然后将解密后的密码输入登录对话框的对应位置处。其中，加密和解密操作可通过流程辅助设备中的MCU来实现。

S240、接收流程辅助设备完成控制指令对应的流程动作的返回消息。

S250、如果检测到存在验证码，则采用光学字符识别OCR方法对验证码所在的图片进行识别。

S260、将识别结果输入登录对话框的验证码填写处。

示例性的，如果识别结果为字母或数字，则可直接将识别结果输入登录对话框的验证码填写处。进一步的，如果识别结果中存在数字的四则运算，则可采用NLP进行语义解析，并得到四则运算的结果。RPA可将该结果输入登录对话框的验证码填写处。

本实施例提供的技术方案，在网银登录过程中，通过调用流程辅助设备来输入网银的登录账号和密码，在RPA工具被禁用的应用场景下，实现了网银登录的自动化操作。相对于通过人机交互，手动输入账号和密码的方式，本实施例这样设置效率更高、准确性更好。

实施例三

图4是本发明实施例三提供的一种基于RPA及AI的业务流程处理方法的流程图，其执行主体是流程辅助设备。该方法典型的是可应用于流程自动化工具被禁用的应用场景下。该方法可通过基于RPA及AI的业务流程处理方法装置来执行，该装置可通过软件和/或硬件的方式来实现。如图4所示，该方法包括：

S310、在RPA机器人执行各流程块对应的流程内容的过程中，基于与RPA机器人所在主机之间的通信连接，接收RPA机器人发送的控制指令。

其中，流程辅助设备与RPA机器人所在主机之间的通信连接是通过USB接口建立的。RPA机器人与流程辅助设备之间的具体交互过程可参见上述实施例的说明，此处不再赘述。

S320、根据控制指令执行对应的流程动作。

本实施例中，考虑到部分RPA工具都被禁用的场景，需要将部分自动化点击和自动化输入的操作能力放在流程辅助设备中执行，因此在流程辅助设备设计了“异步执行”的相关指令，包括“提交异步动作”、“异步模拟点击”和“异步输入密码”等，这些指令会被整合成一个“代码块”写入流程辅助设备中。在执行RPA流程的时候，如果遇到RPA工具被禁用的场景，RPA会提前激活流程辅助设备中的对应代码，此时，流程辅助设备会执行预先设置的一系列流程动作。由于被禁用的是在应用层的流程自动化操作，而流程辅助设备的操作都是驱动层的，所以流程辅助设备可在此场景下协助RPA实现完整的流程自动化操作。

具体的，当RPA执行的流程内容为登录网银时，RPA向流程辅助设备发送的指令为登录信息输入指令。流程辅助设备在接收到该指令后，可根据该指令执行如图1c所示的指令，以将网银账号和密码输入登录对话框中。如果流程辅助设备中存储的密码是以加密的形式存在的，可先对密码进行解密，并将解密后的密码输入网银登录界面的登录对话框中。

进一步的，流程辅助设备在完成控制指令对应的流程动作后，可向RPA返回动作结束的消息，RPA在接收到该消息后可继续执行对应的自动化流程操作。

本实施例提供的技术方案，在RPA执行自动化流程的过程中，在遇到自动化脚本被屏蔽导致RPA工具被禁用的应用场景下，RPA的动作可通过流程辅助设备来执行。RPA基于与流程辅助设备之间的通信连接，通过向流程辅助设备发送控制指令，可使得流程辅助设备执行控制指令对应的流程动作，实现RPA工具被禁用场景下，高效、精准且可靠的流程自动化操作。

实施例四

图5是本发明实施例四提供的一种基于RPA及AI的业务流程处理装置的结构框图，如图5所示，该装置包括：流程执行模块410和控制指令发送模块420；其中，

流程执行模块410，被配置为：在接收到流程的运行指令时，按照各流程块的顺序依次执行各流程块对应的流程内容；

控制指令发送模块420，被配置为：在执行所述流程内容的过程中，如果需要启动流程辅助设备，则基于与所述流程辅助设备之间的通信连接，向所述流程辅助设备发送控制指令，所述控制指令用于指示所述流程辅助设备执行所述控制指令对应的流程动作。

可选的，所述装置还包括：

返回消息接收模块，被配置为：接收所述流程辅助设备完成所述控制指令对应的流程动作的返回消息；

剩余流程块执行模块，被配置为：按照未执行流程块的顺序，依次执行剩余流程块对应的流程内容。

可选的，所述流程内容包括登录网银；相应的，所述控制指令为登录信息输入指令；

相应的，所述控制指令发送模块420，具体被配置为：

打开网银登录界面；

基于与所述流程辅助设备之间的通信连接，向所述流程辅助设备发送所述登录信息输入指令，所述登录信息输入指令用于指示所述流程辅助设备将所述网银对应的账号和密码分别输入所述登录对话框的对应位置处；

其中，所述密码以加密的形式存储于所述流程辅助设备中。

可选的，所述装置还包括：

验证码识别模块，被配置为：在登录所述网银的过程中，如果检测到存在验证码，则采用光学字符识别OCR方法对验证码所在的图片进行识别；

识别结果输入模块，被配置为：将识别结果输入所述登录对话框的验证码填写处。

本发明实施例所提供的基于RPA及AI的业务流程处理装置可执行本发明任意实施例所提供的应用于RPA机器人的基于RPA及AI的业务流程处理方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的应用于RPA机器人的基于RPA及AI的业务流程处理方法。

实施例五

图6是本发明实施例五提供的一种基于RPA及AI的业务流程处理装置的结构框图，如图6所示，该装置包括：控制指令接收模块510和指令执行模块520；其中，

控制指令接收模块510，被配置为：在RPA机器人执行流程内容的过程中，基于与RPA机器人所在主机之间的通信连接，接收所述RPA机器人发送的控制指令；

指令执行模块520，被配置为：根据所述控制指令执行对应的流程动作。

可选的，所述流程辅助设备与RPA机器人所在主机之间的通信连接是通过通用串行总线USB接口建立的。

可选的，所述流程内容包括登录网银；相应的，所述控制指令为登录信息输入指令；

相应的，所述指令执行模块520，具体被配置为：

根据所述登录信息输入指令，将已存储的所述网银的账号，以及该账号对应的解密后的密码分别输入网银登录界面的登录对话框中。

可选的，所述网银登录过程中所需要输入的验证码，是通过RPA机器人采用光学字符识别OCR方法对验证码所在图片进行识别后得到的。

本发明实施例所提供的基于RPA及AI的业务流程处理装置可执行本发明任意实施例所提供的应用于流程辅助设备的基于RPA及AI的业务流程处理方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的应用于流程辅助设备的基于RPA及AI的业务流程处理方法。

实施例六

请参阅图7，图7是本发明实施例六提供的一种计算设备的结构示意图。如图7所示，该计算设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的应用于RPA机器人的基于RPA及AI的业务流程处理方法。

本发明实施例还提供了一种流程辅助设备，该流程辅助设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的应用于流程辅助设备的基于RPA及AI的业务流程处理方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行应用于RPA机器人的基于RPA及AI的业务流程处理方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行应用于流程辅助设备的基于RPA及AI的业务流程处理方法。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。