具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

目前技术都是从网页的整体上去查找相似度的区域，这样很容易分析出不需要的相似度卡片区域，而且即便是在配置期中调整好了，在运行期，通过翻页采集时，每页的数据发生细微变化时，有可能在某页出现于配置期不同的情况，查找到了本不需要的相似区域，从而找到不要的卡片。

本发明首先锁定大的区域范围，避免找到区域范围外的相似卡片，结合卡片内部结构分析，定位更加清晰，采集更加准确和完整。且本发明也可以作为一种网页表格的采集方案。

参照图1，本发明的第一实施例，提供了一种基于RPA的网页可配置项的采集方法，其中可配置项为卡片，包括以下步骤：

步骤S101、在网页界面中锁定一个采集区域，以使采集区域内包含有当前网页的若干个卡片，并且每个卡片之间具备相似性。

步骤S102、定位采集区域内中的所有卡片。

步骤S103、定位并绑定所有卡片中的所有采集项。

相较于现有技术是从网页的整体上去查找相似度的区域，从而使得容易分析出不需要的相似度卡片或表格区域。本方法选择在定位网页所有卡片之前，先锁定一采集区域，使得该采集区域内包含有当前网页的若干个卡片，并且每个卡片之间具备相似性，通过先锁定一采集区域，能够避免定位超出该采集区域，从而避免找到不需要的卡片，然后本方法再结合卡片内部结构分析，使得采集项的定位更加清晰，采集项的采集更加准确和完整。

需要注意的是，本发明的方案同样可以适用于网页表格的采集方法，原理同网页卡片的采集方法同理，此处不再细述。

作为一种可选的实施方式，还包括步骤：

步骤S104、滚动网页界面，若当前网页出现新的卡片加载，按照同样的方式，定位采集区域内中的所有新的卡片，定位并绑定所有新的卡片中的所有采集项。

当步骤S101至S103中的当前页面的所有卡片中的采集项被采集完成之后，滚动网页界面，用于对下一次的当前页面上的卡片进行定位，并且绑定上面的采集项。需要注意的是，步骤S104和步骤S101中的采集区域是属于同一个区域。通过本实施方式，在翻页采集的时候，也避免了查找到本不需要的卡片。

参照图2和图3，为了便于理解，本发明的第二个实施例，以网页卡片的采集过程进行说明：

首先，配置当前页面的采集区域，锁定该采集区域，避免识别该区域外的相似卡片。提供定位手动修改微调，定位采用dom(Document Object Model，文档对象模型)元素的属性ID、CLASS、样式,以及通过xpath(是一门在XML文档中查找信息的语言)对当前页面的采集区域。

其次，配置卡片定位，定位出采集区域内所有相似的卡片，可设置过滤条件，如设置卡片的宽度或者高度大于或者小于某个数值，再加上一个偏移值作为过滤条件，或者把卡片中一些dom的属性作为过滤条件。

然后，配置采集项，当前的卡片作为采集项的父级定位，卡片遍历到第几个，则该卡片作为采集项的父级定位，且每项作为采集记录，绑定到变量中，用于存储对应数据字段。

最后，配置是否滚动采集，配置为“真”时，则在运行过程中，采集完第一批卡片后，滚动滚动条，判断页面是否会加载新的数据，如果有新数据，则继续遍历采集新数据中的卡片记录，滚动条默认滚动窗体滚动条，可指定元素上的滚动条。

参照图4至图6，图4中包括三个区域的配置过程，在图4中，标号L1的标注框表示采集的区域范围，所有的采集任务都在此范围以内(需要注意的是，图4中标号L1的标注框并未完全示出)。标号L2的标注框表示配置此卡片，定位器会分析出同类的元素，在区域范围内找出所有的类似卡片定位。标号L3的标注框表示在卡片内的采集配置定位项(需要注意的是，标号L2的标注框内包含着多个标号L3的标注框，例如图4所示的“2999.00”等)，每一个卡片都会生成当前卡片下的采集项定位器，从而采集此数据并对应到表格字段，从外层往里层配置分为3步骤：

第1步：在定位过程中，先会定位外层(即先定位标号L1的标注框)，确定采集区域，缩小定位范围，防止范围过大，在找卡片相似度的时，如果从整个页面查找相似度，会出现的定位超出边界问题，从而可能找到不需要的卡片，此配置用于解决该问题。

第2步：图4中，标号L2的标注框是卡片定位，此配置会在上述第1步中的定位区域(即标号L1的标注框内区域)范围内查找，在选中此区域后，会分析此区域相似的卡片如图6所示。

第3步：图4中，标号L3的标注框是采集项，此定位是相对于当前卡片的定位。

此3步的配置定位时通过xpath或dom中提供的定位器进行定位，每个步骤都可以通过改变xpath或dom的语法对定位进行微调，从而让定位变动更加稳定可靠。

在采集过程中，如图4中，卡片中的采集项，需要和点击到详情页(比如点击的是当前卡片中的图片进入详情页)到达图5(图5是与图4中卡片对应的详情页，标号L3的标注框是详情页的采集项的配置定位项)所示，需要与卡片中的采集项与详情页的采集项进行拼接。每遍历点击一张卡片，进入详情页(如图5界面)，返回到卡片页(如图4界面)后，把图4和图5每个采集项作为一行记录进行保存，确保数据完整性。

在采集当前页中所有的卡片后，开始滚动页面滚动条，滚动的距离取当前网页的窗体高度，滚动一次后判断页面是否有新的数据加载项，如果有，则从最新的卡片项逐个采集，采集完后再滚动一个窗体高度，以此类推，直到滚动后没有新数据加载为止，确保采集完当前页所有的卡片对应的数据。

为了便于理解，本发明的第三个实施例，以网页表格的采集过程进行说明：

如图7(标注框的解释与图4相同，需要注意的是，在图7中，使用R1、R2和R3来表示三个标注框)，选择表格范围，把表格中的一行作为一个卡片，而每个字段作为采集项。

在分析卡片相似度上，将分析当前卡片dom节点中的元素属性(包括样式属性，节点属性)、元素高宽(可配置)特征(详见图8)作为第一步的分析对象。随着选择配置采集项，会把采集项的元素属性(包括样式属性，节点属性)和节点高宽(可配置)，作为分析卡片的内部特征作为卡片筛选条件从而更准确的找到相似卡片。

本发明的第四实施例，提供了一种基于RPA的网页可配置项的采集设备，该设备可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。具体地，该设备包括：一个或多个控制处理器和存储器，这里以一个控制处理器为例。控制处理器和存储器可以通过总线或者其他方式连接，这里以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的基于RPA的网页可配置项的采集设备对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而实现上述方法实施例的基于RPA的网页可配置项的采集方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于RPA的网页可配置项的采集设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述实施例中的基于RPA的网页可配置项的采集方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行上述实施例中的基于RPA的网页可配置项的采集方法。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。