具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

现有技术对网页表格数据的处理方法存在不具备普适性，并且大数据场景下处理成本高，工作效率低的问题请参阅图1，所示为本申请一实施例提供的网页表格数据处理方法，该网页表格数据处理方法主要用于能够使用户在网页内容中快速、准确的获取到需要的表格数据，在提高了工作效率的同时，大幅减少了表格数据格式化处理的成本，有利于大范围的推广与使用。

具体的，该网页表格数据处理方法的实施过程如图1所示，该方法具体包括以下步骤：

步骤S10，获取待处理的网页内容，并将网页内容中的表格数据采集到hdfs中。

在本实施例中，首先需要说明的是，该网页表格数据处理方法是针对大数据场景下的网页表格数据进行的，并且该网页表格数据处理方法是基于hive+sparkSql实施的。其中，hive是基于Hadoop(分布式系统基础架构)的一个数据仓库工具，具体用于进行数据的提取、转化以及加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制；Spark是专为大规模数据处理而设计的快速通用的计算引擎，从而能够形成一个高速发展应用广泛的生态系统；另外，SQL是一种数据库查询和程序设计语言。

因此，在本步骤中，首先会获取待处理的网页内容，即找到一个需要使用的网站，该网站即包括上述网页内容。可以理解的是，该网页内容中还包括需要的表格以及该表格中的表格数据，进一步的，将需要的表格数据采集到hdfs中，其中，hdfs为本领域技术人员通用的分布式文件系统，该hdfs具有高容错性的特点。

步骤S20，构建html标签集合，并通过正则匹配替换掉与html标签集合匹配的表格数据。

进一步的，在本步骤中，需要说明的是，从步骤S10获取的表格数据并不都是需要的数据，因此，本步骤为了能够提取出需要的表格数据，会构建一个或者多个html标签集合，再通过正则匹配的方法替换掉与上述html标签集合相匹配的表格数据。比如html标签集合中包含有<tr.*>、</tr>、<thead>、<td.*？>、</td>、<th.*？>、</th>、<table.*？>、</table>、<tbody>、</tbody>、</thead>、<span.*？>、</span>等标签，正则匹配方法在获取的网页数据中匹配到以上标签时，正则替换方法将这些标签替换成空字符。

步骤S30，获取用户的配置文件，并判断配置文件中是否包括schema。

更进一步的，当通过上述步骤S10和步骤S20获取到需要的表格数据时，最后获取用户的配置文件，具体的，该配置文件包括源数据库表名、结果库表名、文件分隔符、处理并行度以及处理内存等。另外，需要说明的是，用户还能够根据自身的需要来决定是否需要添加schema(表格结构)来定义表格的格式。

因此，当获取到用户的配置文件时，会立即判断该配置文件中是否包括用户指定的schema，若在所述配置文件中包括schema，则执行步骤S40。

步骤S40，若在所述配置文件中包括schema，则根据schema对替换过后的表格数据进行格式化处理。

具体的，当判断到用户发送的配置文件包括schema时，则会根据用户提供的schema制作出对应的个性化表格；

另外，当没有判断到用户发送的配置文件包括schema时，则会根据默认的表格形式，制作出默认的表格。

从而能够使用户在网页内容中快速、准确的获取到需要的表格数据，在提高了工作效率的同时，大幅减少了表格数据格式化处理的成本，有利于大范围的推广与使用。

使用时，首先通过获取待处理的网页内容，并提取出该网页内容中的表格数据且将该表格数据采集到hdfs中，进一步的，构建html标签集合，并通过正则匹配替换掉上述表格数据中与该html标签集合匹配的表格数据，从而能够筛选出不需要的表格数据，最后获取用户的配置文件，并根据用户的配置文件对替换过后的表格数据进行格式化处理。本申请提供的网页表格数据处理方法能够在网页中快速、准确的获取到需要的表格数据，并能够根据用户的需要对获取到的表格数据进行对应的格式化处理，在提高了工作效率的同时，大幅减少了表格数据格式化处理的成本，有利于大范围的推广与使用。

需要说明的是，上述的实施过程只是为了说明本申请的可实施性，但这并不代表本申请的网页表格数据处理方法只有上述唯一一种实施流程，相反的，只要能够将本申请的网页表格数据处理方法实施起来，都可以被纳入本申请的可行实施方案。

综上，本申请上述实施例当中的网页表格数据处理方法能够在网页中快速、准确的获取到需要的表格数据，并能够根据用户的需要对获取到的表格数据进行对应的格式化处理，在提高了工作效率的同时，大幅减少了表格数据格式化处理的成本，有利于大范围的推广与使用。

请参阅图2，所示为本申请一实施例提供的网页表格数据处理方法，具体包括以下步骤：

步骤S11，采集web页面中的网页内容；将网页内容中的表格数据按照预设文件格式采集到hdfs中的分布式存储系统中，预设文件格式包括csv以及json。

具体的，在本实施例中，会通过编程语言python来采集需要的web页面中的网页内容，可以理解的是，该web页面包括上述网页内容，且该网页内容包括需要的表格以及该表格中的表格数据。

进一步的，为了便于对该表格数据进行处理，会将该表格数据按照预设文件格式采集到上述hdfs中的分布式存储系统中，具体的，上述预设文件格式可以为csv、json等半格式化文件格式。

在本实施例中，需要说明的是，在上述获取待处理的网页内容，并将网页内容中的表格数据采集到hdfs中的步骤之后，该方法还包括：

步骤S21，在spark中构建第一DAG有向无环图，以将网页内容中的表格数据存储至hive中。

具体的，在本步骤中，通过编程语言scala在spark中构建第一DAG有向无环图以生成第一存储命令，通过执行该第一存储命令可将上述网页内容中的表格数据存储在上述hive中。其中，上述DAG有向无环图为在图论中，如果一个有向图无法从某个顶点出发经过若干条边回到该点，则该图就是一个有向无环图(DAG图)。

步骤S31，通过scala在spark中构建第二DAG有向无环图，以按照预设文件读取格式在hive中读取出表格数据；构建html标签集合，并通过正则匹配替换掉与html标签集合匹配的读取出的表格数据。

具体的，在本步骤中，通过上述scala在上述spark中构建第二DAG有向无环图，以生成读取命令，再通过执行该读取命令可按照预设文件格式在上述hive中读取出需要的表格数据。进一步的，再构建html标签集合，并通过正则匹配替换掉与该html标签集合匹配的读取出的表格数据。

例如html标签集合中包含有<tr.*>、</tr>、<thead>、<td.*？>、</td>、<th.*？>、</th>、<table.*？>、</table>、<tbody>、</tbody>、</thead>、<span.*？>、</span>等标签，正则匹配方法在获取的网页数据中匹配到以上标签时，正则替换方法将这些标签替换成空字符。

步骤S41，获取用户的配置文件，并判断配置文件中是否包括schema。

需要说明的是，本步骤与上述步骤S30的实施过程相同，具体的，当获取到需要的表格数据时，最后需要获取用户的配置文件，具体的，该配置文件包括源数据库表名、结果库表名、文件分隔符、处理并行度以及处理内存等。另外，需要说明的是，用户还能够根据自身的需要来决定是否需要添加schema。

因此，当获取到用户的配置文件时，会立即判断该配置文件中是否包括用户指定的schema，若在所述配置文件中包括schema，则执行步骤S51。

步骤S51，在所述配置文件中包括schema的情况下，根据所述schema对替换过后的表格数据进行格式化处理。

具体的，当判断到用户发送的配置文件包括schema时，则会根据用户提供的schema制作出对应的个性化表格。

另外，当没有判断到用户发送的配置文件包括schema时，则会根据默认的表格形式，制作出默认的表格。

从而能够使用户在网页内容中快速、准确的获取到需要的表格数据，在提高了工作效率的同时，大幅减少了表格数据格式化处理的成本，有利于大范围的推广与使用。

在本实施例中，需要说明的是，在上述根据schema对替换过后的表格数据进行格式化处理的步骤之后，该方法还包括：

步骤S61，在spark中构建第三DAG有向无环图，以将格式化处理过后的表格数据存储至hive中。

具体的，在本步骤中，通过上述scala在上述spark中构建第三DAG有向无环图以生成第二存储命令，再通过执行该第二存储命令可将上述格式化处理过后的表格数据存储在上述hive中。

综上，本申请上述实施例当中的网页表格数据处理方法能够在网页中快速、准确的获取到需要的表格数据，并能够根据用户的需要对获取到的表格数据进行对应的格式化处理，在提高了工作效率的同时，大幅减少了表格数据格式化处理的成本，有利于大范围的推广与使用。

请参阅图3，所示为本申请一实施例提供的网页表格数据处理系统，该网页表格数据处理系统具体包括：

采集模块12，用于获取待处理的网页内容，并将网页内容中的表格数据采集到hdfs中；

匹配模块22，用于构建html标签集合，并通过正则匹配替换掉与html标签集合匹配的表格数据；

判断模块32，用于获取用户的配置文件，并判断配置文件中是否包括schema；

执行模块42，用于若判断到配置文件中包括schema时，则根据schema对替换过后的表格数据进行格式化处理。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

其中，上述网页表格数据处理系统中，采集模块12还用于：

采集web页面中的网页内容；

将网页内容中的表格数据按照预设文件格式采集到hdfs中的分布式存储系统中，预设文件格式包括csv和/或json。

其中，上述网页表格数据处理系统中，网页表格数据处理系统还包括第一存储模块52，第一存储模块52还用于：

在spark中构建第一DAG有向无环图，以将网页内容中的表格数据存储至hive中。

其中，上述网页表格数据处理系统中，匹配模块22具体用于：

通过scala在spark中构建第二DAG有向无环图，以按照预设文件读取格式在hive中读取出表格数据；

构建html标签集合，并通过正则匹配替换掉与html标签集合匹配的读取出的表格数据。

其中，上述网页表格数据处理系统中，网页表格数据处理系统还包括第二存储模块62，第二存储模块62具体用于：

在spark中构建第三DAG有向无环图，以将格式化处理过后的表格数据存储至hive中。

需要说明的是，上述的实施过程只是为了说明本申请的可实施性，但这并不代表本申请的网页表格数据处理系统只有上述唯一一种实施结构，相反的，只要能够将本申请的网页表格数据处理系统实施起来，都可以被纳入本申请的可行实施方案。

本申请一实施例提供了一种计算机，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一实施例提供的网页表格数据处理方法。

本申请一实施例提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一实施例提供的网页表格数据处理方法。

综上，本申请上述实施例当中的网页表格数据处理方法、系统、计算机及可读存储介质能够在网页中快速、准确的获取到需要的表格数据，并能够根据用户的需要对获取到的表格数据进行对应的格式化处理，在提高了工作效率的同时，大幅减少了表格数据格式化处理的成本，有利于大范围的推广与使用。

另外，结合图1描述的本申请一实施例提供的网页表格数据处理方法可以由计算机设备来实现。图4为本申请一实施例提供的计算机设备的硬件结构示意图。

该计算机设备可以基于获取到的可读存储介质，执行本申请任一实施例提供的网页表格数据处理方法，从而实现结合图1描述的网页表格数据处理方法。

另外，结合上述实施例提供的网页表格数据处理方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述任意一实施例提供的网页表格数据处理方法。

其中，需要说明的是，上述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行移动终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

并且存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器所执行的可能的计算机程序指令。

更进一步的，处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例提供的网页表格数据处理方法。

另外，输入单元可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，输入单元可包括触控面板以及其他输入设备。触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器，并能接收处理器发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板。除了触控面板，输入单元还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种菜单。显示单元可包括显示面板，可选的，可以采用液晶显示器(Liquid CrystalDisplay，简称为LCD)、有机发光二极管(Organic Light-Emitting Diode，简称为OLED)等形式来配置显示面板。进一步的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然触控面板与显示面板是作为两个独立的部件来实现移动终端的输入和输入功能，但是在某些实施例中，可以将触控面板与显示面板集成而实现移动终端的输入和输出功能。

处理器是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

通信接口用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线包括硬件、软件或两者，将部件彼此耦接在一起。总线包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。在合适的情况下，总线可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。