阅读说明：本技术 一种快速通用的埋点数据采集方法 (Rapid and universal buried point data acquisition method ) 是由 俞志坚 于 2020-04-27 设计创作，主要内容包括：本发明公开了一种快速通用的埋点数据采集方法,属于数据采集技术领域,包括如下步骤：S1：建立数据采集模块,通过数据采集模块提供数据接口,数据接口接收渠道上报的埋点原始数据；S2：建立渠道管理模块,将渠道管理模块与数据采集模块相连接,通过渠道管理模块为对应的渠道提供参数配置管理,以及数据处理分析的参数依据；S3：建立数据处理模块；S4：建立数据存储模块。采用固定数据上报接口上传参数并从渠道管理模块动态读取的方法,如果采集数据的需求有变,直接在对应的渠道管理模块里添加或修改需要上报的字段,无需再耗费大量的人力去开发新的接口,快速高效接收数据上报。(The invention discloses a quick and universal buried point data acquisition method, which belongs to the technical field of data acquisition and comprises the following steps: s1: establishing a data acquisition module, providing a data interface through the data acquisition module, and receiving the buried point original data reported by a channel through the data interface; s2: establishing a channel management module, connecting the channel management module with a data acquisition module, and providing parameter configuration management and parameter basis for data processing and analysis for a corresponding channel through the channel management module; s3: establishing a data processing module; s4: and establishing a data storage module. By adopting the method of uploading parameters through a fixed data reporting interface and dynamically reading the parameters from the channel management module, if the requirement of data acquisition is changed, the fields to be reported are directly added or modified in the corresponding channel management module, a large amount of manpower is not required to be consumed to develop a new interface, and the data report is quickly and efficiently received.)

一种快速通用的埋点数据采集方法

技术领域

本发明涉及数据采集技术领域，特别涉及一种快速通用的埋点数据采集方法。

背景技术

随着互联网技术的快速发展，大数据已经在人类社会实践中发挥着巨大的优势，其利用价值也超出我们的想像，特别是近些年新零售概念的提出，大数据也越来越多地应用于营销分析,以及营销策略的制定，优化业务流程，比如供应链或配送路径优化等场景；

数据是实现大数据研究的基石，所以如何快速高效地采集到多渠道，多维度的数据对大数据应用与研究有着极其重要的作用。新零售背景下行业竞争激烈，商场信息瞬息万变，已进入效率为王的时代。如何提升数据采集对接变得至关重要；新零售背景下，急需实现用户数字化、门店数字化、渠道数字化、供应链数字化、营销数字化；新零售的每一个环节都会产生数据,数据又是新零售的内在核心驱动力；面对各种各样的场景数据，如何采集统一采集这些数据，成为了急需解决的问题。

专利号为CN201210044164.5提供一种数据采集方法及装置、移动终端。该数据采集方法可以用于包括多个数据采集单元的装置中，所述方法包括：至少两个数据采集单元根据一采集起始时刻同时以各自的采集频率采集初步数据；根据一同步采集频率采集所述至少两个数据采集单元所采集的初步数据以得到同步数据；其中，所述同步采集频率为所述至少两个数据采集单元各自的采集频率的公约数频率。该数据采集方法及装置、移动终端通过调整至少两个数据采集单元的采集起始时刻，并同时按照同步采集频率从初步数据中抓取同步数据的方式，获得了多组各个数据采集单元在相同时刻采集的准确数据，从而使得利用该多组准确数据的应用程序可以避免误差的产生。

专利号为CN201711143888.4提供一种数据采集方法，所述数据采集方法包含：根据用户查询需求，配置复数个预置查询模块，根据所述预置查询模块及其对应的数据源位址信息生成任务配置表；获取用户指令，解析所述用户指令中涉及的复数个用户查询需求，并将所述用户查询需求写入预置的任务记录表中；所述任务记录表根据所述用户查询需求调取所述任务配置表中对应的预置查询模块，并将查询条件补入所述预置查询模块中获得定制化查询语句；根据所述定制化查询语句及其对应的数据源位址信息查询数据库，获得目标数据。

但是上述两个专利中均采用传统的收集方法：针对每一种场景设计一种采集方式，当需求有变动，或者需要增加新的应用场景时，就需要重新定义，开发采集接口；对接和上报，往往费时又费力，并面容易出错，因此，传统采集方式存在的弊端，如何在需求多变，零售场景不断改变的情况下，可以快速根据需求变动，快速实现数据采集是现在急需解决的一个重要问题。

发明内容

本发明的目的在于提供一种快速通用的埋点数据采集方法，采用固定数据上报接口上传参数并从渠道管理模块动态读取的方法，如果采集数据的需求有变，直接在对应的渠道管理模块里添加或修改需要上报的字段，无需再耗费大量的人力去开发新的接口，快速高效接收数据上报，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种快速通用的埋点数据采集方法，包括如下步骤：

S1：建立数据采集模块，通过数据采集模块提供数据接口，数据接口接收渠道上报的埋点原始数据；

S2：建立渠道管理模块，将渠道管理模块与数据采集模块相连接，通过渠道管理模块为对应的渠道提供参数配置管理，以及数据处理分析的参数依据；

S3：建立数据处理模块，将渠道管理模块与数据处理模块相连接，通过数据处理模块对渠道管理模块接收到的数据进行过滤；

S4：建立数据存储模块，数据存储模块与数据处理模块相连接，通过数据存储模块对数据进行分类和排序，将数据规则化和持久化，为后续的分析和处理奠定基础。

进一步地，S1事先设置网页埋点、数据库埋点、终端设备埋点、客户端埋点，网页埋点、数据库埋点、终端设备埋点、客户端埋点和数据采集模块之间建立渠道。

进一步地，所述数据采集模块通过485接口进行数据传输，数据处理模块通过7S5串口与网络服务器连接，数据存储模块通过UART串行接口与数据库连接。

进一步地，所述数据采集模块的工作电压为DC 3.5V或5V，数据处理模块的工作电压为DC 4-4.2V，数据存储模块的工作电压为DC 3.3-5V。

进一步地，S1包括如下步骤：

S101：由数据采集接口、接口验证单元、数据上报单元和删除单元构成数据采集模块；

S102：将数据采集接口分别与渠道、接口验证单元对接，各个埋点的数据信息依次通过渠道、数据采集接口传输接口验证单元，接口验证单元筛选出无效数据；

S103：接口验证单元分别与数据上报单元、删除单元对接，无效数据通过删除单元直接删除，经过筛选的有效数据被数据上报单元传输至渠道管理模块。

进一步地，S1包括如下步骤：

S101：由数据采集接口、接口验证单元、数据上报单元、无效数据库和定期清理单元构成数据采集模块；

S102：将数据采集接口分别与渠道、接口验证单元对接，各个埋点的数据信息依次通过渠道、数据采集接口传输接口验证单元，接口验证单元筛选出无效数据；

S103：接口验证单元分别与数据上报单元、无效数据库对接，无效数据被传输至无效数据库，在无效数据库中依照日期排序存储，经过筛选的有效数据被数据上报单元传输至渠道管理模块；

S104：无效数据库与定期清理单元相连接，定期清理单元主动清理某一段时间之外的全部数据，无效数据库中只保留部分无效数据。

进一步地，S2包括如下步骤：

S201：由数据获取单元、判断单元、执行单元和删除单元构成渠道管理模块；

S202：数据获取单元分别与判断单元和数据采集模块建立连接，通过数据获取单元动态获取数据采集模块提供的埋点原始数据，并将数据传输至判断单元，判断单元判断数据的有效性；

S203：判断单元分别与执行单元和删除单元建立连接，筛选后的有效数据被传输至执行单元，有效单元将数据传输至数据处理模块，无效数据被传输至删除单元直接删除。

进一步地，S2包括如下步骤：

S201：由数据获取单元、判断单元、执行单元、无效数据库和定期清理单元构成渠道管理模块；

S202：数据获取单元分别与判断单元和数据采集模块建立连接，通过数据获取单元动态获取数据采集模块提供的埋点原始数据，并将数据传输至判断单元，判断单元判断数据的有效性；

S203：判断单元分别与执行单元、无效数据库建立连接，筛选后的有效数据被传输至执行单元，有效单元将数据传输至数据处理模块，无效数据被传输至无效数据库；

S204：无效数据库与定期清理单元相连接，定期清理单元主动清理某一段时间之外的全部数据，无效数据库中只保留部分无效数据。

进一步地，S3中数据通过分类筛选、聚类、转换、相似匹配、频繁项集、统计描述、链接预测和因果分析进行处理。

进一步地，S4中包括如下步骤：

S401：由数据排序单元、数据压缩单元和存储单元构成数据存储模块；

S402：数据处理模块与数据排序单元建立连接，进入数据存储模块的数据进行排序，排序后经数据压缩单元压缩，缩小数据占用的体积，最后进入存储单元，持久化存储数据。

与现有技术相比，本发明的有益效果是：本发明提出的一种快速通用的埋点数据采集方法，针对传统的数据采集技术方案已无法快速满足新零售需求多变，需求不定的问题，采用固定数据上报接口，接口上传参数，从渠道管理模块动态读取的方法；如果采集数据的需求有变，直接在对应的渠道管理模块里添加或修改需要上报的字段；由于是根据渠道编号唯一确定上报参数的，所以不同渠道的需求变更不会相互影响；如果有新的渠道场景，只需要在渠道管理模块里新加一个渠道号和对应渠道需要上报的字段即可，无需再耗费大量的人力去开发新的接口，快速高效接收数据上报。

附图说明

图1为本发明的快速通用的埋点数据采集方法的整体结构图；

图2为本发明的快速通用的埋点数据采集方法的拓扑图；

图3为本发明的快速通用的埋点数据采集方法的数据采集模块结构框图；

图4为本发明的快速通用的埋点数据采集方法的渠道管理模块结构框图；

图5为本发明的快速通用的埋点数据采集方法的流程图；

图6为本发明实施例一中的快速通用的埋点数据采集方法的数据采集模块流程图；

图7为本发明实施例一中的快速通用的埋点数据采集方法的渠道管理模块流程图；

图8为本发明的快速通用的埋点数据采集方法的数据存储模块流程图；

图9为本发明实施例二中的快速通用的埋点数据采集方法的数据采集模块流程图；

图10为本发明实施例二中的快速通用的埋点数据采集方法的渠道管理模块流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

参阅图1-8，一种快速通用的埋点数据采集方法，包括如下步骤：

S1：建立数据采集模块，通过数据采集模块提供数据接口，数据接口接收渠道上报的埋点原始数据；事先设置网页埋点、数据库埋点、终端设备埋点、客户端埋点，网页埋点、数据库埋点、终端设备埋点、客户端埋点和数据采集模块之间建立渠道；其中埋点具有多样化网页埋点主要应用于互联网的网页中，获取浏览数据以及用于点击数据，数据库埋点用于监控数据库内部信息的变化，终端设备主要是用于生活生产中具有数据系统的机械设备，以及信号通讯设备，用于获取机械设备，以及信号通讯设备接收或者发出的指令数据，操作数据以及设备内部的存储数据，客户端埋点则是针对手机App设置的，手机被广泛应用于日常生活中，主要用于接收人们日常生活中零散的数据信息，扩大原始数据来源范围，上述埋点种类包括网页埋点、数据库埋点、终端设备埋点、客户端埋点，但不仅限于这部分埋点。

数据采集模块建立具体实施步骤如下：

S101：由数据采集接口、接口验证单元、数据上报单元和删除单元构成数据采集模块。

S102：将数据采集接口分别与渠道、接口验证单元对接，各个埋点的数据信息依次通过渠道、数据采集接口传输接口验证单元，接口验证单元筛选出无效数据；其中验证单元采用数据有效性验证方法对数据进行验证。

S103：接口验证单元分别与数据上报单元、删除单元对接，无效数据通过删除单元直接删除，经过筛选的有效数据被数据上报单元传输至渠道管理模块；依照日期排序为S104中只保留一段时间内的无效数据奠定基础。

S2：建立渠道管理模块，将渠道管理模块与数据采集模块相连接，通过渠道管理模块为对应的渠道提供参数配置管理，以及数据处理分析的参数依据；数据获取单元由多个字段构成，需要埋点上报的数据所对应的字段在渠道管理模块维护，数据采集模块提供统一的数据接收接口，上报数据字段以及字段类型，根据数据上报的来源渠道，从渠道管理系统里获取渠道对应的数据字段和字段类型，实现快速对接，由于是根据渠道编号唯一确定上报参数的，所以不同渠道的需求变更不会相互影响；如果有新的渠道场景，只需要在渠道管理模块里新加一个渠道号和对应渠道需要上报的字段即可，无需再耗费大量的人力去开发新的接口。

渠道管理模块建立的具体实施步骤如下：

S201：由数据获取单元、判断单元、执行单元和删除单元构成渠道管理模块。

S202：数据获取单元分别与判断单元和数据采集模块建立连接，通过数据获取单元动态获取数据采集模块提供的埋点原始数据，并将数据传输至判断单元，判断单元判断数据的有效性；判断数据的有效性首先需要获得埋点提供的原数据，确定验证原数据的至少一个应用场景；根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括：当前应用场景的账户登录参数；将任意一个应用场景对应的配置参数分别加载至原数据，生成至少一个待验证数据；获取任意一个应用场景对应的验证项目；基于验证项目验证待验证数据，得到验证结果，根据验证结果判定数据的有效性与否；S102中验证数据有效性同样采取上述方法。

S203：判断单元分别与执行单元和删除单元建立连接，筛选后的有效数据被传输至执行单元，有效单元将数据传输至数据处理模块，无效数据被传输至删除单元直接删除。

S3：建立数据处理模块，将渠道管理模块与数据处理模块相连接，通过数据处理模块对渠道管理模块接收到的数据进行过滤；数据通过分类筛选、聚类、转换、相似匹配、频繁项集、统计描述、链接预测和因果分析进行处理；其中分类筛选可将数据划分为不同的部分和类型，剔除数据中的无效数据和残缺数据，并将该部分数据进行对应转换处理，转换主要是将图像转换为图片，声音、图片以及光电转换为电信号，利用A/D转换器将电信号转换为数字，在数据分类之后会出现某些数据的内在性质相同、相似或者具有相同、相似的特性，将该部分数据整合聚集，便于数据后续的分析处理，并根据现有的数据进行预测，分析数据之间的关联。

S4：建立数据存储模块，数据存储模块与数据处理模块相连接，通过数据存储模块对数据进行分类和排序，将数据规则化和持久化，为后续的分析和处理奠定基础。

数据存储模块建立的具体实施步骤如下：

S401：由数据排序单元、数据压缩单元和存储单元构成数据存储模块，数据排序的方式可以根据时间、空间或其他特定具有标志性序列特性的方式进行排序。

S402：数据处理模块与数据排序单元建立连接，进入数据存储模块的数据进行排序，排序后经数据压缩单元压缩，缩小数据占用的体积，最后进入存储单元，持久化存储数据。

实施例二：

参阅图1-5，图8-10，一种快速通用的埋点数据采集方法，包括如下步骤：

S1：建立数据采集模块，通过数据采集模块提供数据接口，数据接口接收渠道上报的埋点原始数据；事先设置网页埋点、数据库埋点、终端设备埋点、客户端埋点，网页埋点、数据库埋点、终端设备埋点、客户端埋点和数据采集模块之间建立渠道；其中埋点具有多样化网页埋点主要应用于互联网的网页中，获取浏览数据以及用于点击数据，数据库埋点用于监控数据库内部信息的变化，终端设备主要是用于生活生产中具有数据系统的机械设备，以及信号通讯设备，用于获取机械设备，以及信号通讯设备接收或者发出的指令数据，操作数据以及设备内部的存储数据，客户端埋点则是针对手机App设置的，手机被广泛应用于日常生活中，主要用于接收人们日常生活中零散的数据信息，扩大原始数据来源范围，上述埋点种类包括网页埋点、数据库埋点、终端设备埋点、客户端埋点，但不仅限于这部分埋点。

数据采集模块建立的具体实施步骤如下：

S101：由数据采集接口、接口验证单元、数据上报单元、无效数据库和定期清理单元构成数据采集模块。

S102：将数据采集接口分别与渠道、接口验证单元对接，各个埋点的数据信息依次通过渠道、数据采集接口传输接口验证单元，接口验证单元筛选出无效数据；其中验证单元采用数据有效性验证方法对数据进行验证。

S103：接口验证单元分别与数据上报单元、无效数据库对接，无效数据被传输至无效数据库，在无效数据库中依照日期排序存储，经过筛选的有效数据被数据上报单元传输至渠道管理模块；依照日期排序为S104中只保留一段时间内的无效数据奠定基础。

S104：无效数据库与定期清理单元相连接，定期清理单元主动清理某一段时间之外的全部数据，无效数据库中只保留部分无效数据。

S2：建立渠道管理模块，将渠道管理模块与数据采集模块相连接，通过渠道管理模块为对应的渠道提供参数配置管理，以及数据处理分析的参数依据；数据获取单元由多个字段构成，需要埋点上报的数据所对应的字段在渠道管理模块维护，数据采集模块提供统一的数据接收接口，上报数据字段以及字段类型，根据数据上报的来源渠道，从渠道管理系统里获取渠道对应的数据字段和字段类型，实现快速对接，由于是根据渠道编号唯一确定上报参数的，所以不同渠道的需求变更不会相互影响；如果有新的渠道场景，只需要在渠道管理模块里新加一个渠道号和对应渠道需要上报的字段即可，无需再耗费大量的人力去开发新的接口。

渠道管理模块建立的具体实施步骤如下：

S201：由数据获取单元、判断单元、执行单元、无效数据库和定期清理单元构成渠道管理模块。

S202：数据获取单元分别与判断单元和数据采集模块建立连接，通过数据获取单元动态获取数据采集模块提供的埋点原始数据，并将数据传输至判断单元，判断单元判断数据的有效性；判断数据的有效性首先需要获得埋点提供的原数据，确定验证原数据的至少一个应用场景；根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括：当前应用场景的账户登录参数；将任意一个应用场景对应的配置参数分别加载至原数据，生成至少一个待验证数据；获取任意一个应用场景对应的验证项目；基于验证项目验证待验证数据，得到验证结果，根据验证结果判定数据的有效性与否，S102中验证数据有效性同样采取上述方法。

S203：判断单元分别与执行单元、无效数据库建立连接，筛选后的有效数据被传输至执行单元，有效单元将数据传输至数据处理模块，无效数据被传输至无效数据库。

S204：无效数据库与定期清理单元相连接，定期清理单元主动清理某一段时间之外的全部数据，无效数据库中只保留部分无效数据，确保无效数据库不会发生存储爆满的情况，且在数据被检测出有所丢失之后，能够追溯至无效数据库中找回数据，S1中同样采用无效数据库和定期清理单元也是为了边缘问题数据的追溯。

S3：建立数据处理模块，将渠道管理模块与数据处理模块相连接，通过数据处理模块对渠道管理模块接收到的数据进行过滤；数据通过分类筛选、聚类、转换、相似匹配、频繁项集、统计描述、链接预测和因果分析进行处理；其中分类筛选可将数据划分为不同的部分和类型，剔除数据中的无效数据和残缺数据，并将该部分数据进行对应转换处理，转换主要是将图像转换为图片，声音、图片以及光电转换为电信号，利用A/D转换器将电信号转换为数字，在数据分类之后会出现某些数据的内在性质相同、相似或者具有相同、相似的特性，将该部分数据整合聚集，便于数据后续的分析处理，并根据现有的数据进行预测，分析数据之间的关联。

S4：建立数据存储模块，数据存储模块与数据处理模块相连接，通过数据存储模块对数据进行分类和排序，将数据规则化和持久化，为后续的分析和处理奠定基础。

数据存储模块建立的具体实施步骤如下：

S401：由数据排序单元、数据压缩单元和存储单元构成数据存储模块，数据排序的方式可以根据时间、空间或其他特定具有标志性序列特性的方式进行排序。

S402：数据处理模块与数据排序单元建立连接，进入数据存储模块的数据进行排序，排序后经数据压缩单元压缩，缩小数据占用的体积，最后进入存储单元，持久化存储数据。

综上所述：本发明提出的一种快速通用的埋点数据采集方法，针对传统的数据采集技术方案已无法快速满足新零售需求多变，需求不定的问题，采用固定数据上报接口，接口上传参数，从渠道管理模块动态读取的方法；如果采集数据的需求有变，直接在对应的渠道管理模块里添加或修改需要上报的字段；由于是根据渠道编号唯一确定上报参数的，所以不同渠道的需求变更不会相互影响；如果有新的渠道场景，只需要在渠道管理模块里新加一个渠道号和对应渠道需要上报的字段即可，无需再耗费大量的人力去开发新的接口，快速高效接收数据上报。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。