具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。

本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个第一位置是指两个或两个以上的第一位置。

本申请实施例涉及云技术领域内的大数据分析处理过程，因此在介绍本申请实施例之前，首先引入一些云技术领域内的基本概念，下面进行介绍。

云技术(Cloud Technology)：是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也即是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成云技术领域的重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，均能通过云计算来实现。

大数据(Big data)：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

本申请实施例还涉及人工智能领域内的机器学习技术，以下引入一些人工智能领域内的基本概念，下面进行介绍。

人工智能(Artificial Intelligence，AI)：人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)：机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本申请实施例提供的方案涉及人工智能的机器学习等技术，通过如下实施例进行说明。

图1是本申请实施例提供的一种数据处理方法的实施环境示意图。参见图1，该实施环境包括终端101和服务器102，下面进行说明：

终端101安装和运行有支持网页服务的应用程序，该应用程序包括但不限于：浏览器应用、社交应用、点餐应用、支付应用、打车应用、短视频应用等。在一个示例中，终端101可以通过浏览器应用直接向服务器102发送用于访问某一网页的网页请求，在另一个示例中，终端101还可以通过社交应用中内置的嵌入式程序来向服务器102发送用于访问某一网页的网页请求，本申请实施例对此不进行具体限定。

终端101可以通过有线或无线通信方式与服务器102进行直接或间接地连接，本申请实施例在此不对连接方式进行限制。

服务器102用于为上述应用程序提供后台服务，服务器102包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。可选地，服务器102承担主要计算工作，终端101承担次要计算工作；或者，服务器102承担次要计算工作，终端101承担主要计算工作；或者，服务器102和终端101两者之间采用分布式计算架构进行协同计算。

在一些实施例中，服务器102是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一些实施例中，终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、电子书阅读器等，但并不局限于此。

本领域技术人员可以知晓，上述终端101的数量可以更多或更少。比如上述终端101可以仅为一个，或者上述终端101为几十个或几百个，或者更多数量。本申请实施例对终端101的数量和设备类型不加以限定。

图2是本申请实施例提供的一种数据处理方法的流程图。参见图2，该实施例应用于计算机设备，下面以计算机设备为服务器为例进行说明，该实施例包括下述步骤：

201、服务器基于在目标时间段内的多个网页请求，确定该多个网页请求所访问的多个网页。

可选地，服务器可以是网站服务器，也可以是多台服务器所集成的用于提供多项业务的服务器集群，该多项业务中至少包括网页服务，本申请实施例对此不进行具体限定。

在一些实施例中，服务器对于接收到的各个终端发送的网页请求，可以利用数据采集模块来实时采集上述各个网页请求，并将采集到的各个网页请求存储在目标数据库中，其中，该数据采集模块可以是一个流量数据采集和分析平台，该目标数据库可以是一个数据存储和分析系统。可选地，在目标数据库中，以每一天为分区来累计每一天中接收到的各个网页请求，例如，在段页式存储结构下，将同一天所接收到的网页请求存储在同一个存储页面中，在键值型存储结构下，将每一天的日期作为键名(Key)，将每一天所接收到的各个网页请求作为键值(Value)，从而以键值对的方式来存储网页请求。

在一些实施例中，服务器从目标数据库中读取该目标时间段内的所有网页请求作为该多个网页请求，或者，服务器从目标数据库中位于该目标时间段内的所有网页请求中，随机选取目标数量个网页请求作为该多个网页请求，或者，服务器从目标数据库中位于该目标时间段内的所有网页请求中，按照预设策略来选取目标数量个网页请求作为该多个网页请求，本申请实施例对此不作具体限定。其中，该目标时间段可以是任一时间段，例如，该目标时间段为前N(N≥0)天至当天，或者，该目标时间段为当月第一天至当天，或者，该目标时间段为上一周。

可选地，上述目标策略包括但不限于：选取数据量大于目标数据量的网页请求，或者，选取访问频次大于频次阈值的网页请求，或者，选取携带指定字符串的网页请求等，目标策略可由开发人员进行自定义设置，本申请实施例不对目标策略的内容进行具体限定。

在一些实施例中，服务器从目标数据库中获取到该多个网页请求之后，可以利用数据预处理模块对该多个网页请求进行数据预处理工作。可选地，该数据预处理工作包括：对于该多个网页请求中的任一网页请求，服务器读取该网页请求的第一目标字段和第二目标字段；将该第一目标字段和该第二目标字段进行字符串拼接，得到该任一网页请求所访问的网页http_req。

在一些实施例中，该第一目标字段用于指示该任一网页请求所请求访问的网站名称，例如，该第一目标字段可以是HTTP请求的HOST字段，该第二目标字段用于指示该任一网页请求所请求访问的页面名称，例如，该第二目标字段可以是HTTP请求的CGI(CommonGateway Interface，通用网关接口)字段。

在一些实施例中，服务器在字符串拼接以获取http_req之后，还可以采用“NUM”字符串替换掉http_req中的两个“/”中的连续数字，从而能够简化后续的待处理的http_req数据，以便于后续的高业务价值的流量挖掘工作。当然，服务器也可以不执行上述替换连续数字的步骤，这样能够简化数据处理流程。

202、服务器获取该多个网页各自对应的多个目标群体指数TGI，该多个网页中任一网页的TGI用于表示该任一网页在该多个网页中的重要程度。

其中，TGI是指目标群体系数(Target Group Index)，是反映目标群体在特定研究范围内的强势或弱势的指数，表征不同特征用户关注问题的差异情况。

在一些实施例中，以该多个网页中的任一网页为例，服务器可以将访问该任一网页的网页请求的数量与该多个网页请求的数量之间的比值，获取为该任一网页的TGI，从而能够使用TGI来反映某一网页在所有网页中的重要程度，任一网页的TGI可以表示为如下公式：

其中，num_{http_req}表示任一网页http_req的访问次数(也即访问该任一网页http_req的网页请求的数量)，num_all表示所有http_req的访问次数(也即该多个网页请求的数量)。

在一些实施例中，基于上述TGI公式的基础，还可以针对指定业务场景下的不同账号，分别获取不同账号针对该任一网页各自的TGI，并基于不同账号针对该任一网页各自的TGI来获取该任一网页综合的TGI。

也即是说，服务器可以从该多个网页请求中，确定由至少一个第一账号触发的至少一个第一网页请求以及由至少一个第二账号触发的至少一个第二网页请求；对于该多个网页中的任一网页，基于该至少一个第一网页请求，确定由该至少一个第一账号触发的且访问该任一网页的第一TGI；基于该至少一个第二网页请求，确定由该至少一个第二账号触发的且访问该任一网页的第二TGI；基于该第一TGI和该第二TGI，确定该任一网页对应的TGI。

可选地，该第一账号和第二账号属于不同的账号类别，在指定业务场景下可以根据业务情况来划分某一用户账号是第一账号还是第二账号。例如，按照消费额度对用户账号进行类别划分，或者，按照日活跃时长对用户账号进行类别划分，或者，按照总访问次数对用户账号进行类别划分，本申请实施例对此不进行具体限定。

在一个示例中，按照消费额度对用户账号进行类别划分，将消费额度大于或等于目标额度的用户账号获取为第一账号，将消费额度小于目标额度的用户账号获取为第二账号，在这种情况下，第一账号可以称为核心用户账号，而第二账号可以称为普通用户账号。由于第一账号与第二账号具有不同的业务特点，也即代表第一账号所对应的第一用户与第二账号所对应的第二用户是不同的用户群体，在本申请实施例中，将第一用户称为转化人群，将第二用户称为普通人群。

可选地，服务器可以按照业务情况自行划分第一账号和第二账号，或者，服务器还可以从与该指定业务场景相关的第三方机构中获取所有的第一账号，并将除了该第一账号之外的用户账号获取为第二账号，本申请实施例对此不进行具体限定。

在一些实施例中，在获取第一TGI时，服务器可以从该至少一个第一网页请求中，确定访问该任一网页的至少一个第三网页请求；将该至少一个第三网页请求的数量与该至少一个第一网页请求的数量之间的比值确定为该第一TGI。

在上述过程中，服务器基于第一账号所触发的第一网页请求，获取该任一网页相对于第一账号的第一TGI，该第一TGI也即能够代表该任一网页在第一账号所对应的转化人群中的TGI指数。

在一些实施例中，在获取第二TGI时，服务器可以从该至少一个第二网页请求中，确定访问该任一网页的至少一个第四网页请求；将该至少一个第四网页请求的数量与该至少一个第二网页请求的数量之间的比值确定为该第二TGI。

在上述过程中，服务器基于第二账号所触发的第二网页请求，获取该任一网页相对于第二账号的第二TGI，该第二TGI也即能够代表该任一网页在第二账号所对应的普通人群中的TGI指数。

在一些实施例中，在获取综合TGI时，服务器可以将该第一TGI与该第二TGI之间的比值确定为该任一网页对应的TGI。也即是说，该任一网页最终的真实TGI表示为该任一网页在转化人群的第一TGI与该任一网页在普通人群的第二TGI之间的比值，可以采用如下公式进行表示：

其中，表示该任一网页http_req在转化人群中的第一TGI，表示该任一网页http_req在普通人群中的第二TGI。

在上述过程中，利用目标时间段内积累的各个网页请求，通过为每个网页获取各自的TGI指数，能够通过TGI指数反映出每个网页在所有网页中的重要程度，从而便于基于TGI指数挖掘出具有较高业务价值的网页(也即挖掘高价值流量)，进一步地，在获取每个网页的TGI指数时，通过针对第一账号和第二账号，分别获取第一TGI和第二TGI，并将第一TGI和第二TGI的比值作为每个网页最终的TGI指数，使得TGI指数具有更强的表达能力，能够反映出每个网页在不同的用户群体之间的重要程度。

203、服务器基于该多个网页的该多个TGI，从该多个网页中确定多个第一网页，该多个第一网页的TGI符合第一目标条件。

在一些实施例中，该第一目标条件为TGI大于TGI阈值，此时服务器可以从该多个网页中，将TGI大于TGI阈值的各个网页确定为该多个第一网页。其中，该TGI阈值可以由开发人员进行自定义设置，TGI阈值可以是任一大于或等于0且小于或等于100的数值，例如，该TGI阈值为80。

在一些实施例中，该第一目标条件为TGI排序位于前K位(topK，K≥1)，此时服务器可以按照TGI从大到小的顺序，对各个网页进行排序，将排序位于前K位的网页确定为该多个第一网页。

在上述过程中，通过TGI指数的取值不同，可以对各个网页进行初步筛选，筛选出各个第一网页，这些第一网页也即是潜在的具有高业务价值的网页，进而通过下述步骤204在各个第一网页的基础上，二次筛选出最终的具有高业务价值的第二网页。

在一些实施例中，除了利用TGI筛选第一网页之外，由于在指定业务场景中，有可能仅需要关注一些流量较大的网页，因此服务器还可以获取该多个网页的多个人群覆盖量。可选地，该人群覆盖量用于表示该至少一个第一账号中访问每个网页的账号数量，也即，该人群覆盖量用于表示每个网页在转换人群中的覆盖程度。

在一些实施例中，该第一目标条件为TGI大于TGI阈值且人群覆盖量大于覆盖量阈值，此时服务器可以将TGI大于TGI阈值且人群覆盖量大于覆盖量阈值的各个网页确定为该多个第一网页。

在一些实施例中，该第一目标条件为TGI大于TGI阈值且人群覆盖率大于覆盖率阈值，此时服务器可以基于该多个网页的多个人群覆盖量，获取该多个网页的多个人群覆盖率，其中，每个网页的人群覆盖率为每个网页的人群覆盖量与所有第一账号的账号数量之间的比值。此时，服务器可以将TGI大于TGI阈值且人群覆盖率大于覆盖率阈值的各个网页确定为该多个第一网页。

在一些实施例中，该第一目标条件为TGI排序位于前K位且人群覆盖量大于覆盖量阈值，此时服务器可以将TGI排序位于前K位且人群覆盖量大于覆盖量阈值的各个网页确定为该多个第一网页。

在一些实施例中，该第一目标条件为TGI排序位于前K位且人群覆盖率大于覆盖率阈值，此时服务器可以将TGI排序位于前K位且人群覆盖率大于覆盖率阈值的各个网页确定为该多个第一网页。

需要说明的是，上述第一目标条件仅仅是几种示例性说明，开发人员可以根据业务需求来设置不同的第一目标条件，本申请实施例不对第一目标条件的内容进行具体限定。

204、服务器基于该多个第一网页的多个特征重要度参数，从该多个第一网页中确定多个第二网页，该多个第二网页的特征重要度参数符合第二目标条件。

在一些实施例中，服务器在从第一网页中筛选得到第二网页之前，可以通过下述方式来获取每个第一网页的特征重要度参数：基于与该多个第一网页对应的网页请求，获取至少一个第一账号分别对该多个第一网页的第一访问频次以及至少一个第二账号分别对该多个第一网页的第二访问频次；基于该第一访问频次和该第二访问频次，训练得到账号分类模型，该账号分类模型用于识别输入账号的账号类别，该账号类别至少包括该第一账号和该第二账号；基于该账号分类模型，获取该多个第一网页的该多个特征重要度参数，该特征重要度参数用于表示在识别账号类别的过程中，输入账号对任一第一网页的访问频次相较于输入账号对其他第一网页的访问频次的重要程度。

在一些实施例中，服务器可以统计各个第一账号分别对各个第一网页的第一访问频次，统计各个第二账号分别对各个第二网页的第二访问频次，基于该第一访问频次和第二访问频次，可以分别构建第一账号的频次特征和第二账号的频次特征，从而将第一账号的频次特征作为正样本，将第二账号的频次特征作为负样本，训练得到一个二分类模型也即账号分类模型，可选地，服务器也可以训练多分类模型作为账号分类模型，本申请实施例不对此进行具体限定。

在一些实施例中，服务器在训练账号分类模型时，可以基于该第一访问频次，构建正样本频次特征；基于该第二访问频次，构建负样本频次特征；基于该正样本频次特征和该负样本频次特征，迭代训练初始分类模型，得到该账号分类模型。

可选地，对每个第一账号，服务器根据每个第一账号对所有第一网页的第一访问频次，构建一个频次特征向量，对每个第一账号重复执行上述步骤，即可得到所有第一账号各自的频次特征向量。同理，对每个第二账号，服务器根据每个第二账号对所有第一网页的第二访问频次，构建一个频次特征向量，对每个第二账号重复执行上述步骤，即可得到所有第二账号各自的频次特征向量。

可选地，以账号分类模型为二分类模型为例，服务器将第一账号设置为正样本，将第二账号设置为负样本，服务器将所有账号(包括第一账号和第二账号)的频次特征向量均输入到初始分类模型中，通过该初始分类模型预测每个账号的账号类别，得到对每个账号的预测结果，将每个账号的预测结果与每个账号的真实结果进行对比，获取到本次迭代过程的损失函数值，如果不满足停止条件，调整初始分类模型的参数，迭代执行上述步骤，直到满足停止条件时，停止迭代，得到账号分类模型。

在一些实施例中，该账号分类模型可以是具有任一架构的分类模型，例如，GB(Gradient Boosting，梯度提升)、GBDT(Gradient Boosting Decision Tree，梯度提升决策树)、XGBoost(eXtreme Gradient Boosting，极限梯度提升)、LightGBM(Light GradientBoosting Machine，轻量梯度提升机器)等。

可选地，该停止条件为损失函数值小于损失阈值，或者，该停止条件为迭代次数大于目标次数，本申请实施例对此不进行具体限定。

在一些实施例中，服务器可以采用不同形式的损失函数，例如，采用均方误差形式的损失函数，或者，采用交叉熵形式的损失函数等，本申请实施例对此不进行具体限定。

在一个示例性实施例中，以该账号分类模型为XGBoost模型为例说明，XGBoost模型是一个由多个弱学习器所集成的强学习器，其中，弱学习器可以是CART(ClassificationAnd Regression Tree，分类和回归树)，也可以是线性分类器(gblinear)，本申请实施例对此不进行具体限定。XGBoost模型能够减小方差、偏差并改进预测效果，主要包含Boosting(提升算法)、Bagging(装袋算法)以及Stacking(集成算法)等机器学习算法。

对于XGBoost模型，服务器将任一账号的频次特征向量输入该XGBoost模型，也即将任一账号的频次特征向量输入该多个弱学习器，每个弱学习器都通过对任一账号的频次特征向量进行特征分裂，得到该弱学习器所在决策树的叶子节点，从而该弱学习器可以输出该任一账号的叶子节点分数，最终，服务器对多个弱学习器所输出的多个叶子节点分数进行加权处理，即可得到该任一账号是否属于第一账号的预测概率，可选地，预测概率是一个大于或等于0且小于或等于1的数值，当预测概率越大时，代表XGBoost模型预测该任一账号属于第一账号的可能性越大，当预测概率越小时，代表XGBoost模型预测该任一账号属于第一账号的可能性越小。可选地，每个决策树可以是二叉树，也即是每个弱学习器在进行特征分裂时都一分为二，分为左子树和右子树。

在一些实施例中，在对账号分类模型训练完毕后，即可调用特征重要度函数来获取各个第一网页的特征重要度参数，以XGBoost模型为例，特征重要度函数可以是xgb.feature_importances_函数。

在一些实施例中，特征重要度参数包括但不限于以下几种类型：

(1)增益(gain)参数，意味着相应的特征对通过对模型中的每个决策树采取每个特征的贡献而计算出的模型的相对贡献。与其他特征相比，此增益参数的较高值意味着它对于生成预测更为重要。

(2)覆盖度(cover)参数，指的是与此功能相关的观测的相对数量。例如，如果有100个观察值，4个特征和3棵树，并且假设特征1分别用于决定树1，树2和树3中10个，5个和2个观察值的叶节点，那么该覆盖度参数将计算此功能的覆盖范围为10+5+2＝17个观测值。这将针对所有4项功能进行计算，并将以17个百分比表示所有功能的覆盖指标。

(3)频率(freq)参数，是表示特定特征在模型树中发生的相对次数的百分比。在上面的例子中，如果特征1在每个树1，树2和树3中发生2个分裂，1个分裂和3个分裂，那么特征1的权重将是2+1+3＝6。特征1的频率被计算为其在所有特征的权重上的百分比权重。

可选地，服务器可以采取增益参数、覆盖度参数或者频率参数中的任一种作为特征重要度参数，从而用于指示如何从第一网页中筛选第二网页。

在一些实施例中，该第二目标条件为特征重要度参数大于特征重要度阈值，此时服务器可以从该多个第一网页中，将特征重要度参数大于特征重要度阈值的各个第一网页确定为该多个第二网页。其中，该特征重要度阈值可以由开发人员进行自定义设置。

在一些实施例中，该第二目标条件为特征重要度参数排序位于前T位(topT，T≥1)，此时服务器可以按照特征重要度参数从大到小的顺序，对各个第一网页进行排序，将排序位于前T位的第一网页确定为该多个第二网页。

在上述过程中，通过特征重要度参数指数的取值不同，可以对上述步骤203中已初步筛选所得的各个第一网页进行二次筛选，得到各个第二网页，这些第二网页也即是最终挖掘所得的具有高业务价值的网页，当然，也可以称为挖掘所得的高价值流量。

在一些实施例中，基于挖掘出的各个第二网页，能够应用针对指定业务场景的流量分析工作中，从而便于指导如何更好地进行业务推广和内容推荐，从而能够利于将更多的普通人群转变为转化人群。

上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请实施例提供的方法，通过累计目标时间段内的各个网页请求，并基于各个网页请求所访问的网页TGI指数，初步筛选出符合第一目标条件的各个第一网页，并第一网页中二次筛选出符合第二目标条件的各个第二网页，大大降低了针对具有高业务价值的网页的挖掘工作的人力成本，能够自动化地从海量的网页请求中挖掘出具有高业务价值的网页，从而提升了针对网页请求数据的处理效率。

图3是本申请实施例提供的一种数据处理方法的流程图，请参考图3，该实施例应用于计算机设备，以计算机设备为服务器为例进行说明，该实施例包括下述步骤：

301、服务器基于在目标时间段内的多个网页请求，确定该多个网页请求所访问的多个网页。

上述步骤301与上述步骤201类似，这里不做赘述。

302、服务器从该多个网页请求中，确定由至少一个第一账号触发的至少一个第一网页请求以及由至少一个第二账号触发的至少一个第二网页请求。

可选地，该第一账号和第二账号属于不同的账号类别，在指定业务场景下可以根据业务情况来划分某一用户账号是第一账号还是第二账号。例如，按照消费额度对用户账号进行类别划分，或者，按照日活跃时长对用户账号进行类别划分，或者，按照总访问次数对用户账号进行类别划分，本申请实施例对此不进行具体限定。

在一个示例中，按照消费额度对用户账号进行类别划分，将消费额度大于或等于目标额度的用户账号获取为第一账号，将消费额度小于目标额度的用户账号获取为第二账号，在这种情况下，第一账号可以称为核心用户账号，而第二账号可以称为普通用户账号。由于第一账号与第二账号具有不同的业务特点，也即代表第一账号所对应的第一用户与第二账号所对应的第二用户是不同的用户群体，在本申请实施例中，将第一用户称为转化人群，将第二用户称为普通人群。

可选地，服务器可以按照业务情况自行划分第一账号和第二账号，或者，服务器还可以从与该指定业务场景相关的第三方机构中获取所有的第一账号，并将除了该第一账号之外的用户账号获取为第二账号，本申请实施例对此不进行具体限定。

在一些实施例中，对该多个网页请求中的任一网页请求，服务器读取该任一网页请求中的第三目标字段，即可得到触发该任一网页请求的用户账号，此时可以按照业务情况自行划分该用户账号是第一账号还是第二账号，或者，服务器从与该指定业务场景相关的第三方机构中获取到所有的第一账号的列表后，查询该用户账号是否位于上述列表中，如果该用户账号命中列表中任一栏目，则确定该用户账号是第一账号，否则，如果该用户账号未命中列表中的所有栏目，则确定该用户账号是第二账号。可选地，该第三目标字段可以是用户标识(User ID)字段，本申请实施例对此不进行具体限定。

在一些实施例中，服务器可以在数据预处理工作中，预先确定出各个网页请求所对应的用户账号是否为第一账号，这样能够简化后续的数据分析流程。

303、服务器对于该多个网页中的任一网页，基于该至少一个第一网页请求，确定由该至少一个第一账号触发的且访问该任一网页的第一TGI。

在一些实施例中，服务器从该至少一个第一网页请求中，确定访问该任一网页的至少一个第三网页请求；将该至少一个第三网页请求的数量与该至少一个第一网页请求的数量之间的比值确定为该第一TGI。

在上述过程中，服务器基于第一账号所触发的第一网页请求，获取该任一网页相对于第一账号的第一TGI，该第一TGI也即能够代表该任一网页在第一账号所对应的转化人群中的TGI指数。

304、服务器基于该至少一个第二网页请求，确定由该至少一个第二账号触发的且访问该任一网页的第二TGI。

在一些实施例中，服务器从该至少一个第二网页请求中，确定访问该任一网页的至少一个第四网页请求；将该至少一个第四网页请求的数量与该至少一个第二网页请求的数量之间的比值确定为该第二TGI。

在上述过程中，服务器基于第二账号所触发的第二网页请求，获取该任一网页相对于第二账号的第二TGI，该第二TGI也即能够代表该任一网页在第二账号所对应的普通人群中的TGI指数。

305、服务器基于该第一TGI和该第二TGI，确定该任一网页对应的TGI。

在一些实施例中，服务器将该第一TGI与该第二TGI之间的比值确定为该任一网页对应的TGI。也即是说，该任一网页最终的真实TGI表示为该任一网页在转化人群的第一TGI与该任一网页在普通人群的第二TGI之间的比值，可以采用如下公式进行表示：

其中，表示该任一网页http_req在转化人群中的第一TGI，表示该任一网页http_req在普通人群中的第二TGI。

在上述步骤302-305中，服务器示出了获取该多个网页各自对应的多个目标群体指数TGI的一种可能实施方式，其中，该多个网页中任一网页的TGI用于表示该任一网页在该多个网页中的重要程度。

在另一些实施例中，服务器也可以不针对不同账号分别获取不同的TGI，而是直接将访问任一网页的网页请求的数量与该多个网页请求的数量之间的比值，获取为该任一网页的TGI，从而能够简化各个网页的TGI的获取流程。

可选地，上述方式中任一网页的TGI可以表示为如下公式：

其中，num_{http_req}表示任一网页http_req的访问次数(也即访问该任一网页http_req的网页请求的数量)，num_all表示所有http_req的访问次数(也即该多个网页请求的数量)。

306、服务器基于该多个网页的多个TGI，从该多个网页中确定多个第一网页，该多个第一网页的TGI符合第一目标条件。

上述步骤306与上述步骤203类似，这里不做赘述。

307、服务器基于与该多个第一网页对应的网页请求，获取至少一个第一账号分别对该多个第一网页的第一访问频次以及至少一个第二账号分别对该多个第一网页的第二访问频次。

可选地，对每个第一账号，服务器根据每个第一账号对所有第一网页的第一访问频次，构建一个频次特征向量，对每个第一账号重复执行上述步骤，即可得到所有第一账号各自的频次特征向量。同理，对每个第二账号，服务器根据每个第二账号对所有第一网页的第二访问频次，构建一个频次特征向量，对每个第二账号重复执行上述步骤，即可得到所有第二账号各自的频次特征向量。

308、服务器基于该第一访问频次和该第二访问频次，训练得到账号分类模型，该账号分类模型用于识别输入账号的账号类别，该账号类别至少包括该第一账号和该第二账号。

在一些实施例中，服务器基于该第一访问频次，构建正样本频次特征；基于该第二访问频次，构建负样本频次特征；基于该正样本频次特征和该负样本频次特征，迭代训练初始分类模型，得到该账号分类模型。

在上述过程中，服务器基于该第一访问频次和第二访问频次，分别构建第一账号的频次特征和第二账号的频次特征，从而将第一账号的频次特征作为正样本，将第二账号的频次特征作为负样本，训练得到一个二分类模型也即账号分类模型，可选地，服务器也可以训练多分类模型作为账号分类模型，本申请实施例不对此进行具体限定。

可选地，以账号分类模型为二分类模型为例，服务器将第一账号设置为正样本，将第二账号设置为负样本，服务器将所有账号(包括第一账号和第二账号)的频次特征向量均输入到初始分类模型中，通过该初始分类模型预测每个账号的账号类别，得到对每个账号的预测结果，将每个账号的预测结果与每个账号的真实结果进行对比，获取到本次迭代过程的损失函数值，如果不满足停止条件，调整初始分类模型的参数，迭代执行上述步骤，直到满足停止条件时，停止迭代，得到账号分类模型。

在一些实施例中，该账号分类模型可以是具有任一架构的分类模型，例如，GB(Gradient Boosting，梯度提升)、GBDT(Gradient Boosting Decision Tree，梯度提升决策树)、XGBoost(eXtreme Gradient Boosting，极限梯度提升)、LightGBM(Light GradientBoosting Machine，轻量梯度提升机器)等。

可选地，该停止条件为损失函数值小于损失阈值，或者，该停止条件为迭代次数大于目标次数，本申请实施例对此不进行具体限定。

在一些实施例中，服务器可以采用不同形式的损失函数，例如，采用均方误差形式的损失函数，或者，采用交叉熵形式的损失函数等，本申请实施例对此不进行具体限定。

在一个示例性实施例中，以该账号分类模型为XGBoost模型为例说明，XGBoost模型是一个由多个弱学习器所集成的强学习器，其中，弱学习器可以是CART(ClassificationAnd Regression Tree，分类和回归树)，也可以是线性分类器(gblinear)，本申请实施例对此不进行具体限定。XGBoost模型能够减小方差、偏差并改进预测效果，主要包含Boosting(提升算法)、Bagging(装袋算法)以及Stacking(集成算法)等机器学习算法。

对于XGBoost模型，服务器将任一账号的频次特征向量输入该XGBoost模型，也即将任一账号的频次特征向量输入该多个弱学习器，每个弱学习器都通过对任一账号的频次特征向量进行特征分裂，得到该弱学习器所在决策树的叶子节点，从而该弱学习器可以输出该任一账号的叶子节点分数，最终，服务器对多个弱学习器所输出的多个叶子节点分数进行加权处理，即可得到该任一账号是否属于第一账号的预测概率，可选地，预测概率是一个大于或等于0且小于或等于1的数值，当预测概率越大时，代表XGBoost模型预测该任一账号属于第一账号的可能性越大，当预测概率越小时，代表XGBoost模型预测该任一账号属于第一账号的可能性越小。可选地，每个决策树可以是二叉树，也即是每个弱学习器在进行特征分裂时都一分为二，分为左子树和右子树。

309、服务器基于该账号分类模型，获取该多个第一网页的多个特征重要度参数，该特征重要度参数用于表示在识别账号类别的过程中，输入账号对任一第一网页的访问频次相较于输入账号对其他第一网页的访问频次的重要程度。

在一些实施例中，在对账号分类模型训练完毕后，即可调用特征重要度函数来获取各个第一网页的特征重要度参数，以XGBoost模型为例，特征重要度函数可以是xgb.feature_importances_函数。

在一些实施例中，特征重要度参数包括但不限于以下几种类型：

(1)增益(gain)参数，意味着相应的特征对通过对模型中的每个决策树采取每个特征的贡献而计算出的模型的相对贡献。与其他特征相比，此增益参数的较高值意味着它对于生成预测更为重要。

(2)覆盖度(cover)参数，指的是与此功能相关的观测的相对数量。例如，如果有100个观察值，4个特征和3棵树，并且假设特征1分别用于决定树1，树2和树3中10个，5个和2个观察值的叶节点，那么该覆盖度参数将计算此功能的覆盖范围为10+5+2＝17个观测值。这将针对所有4项功能进行计算，并将以17个百分比表示所有功能的覆盖指标。

(3)频率(freq)参数，是表示特定特征在模型树中发生的相对次数的百分比。在上面的例子中，如果特征1在每个树1，树2和树3中发生2个分裂，1个分裂和3个分裂，那么特征1的权重将是2+1+3＝6。特征1的频率被计算为其在所有特征的权重上的百分比权重。

可选地，服务器可以采取增益参数、覆盖度参数或者频率参数中的任一种作为特征重要度参数，从而用于指示如何从第一网页中筛选第二网页。

310、服务器基于该多个第一网页的多个特征重要度参数，从该多个第一网页中确定多个第二网页，该多个第二网页的特征重要度参数符合第二目标条件。

在一些实施例中，该第二目标条件为特征重要度参数大于特征重要度阈值，此时服务器可以从该多个第一网页中，将特征重要度参数大于特征重要度阈值的各个第一网页确定为该多个第二网页。其中，该特征重要度阈值可以由开发人员进行自定义设置。

在一些实施例中，该第二目标条件为特征重要度参数排序位于前T位(topT，T≥1)，此时服务器可以按照特征重要度参数从大到小的顺序，对各个第一网页进行排序，将排序位于前T位的第一网页确定为该多个第二网页。

上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请实施例提供的方法，通过累计目标时间段内的各个网页请求，并基于各个网页请求所访问的网页TGI指数，初步筛选出符合第一目标条件的各个第一网页，并第一网页中二次筛选出符合第二目标条件的各个第二网页，大大降低了针对具有高业务价值的网页的挖掘工作的人力成本，能够自动化地从海量的网页请求中挖掘出具有高业务价值的网页，从而提升了针对网页请求数据的处理效率。

图4是本申请实施例提供的一种数据处理平台的架构示意图，请参考图4，在数据处理平台中包括数据采集模块401、数据预处理模块402、高价值流量挖掘模块403和结果存储模块404。数据采集模块401用于实时采集服务器接收到的HTTP请求(也即网页请求)，并将HTTP请求存储在目标数据库中。数据预处理模块402用于对目标数据库中存储的HTTP请求进行预处理工作。高价值流量挖掘模块403用于基于预处理后的HTTP请求，分别获取每个网页在转换人群中的第一TGI以及在普通人群中的第二TGI，根据每个网页的第一TGI和第二TGI获取每个网页的综合TGI，并获取每个网页相对于转换人群的人群覆盖量，基于每个网页的综合TGI和人群覆盖量，筛选得到第一网页(也即潜在高价值流量)，进一步地，分别基于转化人群和普通人群对第一网页的访问频次构建正负样本数据集，并训练账号分类模型，根据训练过程中的特征重要度参数，筛选得到第二网页(也即最终高价值流量)。结果存储模块404用于将高价值流量挖掘模块403所输出的结构存储到目标数据库中。

图5是本申请实施例提供的一种数据处理装置的结构示意图，请参考图5，该装置包括：

第一确定模块501，用于基于在目标时间段内的多个网页请求，确定该多个网页请求所访问的多个网页；

第一获取模块502，用于获取该多个网页各自对应的多个目标群体指数TGI，该多个网页中任一网页的TGI用于表示该任一网页在该多个网页中的重要程度；

第二确定模块503，用于基于该多个网页的该多个TGI，从该多个网页中确定多个第一网页，该多个第一网页的TGI符合第一目标条件；

该第二确定模块503，还用于基于该多个第一网页的多个特征重要度参数，从该多个第一网页中确定多个第二网页，该多个第二网页的特征重要度参数符合第二目标条件。

本申请实施例提供的装置，通过累计目标时间段内的各个网页请求，并基于各个网页请求所访问的网页TGI指数，初步筛选出符合第一目标条件的各个第一网页，并第一网页中二次筛选出符合第二目标条件的各个第二网页，大大降低了针对具有高业务价值的网页的挖掘工作的人力成本，能够自动化地从海量的网页请求中挖掘出具有高业务价值的网页，从而提升了针对网页请求数据的处理效率。

在一种可能实施方式中，基于图5的装置组成，该第一获取模块502包括：

第一确定单元，用于从该多个网页请求中，确定由至少一个第一账号触发的至少一个第一网页请求以及由至少一个第二账号触发的至少一个第二网页请求；

第二确定单元，用于对于该多个网页中的任一网页，基于该至少一个第一网页请求，确定由该至少一个第一账号触发的且访问该任一网页的第一TGI；

第三确定单元，用于基于该至少一个第二网页请求，确定由该至少一个第二账号触发的且访问该任一网页的第二TGI；

第四确定单元，用于基于该第一TGI和该第二TGI，确定该任一网页对应的TGI。

在一种可能实施方式中，该第二确定单元用于：

从该至少一个第一网页请求中，确定访问该任一网页的至少一个第三网页请求；

将该至少一个第三网页请求的数量与该至少一个第一网页请求的数量之间的比值确定为该第一TGI。

在一种可能实施方式中，该第三确定单元用于：

从该至少一个第二网页请求中，确定访问该任一网页的至少一个第四网页请求；

将该至少一个第四网页请求的数量与该至少一个第二网页请求的数量之间的比值确定为该第二TGI。

在一种可能实施方式中，该第四确定单元用于：

将该第一TGI与该第二TGI之间的比值确定为该任一网页对应的TGI。

在一种可能实施方式中，基于图5的装置组成，该装置还包括：

第二获取模块，用于基于与该多个第一网页对应的网页请求，获取至少一个第一账号分别对该多个第一网页的第一访问频次以及至少一个第二账号分别对该多个第一网页的第二访问频次；

训练模块，用于基于该第一访问频次和该第二访问频次，训练得到账号分类模型，该账号分类模型用于识别输入账号的账号类别，该账号类别至少包括该第一账号和该第二账号；

第三获取模块，用于基于该账号分类模型，获取该多个第一网页的该多个特征重要度参数，该特征重要度参数用于表示在识别账号类别的过程中，输入账号对任一第一网页的访问频次相较于输入账号对其他第一网页的访问频次的重要程度。

在一种可能实施方式中，该训练模块用于：

基于该第一访问频次，构建正样本频次特征；

基于该第二访问频次，构建负样本频次特征；

基于该正样本频次特征和该负样本频次特征，迭代训练初始分类模型，得到该账号分类模型。

上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的数据处理装置在处理数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思，其具体实现过程详见数据处理方法实施例，这里不再赘述。

图6是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备600可因配置或性能不同而产生比较大的差异，该计算机设备600包括一个或一个以上处理器(Central Processing Units，CPU)601和一个或一个以上的存储器602，其中，该存储器602中存储有至少一条计算机程序，该至少一条计算机程序由该一个或一个以上处理器601加载并执行以实现上述各个实施例提供的数据处理方法。可选地，该计算机设备600还具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备600还包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序可由计算机设备中的处理器执行以完成上述各个实施例中的数据处理方法。例如，该计算机可读存储介质包括ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得计算机设备能够执行以完成上述实施例中的数据处理方法。

本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，可选地，该程序存储于一种计算机可读存储介质中，可选地，上述提到的存储介质是只读存储器、磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。