CN113760972A - 一种数据查找方法和装置 - Google Patents

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

参见图1，示出的是本发明实施例提供的一种数据查找方法的主要流程图，包括如下步骤：

S101：接收业务请求，获取所述业务请求所请求的有效数据长度；

S102：按照当前步长从数据源中提取相应数量的数据，对所述数据进行可用性校验，得到可用数据；其中，所述当前步长通过预定方式计算得到；

S103：若所述可用数据的数量大于或等于所述有效数据长度，则返回所述有效数据长度的数据；

S104：否则，继续按照所述当前步长从所述数据源中提取下一轮相应数量的数据，并进行可用性校验，直至所得可用数据的数量大于或等于所述有效数据长度时停止。

上述实施方式中，对于步骤S101和S102，服务端接收程序调用方(如Consumer)发出的业务请求，假定请求的有效数据长度为N。

当前单次查找步长是缓存中存储的最优步长，随着数据源的数据质量(可用性)以及数据查找次数动态变动，因而可能本次所用步长与下次不一样，具体参见后续图2所示描述。

假定当前步长为2N，则取出既有数据源中TOP2N的数据，并发校验数据可用性，如数据是否有库存、用户风险等级是否符合数据定义等。其中，大部分情况下TOPN筛选后数据不能被全部使用，一般需要执行多轮查找，因此步长不必是N的整数倍，但必须大于N。

需要说明的是，此处设定的数据源是按照数据质量进行打分排序的，业务场景需要最优数据，也就是需要逐条验证可用性，所以采用并发校验可以提高程序效率，串行查找效率相对较低。

对于步骤S103和S104，对于并发校验结果中不可用的数据，可以进行打标处理，通常是特定标记+数据ID，在下次数据校验前可以提前将打标数据过滤掉，以减少不必要的并发校验，缩短查找时间。

进一步的，不可用数据还可以是针对所有业务方的全部业务请求都返回了不可用情况，比如数据的总库存不足、数据被置为关闭状态，那么该数据针对业务请求都不需要再验证。

打标后的不可用数据，可以存储至Guava缓存中，该操作属于内存操作，减少了网络开销，提升程序执行效率。

若校验得到的可用数据的数量不满足N，则需要继续按照当前步长从数据源中取出下一轮数据(如2N+1～4N)并进行并发校验，直至所得可用数据的数量满足N为止。

记录所得可用数据的数量满足N时的查找次数，分为一次并发校验查询成功和多次并发校验查询成功两种类型，记查找成功时执行的轮次数据至缓存，以便后续依据其适应性调整步长。

上述实施例所提供的方法，通过分析数据质量(可用性)，动态调整步长，后续即可依据动态调整后的步长进行数据提取，以此提高数据在不同场景不同质量下的查找效率。

参见图2，示出了根据本发明实施例的一种可选的数据查找方法流程示意图，包括如下步骤：

S201：按照预定周期确定已处理的业务请求集合，获取处理完毕每个业务请求时的执行次数，进而统计执行次数为一次的请求量；

S202：计算所述请求量在所述业务请求集合的请求总量中的占比；

S203：若所述占比达到第一占比，则将所述当前步长调整为上一步长与第一数值之差；

S204：若所述占比达到第二占比，则将所述当前步长调整为上一步长与第二数值之和；其中，所述第一占比大于所述第二占比。

上述实施方式中，对于步骤S201，按照预定周期(如10分钟，可配置)定时分析一次数据，认定一次并发校验即可获取指定数据N的步长为最优步长。

对于每个请求，当查找结果满足指定长度后，会记查找成功时执行的轮次数据至缓存；其中数据分堆为一次并发校验查询成功和多次并发校验查询成功两种类型。

因而，可以按照预定周期，获取该周期内已处理完毕的业务请求集合以及对每个请求的执行次数，进而从中提取“一次并发校验查询成功”的请求。

对于步骤S202～S204，统计所提取的请求的数量，计算该数量在本周期内请求总量中的占比(此处以2N为例)：

1)若占比达到第一占比(认定一次查找成功率的峰值)时进行2N-1操作(此处1仅为示例)，减小单次并发校验步长；

2)若占比跌至第二占比(认定一次查找成功率的谷值)时进行2N+1操作(此处1仅为示例)，增加单次并发校验步长以提高一次查找成功率。

后续数据查找过程中可以实时获取缓存中存储的最优步长，以提升数据查找效率。另外，在更新步长之后，还可以清空缓存中的数据，例如数据查找成功执行轮次的计数信息，并非是打标数据。比如Consumer在10分钟内共请求了100次，其中35次执行一轮就获取到了指定长度的数据，剩下65次都需要2轮或2轮以上，数据分析后清空的是这些数据。

上述实施例所提供的方法，定期动态更新步长，当后续处理业务请求时，即可实时从缓存中获取该动态值进行数据长度处理，以此灵活实现数据查找，提高查找效率。

参见图3，示出了根据本发明实施例的一具体地数据查找方法流程示意图，包括如下步骤：

S301：接收业务请求，获取所述业务请求所请求的有效数据长度；

S302：按照当前步长从数据源中提取相应数量的数据，对所述数据进行可用性校验，得到可用数据；

S303：确定所提取数据中除了可用数据外的不可用数据，基于预定标记和不可用数据的标识，对所述不可用数据进行打标处理；

S304：若所述可用数据的数量大于或等于所述有效数据长度，则返回所述有效数据长度的数据；

S305：否则，继续按照所述当前步长从所述数据源中提取下一轮相应数量的数据，并进行可用性校验，直至所得可用数据的数量大于或等于所述有效数据长度时停止；

S306：确定可用数据的数量大于或等于所述有效数据长度时的执行次数，建立所述执行次数与所述业务请求之间的对应关系；其中，所述执行次数为一次或多次；

S307：按照预定周期确定已处理的业务请求集合，获取处理完毕每个业务请求时的执行次数，进而统计执行次数为一次的请求量；

S308：计算所述请求量在所述业务请求集合的请求总量中的占比；

S309：若所述占比达到第一占比，则将当前步长调整为上一步长与第一数值之差；

S310：若所述占比达到第二占比，则将当前步长调整为上一步长与第二数值之和；其中，所述第一占比大于所述第二占比。

本发明实施例所提供的方法，定期分析处理请求的执行次数，以动态更新步长，后续处理业务请求时，即可从缓存中提取当前步长进行数据查找，以此提高数据在不同场景不同质量下的查找效率。

参见图4，示出了本发明实施例提供的一种数据查找装置400的主要模块示意图，包括：

请求接收模块401，用于接收业务请求，获取所述业务请求所请求的有效数据长度；

数据校验模块402，用于按照当前步长从数据源中提取相应数量的数据，对所述数据进行可用性校验，得到可用数据；其中，所述当前步长通过预定方式计算得到；

结果返回模块403，用于若所述可用数据的数量大于或等于所述有效数据长度，则返回所述有效数据长度的数据；

循环处理模块404，用于否则，继续按照所述当前步长从所述数据源中提取下一轮相应数量的数据，并进行可用性校验，直至所得可用数据的数量大于或等于所述有效数据长度时停止。

本发明实施装置还包括次数统计模块405(图中未标出)，用于：确定可用数据的数量大于或等于所述有效数据长度时的执行次数，建立所述执行次数与所述业务请求之间的对应关系；其中，所述执行次数为一次或多次。

本发明实施装置还包括步长调整模块406(图中未标出)，用于：

按照预定周期确定已处理的业务请求集合，获取处理完毕每个业务请求时的执行次数，进而统计执行次数为一次的请求量；

计算所述请求量在所述业务请求集合的请求总量中的占比；

若所述占比达到第一占比，则将所述当前步长调整为上一步长与第一数值之差；

若所述占比达到第二占比，则将所述当前步长调整为上一步长与第二数值之和；其中，所述第一占比大于所述第二占比。

本发明实施装置还包括不可用标记模块407(图中未标出)，用于：确定所提取数据中除了可用数据外的不可用数据，基于预定标记和不可用数据的标识，对所述不可用数据进行打标处理；以及

在下一轮进行数据可用性校验前，预先剔除所述不可用数据。

本发明实施装置中，所述不可用标记模块407，还用于：在所述不可用数据中，确定针对所有业务请求均不可用的第一不可用数据。

另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。

图5示出了可以应用本发明实施例的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505(仅仅是示例)。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。

需要说明的是，本发明实施例所提供的方法一般由服务器505执行，相应地，装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括请求接收模块、数据校验模块、结果返回模块和循环处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，结果返回模块还可以被描述为“返回结果模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

接收业务请求，获取所述业务请求所请求的有效数据长度；

按照当前步长从数据源中提取相应数量的数据，对所述数据进行可用性校验，得到可用数据；其中，所述当前步长通过预定方式计算得到；

若所述可用数据的数量大于或等于所述有效数据长度，则返回所述有效数据长度的数据；

否则，继续按照所述当前步长从所述数据源中提取下一轮相应数量的数据，并进行可用性校验，直至所得可用数据的数量大于或等于所述有效数据长度时停止。

根据本发明实施例的技术方案，定期分析处理请求的执行次数，以动态更新步长，后续处理业务请求时，即可从缓存中提取当前步长进行数据查找，以此提高数据在不同场景不同质量下的查找效率。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。