具体实施方式

为了更好地理解和实施，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

本发明实施例公开了一种减少存储器访问延迟的方法及系统，能够通过对存储器的级别进行预测，从而节省存储器层次顺序查找的时间来实现减少存储器访问延迟的效果。并且能够将被访问过的缓存块的存储级别信息保存在一个位置映射元数据缓存表中，还使用不同的计数器统计每个存储级别的访问频繁度，然后预测下一次访问的存储级别。从而不用对内存结构做大的改动，同时保持了低内存访问成本和操作的简易性。进一步地，在第一级别高速缓存器未命中事件发生时，对目标数据所在的存储层次进行预测，跳过了顺序查找存储器的过程。可以有效满足环境监测、系统仿真、生命科学等领域对高性能应用的低时延需求。最后，还可以通过比对缓存一致性目录的信息检测对存储器的级别预测是否正确，及时对错误预测进行补救，提高了对降低访问存储器延迟的处理效率。

实施例一

请参阅图1，图1为本发明实施例公开的一种减少存储器访问延迟的方法的流程示意图。其中，该减少存储器访问延迟的方法可以应用在内存控制系统，内存控制系统包括多个级别的高速缓存存储器和主存储器，对于该内存控制系统本发明实施例不做限制。如图1所示，该减少存储器访问延迟的方法可以包括以下操作：

101、配置存储有多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址具有关联关系的位置映射表。

为了便于快速预测出适配的存储器地址，提出了一种可以实现全局位置映射的位置映射表，该位置映射表存放了每个缓存块的历史位置信息，可用于查询各个缓存块的具体位置。在查询过程中，如果成功命中了该缓存块的位置，则直接定位到缓存块对应的目标级别的存储器进行访问，其中，存储器的级别包括第一级别高速缓存器、第二级别高速缓存器和第三级别高速缓存器，在具体实现上被称为L1 cache、L2 cache和L3 cache。

如图2为一种具体应用的内存控制系统的框架图，如图2所示，该位置映射表在物理内存上实现，被存放于一个小的元数据缓存中。因为核CPU会直接访问L1 cache，L1cache的访问延迟可以忽略不计，所以在本实施例中，对于存储器的存储级别的预测只会发生在L1 cache未命中的情况。那么在L1 cache未命中时，就只对L2 cache、L3 cache、主存储器这三个存储级别进行预测就可以了，在此可以推出预测结果有三种。因此，为每个缓存块的位置映射元数据分配2 bit 空间存放位置信息。对于一个64 Byte大小的缓存块来说，该方案只会产生2 / 512 = 0.39%的额外开销。当位置映射元数据缓存未命中时，开始了存储预测的执行，如图2所示可以实现为存储级别预测器开始工作：即存储级别预测器连接到L2 cache、L3 cache总线，并与之通信，分别获取第二级别高速缓存器和第三级别高速缓存器的活动事件，其中，活动事件包括填充事件和逐出事件，根据活动事件更新位置映射表的历史位置信息。而且，位置映射表的更新只发生在元数据缓存命中的事件中。元数据未命中时，不对位置映射表进行更新，因为这会导致较大的开销。

102、根据位置映射表判断是否命中缓存块的目标位置信息。

在位置映射表中存储的多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址的关联关系中，就可以直接利用待执行的缓存块的物理内存地址在该位置映射表中确定是否存在历史位置信息来确定是否命中了该缓存块的目标位置信息。

103、若未命中缓存块的目标位置信息，对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果。

在具体应用中，访问存储器时首先对L1 cache进行查找，当L1 cache未命中发生时，就会对该位置映射表进行访问。物理内存中的每个被访问过的缓存块都映射到位置映射表中的一个位置信息条目。通过该位置映射表的一对一的简单映射就可以实现定位到缓存块的物理地址。进一步地，假设位置映射表的基地址是由操作系统设置的，内存访问粒度和缓存块是64 Byte，每个64 Byte缓存块需要占用2 bit的位置映射表空间，这样256个缓存块的位置映射元数据需要占用256 × 2 = 512 bit = 64 Byte的空间，这就与缓存块粒度相匹配。因此位置映射地址和物理地址的对应关系为位置映射地址 = 基地址 + 物理地址>>14。

进一步地，当缓存块的目标位置信息未命中时，则基于计数器的机制来跟踪不同级别存储的访问次数，并以访问次数多的级别的作为优先预测的目标。使用的3个计数器分别对应于L2 cache、L3 cache 和主存储器。

示例性地，根据各个存储器的访问次数确定预测结果，包括：当各个存储器的访问次数均高于预置的访问阈值，则只将至多一个存储器确定为预测结果。

即，当计数器高于一个阈值时，则只选择一个级别作为预测目标。否则计数器值第二多的级别也被认为是可能的目标。

在其他优选实施方式中，根据各个存储器的访问次数确定预测结果，包括：当各个存储器的访问次数均接近于预置的访问阈值，则将各个存储器均确定为预测结果。即当每个存储级别的访问次数相差不大时，采用多个级别作为预测目标。

在其他优选实施方式中，如果第一个和第二个计数器的总和仍然没有达到预定义的阈值，则三个存储级别同时进行查找，即执行原始的顺序查找。因此，根据计数器的值，预测器可以发出单路或多路预测。

在其他优选实施方式中，当第二级别高速缓存器、第三级别高速缓存器或主存储器中的某一存储器发生命中事件时，将所述某一存储器对应的计数器加一，其他存储器对应的计数器减一。即当某一个级别的存储器发生命中事件时，对应的计数器加1，其它两个计数器减1，这样可以快速找到频繁访问的存储级别，并且防止计数器溢出。在进行预测时，对计数器进行排序，计数多的级别作为预测候选对象。

104、根据预测结果直接访问对应的存储器。

作为一种优选实施方式，由于上述的预测结果是存在些许偏差，当错误地预测了一个比实际缓存级别更接近核心的级别时，并不需要检测和恢复，只是无法减少查找延迟。例如数据在L3 cache中，而预测结果为L2 cache，当在L2 cache中查找不到相应数据时，会继续查找访问下一级存储。而MSHR(Miss-status Handling Registers) 条目就会沿请求路径分配，并在收到响应时进行填充。因此，这种类型的错误预测是安全的，因为它不违反正确性或功能性。但是，当错误地预测了一个比实际缓存级别更远离核心的级别时，这种情况会导致正确的数据被跳过。例如数据在L2 cache中，预测器结果为L3 cache，则会跳过L2cache的查找直接对L3 cache进行访问，这种情况会导致接收不到正确的数据。属于本申请所涵盖的错误预测情况。

为了克服这种错误预测情况，首先配置缓存一致性目录，再根据缓存一致性目录判断预测结果是否为错误预测结果，若预测结果为错误预测结果，对错误预测结果进行恢复操作。具体地，通过查找缓存一致性目录的方式来对这种错误预测进行检测，通常为了确保其他处理器的私有缓存没有保存现有缓存块，会对缓存一致性目录进行查找。在跳过L2cache查找时，也对缓存一致性目录进行查找，因为可能跳过了正确的私有缓存。类似的，当数据在cache中而预测器结果为主存时，也可以通过查询缓存一致性目录来检测错误。

在检测到错误预测后，需要对错误预测操作进行恢复。首先向实际的存储级别发出包，以满足挂起的请求，然后释放超出实际存储级别的所有MSHR条目。这可以作为共享总线上的新事务来实现。为了方便论述，以下给出了如图3所示正确预测结果执行的流程框图和如图4所示错误预测结果执行的流程框图。

如图3所示，假设数据位于L3 cache，而预测结果也为L3 cache。具体实现过程包括：

①当L1 cache未命中时，在L1 cache中分配一个MSHR条目。同时发送执行请求到L2 cache。

②在L2 cache上分配一个MSHR条目，此时，L2 cache不会被访问，那就会绕过L2cache查找，执行请求被发送到L3 cache。

③在缓存一致性目录中对标签进行检查。

④由于缓存块已经位于L3 cache中，并在缓存一致性目录中确认缓存块没有过期，由此可以对该执行请求作出响应。

⑤缓存块被发送至L2 cache, L2 cache MSHR被释放。

⑥最后，缓存块被转发到L1 cache，L1 cache响应核CPU的执行请求（访问请求）。

如图4所示，对错误预测结果进行恢复操作，包括：为未命中的存储器配置MSHR条目，向正确结果对应的存储器发送执行请求，响应于所述执行请求，释放超出正确结果对应的存储器的所有MSHR条目。具体实现为：

假设数据位于L2 cache，而预测器预测结果为L3 cache，过程如下：

①当L1 cache未命中时，在L1 cache中分配一个MSHR条目。同时发送执行请求到L2 cache。

②在L2 cache上分配一个MSHR条目，L2 cache不会被访问，绕过L2 cache查找，执行请求被发送到L3 cache。

③在缓存一致性目录中对标签进行检查。

④缓存一致性目录中的信息表明该缓存块位于L2 cache中，因此缓存控制器向L2cache发送一个新的执行请求来满足该请求。

⑤在L2 cache中，缓存块被查找到，并被转发给L1 cache。

⑥释放L2 cache MSHR条目。

由此，根据本实施例提供的方法能够通过对存储器的级别进行预测，从而节省存储器层次顺序查找的时间来实现减少存储器访问延迟的效果。并且能够将被访问过的缓存块的存储级别信息保存在一个位置映射元数据缓存表中，还使用不同的计数器统计每个存储级别的访问频繁度，然后预测下一次访问的存储级别。从而不用对内存结构做大的改动，同时保持了低内存访问成本和操作的简易性。进一步地，在第一级别高速缓存器未命中事件发生时，对目标数据所在的存储层次进行预测，跳过了顺序查找存储器的过程。可以有效满足环境监测、系统仿真、生命科学等领域对高性能应用的低时延需求。最后，还可以通过比对缓存一致性目录的信息检测对存储器的级别预测是否正确，及时对错误预测进行补救，提高了对降低访问存储器延迟的处理效率。

实施例二

请参阅图5，图5为本发明实施例公开的一种减少存储器访问延迟系统框图，如图5所示，该减少存储器访问延迟系统包括：

位置映射表1，存储有多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址的关联关系。为了便于快速预测出适配的存储器地址，提出了一种可以实现全局位置映射的位置映射表，该位置映射表存放了每个缓存块的历史位置信息，可用于查询各个缓存块的具体位置。在查询过程中，如果成功命中了该缓存块的位置，则直接定位到缓存块对应的目标级别的存储器进行访问，其中，存储器的级别包括第一级别高速缓存器、第二级别高速缓存器和第三级别高速缓存器，在具体实现上被称为L1 cache、L2 cache和L3cache。

级别检测模块2，用于根据位置映射表判断是否命中缓存块的目标位置信息。 在位置映射表中存储的多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址的关联关系中，就可以直接利用待执行的缓存块的物理内存地址在该位置映射表中确定是否存在历史位置信息来确定是否命中了该缓存块的目标位置信息。

级别预测模块3，用于在未命中缓存块的目标位置信息，对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果。在具体应用中，访问存储器时首先对L1cache进行查找，当L1 cache未命中发生时，就会对该位置映射表进行访问。物理内存中的每个被访问过的缓存块都映射到位置映射表中的一个位置信息条目。通过该位置映射表的一对一的简单映射就可以实现定位到缓存块的物理地址。进一步地，假设位置映射表的基地址是由操作系统设置的，内存访问粒度和缓存块是64 Byte，每个64 Byte缓存块需要占用2 bit的位置映射表空间，这样256个缓存块的位置映射元数据需要占用256 × 2 = 512bit = 64 Byte的空间，这就与缓存块粒度相匹配。因此位置映射地址和物理地址的对应关系为位置映射地址 = 基地址 + 物理地址>>14。

进一步地，当缓存块的目标位置信息未命中时，则基于计数器的机制来跟踪不同级别存储的访问次数，并以访问次数多的级别的作为优先预测的目标。使用的3个计数器分别对应于L2 cache、L3 cache 和主存储器。

示例性地，根据各个存储器的访问次数确定预测结果，包括：当各个存储器的访问次数均高于预置的访问阈值，则只将至多一个存储器确定为预测结果。

即，当计数器高于一个阈值时，则只选择一个级别作为预测目标。否则计数器值第二多的级别也被认为是可能的目标。

在其他优选实施方式中，根据各个存储器的访问次数确定预测结果，包括：当各个存储器的访问次数均接近于预置的访问阈值，则将各个存储器均确定为预测结果。即当每个存储级别的访问次数相差不大时，采用多个级别作为预测目标。

在其他优选实施方式中，如果第一个和第二个计数器的总和仍然没有达到预定义的阈值，则三个存储级别同时进行查找，即执行原始的顺序查找。因此，根据计数器的值，预测器可以发出单路或多路预测。

在其他优选实施方式中，当第二级别高速缓存器、第三级别高速缓存器或主存储器中的某一存储器发生命中事件时，将所述某一存储器对应的计数器加一，其他存储器对应的计数器减一。即当某一个级别的存储器发生命中事件时，对应的计数器加1，其它两个计数器减1，这样可以快速找到频繁访问的存储级别，并且防止计数器溢出。在进行预测时，对计数器进行排序，计数多的级别作为预测候选对象。

访问模块4，用于根据预测结果直接访问对应的存储器。

由此，根据本实施例提供的系统能够通过对存储器的级别进行预测，从而节省存储器层次顺序查找的时间来实现减少存储器访问延迟的效果。并且能够将被访问过的缓存块的存储级别信息保存在一个位置映射元数据缓存表中，还使用不同的计数器统计每个存储级别的访问频繁度，然后预测下一次访问的存储级别。从而不用对内存结构做大的改动，同时保持了低内存访问成本和操作的简易性。进一步地，在第一级别高速缓存器未命中事件发生时，对目标数据所在的存储层次进行预测，跳过了顺序查找存储器的过程。可以有效满足环境监测、系统仿真、生命科学等领域对高性能应用的低时延需求。

实施例三

请参阅图6，图6是本发明实施例公开的一种减少存储器访问延迟装置的结构示意图。其中，图6所描述的减少存储器访问延迟装置可以应用在内存控制系统，对于该减少存储器访问延迟系统的应用系统本发明实施例不做限制。如图6所示，该装置可以包括：

存储有可执行程序代码的存储器601；

与存储器601耦合的处理器602；

处理器602调用存储器601中存储的可执行程序代码，用于执行实施例一所描述的减少存储器访问延迟方法。

实施例四

本发明实施例公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一所描述的减少存储器访问延迟方法。

实施例五

本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一所描述的减少存储器访问延迟方法。

以上所描述的实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read Only Memory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

最后应说明的是：本发明实施例公开的一种减少存储器访问延迟方法及系统所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。