用于处理图数据的计算系统和存储分层方法

文档序号:1904106 发布日期:2021-11-30 浏览:1次 >En<

阅读说明:本技术 用于处理图数据的计算系统和存储分层方法 (Computing system and storage tiering method for processing graph data ) 是由 薛菲 周杨杰 段立德 郑宏忠 于 2021-07-23 设计创作,主要内容包括:本公开涉及一种用于处理图数据的计算系统和存储分层方法。计算系统可以包括用于高速缓存处理当前根节点所需数据的主机上的芯片存储器。该计算系统还包括所述主机和非易失性存储器之间的易失性存储器接口。所述易失性存储器可被配置为保存下一组或多组根节点、邻居节点和对应属性。所述非易失性存储器可具有足够的容量来存储整个图数据。所述非易失性存储器还可被配置为预置所述下一组或多组根节点、邻居节点和对应属性以存储在所述易失性存储器中。(The present disclosure relates to a computing system and storage tiering method for processing graph data. The computing system may include a chip memory on the host for caching data needed to process the current root node. The computing system also includes a volatile memory interface between the host and the non-volatile memory. The volatile memory may be configured to hold a next one or more sets of root nodes, neighbor nodes, and corresponding attributes. The non-volatile memory may have sufficient capacity to store the entire map data. The non-volatile memory may be further configured to preset the next one or more sets of root nodes, neighbor nodes, and corresponding attributes for storage in the volatile memory.)

用于处理图数据的计算系统和存储分层方法

技术领域

本公开涉及芯片领域,尤其涉及一种用于处理图数据的计算系统和存储分层方法。

背景技术

图数据库被用于在线购物引擎、社交网络、知识图、推荐引擎、映射引擎、故障分析、网络管理、生命科学、搜索引擎等许多应用中。图数据库可以用来确定大数据集中的依赖、聚类、相似性、匹配、类别、流、成本、中心性等。

图数据库使用具有节点、边和属性的图结构来表示和存储数据,用于语义查询。图将数据项与节点、边和属性的集合联系起来。节点,也可以称为顶点,可以表示实体、实例等。边可以表示节点之间的关系,并且允许数据直接联系在一起。属性可以是与节点或边密切相关的信息。图数据库允许简单且快速地提取在关系系统中难以建模的复杂层次结构。如图1所示,图(G)可以包括由一个或多个边(E)125-130耦合的多个顶点(V)105-120,并且可表示为G=(V,E)。在较高的层次上,节点的表示向量可以通过对根向量的邻居节点的表示向量进行递归聚合和转换来计算。图数据的大尺寸是图神经网络(GNN)训练或影响硬件实现的一个问题。在一些实施例中,图数据可以是10TB或更多。传统的图神经网络(GNN)可以在分布式中央处理单元(CPU)或图形处理单元(GPU)系统中实现,在分布式中央处理单元(CPU)或图形处理单元(GPU)系统中,大尺寸的图数据首先被加载到位于分布式服务器上的动态随机存取器(DRAM)中。在传统系统中有两个主要问题。第一,通过分布式动态随机存取器进行的数据采样会影响系统时延。例如,数据采样时延可能比计算时延高10倍。第二,动态随机存取器和分布式系统的高成本也会产生问题。

图形处理通常会引起较大的处理利用率和较大的内存访问带宽利用率。因此,需要改进图处理平台,从而降低与大处理利用率相关的时延,提高存储器带宽利用率,等等。

13页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:数据访问方法、装置和第一计算设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类