先进数据系统实验室

　　我们实验室自主研究的大规模图的图神经网络训练原型系统PaGraph被计算机领域国际期刊TPDS(CCF推荐A类)接收。向各位参与研究工作的老师、同学、合作者表示祝贺。

　　论文题目：Efficient Data Loader for Fast Sampling-based GNN Training on Large Graphs

　　论文摘要：新兴的图神经网络（GNN）将针对图像和文本等数据集的深度学习技术的成功扩展到了更复杂的图结构数据。通过利用GPU加速器，现有框架将mini-batch和采样结合在一起，可以对大规模图进行有效的模型训练。但是，此设置面临可扩展性问题，因为通过带宽有限的链接将大量的图节点属性从CPU加载到GPU的时间开销通常在训练周期中占比很高。在本文中，我们提出了PaGraph，一个新颖的高效数据加载器，可在具有多GPU的单服务器上高效地支持基于采样的GNN训练。PaGraph通过利用空闲的GPU显存资源来缓存被经常访问的图属性数据，从而大大减少了数据加载时间。它提出了一种轻量级但有效的缓存策略，该策略同时考虑了基于采样的GNN训练的图结构信息和属性数据地访问模式。此外，为了在多个GPU上进行扩展，PaGraph开发了一种快速的GNN计算感知的数据集切分算法，以避免在数据并行训练期间进行跨分区的数据访问，提高了多卡的缓存效率。最后，它将数据加载和GNN计算做流水化，以进一步隐藏数据加载开销。使用Neighbor和Layer-wise这两种采样方法对两个代表性GNN模型GCN和GraphSAGE进行的评估表明，PaGraph可以消除GNN训练中的数据加载时间，与最先进的基准比较，能达到4.8倍的性能提速。结合预处理优化，PaGraph获得了高达16倍的端到端训练加速。

　　IEEE TPDS