先进数据系统实验室

Menu



实验室一项成果 (Cuber) 被系统领域国际顶会 OSDI 2024 接收

Posted on 2024-04-04

北京时间2024年3月22日，OSDI 2024公布了论文入选结果，我实验室一篇论文“Cuber: Constraint-Guided Parallelization Plan Generation for Deep Learning Training”成功入选OSDI 2024会议！本届会议共收到282篇投稿，最终接受44篇，录用率15.6%。向各位参与研究工作的老师同学、合作者表示祝贺！论文简介：大模型的分布式计算越来越重要。为了做到高效的分布式计算，现有的搜索算法通过组合数据并行、算子并行和流水线并行的方式，在三种并行方式的组合空间（即3D并行空间）内搜索最优并行方案。然而，这样的组合空间是一个固化子空间，无法发现新的并行方案。为了提升并行方案的性能，我们认为AI系统应该赋予系统专家自主定制搜索空间的能力。为此，我们提出了Cuber。Cuber提出了op-trans, op-assign 和 op-order 三方面原语来灵活描述并行方案的算子切分和时间-空间调度，极大地扩展了并行空间。为了应对搜索空间过大的挑战，Cuber进一步在这些原语上提供了约束接口，让系统专家能通过约束的

实验室一项成果 (MinFlow) 被文件存储顶级会议 FAST 2024 接收

Posted on 2023-12-24

北京时间2023年12月9日，FAST 2024 公布了论文入选结果，我实验室一篇论文“MinFlow: High-performance and Cost-efficient Data Passing for I/O-intensive Stateful Serverless Analytics”成功入选FAST 2024 会议！本届会议共收到123篇投稿，最终接受22篇，录用率17.9%。向各位参与研究工作的老师同学、合作者表示祝贺！论文简介：无服务器计算彻底改变了应用部署，免去了传统的基础设施管理，按需动态分配资源。一个重要的用例是I/O密集型应用程序，如数据分析，它广泛使用关键的”Shuffle”操作。遗憾的是，由于对远程存储的大量PUT/GET请求，特别是在高并行场景下，Shuffle操作带来了严峻的挑战，导致高性能下降和存储成本增加。现有的设计从多个方面优化数据传递性能，而它们以孤立的方式操作，因此仍然会引入不可预见的性能瓶颈，并绕过未开发的优化机会。在本文中，我们开发了MinFlow，一个用于I/O密集型无服务器分析工作的整体数据传递框架。MinFlow首先快速生成大量

实验室在读博士生王一多获2023年中科院院长奖特别奖

Posted on 2023-11-19

近日，2023年度中国科学院院长奖获奖名单公布，我实验室20级在读博士生王一多荣获中国科学院院长特别奖。中国科学院院长奖是中国科学院对在学研究生的最高奖励，每年在全院110多个培养单位中评选，本年度特别奖共评选出80人。本次获奖，也是继22 届博士生张强后，实验室博士生连续第二届获得中科院院长奖特别奖。王一多同学自2018年进入实验室以来，师从许胤龙教授、李诚副教授，持续在分布式文件系统元数据方向开展研究。此次获奖，是对该同学的研究成果的认可，也是对实验室各位老师的教育培养工作的肯定。实验室师生将继续在基础系统方向开展工作，坚持研究国家之急需，为社会持续培养高水平研究生。

实验室一项成果 (Tetris) 被体系结构顶级会议 HPCA 2024 接收

Posted on 2023-10-24

北京时间2023年10月23日，HPCA 2024公布了论文入选结果，我实验室一篇论文“Tetris: Boosting Distributed DNN Execution with Flexible Schedule Search”成功入选HPCA 2024会议！本届会议共收到75篇投稿，最终接受410 篇，录用率18.3%。向各位参与研究工作的老师同学、合作者表示祝贺！论文简介：大模型的分布式计算越来越重要。为了做到高效的分布式计算，现有的方案往往考虑如何在空间维度上切分和放置算子，并基于此，在时间维度上采用人工精心设计的调度算法（如1F1B）来提高设备利用率。然而，固定的调度算法反过来约束了空间维度上的算子摆放策略，在新兴模型上遇到了性能瓶颈。为了做到更加灵活高效的分布式计算，我们提出了Tetris，能针对任意算子的摆放位置来寻找出高效的调度算法。Tetris的核心，在于观察到高效的调度算法往往包含有重复的、有规律的执行结构（repetend）。 Tetris在此观察上进行搜索和构造，来寻找最优的repetend。Tetris的出现能极大程度解除空间维度的算子摆放限制，并利用搜索

实验室一项成果（Noctua）被计算机系统国际顶会EuroSys 2024接收

Posted on 2023-09-12

北京时间2023年9月12日，EuroSys 2024 公布了论文入选结果，我实验室一篇论文“Noctua: Towards Practical and Automated Fine-grained Consistency Analysis”成功入选EuroSys 2024会议！本届会议共收到244篇投稿，最终接受39篇，录用率16.0%。向各位参与研究工作的老师、同学、合作者表示祝贺！论文简介：放宽强一致性在实现geo-replicated网络应用程序的可伸缩性和可用性中起关键性作用。然而，尽管现有众多分析工具，但在现代应用程序中确保宽松一致性的正确性仍然是一项挑战，这是因为这些应用程序通常是用动态语言编写的，并使用了高级的面向对象数据库抽象，而传统分析工具无法处理这类应用程序。本工作中，我们设计了一个完全自动化的验证框架Noctua，用于理解这类网络应用程序中的细粒度一致性语义。框架的核心是一种简单的可验证语言SOIR，以弥合由高级语言逻辑和数据库交互组成的应用代码库和SMT求解器可验证的指令之间的语义差距。此外，我们提出了一个轻量级的程序分析器作为前端，该分析器利用应用开发框架的

实验室一项成果（gSampler）被计算机系统领域国际顶会SOSP 2023接收

Posted on 2023-07-15

北京时间2023年7月15日，SOSP 2023公布了论文入选结果，我实验室与AWS Shanghai AI Lab、南方科技大学联合完成的论文“gSampler: General and Efficient GPU-based Graph Sampling for Graph Learning”成功入选SOSP 2023 会议！本届会议共收到229篇投稿，最终接受43篇，录用率18.8%。向各位参与研究工作的老师、同学、合作者表示祝贺！论文简介：图神经网络（Graph Neural Network, GNN）被越来越广泛应用信息检测、电商推荐、知识图谱等各种领域。为了支持大规模的图学习任务，现有的GNN训练往往采用图采样的方式进行。但是，由于图采样算法的多样性和复杂度不断增加，图采样往往成为GNN训练的主要瓶颈；此外，现有的采用框架在表达图采样算法时通用性和执行效率也存在不足。为了弥补这一差距，我们对15种常用的图采样算法进行了全面研究，提出了一个通用而高效的GPU图采样框架gSampler。gSampler基于matrix-based的抽象，使用4步骤Extract-Compute

实验室一项成果（SPFresh）被计算机系统领域国际顶会SOSP 2023接收

Posted on 2023-07-15

北京时间2023年7月15日，SOSP 2023公布了论文入选结果，我实验室与微软亚洲研究院联合完成的论文“SPFresh: Incremental In-Place Update for Billion-Scale Vector Search”成功入选SOSP 2023 会议！本届会议共收到229篇投稿，最终接受43篇，录用率18.8%。向各位参与研究工作的老师、同学、合作者表示祝贺！论文简介：近似最近邻搜索（Approximate Nearest Neighbor Search, ANNS）在信息检索、问答系统、推荐系统等领域具有广泛应用。索引是ANNS能高效准确搜索的关键，随着向量数据规模的不断增长，对向量索引更新的支持变得越发重要。然而，由于向量数据通常具有极高的维度，识别单个新向量的准确最近邻居通常代价很高，而这正是索引更新所必需的过程。为了分担更新的开销，现有系统维护一个辅助索引来累积更新，然后通过全局重建整个索引将其合并到主索引中。但是这种方法的搜索延迟和准确性波动较大，而且需要大量资源，在重新构建时耗时严重。我们的系统SPFresh是一个支持In-Place更新的系统。

地址：安徽省合肥市蜀山区复兴路中国科学技术大学（高新校区）信智大楼 702 703 710室
电话：0551-63602430

「网站制作与维护：卫来科技提供」

先进数据系统实验室

实验室主页

研究课题

实验室人员

研究成果