北京时间2023年1月19日,EuroSys 2023(Fall Deadline)公布论文入选结果。本次EuroSys(秋)从投稿的184篇论文中收录26篇,接收率仅为14.1%。我实验室与百度公司联合研发并完成的论文“CFS:Scaling Metadata Service for Distributed File System via Pruned Scope of Critical Sections”成功入选!向各位参与研究工作的老师、同学、合作者表示祝贺!
论文简介:对于分布式文件系统而言,元数据的可扩展性与POSIX语义之间存在着根本性的冲突。其中的瓶颈在于为保证元数据的强一致性(即原子性和隔离性)而进行的协调,通常是锁。CFS是一个可扩展的、完全符合POSIX标准的分布式文件系统,它通过修剪关键冲突域的范围来减少锁的开销,从而消除元数据管理的瓶颈。首先,CFS采用了层次化的元数据组织,通过设计适当的分区和索引方法来独立扩展文件属性和其余的namespace层次关系,从而消除了跨分片的分布式协调。其次,它通过单分片原子原语进一步扩展了单个元数据分片的性能,缩短了元数据请求的生命周期并消除了虚假的冲突。第三,CFS放弃了元数据代理层,而是采用轻量级、可扩展的客户端侧元数据解析服务。CFS已经在生产环境中稳定运行了超过3年时间。我们在50节点集群上对微型基准测试的评估结果表明,CFS同时将HopsFS和InfiniFS等基线的吞吐量提高至1.76-75.82倍和1.22-4.10倍,并将它们的平均延迟分别最高降低了91.71%和54.54%。在竞争较高和目录较大的情况下,CFS的吞吐量优势则会进一步扩大一个数量级。此外,对于具有数据访问的三个真实世界的工作负载,相比于InfiniFS,CFS的端到端吞吐量加速达到了1.62-2.55倍,并减少了35.06-62.47%的尾延迟。
该项工作是由我实验室博士在读生王一多、硕士在读生吴雨飞,李诚特任研究员,许胤龙教授以及百度公司云存储部郑鹏飞、曹彪等工程师联合完成的。CFS已经在生产环境中稳定运行超过3年时间,通过标准的文件访问协议,为云上的虚机、容器等计算资源提供无限扩展、高可靠、全球共享的文件存储能力。