我们实验室在分布式文件系统元数据管理中负载均衡方面的工作被超算领域顶级会议SC(CCF推荐A类)接收。向各位参与研究工作的老师、同学、合作者表示祝贺。
论文题目:Lunule:An Agile and Judicious Metadata Load Balancer for CephFS
论文摘要:为了在海量元数据访问的场景下获得较好的可扩展性,CephFS采用了动态子树划分的方法,将命名空间拆分成多个子树从而在多个元数据服务器之间进行元数据划分。然而,由于这种方法无法准确地感知不均衡、无法区分不同类型的工作负载以及存在不必要/无效的迁移行为,最终导致了严重的负载不均衡与较差的性能。为了解决这个问题,我们提出了Lunule——一种为CephFS设计的新型元数据负载均衡器。Lunule提出了一种不均衡因子模型来准确地确定触发迁移与容忍不均衡的时机,并提出了一种可感知工作负载类型的迁移决策方案来恰当地选择所要迁移的子树。在与现有工作的对比实验中,Lunule在五种不同的工作负载及其混合上都获得了较好的负载均衡,从而分别在整体吞吐量上取得了最高315.8%的提升以及减少了最多64.6%的尾部工作完成时间。不仅如此,Lunule还能适应元数据服务器和工作负载的动态变化,并且在16个MDS的集群中能较为线性地扩展。