经过持续两年的努力,我们ADSL实验室和香港中文大学Patrick P. C. Lee教授合作的DEPART被计算机存储系统领域顶级国际会议 FAST 2022 (CCF A类) 收录。向各位参与研究工作的老师、同学、合作者表示祝贺。
这项研究工作主要利用解耦的思想对分布式键值系统的多副本加剧I/O放大问题进行优化。在基于LSM-tree的分布式键值系统中,为了保证数据的高可靠并容错,多副本机制被广泛应用。然而,已有键值系统都采用统一的LSM-tree索引,对节点上的多副本数据进行统一存储,这会极大地加剧系统的读写放大。因此,我们首次提出在存储层对多副本数据进行解耦的思想,并设计差异化和有序度可调的存储结构进行管理,从而有效降低分布式键值系统的读写放大,并向用户提供可调的读写性能。
近年来,在ADSL实验室负责人许胤龙教授的带领下,我们实验室在计算机系统特别是在健值存储系统方向有了长期稳定的积累,已经连续两年在存储系统领域顶级国际会议 FAST发表键值存储方向的研究成果(在FAST21发表SpanDB),说明ADSL实验室的科研实力向着更高水平迈进。
此项工作得到了国家自然科学基金重点项目、科技部重点研发课题、双一流学科建设的资助,得到了国家高性能计算中心(合肥)、安徽省高性能计算重点实验室的平台支持!
论文题目:DEPART: Replica Decoupling for Distributed Key-Value Storage
论文摘要:Modern distributed key-value (KV) stores adopt replication for fault tolerance by distributing replicas of KV pairs across nodes. However, existing distributed KV stores often manage all replicas in the same index structure, thereby leading to significant I/O costs beyond the replication redundancy. We propose a notion called replica decoupling, which decouples the storage management of the primary and redundant copies of replicas, so as to not only mitigate the I/O costs in indexing, but also provide tunable performance. In particular, we design a novel two-layer log that enables tunable ordering for the redundant copies to achieve balanced read/write performance. We implement a distributed KV store prototype, DEPART, atop Cassandra. Experiments show that DEPART outperforms Cassandra in all performance aspects under various consistency levels and parameter settings.