LevelDB MVCC

Sat, 08 Feb 2025 14:06:39 +0800

LevelDB通过 MVCC 实现了 sstable 读写并发以及 Snapshot Read 的功能，让我们来看看它是怎么做到的。

Sequence Number

LevelDB通过Sequence Number作为逻辑时钟，维护了单个 KV 写操作的全序关系。在 InternalKey 的编码里，将Sequence Number 编码到 InternalKey 的最后几个字节里。在写内存时，也确保了数据的有序性。

Versioning

LevelDB每次sstable文件集合变化，都会从一个Version升级成另外一个Version。Version表示DB在某个时刻的状态，每个Version中记录了某个时刻sstable以及compaction 有关的元信息。VersionEdit 描述了版本的变化。

text

Version1 ---VersionEdit--> Version2

VersionSet 被描述为一组有序的 Version 链表，代表了数据库当前以及历史的运行状态。其中LastSeq 和 Version 链表最为关键。

Version链表描述了存储的所有Version以及变化，Version 本身使用 RC 的方式做 GC。Version Chain 描述了不同时间sstable 集合写操作的全序关系。

WAL + Manifest 确保了LastSeq变更的原子性。

Manifest文件作为VersionChange的WAL保证版本变更的Crush Safety, 和 Version Commit操作一起保证了VersionSet最新版本变更的原子性。

plain

Write Done ---> VersionEdit ---> Manifest ---> VersionSet

在整个 Version迁移过程中，写操作导致状态变更由 VersionEdit 记录在内存中，然后写入到 Manifest里，最后再将 VersionSet 指向此 Version，这样的操作保证了 Version 变更的一致性，即Compaction导致的版本变更不会影响到正在进行的读操作。读操作也不会读取到中间状态的 sstable 文件。

cpp


class VersionEdit {
 /** other code */
 typedef std::set<std::pair<int, uint64_t>> DeletedFileSet;

 std::string comparator_;
 uint64_t log_number_;
 uint64_t prev_log_number_;
 uint64_t next_file_number_;
 SequenceNumber last_sequence_;
 bool has_comparator_;
 bool has_log_number_;
 bool has_prev_log_number_;
 bool has_next_file_number_;
 bool has_last_sequence_;

 std::vector<std::pair<int, InternalKey>> compact_pointers_;
 DeletedFileSet deleted_files_;
 std::vector<std::pair<int, FileMetaData>> new_files_;
};

class Version {
 VersionSet* vset_; // VersionSet to which this Version belongs
 Version* next_; // Next version in linked list
 Version* prev_; // Previous version in linked list
 int refs_; // Number of live refs to this version

 // List of files and meta per level
 std::vector<FileMetaData*> files_[config::kNumLevels];

 // Next file to compact based on seek stats. （allowed_seek耗尽导致的compact）
 FileMetaData* file_to_compact_;
 int file_to_compact_level_;

 // Level that should be compacted next and its compaction score.
 // Score < 1 means compaction is not strictly needed. These fields
 // are initialized by Finalize().
 double compaction_score_; // score表示数据不均衡的程度，score越大表示该level数据越不均衡，需要有限compact
 int compaction_level_;
}

class VersionSet {
 Env* const env_;
 const std::string dbname_;
 const Options* const options_;
 TableCache* const table_cache_;
 const InternalKeyComparator icmp_;
 uint64_t next_file_number_;
 uint64_t manifest_file_number_;
 uint64_t last_sequence_;
 uint64_t log_number_;
 uint64_t prev_log_number_; // 0 or backing store for memtable being compacted

 // Opened lazily
 WritableFile* descriptor_file_; // descriptor_ is for manifest file
 log::Writer* descriptor_log_; // descriptor_ is for manifest file
 Version dummy_versions_; // Head of circular doubly-linked list of versions. 正在使用的version的链表
 Version* current_; // == dummy_versions_.prev_

 // Per-level key at which the next compaction at that level should start.
 // Either an empty string, or a valid InternalKey.
 std::string compact_pointer_[config::kNumLevels];
}

MVCC & Snapshot Read

对于memtable的并发读写操作，依赖 skiplist，本身是有锁来处理读写冲突的。对于sstable的并发读写（compaction 和 read ）则依赖 Version 和 Sequence Number 解决。

每次对 sstable 的写操作（minor/major compaction）必然产生新的 sstable 文件，带来 sstable 集合的变化，进而产生新的 Version。而每条KV记录也一定会携带 Sequence Number信息。

每次读操作(Version.Get)会附带上 Sequence Number 以及 Version 信息，Sequence Number 确保了后续的写入对读不可见，关联Version确保了Version关联的sstable在读操作结束前不会被GC。进而确保了读取所用到的sstable文件不会丢失或者更新,同时也能实现 Snapshot Read。

如果 Read 和 Write 在同一个 Version 进行，则必须是Compaction 先完成后，否则 Version 不会变化。此时触发读取操作，此时sstable不会有变化，所以读写并不冲突。如果不是，则只能是先读后写，写对读不可见，更不会有冲突。

Reference

https://leveldb-handbook.readthedocs.io/zh/latest/index.html https://noneback.github.io/zh/blog/zh/leveldb-write/

MVCC on NoneBack

LevelDB MVCC

Sequence Number

Versioning

MVCC & Snapshot Read

Reference