MIT6.824-ChainReplication

2023年2月8日 · 740 字 · 2 分钟 · Distributed System MIT6.824 ChainReplication

只是简单写写，有一些具体一点的设计建议去读一下原文。 简介 简单来讲，CR论文介绍了一种用于存储服务的满足线性一致性的复制状态机算法。它通过链式

MIT6.824-ZooKeeper

2023年1月3日 · 933 字 · 2 分钟 · Distributed System MIT6.824 ZooKeeper

本文主要讲了ZooKeeper系统在设计和实践上的考量，如wait-free和lock，一致性的选择，系统提供的API以及特定语义上的抉择，

Flink-Iceberg-Connector写入流程

2022年10月10日 · 3379 字 · 7 分钟 · Big Data Lake House Stream Compute Storage

Iceberg社区提供了Flink Connector的官方实现，本章源码阅读正是基于此。 写入提交流程总览 Flink 通过 RowData -> distributeStream -> WriterStream -> Committer

Apache-ORC调研

2022年10月5日 · 2339 字 · 5 分钟 · Column Store Big Data Storage

iceberg支持ORC和Parquat两种列存格式。相比于Parquat，ORC在查询性能以及ACID支持方面具有一定的优势。于是考虑到后

Apache-Iceberg调研

2022年10月5日 · 2426 字 · 5 分钟 · Lake House Storage Big Data

一种用于大规模分析数据集的表格式。 一种对数据文件和元数据文件的组织规范。 一种介于存储和计算中间的schema语义抽象。 netflix开发开源