MIT6.824-ZooKeeper by NoneBack 2023-01-03 约 1455 字 - 预计阅读 3 分钟 Distributed System MIT6.824 本文主要讲了ZooKeeper系统在设计和实践上的考量,如wait-free和lock,一致性的选择,系统提供的API以及特定语义上的抉择, 阅读全文
Flink-Iceberg-Connector写入流程 by NoneBack 2022-10-10 约 3752 字 - 预计阅读 8 分钟 big data storage Iceberg社区提供了Flink Connector的官方实现,本章源码阅读正是基于此。 写入提交流程总览 Flink 通过 RowData -> distributeStream -> WriterStream -> Committer 阅读全文
Apache-ORC调研 by NoneBack 2022-10-05 (上次更新: 2022-06-05) 约 2576 字 - 预计阅读 6 分钟 column store data lake big data iceberg支持ORC和Parquat两种列存格式。相比于Parquat,ORC在查询性能以及ACID支持方面具有一定的优势。于是考虑到后 阅读全文
Apache-Iceberg调研 by NoneBack 2022-10-05 (上次更新: 2022-06-05) 约 2688 字 - 预计阅读 6 分钟 lake house storage big data 一种用于大规模分析数据集的表格式。 一种对数据文件和元数据文件的组织规范。 一种介于存储和计算中间的schema语义抽象。 netflix开发开源 阅读全文
LevelDB Write by NoneBack 2022-05-10 约 1423 字 - 预计阅读 3 分钟 Storage LSM LevelDB LevelDB源码阅读笔记第二章,有关LevelDB的Write流程。本文并不是step by step的源码阅读教程,而是仅仅作为我的学习笔记, 阅读全文