Flink-Iceberg-Connector写入流程

2022年10月10日 · 3379 字 · 7 分钟 · Big Data Lake House Stream Compute Storage

Iceberg社区提供了Flink Connector的官方实现，本章源码阅读正是基于此。 写入提交流程总览 Flink 通过 RowData -> distributeStream -> WriterStream -> Committer

Apache-ORC调研

2022年10月5日 · 2339 字 · 5 分钟 · Column Store Big Data Storage

iceberg支持ORC和Parquat两种列存格式。相比于Parquat，ORC在查询性能以及ACID支持方面具有一定的优势。于是考虑到后

Apache-Iceberg调研

2022年10月5日 · 2426 字 · 5 分钟 · Lake House Storage Big Data

一种用于大规模分析数据集的表格式。 一种对数据文件和元数据文件的组织规范。 一种介于存储和计算中间的schema语义抽象。 netflix开发开源