Flink-Iceberg-Connector写入流程

2022年10月10日 · 3379 字 · 7 分钟 · Big Data Lake House Stream Compute Storage

Iceberg社区提供了Flink Connector的官方实现，本章源码阅读正是基于此。 写入提交流程总览 Flink 通过 RowData -> distributeStream -> WriterStream -> Committer

Apache-Iceberg调研

2022年10月5日 · 2426 字 · 5 分钟 · Lake House Storage Big Data

一种用于大规模分析数据集的表格式。 一种对数据文件和元数据文件的组织规范。 一种介于存储和计算中间的schema语义抽象。 netflix开发开源