Apache-ORC调研

2022年10月5日 · 2339 字 · 5 分钟 · Column Store Big Data Storage

iceberg支持ORC和Parquat两种列存格式。相比于Parquat，ORC在查询性能以及ACID支持方面具有一定的优势。于是考虑到后续湖仓查询性能以及数据湖的ACID需求，现对ORC进行调研，以支持后续Flink+iceberg+orc的demo测试。

Apache-Iceberg调研

2022年10月5日 · 2426 字 · 5 分钟 · Lakehouse Storage Big Data

  • 一种用于大规模分析数据集的表格式。
  • 一种对数据文件和元数据文件的组织规范。
  • 一种介于存储和计算中间的schema语义抽象。
  • netflix开发开源，旨在提升拓展性、可靠性、以及易用性。

背景

HIVE 上云遇到的一系列问题：