Apache-ORC调研
2022年10月5日 · 2339 字 · 5 分钟 · Column Store Big Data Storage
iceberg支持ORC和Parquat两种列存格式。相比于Parquat,ORC在查询性能以及ACID支持方面具有一定的优势。于是考虑到后续湖仓查询性能以及数据湖的ACID需求,现对ORC进行调研,以支持后续Flink+iceberg+orc的demo测试。
2022年10月5日 · 2339 字 · 5 分钟 · Column Store Big Data Storage
iceberg支持ORC和Parquat两种列存格式。相比于Parquat,ORC在查询性能以及ACID支持方面具有一定的优势。于是考虑到后续湖仓查询性能以及数据湖的ACID需求,现对ORC进行调研,以支持后续Flink+iceberg+orc的demo测试。
2022年10月5日 · 2426 字 · 5 分钟 · Lakehouse Storage Big Data
一种用于大规模分析数据集的表格式。 一种对数据文件和元数据文件的组织规范。 一种介于存储和计算中间的schema语义抽象。 netflix开发开源,旨在提升拓展性、可靠性、以及易用性。 背景 HIVE 上云遇到的一系列问题:
2022年5月10日 · 1385 字 · 3 分钟 · LevelDB LSM Storage
LevelDB源码阅读笔记第二章,有关LevelDB的Write流程。本文并不是step by step的源码阅读教程,而是仅仅作为我的学习笔记,简单记录我的问题与思考。
2022年4月15日 · 2336 字 · 5 分钟 · Raft Distributed System MIT6.824
之前因为想试一试GSOC,所以看了看Casbin-Mesh的代码,这是基于Raft的一个分布式Casbin应用。这个MIT6.824里的RaftKV很类似,所以正好借此机会写下这篇博客。
2022年4月9日 · 3152 字 · 7 分钟 · LevelDB LSM Storage
之前就听LevelDB是所有搞存储的人都会读的一个代码库。最近正好忙完了搞完了毕设的代码,稍微闲了一些,于是也打算看看LevelDB的源码。