Borg: Large-scale cluster management at Google with Borg

2024年2月19日 · 1166 字 · 3 分钟 · Borg Kubernetes Cluster Management Paper Reading

Borg 是一个集群管理系统,类似闭源的k8s。

  • 通过准入控制、高效的任务装箱、超售、机器共享、以及进程级别的性能隔离,实现了高利用率。
  • 为高可用应用提供了可以减少故障恢复时间的运行时特性,以及降低关联故障概率的调度策略。
  • 提供声明式的作业描述语言、域名服务集成、实时作业监控、分析和模拟系统行为的工具。简化用户的使用。

文章本意在介绍系统设计的同时,讲述Google在背后的经验总结。但本文主要关心系统的设计,关注Borg对外提供的服务SLA,关注Borg对负载,资源,调度等方面的抽象。

MIT6.824-Raft

2022年2月21日 · 1988 字 · 4 分钟 · Paper Reading Consensus Distributed System MIT6.824

这个寒假可算把搁置许久的Lab02给做完了。之前一直被卡在Test 2B的一个case里,寒假时候重新看看大佬们的实现思路,可算是完成了所有内容,于是简单记录一下。

DFS-Haystack

2021年10月6日 · 3596 字 · 8 分钟 · DFS Paper Reading Distributed System

组内的主要项目便是一种提供POXIS文件系统语义的DFS,其中解决losf(lots of small files)的思路就是对小文件单独处理。里面的思想来源应该就是Haystack。 于是大致阅读了一下这篇论文,写下学习笔记。 笔记依旧不深究具体细节,仅仅记录对问题的思考以及设计的思路。

MIT6.824-Bigtable

2021年9月16日 · 6733 字 · 14 分钟 · Paper Reading MIT6.824 DFS Distributed System

之前在网上找到了别人翻译的BigTable论文,就顺手保存了下来,但一直没开始看。最近发现BigTable和目前组内做的项目有很多设计上相似的地方,于是用周末的时间快速的阅读了一遍。