Mesos 实战 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

[美] Roger，Ignazio（罗杰.英格纳齐奥） 著，余何 译

图书标签:

• Mesos
• 集群管理
• 容器化
• Docker
• Marathon
• 数据中心
• 云计算
• 分布式系统
• 运维
• DevOps

出版社： 电子工业出版社

ISBN：9787121311642

版次：1

商品编码：12193042

品牌：Broadview

包装：平装

开本：16开

出版时间：2017-05-01

用纸：胶版纸

页数：260

字数：364000

正文语种：中文

产品特色

编辑推荐

适读人群 ：数据中心架构设计以及管理者等，阅读本书的读者需要熟悉数据中心管理的核心理念，也需要了解 Python 或者类似编程语言的基础知识。

Mesos是一个开源的集群任务调度管理系统，帮读者实现更小的系统开销，更方便的管理。随着虚拟化技术的发展，数据中心的架构组成越来越复杂。除了传统的物理机，云计算技术的虚拟机外，当前以docker为代表的容器技术也在数据中心里承担重要的服务角色。因此如何以*简单统一的方式来管理、调度混杂式数据中心的资源，实现大规模的应用部署，已经成为每个数据中心管理从业者眼前*大的需求。

相信这本书会为对大规模分布式系统、集群任务调度管理、云计算和大数据感兴趣的读者带来收益。

内容简介

本书汇集了以Mesos为核心的新一代数据中心操作系统的*佳实践，全面展示了Mesos集群对数据中心资源管理的集成高效性，和对应用部署和计划任务创建扩容操作的便捷性的优点。 基于Apache Mesos开源项目和Mesosphere公司的开创性工作，作者由浅到深地介绍了Mesos数据中心操作系统下各个相关组件和主流的计算框架，主要内容包括：1.构建你的**个Mesos集群：Mesos+Docker+Zookeeper2.管理Mesos集群：任务调度，资源管理以及日志3.使用主流计算框架部署容器化应用：Mesosphere公司的Marathon+Chronos以及Apache Aurora4.以python为例，自开发计算框架在每个部分，Roger Ignazio都给出了：关键原理及组件组成、安装部署过程、注意事项、日志和诊断方法等*佳实践，并结合相关实例、研究成果和附加资源进行阐述。每个部分的内容组织都着力于条理清晰的、系统的展现Mesos集群的优点。作者对书中建议和使用指南进行了补充说明，以便读者深入了解其合理性，还有实用指南明确每个动作是否成功执行。 《Mesos实战》可以作为新一代数据中心架构设计以及管理的**性参考和教程，也可作为自建PaaS、CaaS平台的辅助参考，又或是分布式计算框架开发的参考书籍。

作者简介

Roger Ingnazio是一名经验丰富的系统工程师，专注研究分布式、具备容错性和伸缩性的基础架构。他对于通过更好的自动化、工具化和报告来提高生产效率极富热情。目前他是Mesosphere工程团队的一个技术指导，与他的妻子Sarah及他们的两只猫居住在俄勒冈州波特兰市。
余何：众神的大师兄，湖南长沙人也；高效运维公众号专栏作者；著有《PaaS实现与运维管理》，具有十余年数据中心运维管理经验。国家软件设计师、PMP项目管理认证、Juniper互联网专员（JNCIS）、NetApp解决方案架构师（NCSA），热衷于开源技术，广结天下英豪，以运维心灵捕手著称。陈秋浩：基础架构资深工程师，拥有6年大型IT数据中心运维和开发经验，早期活跃于基础架构服务交付和异常事件处理一线。爱好开发，拥抱开源技术，2014年末借Docker和Mesos技术兴起之势，辅以业界日益成熟的自动化运维理念，负责开发搭建企业内部基于Mesos+Marathon的高容错性、弹性伸缩的Docker平台。杨永帮：2011年毕业于中山大学软件工程专业，多年的大型金融集团的IT基础架构运维的丰富经验，解决过IT基础架构的各种疑难问题杂症。深深感受到了云计算的发展带来的运维方式的变革，目前致力于Mesos与Docker的研究工作。

目录

第 1 部分 你好，Mesos ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 1
1 初识 Mesos ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 3
1．1 遇见 Mesos ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 4
1．1．1 理解它如何工作 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 5
1．1．2 虚拟机和容器的比较 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 7
1．1．3 知道何时及为何使用 Mesos．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 9
1．2 为什么我们要重新思考数据中心 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 10
1．2．1 资源划分 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 11
1．2．2 应用部署 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 12
1．3 Mesos 分布式架构 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 13
1．3．1 masters ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 13
1．3．2 slaves ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 14
1．3．3 frameworks ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 15
1．4 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 15
2 使用 Mesos 管理数据中心资源 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17
2．1 Spark 简要介绍 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 18
2．1．1 独立集群上的 Spark．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 18
2．1．2 Mesos 上的 Spark ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 19
2．2 在 Mesos 上运行 Spark job ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 21
2．2．1 在集合中寻找素数 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 22
2．2．2 获取与打包代码 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 23
2．2．3 提交作业 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 24
2．2．4 观察输出 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 24
2．3 进一步探索 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 26
2．3．1 Mesos UI ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 26
2．3．2 Spark UI．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 26
2．4 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 28
第 2 部分 Mesos 核心．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 31
3 安装 Mesos ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33
3．1 部署 Mesos ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 34
3．1．1 Mesos 集群组件．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 34
3．1．2 开发环境的注意事项 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 35
3．1．3 生产环境的注意事项 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 36
3．2 安装 Mesos 和 ZooKeeper ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 38
3．2．1 使用安装包部署 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 38
3．2．2 从源文件编译并安装 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 40
3．3 配置 Mesos 和 ZooKeeper ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 43
3．3．1 ZooKeeper 配置 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 43
3．3．2 Mesos 配置．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 45
3．4 安装并配置 Docker．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 50
3．4．1 安装 Docker ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 51
3．4．2 配置 Docker ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 53
3．4．3 配置 Docker 专用的 Mesos slaves ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 54
3．5 升级 Mesos ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 54
3．5．1 升级 Mesos masters ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 55
3．5．2 升级 Mesos slaves ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 55
3．6 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 56
4 Mesos 原理 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57
4．1 调度和分配数据中心资源 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 57
4．1．1 理解资源调度 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 58
4．1．2 理解资源分配 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 59
4．1．3 定制 Mesos slave 资源和属性 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 61
4．2 使用容器隔离资源 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 62
4．2．1 隔离并监控 CPU、内存和磁盘 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 63
4．2．2 网络监控和限速 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 65
4．3 了解容错和高可用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 68
4．3．1 容错 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 70
4．3．2 高可用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 70
4．3．3 处理出错和升级 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 70
4．4 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 76
5 日志记录和调试 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．77
5．1 理解和配置 Mesos 日志记录 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 78
5．1．1 日志文件的路径和解释 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 78
5．1．2 配置日志记录 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 80
5．2 调试 Mesos 集群及其任务 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 81
5．2．1 使用 Mesos Web 接口 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 82
5．2．2 使用内置命令行工具 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 89
5．2．3 使用 Mesosphere 的 mesos-cli 工具 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 90
5．3 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 92

6 生产环境中的 Mesos ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．93
6．1 监控 Mesos 和 Zookeeper 集群．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 94
6．1．1 监控 Mesos master ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 94
6．1．2 监控 Mesos slave ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 96
6．1．3 监控 ZooKeeper ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 97
6．2 修改 Mesos master 的法定数目 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 99
6．2．1 添加 master 节点 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 100
6．2．2 移除 master 节点 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 100
6．2．3 替换 master 节点 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 101
6．3 安全和权限控制的实施 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 101
6．3．1 Slave 和 framework 的身份认证．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 102
6．3．2 用户授权和访问控制列表 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 104
6．3．3 framework 速率限制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 107
6．4 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 110
第 3 部分 运行 Mesos．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 113
7 使用 Marathon 部署应用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 115
7．1 了解 Marathon．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 115
7．1．1 探索 Marathon 的 Web 接口和 API ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 117
7．1．2 服务发现和路由 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 118
7．2 部署 Marathon 和 HAProxy ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 121
7．2．1 安装并配置 Marathon．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 121
7．2．2 安装并配置 HAProxy．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 124
7．3 创建并伸缩应用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 127
7．3．1 部署简单的应用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 127
7．3．2 部署 Docker 容器 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 130
7．3．3 执行健康检查和滚动应用更新 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 131
7．4 创建应用组 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 134
7．4．1 理解应用组的构成 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 134
7．4．2 部署应用组 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 135
7．5 日志和调试 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 137
7．5．1 配置 Marathon 日志．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 137
7．5．2 调试 Marathon 应用和任务．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 138
7．6 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 140
8 使用 Chronos 管理计划任务 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 143
8．1 了解 Chronos．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 144
8．1．1 探索 Chronos 的 Web 接口和 API ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 145
8．2 安装并配置 Chronos．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 147
8．2．1 先决条件的检验 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 147
8．2．2 安装 Chronos．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 148
8．2．3 配置 Chronos．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 149
8．3 使用简单的作业来工作 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 150
8．3．1 创建基于计划的作业 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 150
8．3．2 使用 Docker 创建基于计划的作业 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 153
8．4 使用复杂的作业来工作 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 155
8．4．1 组合基于计划和基于依赖的作业 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 155
8．4．2 形象化作业的依赖关系 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 158
8．5 监控 Chronos 作业的输出和状态．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 159
8．5．1 作业失败事件的通知和监控 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 159
8．5．2 通过 Mesos 观察作业的标准输出和标准错误．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 161
8．6 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 162
9 使用 Aurora 部署应用和管理计划任务 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 165
9．1 Aurora 简介 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 166
9．1．1 Aurora 调度器 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 167
9．1．2 Thermos 执行器和观察者 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 167
9．1．3 Aurora 的用户和管理员客户端 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 168
9．1．4 Aurora DSL（Domain-Speci?c Language，特定领域语言）．．．．．．．．．．． 169
9．2 部署 Aurora ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 169
9．2．1 在开发环境尝试 Aurora．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 170
9．2．2 构建和安装 Aurora．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 171
9．2．3 配置 Aurora．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 174
9．3 部署应用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 178
9．3．1 部署一个简单的应用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 179
9．3．2 部署基于 Docker 的应用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 182
9．4 管理计划任务 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 184
9．4．1 创建 Cron 作业 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 184
9．4．2 创建基于 Docker 的 Cron 作业 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 185
9．5 管理 Aurora ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 187
9．5．1 管理用户和配额 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 187
9．5．2 执行维护 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 189
9．6 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 190
10 framework 开发 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 191
10．1 framework 基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 192
10．1．1 编写 framework 的时机和缘由．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 194
10．1．2 调度器的实现 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 194
10．1．3 执行器的实现 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 197
10．2 调度器开发 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 201
10．2．1 使用调度器 API．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 202
10．2．2 使用 SchedulerDriver．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 204
10．3 执行器开发 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 205
10．3．1 使用执行器 API．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 205
10．3．2 使用执行器驱动程序 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 207
10．4 运行 framework．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 208
10．4．1 在开发环境中部署 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 208
10．4．2 生产环境部署的注意事项 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 210
10．5 小结 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 211
附录 A 案例研究 ：Mesosphere DCOS，企业版 Mesos 分布式集群．． 213
附录 B Mesos 框架与工具的列表 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 225

前言/序言

推荐序一

世界著名的曼宁出版社（Manning）出版了不少广受欢迎的计算机丛书，如搜 索领域的 Lucene in Action、Elasticsearch in Action，现在，他们又出版了这本云计算 领域的 Mesos in Action。

Mesos 是一个开源的集群任务调度管理系统。现在随着分布式系统的广泛应用， 越来越多的任务运行在集群上，而不是在单台服务器上。在 x86 PC 服务器集群上运 行任务的好处是 ：单台服务器成本低，集群可以随着负载的增加添加服务器，水平 扩展 scale out，而不是过去使用昂贵服务器的 scale up。随着集群规模的扩大，节点 数越多，某个节点出现问题的概率就越大，当某个节点出现问题时，如何保证在这 个节点上运行的任务能够顺利执行完成，成为一个技术难题。另外，如何管理集群， 如何分发任务、监控任务执行过程等都是挑战。如果对于运行在集群上的任务，工 程师还是需要在各台服务器上部署和管理，工作量将非常大，现在有些大规模集群 的服务器数量已经超过万台。理想的情况是，工程师不需要关心集群里具体的每台 服务器，而是把整个集群看成是一个计算、存储资源，把任务提交给集群的管理系统， 由集群的管理系统去分发任务、监控任务执行，当某台服务器出现故障时，集群管 理系统自动把任务派发到其他服务器上运行。这样的集群管理系统可以看作集群操 作系统，甚至是数据中心操作系统。Google 在这方面做了大量的实践，在 2009 年 发表的 The Datacenter as a Computer: An Introduction to the Design of Warehouse-Scale Machines 文章中，把整个数据中心看成一台计算机，所有的资源都由数据中心操作系统进行调度管理。

在 20 世纪 80 年代，学术界就开始了集群任务调度管理系统的研究，美国威 斯康辛大学的研究人员开发了 Condor 系统，后来演进成开源的 HTCondor 系 统。 Google 在 1998 年成立之初，就使用 PC 服务器抓取、索引、检索全世界的网页，服 务器数量巨大，他们先是开发了 WorkQueue 系统，也就是一个任务队列，工程师把 需要集群运行的任务提交给这个任务队列，由任务队列把任务下发到集群的服务器， 并监控任务的运行，如果服务器出现故障，就把任务重新下发到新的服务器上。后来， 他们在 WorkQueue 的基础上开发了 Borg 系统，Borg 就是 Google 的集群任务调度管 理系统。10 年前我在 Google 工作的时候，每天需要在集群上运行的任务，都是通 过 Borg 来提交、管理的，非常方便。那时候，Google 的一个集群就已经有 2 万台 服务器的规模，一个数据中心有 10 个这样的集群，20 万台服务器。我加入腾讯后， 也开发了这样的系统。这种系统的资源隔离采用了容器技术（操作系统之上的资源 隔离），而不是虚拟机（物理服务器之上的资源隔离），以实现更小的系统开销，更 方便的管理。现在容器技术也正在被广泛使用，成为虚拟机之外的可选技术路线。

Mesos 也是一个这样的系 统。Mesos 由著名的美国加州大学伯克利分校的 AMPLab 发明，AMPLab 是 Algorithms，Machines and People（算法、机器和人）实 验室的缩写。AMPLab 的研究成果非常多，现在应用广泛的大数据处理框架 Spark 就是 AMPLab 的发明，AMPLab 的研究人员还包括了著名的美国科学院及工程院院 士、发明了 RAID（磁盘阵列）和 RISC（简约指令架构）的 David Patterson 教授。 Mesos 系统也在 Twitter、Airbnb 和苹果公司得到应用。

本书译者之一余何是 IT 专家，他曾在平安科技工作多年，有着丰富的大规模集 群系统的开发、运维、管理经验，经历了多个云计算、大数据系统在金融行业的应用， 在 2015 年出版了《PaaS 实现与运维管理》一书，由他作为经验丰富的实战者来翻 译这本书是最合适不过的了。

相信这本书会为对大规模分布式系统、集群任务调度管理、云计算和大数据感 兴趣的读者带来受益。

陈军 日志易 CEO

推荐序二

余何兄是我的老朋友了，在运维领域耕耘多年，不仅运维能力强，而且善于总结乐于分享，也是 GOPS 全球运维大会金牌讲师。我和余何兄最开始是在圈子中互 相关注，之后在一次论坛上偶遇，一番交流下来，一拍即合，一同走上了追求快乐 运维的道路。我们的共识是“一起愉快地玩耍”，让运维变得更加轻松，让运维人 员更加健康地生活。

但凡一个好的产品，都是从 0 到 1，而不是从 0 到无穷、从 0 到包罗万象，这 其中的道理就是专注。专注于做好一件事，提供稳定兼容的接口，这就是一个好产 品的伊始。在运维平台领域，由于其需求范围广、组织差异大，很难有那么一个产 品能够满足一切，而短时间满足一切又很可能意味着 bug 多多，因此，我们应该问 自己，你到底需要什么？

刚好，Mesos 就是这样一个产品 ：专注于做好一件事，专注于资源管理。关于 其上的应用任务调度，无论是服务、批处理还是大数据，它都提供了稳定而兼容的 接口，从而让用户在其上按照自己的需求，不断迭代实现，最后形成自己的产品。 其在提高集群资源利用率，服务自动化部署等方面的表现，尤其令人称赞。

希望余何兄组织翻译的本书，能得到您的喜爱，为 Mesos 在中国的继续壮大添 砖加瓦。为了我们共同的运维事业，一起加油！

萧田国 高效运维社区发起人开放运维联盟主席 国内第一个 DevOps Master

推荐序三

我一直在关注国内 IT 运维的发展，在不同的业务领域、企业规模下，运维的标

准与规则参差不齐，真正掌握运维真知的人绝不仅意味着玩转创新技术、流行框架， 更重要的是如何真正解决企业问题，如何保证落地与实现。国内第一本 PaaS 原创 畅销书作者“众生的大师兄”余何有着十多年运维实战经验，经历了中国运维发展 的各个阶段，在电信、金融以及物流领域都有所耕耘，今天由他领衔翻译的《Mesos 实战》同样保持了高水准，相信一定会广受欢迎。

Mesos 并没有什么吸引眼球的华丽外表，在起步阶段由于具备一定门槛，同时 效能只能在具备一定规模后才能体现，因此一直没有快速地在运维领域流行起来。 倒是 OpenStack 借助云计算概念、K8s 背靠谷歌这个亲爹在社区内刮起了一股大的 旋风，回头再来看看近几年商业化的过度炒作，连一向低调的运维领域也产生了泡 沫。回到问题的本身，为什么要使用 Mesos，我会站在和译者一样的角度考虑，我 们必须考虑绕不过的环节，上层的应用，我们需要对遗留应用架构系统进行兼容吗？ 需要。Mesos 是一个通用性资源管理框架，能够适配各种计算类型的服务，正因为 如此，向上的任务调度才稍显复杂，为了做好兼容，我们必须做更多工作。

资源管理策略 Dominant Resource Fairness(DRF) 是 Mesos 的核心，是将 Mesos 比作分布式系统 Kernel 的根本所在。Mesos 能够保证集群内所有用户都能够平等 地使用集群内资源，这里的资源包括 CPU、内存、磁盘等。在通用性方面，Mesos只负责提供资源给上层任务调度 framework，而不负责具体任务管理，于是可让各种类型计算任务使用集群资源。关于准入门槛，如果仅部署一套 Mesos，我们几乎 什么也干不了，为了使用好它，我们需要不同的 Mesos framework，像 Marathon， chronos 等 , 在特殊场景下，甚至需要开发自己的 framework，除此之外磁盘、网络 等问题也需要着重考虑。如果没有强大的意志力，初学者大多会望而却步。还好有“众 生的大师兄”这样一位谆谆不倦的运维发展践行者，带着对运维未来美好发展的憧 憬，坚持不懈的推行运维理念与实践，我也希望本书能够帮助 Mesos 在运维社区中 快速流行与成熟，大家都能有所贡献与分享，真正解决我们企业内部遇到的运维问 题。

肖力 云技术社区创始人

译者序

云计算时代，对开源产品的选择，很容易陷入一个误区，用商业化方式进行判断，选择最“热门畅销”的产品，而忽视了自身需求及组织能力，从而导致目标的 偏离。2014 年，我与小伙伴们开始考察一系列平台产品并进行研究，当时我们的需 求很明确，提升资源利用率与运维效率，没有其他（专注，专注，再专注）。我们 的组织能力也很明确，深入理解操作系统，能够像使用黑魔法一样改变操作系统的 行为，具有工程设计能力，能很快地驯服与改造各种开源产品。基于以上两点，经 历了一段考察期后，我们最终选择了 Mesos。

Mesos 很难让人一下子就亲近，她绝不是让你一见钟情的那种，她没有华丽外 表让你如痴如醉，也没有什么直接功能让你耍酷摆炫，你需要花很长一段时间去理 解她，你需要有应用场景，有资源节约型需求，有大规模机器集群管理，有多种计 算类型，之后在不断的运用中，才慢慢发现 Mesos 的奥妙之处，一步步坠入到她的 爱河中。Mesos 专注于数据中心资源管理，专注于做好一件事，干净、简洁，如同 操作系统内核一样，它是数据中心资源管理的 Kernel。

很多人问我 Mesos 是否可以解决运维领域的可靠性问题、资源管理问题，从此 天下太平、安枕无忧，作者在书中也有一点这种态度。但很遗憾，实际运维环境是 相当复杂的，这种神一样的工具几乎不可能存在。不同的管理结构有着不同的权限 层级，不同的应用类型有着不同的服务级别，不同的组织环境有着不同的流程规范，一言以蔽之，没有什么固定的工具可以解决不断变化的运维问题。要保持运维水平的不断提升，最后发现这是一个组织行为学问题，是理念、人、 流程、工具的结合体。组织的理念是

《云原生容器调度：从理论到实践》 序言 在数字化浪潮汹涌而来的今天，高效、可靠、弹性的基础设施已成为企业生存与发展的基石。虚拟化技术为我们带来了隔离与资源共享的便利，但随着应用规模的指数级增长和部署复杂度的不断提升，传统的部署和管理方式逐渐显露出瓶颈。容器技术的兴起，以其轻量、快速、可移植的特性，彻底改变了软件的交付与运行模式。然而，当容器数量成百上千，甚至成千上万时，如何有效地调度、管理、监控这些容器，使其在异构环境中稳定运行，并充分发挥资源的效能，便成为了一项严峻的挑战。 本书《云原生容器调度：从理论到实践》正是诞生于这样的背景之下。它并非仅仅停留在对某个单一工具的介绍，而是力求深入剖析容器调度这一云原生架构中的核心议题，从其底层原理、设计思想，到实际应用中的各种挑战与解决方案，为读者构建一个全面而深刻的认知框架。我们相信，理解容器调度背后的逻辑，掌握其核心技术，对于每一位投身于云原生领域的技术人员而言，都至关重要。 第一章：云计算与容器化的浪潮 本章我们将回顾云计算的演进历程，从IaaS、PaaS到SaaS，探讨其为企业带来的变革。随后，聚焦于容器技术，阐述其相较于传统虚拟化在效率、速度、资源利用率等方面的优势。我们将深入分析Docker等容器运行时的工作原理，理解镜像、容器、仓库等基本概念，并简述容器技术如何在开发、测试、生产等各个环节优化软件生命周期。我们将借此为读者铺设理解后续章节内容的理论基础。 第二章：容器调度的核心挑战与必要性 容器化虽然解决了应用打包和运行的问题，但随之而来的是规模化部署的挑战。本章将详细探讨容器调度所面临的几个关键问题： 资源分配与管理： 如何在众多物理或虚拟节点上，为成千上万的容器动态、高效地分配CPU、内存、存储、网络等资源，避免资源浪费或争抢。 高可用性与容错： 当某个节点发生故障，或某个容器崩溃时，如何快速检测并自动地将容器重新调度到健康的节点上，保证服务的连续性。 弹性伸缩： 如何根据实际业务负载的变化，自动地增加或减少容器的数量，以应对流量高峰或低谷，实现成本效益的最大化。 异构环境管理： 如何在包含不同硬件配置、不同操作系统、不同网络环境的复杂基础设施中，实现统一而高效的容器调度。 部署策略与复杂性： 如何实现滚动更新、蓝绿部署、金丝雀发布等高级部署策略，降低服务升级带来的风险。 成本优化： 如何通过智能调度，最大化资源的利用率，减少闲置资源，从而降低运营成本。 通过对这些挑战的深入分析，我们将明确理解为何容器调度是构建稳定、可扩展、经济高效的云原生系统的必然要求。 第三章：容器调度器的工作原理与架构 本章将深入剖析容器调度器的工作原理。我们将从宏观上揭示调度器的主要组成部分： 调度器核心（Scheduler Core）： 负责接收调度请求，并根据预设的策略和算法，选择最合适的节点。 调度策略（Scheduling Policies）： 介绍常见的调度策略，如： 最低资源消耗（Least Resource Consumption）： 将任务调度到资源剩余最多的节点，以平衡负载。 最高资源利用率（Highest Resource Utilization）： 将任务调度到资源利用率最高的节点，以榨干资源。 硬策略（Hard Constraints）： 如对特定硬件（GPU）、节点标签（机架、区域）的硬性要求。 软策略（Soft Constraints/Priorities）： 如对节点可用性、成本的偏好性排序。 预设规则（Predicates）： 在调度前进行的过滤，如检查节点是否有足够资源、满足标签要求等。 优先级排序（Priorities）： 对过滤后的节点进行排序，选择最优节点。 调度算法（Scheduling Algorithms）： 探讨常用的调度算法，如： 轮询法（Round Robin）： 简单地循环分配。 随机法（Random）： 随机选择节点。 基于优先级的调度（Priority-based Scheduling）： 根据任务或节点的优先级进行调度。 负载均衡算法（Load Balancing Algorithms）： 如加权轮询、最少连接等。 拓扑感知调度（Topology-aware Scheduling）： 考虑节点间的网络拓扑关系，以减少延迟。 调度流程（Scheduling Workflow）： 详细解析从一个任务（或Pod）的产生，到被调度到某个节点上的完整流程，包括任务注册、候选节点过滤、节点评分、最终选定等步骤。 第四章：容器编排系统中的调度器 本章将聚焦于在实际的容器编排系统中，容器调度器扮演的角色及其实现。我们将以Kubernetes为例，深入解析其内置的调度器（kube-scheduler）的工作机制： kube-scheduler 的组件与架构： 介绍kube-scheduler的命令行参数、API对象、以及其与Controller Manager、API Server的交互。 Pod 调度流程详解： 详细阐述一个Pod对象是如何被kube-scheduler选中并最终调度到某个Node上的。 过滤（Filtering）机制： 深入讲解kube-scheduler如何通过一系列的预设规则（Predicates）来过滤掉不满足条件的节点，例如： PodFitsHostPorts: 检查节点是否能分配Pod所需的端口。 PodFitsHost: 检查Pod是否指定了宿主机名，并与节点匹配。 MatchNodeLabel: 检查节点标签是否满足Pod的NodeSelector要求。 NoDiskConflict: 检查Pod挂载的卷与节点上的其他Pod卷是否存在冲突。 PodFitsResources: 检查节点是否有足够的CPU、内存等资源满足Pod的需求。 TaintToleration: 考虑节点的Taints（污点）和Pod的Tolerations（容忍），实现节点与Pod的亲和/或反亲和。 评分（Scoring）机制： 讲解kube-scheduler如何对过滤后的节点进行评分（Priorities），以选出最优的节点，例如： LeastRequestedPriority: 倾向于选择资源请求量较低的节点，以留出更多资源给其他Pod。 BalancedResourceAllocation: 倾向于选择CPU和内存利用率相对均衡的节点。 ImageLocalityPriority: 倾向于选择已经拉取了Pod所需镜像的节点。 NodeAffinityPriority: 支持Pod的NodeAffinity（节点亲和性）和NodeAntiAffinity（节点反亲和性），影响节点的评分。 PodFitsResourcesPriority: 再次评估节点资源是否能满足Pod，并进行评分。 TaintTolerationPriority: 考虑节点污点与Pod容忍度的匹配程度。 调度策略配置与扩展： 介绍如何通过配置ConfigMap来调整kube-scheduler的调度策略，以及如何实现自定义的调度插件，以满足特定的业务需求。 调度其他Kubernetes对象： 简要介绍StatefulSet、DaemonSet等对象在调度上的特殊考量。 第五章：调度策略与算法的深入探讨 本章将对前几章提及的调度策略和算法进行更深入的剖析，并介绍一些更高级的调度概念： 资源请求（Resource Requests）与资源限制（Resource Limits）： 详细解释Kubernetes中Pod的资源请求与限制的含义，以及它们如何影响调度器的决策。 Pod 亲和性与反亲和性（Pod Affinity and Anti-Affinity）： 深入讲解Pod之间的亲和性与反亲和性规则，如何实现Pod的“打包”（packing）或“分散”（spreading），以提高资源利用率或保证服务隔离。 污点（Taints）与容忍（Tolerations）： 详细解释节点污点与Pod容忍的机制，如何实现更精细的节点分配控制，例如将特定类型的Pod调度到特定的节点上，或阻止某些Pod调度到敏感节点。 调度队列与调度延迟： 分析在大量Pod同时涌入时，调度队列可能带来的延迟问题，以及相关的优化策略。 预定资源（Reserved Resources）与配额（Quotas）： 探讨如何预留资源给重要的Pod，以及如何通过ResourceQuota来限制命名空间（Namespace）的资源使用总量。 调度器插件化机制： 进一步探讨Kubernetes调度器插件化带来的灵活性，例如如何开发自定义的过滤（Predicates）和评分（Priorities）插件。 第六章：高级调度场景与解决方案 本章将聚焦于一些更复杂、更具挑战性的调度场景，并提供相应的解决方案： GPU 调度： 探讨如何在异构硬件环境中，有效地调度需要GPU资源的容器，包括GPU型号、数量、拓扑结构等因素的考量。 存储调度： 分析Persistent Volumes（PV）和Persistent Volume Claims（PVC）如何与容器调度协同工作，确保容器能够访问其所需的持久化存储。 网络调度： 考虑网络带宽、延迟、拓扑等因素对容器调度的影响，以及CNI（Container Network Interface）在其中扮演的角色。 跨区域/跨数据中心调度： 探讨如何在分布式环境、多云环境或混合云环境中实现跨区域/跨数据中心的容器调度，并考虑可用性、延迟、成本等因素。 实时系统调度： 针对对延迟和实时性有极高要求的应用，探讨相关的调度优化策略，如CPU隔离、实时内核等。 安全相关的调度考量： 如何根据安全策略，限制某些容器在特定节点上的运行，或确保敏感数据的访问安全。 成本优化调度： 结合Spot实例（抢占式实例）、预留实例等成本优化策略，探讨如何将调度器与成本管理系统集成。 第七章：调度器的监控与排障 在复杂的生产环境中，调度器的稳定运行至关重要。本章将重点讲解如何对容器调度器进行有效的监控和排障： 关键监控指标： 介绍调度器相关的关键监控指标，如： 调度延迟（Scheduling Latency）： Pod从进入待调度状态到被成功调度的平均时间。 调度成功率（Scheduling Success Rate）： 成功调度的Pod占总调度请求的比例。 节点资源利用率（Node Resource Utilization）： 各节点的CPU、内存、磁盘等利用率。 Pod 调度状态（Pod Scheduling Status）： Pod Pending、Running、Failed等状态的分布。 调度器组件健康状况： 调度器核心进程、API Server等组件的健康状态。 日志分析： 如何通过分析调度器的日志，发现潜在的问题，如调度失败的原因、节点过滤逻辑错误等。 常用排障工具与技巧： 介绍kubectl describe pod、kubectl get events、kubectl top node等命令在排障中的应用。 调试自定义调度器： 对于自定义调度器，如何进行有效的调试和问题定位。 性能优化与调优： 根据监控数据，对调度器的配置和策略进行优化，以提升调度效率和系统稳定性。 第八章：未来趋势与展望 本章将对容器调度的未来发展趋势进行展望，包括： AI 驱动的调度： 探讨如何利用机器学习等AI技术，实现更智能、更自动化的调度决策，例如预测负载、优化资源分配、提前发现潜在问题等。 Serverless 调度： 随着Serverless计算模式的兴起，探讨其对容器调度提出的新挑战和新机遇。 边缘计算调度： 探讨在资源受限的边缘环境中，如何进行有效的容器调度。 联邦调度（Federated Scheduling）： 探讨在多集群、多云环境下的统一调度与管理。 更细粒度的资源调度： 探讨未来是否会出现更细粒度的资源调度，例如针对特定功能的硬件加速器。 安全与合规性： 随着云原生应用越来越广泛，安全与合规性在调度过程中的重要性将日益凸显。 结语 《云原生容器调度：从理论到实践》旨在为读者提供一套系统性的容器调度知识体系。我们希望通过本书，读者不仅能理解容器调度的“是什么”，更能掌握“为什么”和“怎么做”，从而在实际工作中，能够游刃有余地应对各种复杂的容器调度挑战，构建出更加稳定、高效、弹性的云原生应用平台。

评分☆☆☆☆☆

初次翻开《Mesos 实战》，我怀揣着对大规模集群管理技术的极大好奇。作为一名在互联网基础设施领域摸爬滚打多年的工程师，我深知稳定、高效且易于扩展的资源调度系统的重要性。市面上关于分布式系统和容器编排的资料不在少数，但很多都停留在理论层面，或是对某个特定工具的浅尝辄止，难以触及到实际生产环境中的复杂性和深度。我特别期待这本书能提供一套系统性的解决方案，不仅仅是介绍Mesos的API和基本概念，更重要的是能够深入剖析其在实际业务场景中的应用，包括如何应对高并发、故障恢复、安全加固等方面。例如，书中是否会详细讲解如何设计一个健壮的Mesos集群架构，如何进行性能调优以压榨每一分计算资源，又或者是在面对突发流量时，Mesos集群如何做到无缝扩容和弹性伸缩？我非常关注这些能够直接提升我工作效率和解决实际痛点的部分。此外，对于Mesos生态圈中的其他组件，如Marathon、Chronos等，书中是否会给予足够的篇幅，阐述它们与Mesos的协同工作机制，以及如何利用它们构建更强大的上层应用？我希望这本书能成为一本“工具箱”，让我在遇到实际问题时，能够迅速找到解决方案，而不是仅仅停留在“知道”的层面，而是真正做到“能够做到”。

评分☆☆☆☆☆

读完《Mesos 实战》的某个章节，我被其中对于Mesos调度算法的深入剖析所震撼。不同于以往阅读过的许多技术书籍，这本书并没有简单地罗列概念，而是通过清晰的图示和详实的案例，将Mesos复杂的调度逻辑娓娓道来。我尤其印象深刻的是关于“Offers”机制的讲解，作者层层递进，从最基础的资源分配模型，到如何处理多种资源类型（CPU、内存、磁盘、网络带宽等），再到如何应对资源碎片化和集群动态变化的情况，都进行了细致的阐述。我曾经在工作中遇到过资源利用率不高的问题，很多时候是由于调度器无法有效地将任务分配到合适的节点上。这本书似乎为我打开了一扇新的大门，让我理解到，不仅仅是选择一个“有资源”的节点，更重要的是选择一个“最优”的节点，从而最大化集群的整体效率。作者还提到了如何通过定制调度器来满足特定业务需求，这对于那些拥有复杂调度规则的场景来说，无疑是极具价值的信息。我相信，通过掌握这些调度层面的知识，我能够更好地理解Mesos的工作原理，并在未来的工作中，设计出更智能、更高效的资源调度策略，为公司节省可观的成本。

评分☆☆☆☆☆

在阅读《Mesos 实战》的过程中，我对于其高可用性和容错机制的探讨部分，产生了浓厚的兴趣。在生产环境中，任何一个单点故障都可能导致整个系统的瘫痪，因此，构建一个具备高度容错能力的分布式系统至关重要。书中对于Mesos Master和Agent的容错设计，以及如何通过Zookeeper等分布式协调服务来实现Master的高可用，进行了细致的讲解。我特别想了解的是，当Mesos Master发生故障时，新的Master是如何快速接管并恢复集群状态的？Agent节点在与Master失联的情况下，是如何处理任务的？书中是否会提供一些实际的故障演练场景，例如模拟Master节点宕机、网络分区等情况，并展示Mesos是如何应对这些挑战的？此外，对于分布式系统中常见的CAP理论，Mesos是如何权衡一致性、可用性和分区容忍性的？我相信，深入理解Mesos的高可用设计，能够帮助我构建出更加健壮和可靠的分布式应用，从而降低因系统故障带来的业务损失，提升用户体验。

评分☆☆☆☆☆

《Mesos 实战》中关于Mesos与容器技术的结合部分，给我留下了极其深刻的印象。在当前微服务和容器化大行其道的时代，如何高效地管理和调度数以万计的容器，是每个技术团队都面临的挑战。书中对Mesos如何与Docker、Mesos Containerizer等技术进行整合，以及如何利用Mesos构建大规模容器平台进行了详尽的介绍。我尤其关注的是，书中是否会探讨在Mesos环境中，如何实现容器的生命周期管理，包括镜像的构建、分发、部署、更新以及回滚等全流程。此外，对于容器的安全隔离和资源限制，Mesos又是如何实现的？例如，通过cgroups和namespaces等Linux内核特性，Mesos是如何为容器提供安全沙箱的？我希望书中能够提供一些实践性的指导，例如如何编写Manifest文件来定义容器的资源需求和运行配置，如何集成CI/CD流水线，实现容器的自动化部署和管理。这对于我们团队而言，将是极大的价值。我期待这本书能提供一些“拿来即用”的配置模板或脚本，帮助我们快速搭建起一个稳定可靠的容器编排平台，从而加速应用的迭代和上线。

评分☆☆☆☆☆

《Mesos 实战》的最后一个章节，让我看到了Mesos在未来发展方向上的潜力。作者在总结性的部分，对Mesos生态的演进趋势，以及它在下一代计算平台中的定位进行了展望。我特别期待书中能够提及Mesos在云原生、Serverless等新兴技术领域中的应用前景，以及它与其他热门开源项目的集成可能性，例如Kubernetes、Istio等。我希望书中能够提供一些关于Mesos如何适应这些新技术趋势的思考，以及作者对于如何利用Mesos构建更加灵活、强大的计算基础设施的建议。例如，Mesos是否能够作为Kubernetes的底层调度引擎，或者是否能够与Serverless框架结合，实现更精细的资源管理和按需调度？这本书不仅仅是关于Mesos本身，更是关于如何利用Mesos构建面向未来的分布式系统。我希望能从中获得一些启发，为我未来的技术选型和职业发展提供方向。

评分☆☆☆☆☆

非常好，一直都在京东购买，下次一定还来购买

评分☆☆☆☆☆

发货挺快，买来送用户，想来应该不错

评分☆☆☆☆☆

学习中

评分☆☆☆☆☆

还不错，准备上mesos或者kubernetes

评分☆☆☆☆☆

不错

评分☆☆☆☆☆

还不错，挺喜欢的

评分☆☆☆☆☆

发货挺快，买来送用户，想来应该不错

评分☆☆☆☆☆

书不错，不过并没有解决我的问题???

评分☆☆☆☆☆

正在看，不错。