Ceph源码分析 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

常涛 著

图书标签:

• Ceph
• 分布式存储
• 源码分析
• 存储系统
• 内核
• C++
• Linux
• 开源
• 技术
• 架构

出版社： 机械工业出版社

ISBN：9787111552079

版次：1

商品编码：12072602

品牌：机工出版

包装：平装

丛书名： 大数据技术丛书

开本：16开

出版时间：2016-11-01

用纸：胶版纸

页数：250

内容简介

　　本书作者通过多年的开发经验，总结了自己使用Ceph的实战经验，并对Ceph的框架和主要源代码进行了分析，为开发分布式系统提供了重要参考。主要内容包括：Ceph整体架构、Ceph通用模块、Ceph网络通信模块、Ceph客户端实现、CephCRUSH算法、Ceph底层对象存储机制、CephOsd、Cephmon等。

目录

序言
前言
第1章　Ceph整体架构1
1.1　Ceph的发展历程1
1.2　Ceph的设计目标2
1.3　Ceph基本架构图2
1.4　Ceph客户端接口3
1.4.1　RBD4
1.4.2　CephFS4
1.4.3　RadosGW4
1.5　RADOS6
1.5.1　Monitor6
1.5.2　对象存储7
1.5.3　pool和PG的概念7
1.5.4　对象寻址过程8
1.5.5　数据读写过程9
1.5.6　数据均衡10
1.5.7　Peering11
1.5.8　Recovery和Backfill11
1.5.9　纠删码11
1.5.10　快照和克隆12
1.5.11　Cache Tier12
1.5.12　Scrub13
1.6　本章小结13
第2章　Ceph通用模块14
2.1　Object14
2.2　Buffer16
2.2.1　buffer::raw16
2.2.2　buffer::ptr17
2.2.3　buffer::list17
2.3　线程池19
2.3.1　线程池的启动20
2.3.2　工作队列20
2.3.3　线程池的执行函数21
2.3.4　超时检查22
2.3.5　ShardedThreadPool22
2.4　Finisher23
2.5　Throttle23
2.6　SafeTimer24
2.7　本章小结25
第3章　Ceph网络通信26
3.1　Ceph网络通信框架26
3.1.1　Message27
3.1.2　Connection29
3.1.3　Dispatcher 29
3.1.4　Messenger29
3.1.5　网络连接的策略30
3.1.6　网络模块的使用30
3.2　Simple实现32
3.2.1　SimpleMessager33
3.2.2　Accepter33
3.2.3　DispatchQueue33
3.2.4　Pipe34
3.2.5　消息的发送35
3.2.6　消息的接收36
3.2.7　错误处理37
3.3　本章小结38
第4章　CRUSH数据分布算法39
4.1　数据分布算法的挑战39
4.2　CRUSH算法的原理40
4.2.1　层级化的Cluster Map40
4.2.2　Placement Rules42
4.2.3　Bucket随机选择算法46
4.3　代码实现分析49
4.3.1　相关的数据结构49
4.3.2　代码实现50
4.4　对CRUSH算法的评价52
4.5　本章小结52
第5章　Ceph客户端53
5.1　Librados53
5.1.1　RadosClient54
5.1.2　IoCtxImpl56
5.2　OSDC56
5.2.1　ObjectOperation56
5.2.2　op_target57
5.2.3　Op57
5.2.4　Striper58
5.2.5　ObjectCacher59
5.3　客户写操作分析59
5.3.1　写操作消息封装60
5.3.2　发送数据op_submit61
5.3.3　对象寻址_calc_target61
5.4　Cls62
5.4.1　模块以及方法的注册62
5.4.2　模块的方法执行63
5.4.3　举例说明64
5.5　Librbd65
5.5.1　RBD的相关的对象65
5.5.2　RBD元数据操作66
5.5.3　RBD数据操作67
5.5.4　RBD的快照和克隆69
5.6　本章小结71
第6章　Ceph的数据读写72
6.1　OSD模块静态类图72
6.2　相关数据结构73
6.2.1　Pool74
6.2.2　PG75
6.2.3　OSDMap75
6.2.4　OSDOp77
6.2.5　Object_info_t77
6.2.6　ObjectState78
6.2.7　SnapSetContext79
6.2.8　ObjectContext79
6.2.9　Session80
6.3　读写操作的序列图81
6.4　读写流程代码分析83
6.4.1　阶段1：接收请求83
6.4.2　阶段2：OSD的op_wq处理85
6.4.3　阶段3：PGBackend的处理95
6.4.4　从副本的处理95
6.4.5　主副本接收到从副本的应答95
6.5　本章小结96
第7章　本地对象存储97
7.1　基本概念介绍98
7.1.1　对象的元数据98
7.1.2　事务和日志的基本概念98
7.1.3　事务的封装99
7.2　ObjectStore对象存储接口100
7.2.1　对外接口说明101
7.2.2　ObjectStore代码示例101
7.3　日志的实现102
7.3.1　Jouanal对外接口102
7.3.2　FileJournal103
7.4　FileStore的实现109
7.4.1　日志的三种类型110
7.4.2　JournalingObjectStore111
7.4.3　Filestore的更新操作112
7.4.4　日志的应用115
7.4.5　日志的同步115
7.5　omap的实现116
7.5.1　omap存储117
7.5.2　omap的克隆118
7.5.3　部分代码实现分析119
7.6　CollectionIndex120
7.6.1　CollectIndex接口122
7.6.2　HashIndex123
7.6.3　LFNIndex124
7.7　本章小结124
第8章　Ceph纠删码125
8.1　EC的基本原理125
8.2　EC的不同插件126
8.2.1　RS编码126
8.2.2　LRC编码126
8.2.3　SHEC编码128
8.2.4　EC和副本的比较129
8.3　Ceph中EC的实现129
8.3.1　Ceph中EC的基本概念129
8.3.2　EC支持的写操作130
8.3.3　EC的回滚机制131
8.4　EC的源代码分析132
8.4.1　EC的写操作132
8.4.2　EC的write_full133
8.4.3　ECBackend133
8.5　本章小结133
第9章　Ceph快照和克隆134
9.1　基本概念134
9.1.1　快照和克隆134
9.1.2　RDB的快照和克隆比较135
9.2　快照实现的核心数据结构137
9.3　快照的工作原理139
9.3.1　快照的创建139
9.3.2　快照的写操作139
9.3.3　快照的读操作140
9.3.4　快照的回滚141
9.3.5　快照的删除141
9.4　快照读写操作源代码分析141
9.4.1　快照的写操作141
9.4.2　make_writeable函数142
9.4.3　快照的读操作145
9.5　本章小结146
第10章　Ceph Peering机制147
10.1　statechart状态机147
10.1.1　状态147
10.1.2　事件 148
10.1.3　状态响应事件148
10.1.4　状态机的定义149
10.1.5　context函数150
10.1.6　事件的特殊处理150
10.2　PG状态机151
10.3　PG的创建过程151
10.3.1　PG在主OSD上的创建151
10.3.2　PG在从OSD上的创建153
10.3.3　PG的加载154
10

前言/序言

　　前　　言　　随着云计算技术的兴起和普及，云计算基石：分布式共享存储系统受到业界的重视。Ceph以其稳定、高可用、可扩展的特性，乘着开源云计算管理系统OpenStack的东风，迅速成为最热门的开源分布式存储系统。 　　Ceph作为一个开源的分布式存储系统，人人都可以免费获得其源代码，并能够安装部署，但是并不等于人人都能用起来，人人都能用好。用好一个开源分布式存储系统，首先要对其架构、功能原理等方面有比较好的了解，其次要有修复漏洞的能力。这些都是在采用开源分布式存储系统时所面临的挑战。 　　要用好Ceph，就必须深入了解和掌握Ceph源代码。Ceph源代码的实现被公认为比较复杂，阅读难度较大。阅读Ceph源代码，不但需要对C++语言以及boost库和STL库非常熟悉，还需要有分布式存储系统相关的基础知识以及对实现原理的深刻理解，最后还需要对Ceph框架和设计原理以及具体的实现细节有很好的把握。所以Ceph源代码的阅读是相当有挑战性的。 　　本着对Ceph源代码的浓厚兴趣以及实践工作的需要，需要对Ceph在源代码层级有比较深入的了解。当时笔者尽可能地搜索有关Ceph源代码的介绍，发现这方面的资料比较少，笔者只能自己对着Ceph源代码开始了比较艰辛的阅读之旅。在这个过程中，每一个小的进步都来之不易，理解一些实现细节，都需要对源代码进行反复地推敲和琢磨。自己在阅读的过程中，特别希望有人能够帮助理清整体代码的思路，能够解答一下关键的实现细节。本书就是秉承这样一个简单的目标，希望指引和帮助广大Ceph爱好者更好地理解和掌握Ceph源代码。 　　本书面向热爱Ceph的开发者，想深入了解Ceph原理的高级运维人员，想基于Ceph做优化和定制的开发人员，以及想对社区提交代码的研究人员。官网上有比较详细的介绍Ceph安装部署以及操作相关的知识，希望阅读本书的人能够自己动手实践，对Ceph进一步了解。本书基于目前最新的Ceph 10.2.1版本进行分析。 　　本书着重介绍Ceph的整体框架和各个实现模块的实现原理，对核心源代码进行分析，包括一些关键的实现细节。存储系统的实现都是围绕数据以及对数据的操作来展开，只要理解核心的数据结构，以及数据结构的相关操作就可以大致了解核心的实现和功能。本书的写作思路是先介绍框架和原理，其次介绍相关的数据结构，最后基于数据结构，介绍相关的操作实现流程。 　　最后感谢一起工作过的同事们，同他们在Ceph技术上进行交流沟通并加以验证实践，使我受益匪浅。感谢机械工业出版社的编辑吴怡对本书出版所做的努力，以及不断提出的宝贵意见。感谢我的妻子孙盛南女士在我写作期间默默的付出，对本书的写作提供了坚强的后盾。 　　由于Ceph源代码比较多，也比较复杂，写作的时间比较紧，加上个人的水平有限，错误和疏漏在所难免，恳请读者批评指正。有任何的意见和建议都可发送到我的邮箱changtao381@163.com，欢迎读者与我交流Ceph相关的任何问题。 　　常涛2016年6月于北京 　　序　　言自从2013年加入Ceph社区以来，我一直想写一本分析Ceph源码的书，但是两年多来提交了数万行的代码后，我渐渐放下了这个事情。Ceph每个月、每周都会发生巨大变化，我总是想让Ceph源码爱好者看到最新最棒的设计和实现，社区一线的模块维护和每周数十个代码提交集的阅读，让我很难有时间回顾和把握其他Ceph爱好者的疑问和需求点。 　　今天看到这本书让我非常意外，作者常涛把整个Ceph源码树肢解得恰到好处，如庖丁解牛般将Ceph的核心思想和实现展露出来。虽然目前Ceph分分钟都有新的变化，但无论是新的模块设计，还是重构已有逻辑，都是已有思想的翻新和延续，这些才是众多Ceph开发者能十年如一日改进的秘密！ 　　我跟作者常涛虽然只有一面之缘，但是在开源社区中的交流已经足够成为彼此的相知。他对于分布式存储的设计和实现都有独到见解，其代码阅读和理解灵感更是超群。我在年前看到他一些对Ceph核心模块的创新性理解，相信这些都通过这本书展现出来了。 　　这本书是目前我所看到的从代码角度解读Ceph的最好作品，即使在全球范围内，都没有类似的书籍能够与之媲美。相信每个Ceph爱好者都能从这本书中找到自己心中某些疑问的解答途径。 　　作为Ceph社区的主要开发者，我也想在这里强调Ceph的魅力，希望每个读者都能充分感受到Ceph社区生机勃勃的态势。Ceph是开源世界中存储领域的一个里程碑！在过去很难想像，从IT巨无霸们组成的巨大存储壁垒中能够诞生一个真正被大量用户使用并投入生产环境的开源存储项目，而Ceph这个开源存储项目已经成为全球众多海量存储项目的主要选择。 　　众所周知，在过去十年里，IT技术领域中巨大的创新项目很多来自于开源世界，从垄断大数据的Hadoop、Spark，到风靡全球的Docker，都证明了开源力量推动了新技术的产生与发展。而再往以前看十年，从Unix到Linux，从Oracle到MySQL/PostgreSQL，从 VMWare到KVM，开源世界从传统商业技术继承并给用户带来更多的选择。处于开源社区一线的我欣喜地看到，在IT基础设施领域，越来越多的创业公司从创立之初就以开源为基石，而越来越多的商业技术公司也受益于开源，大量的复杂商业软件基于开源分布式数据库、缓存存储、中间件构建。相信开源的Ceph也将成为IT创新的驱动力。正如Sage Weil在2016 Ceph Next会议上所说，Ceph将成为存储里的Linux！ 　　王豪迈，XSKY公司CTO2016年9月8日

《数据存储的革新者：分布式存储系统深度解析》 在这个信息爆炸的时代，数据以惊人的速度增长，如何高效、可靠、弹性地存储海量数据，已经成为各行各业面临的严峻挑战。传统的集中式存储方案，在扩展性、可用性和成本效益方面逐渐显露出疲态。分布式存储系统应运而生，它们凭借其强大的伸缩能力、卓越的数据持久性以及灵活的部署方式，正在深刻地改变着数据存储的格局。 本书《数据存储的革新者：分布式存储系统深度解析》正是聚焦于这一激动人心的技术领域，旨在为读者提供一个全面、深入的视角，理解分布式存储系统的核心原理、架构设计、关键技术以及在实际应用中的挑战与机遇。我们并非简单罗列概念，而是力求通过层层剖析，让读者能够真正掌握分布式存储的“内功心法”，洞悉其背后的设计哲学与工程智慧。 内容概览： 本书将从分布式存储系统的基础概念入手，逐步深入到各种先进的设计模式和实现细节。我们并非专注于某一个特定的开源项目，而是提炼出分布式存储领域共有的、具有普遍意义的知识体系。 第一部分：分布式存储的基石——核心概念与理论 海量数据时代的挑战： 我们首先回顾传统存储的局限性，分析云计算、大数据、人工智能等技术趋势对存储提出的新要求，为何分布式存储成为必然选择。 分布式系统的基本原则： CAP理论、一致性模型（强一致性、最终一致性、顺序一致性）、可用性、分区容错性等分布式系统领域的经典理论，它们是如何指导分布式存储的设计的。 数据冗余与容错： 副本（Replication）和纠删码（Erasure Coding）这两种核心的数据冗余机制，它们的原理、优缺点、适用场景，以及如何在容量和可靠性之间取得平衡。 一致性算法： Paxos、Raft等分布式一致性算法，它们如何保证分布式系统中的数据一致性，以及在存储系统中扮演的关键角色。 第二部分：分布式存储的架构之美——核心组件与协同工作 节点与集群： 分布式存储系统如何组织成一个庞大的集群，节点在集群中的角色（计算节点、存储节点、元数据节点等），以及节点间的通信协议。 数据分布与寻址： 数据如何被分散存储在集群的各个节点上？我们深入探讨一致性哈希（Consistent Hashing）、数据分片（Sharding）等技术，以及如何实现高效的数据定位和访问。 元数据管理： 分布式存储系统的“大脑”——元数据，它记录了数据的结构、位置、属性等信息。我们将详细解析元数据服务的挑战，以及各种元数据管理方案（集中式、分布式、混合式）。 I/O路径解析： 当客户端发起读写请求时，数据是如何穿越复杂的分布式网络，最终到达存储介质，并返回给客户端的？我们将详细解析完整的I/O路径，以及其中涉及的关键组件和技术。 数据一致性保障： 在分布式环境下，如何确保多副本之间的一致性？我们将探讨各种同步和异步复制策略，以及如何处理节点故障、网络延迟等情况下的数据一致性问题。 第三部分：分布式存储的创新技术——进阶主题与前沿探索 数据一致性算法的实践应用： 深入分析 Paxos 和 Raft 在实际分布式存储系统中的实现细节，以及它们如何与存储操作相结合，确保数据的可靠性。 缓存与一致性： 客户端缓存、节点缓存、中间件缓存等，如何在加速数据访问的同时，维护数据的一致性，避免“脏读”和“写丢失”。 数据迁移与重平衡： 当集群规模发生变化，或者出现节点故障时，数据如何在节点间进行高效、无中断的迁移和重平衡？我们将探讨自动化数据迁移的策略和技术。 快照与克隆： 分布式存储系统如何支持数据快照和克隆功能？它们在数据备份、容灾、开发测试等场景中的应用价值。 多租户与资源隔离： 在云环境下，如何为不同的租户提供安全、独立的存储资源？我们将探讨多租户架构的设计要点，以及资源隔离的技术手段。 性能优化策略： 从硬件层面到软件层面，全面解析分布式存储系统的性能瓶颈，并介绍各种优化技术，如I/O调度、数据压缩、SSD优化、网络优化等。 数据安全与访问控制： 分布式存储系统中的数据加密、权限管理、安全审计等，如何构建一个安全可靠的数据存储环境。 第四部分：分布式存储的应用与实践——挑战与展望 不同类型分布式存储系统的对比： 对象存储、块存储、文件存储，它们各自的设计理念、适用场景，以及在云原生、大数据等领域的应用。 实际部署中的挑战： 网络配置、节点管理、故障排除、性能监控等，在实际部署和运维分布式存储系统时会遇到的常见问题，以及解决方案。 自动化运维与可观测性： 如何利用自动化工具和强大的可观测性手段，简化分布式存储系统的运维工作，提高系统的健壮性。 面向未来的分布式存储： 探讨新型存储介质（如NVMe、持久内存）对分布式存储的影响，以及未来的发展趋势，如Serverless存储、AI驱动的存储管理等。 本书特色： 深入浅出： 我们力求用清晰易懂的语言，解释复杂的分布式存储原理，同时辅以详实的图示和案例，帮助读者构建清晰的认知框架。 理论与实践结合： 本书不仅关注理论基础，更注重将理论知识与实际应用场景相结合，帮助读者理解技术是如何落地并解决实际问题的。 系统性与全面性： 我们构建了一个完整的知识体系，覆盖了分布式存储从基础概念到前沿技术的方方面面，力求为读者提供一个全面的学习路径。 启发性与前瞻性： 在深入分析现有技术的同时，本书也对未来分布式存储的发展趋势进行展望，激发读者的思考和创新。 目标读者： 希望深入了解分布式存储系统工作原理的软件工程师、系统架构师。 从事云计算、大数据、容器化技术等相关领域的开发和运维人员。 对分布式系统、存储技术有浓厚兴趣的技术爱好者和研究者。 需要为业务系统选择和部署合适分布式存储解决方案的技术决策者。 《数据存储的革新者：分布式存储系统深度解析》将带领您走进分布式存储的奇妙世界，为您揭示海量数据背后的强大驱动力。无论您是希望构建自己的分布式存储系统，还是希望更好地理解和使用现有的分布式存储解决方案，本书都将是您不可或缺的良师益友。让我们一同探索数据存储的无限可能，拥抱分布式时代的未来。

评分☆☆☆☆☆

作为一名长期活跃在技术社区的爱好者，我时常能看到关于Ceph各种性能优化和故障排除的讨论，其中很多往往涉及到对源码的解读。市面上有一些通俗易懂的Ceph入门指南，它们很好地帮助我们理解Ceph的宏观架构和基本概念，但对于我这种更偏向于“刨根问底”的学习者来说，总觉得意犹未尽。我一直相信，真正理解一个系统的精髓，就必须深入到它的代码层面。这本书的名字“Ceph源码分析”无疑击中了我的痛点。我期望这本书能够像一把钥匙，为我打开Ceph内部世界的门锁。我希望它不仅仅是简单地罗列代码片段，而是能够通过清晰的逻辑和生动的图解，去阐述每一行代码背后的设计理念和实现细节。例如，它如何处理大量的并发请求？客户端的读写请求是如何被路由到正确的OSD？CRUSH算法在源码中是如何体现的？纠删码的编解码过程又是如何实现的？如果书中能够对这些关键性的技术点进行深入剖析，并且能够提供一些实际的案例分析，那将是非常有价值的。我希望这本书能够让我从一个Ceph的使用者，逐渐成长为一个能够理解并可能参与到Ceph生态贡献的技术人员。

评分☆☆☆☆☆

我一直在寻找一本能够帮助我深入理解分布式存储系统的经典著作，特别是那些能够剖析实际项目源码的书籍。Ceph因其强大的功能和广泛的应用，一直是我的重点关注对象。当我看到“Ceph源码分析”这本书的题目时，我感到非常兴奋。我希望这本书能够引领我进入Ceph的源码世界，理解其背后精妙的设计思想。例如，我特别想了解Ceph是如何实现其强大的可扩展性和高可用性的。书中是否会详细阐述其CRUSH算法的实现细节，以及它是如何动态地为数据分配存储位置的？对于Ceph的核心组件，如OSD、MON、MDS等，我希望能看到它们在源码层面是如何交互的，它们各自承担着怎样的职责，以及它们之间是如何通过复杂的通信协议进行协调的。此外，我对于Ceph的容错机制也充满好奇，比如数据冗余、纠删码以及故障检测和恢复的整个流程，希望书中能够有深入的讲解。如果这本书能够提供一些代码级别的演示，或者分析一些实际场景下的代码执行路径，那对我来说将是莫大的帮助，能让我真正地“看见”Ceph是如何工作的。

评分☆☆☆☆☆

我最近在寻找一本能够系统性讲解Ceph内部运作机制的书籍，尤其关注那些能够从代码层面提供深入洞察的读物。我之前阅读过一些关于分布式系统的理论书籍，也尝试过阅读一些开源项目的文档，但Ceph的复杂性着实让我有些头疼。当我看到“Ceph源码分析”这本书时，我立刻被它吸引住了。我预想这本书能够提供一种自上而下的、或者是由浅入深的分析方法。也许会先从Ceph的整体架构讲起，然后逐步拆解到各个关键模块，例如对象存储（Osd）、元数据服务（Mds）以及集群管理（Mon）等。我特别期待书中能够详细讲解Ceph的自愈合机制，比如当节点故障时，数据是如何自动迁移和恢复的，以及它是如何保证数据的一致性。另外，Ceph作为一个高度可扩展和容错的系统，它的伸缩性是如何通过源码来实现的，例如动态添加或移除节点对集群的影响，以及数据的重分布过程，这些都是我非常感兴趣的内容。我希望这本书能够用清晰的语言和翔实的例子，帮助我建立起对Ceph完整且深入的认知，而不仅仅是停留在概念层面。

评分☆☆☆☆☆

这本书的封面设计得相当吸引人，采用了一种沉稳而富有科技感的深蓝色背景，上面点缀着一些抽象的、交错的线条，隐约让人联想到分布式存储网络的节点连接。书脊上的烫金字体清晰地展现了“Ceph源码分析”几个大字，在书架上显得颇为醒目。我选择这本书，很大程度上是出于对Ceph这款分布式存储系统的好奇。虽然我并非直接的开发者，但作为一名使用Ceph进行大规模数据存储和管理的技术人员，我深知其在业界的重要性。市面上关于Ceph的讲解性书籍不少，但直接深入到源码层面进行剖析的却相对较少。我希望通过这本书，能够更深入地理解Ceph的工作原理，而不仅仅是停留在API调用和配置参数层面。能够了解其内部的调度机制、数据分片策略、容错机制是如何实现的，对于我优化存储性能、排查潜在问题以及更好地规划未来的存储架构都将大有裨益。我尤其期待能够看到书中对于Ceph核心组件，如OSD、MON、MDS等是如何协同工作的详细阐述，以及它们之间是如何进行数据同步、元数据管理和集群维护的。对于我来说，这是一次对底层技术进行深度挖掘的学习机会，希望能借此提升自己在分布式存储领域的专业能力。

评分☆☆☆☆☆

我对高性能存储技术一直抱有浓厚的兴趣，并且Ceph作为业界领先的分布式存储解决方案，其底层实现原理一直是我渴望了解的。市面上关于Ceph的应用和部署的书籍不在少数，但真正能够深入到源码层面进行详细解析的却相对稀缺。因此，“Ceph源码分析”这个书名立刻吸引了我的注意。我希望这本书能够带我领略Ceph源码的魅力，理解其核心的设计哲学。我非常期待书中能够对Ceph的架构进行细致的剖析，从最基础的对象存储接口到复杂的集群管理逻辑，都能一一展开。特别是关于数据一致性、副本管理、以及故障转移等关键机制，我希望能够通过阅读源码来得到清晰的答案。这本书如果能提供一些代码片段的解读，并结合图示来展示其执行流程，那将是极大的加分项。我希望能借此书，对Ceph的内部运作有更深刻的理解，从而能够更好地对其进行优化和定制，甚至在未来的工作中能够为Ceph的改进贡献自己的力量。

评分☆☆☆☆☆

还没来得及看，不过必定是好书

评分☆☆☆☆☆

.........

评分☆☆☆☆☆

东西不错，很好，下次还来

评分☆☆☆☆☆

最近正在学习ceph相关的技术，这本书对我很有帮助

评分☆☆☆☆☆

非常经典的书籍，别人推荐我买的，我推荐给你。

评分☆☆☆☆☆

非常经典的书籍，别人推荐我买的，我推荐给你。

评分☆☆☆☆☆

正版，物流很给力

评分☆☆☆☆☆

不值这个价。空白太大，业界黑心！内容不够精细。

评分☆☆☆☆☆

东西非常不错，第一版我也有