内容简介
本书共分10章。第1章概要介绍了软件定义的存储和VSAN,第2章从物理和虚拟的角度描述了安全实施VSAN的要求,第3章介绍了安装和配置VSAN的各个步骤,第4章介绍了基于策略的存储管理,第5章深入介绍了VSAN的架构细节,第6章描述了虚拟机存储策略是如何用来简化虚拟机部署的,第7章描述了常用的管理和维护任务的步骤,第8章覆盖了关于VSAN延伸群集的介绍、操作、架构和设计决策,第9章通过多个例子来介绍如何设计VSAN群集,包含一些容量规划的练习,第10章覆盖了各种可用于进行VSAN排错和监控的(命令行)工具。
目录
译者序
序
前言
关于作者
关于技术审校者
第1章 VSAN概述 1
1.1 软件定义的数据中心 1
1.2 软件定义的存储 2
1.3 超融合/服务器SAN解决方案 2
1.4 Virtual SAN简介 4
1.5 什么是Virtual SAN 5
1.6 从管理员角度来看VSAN的样子 7
1.7 小结 10
第2章 VSAN部署的前提条件和要求 11
2.1 VMware vSphere 11
2.1.1 ESXi 12
2.1.2 缓存和容量设备 12
2.1.3 ESXi主机引导的考虑因素 12
2.2 VSAN的要求 13
2.2.1 VMware硬件兼容性指南 13
2.2.2 VSAN Ready Nodes 14
2.2.3 存储控制器 14
2.2.4 容量层设备 16
2.2.5 缓存层设备 17
2.3 网络要求 18
2.3.1 网络接口卡 18
2.3.2 受支持的虚拟交换机类型 18
2.3.3 二层或三层 19
2.3.4 VMkernel网络 19
2.3.5 VSAN网络流量 19
2.3.6 巨型帧 20
2.3.7 网卡绑定 20
2.3.8 网络I/O控制 21
2.4 VSAN延伸群集 21
2.5 VSAN 2节点远程办公室/分支办公室(ROBO) 21
2.6 小结 22
第3章 VSAN的安装与配置 23
3.1 VSAN网络 23
3.2 为VSAN服务的VMkernel网络 24
3.3 VSAN网络配置之VMware标准交换机 24
3.4 VSAN网络配置之vSphere分布式交换机 26
3.5 可能发生的网络配置问题 31
3.6 网络I/O控制配置示例 33
3.7 设计考量:分布式交换机和网络I/O控制 34
3.8 创建VSAN群集 39
3.9 vSphere HA 40
3.9.1 vSphere HA通信网络 41
3.9.2 vSphere HA心跳数据存储 41
3.9.3 vSphere HA接入控制 42
3.9.4 vSphere HA隔离响应 42
3.9.5 vSphere HA组件保护 42
3.10 磁盘组的角色 43
3.10.1 磁盘组最大数量 43
3.10.2 为什么要在VSAN中配置多个磁盘组 43
3.10.3 缓存设备与容量设备的比率 44
3.10.4 自动添加磁盘到VSAN磁盘组 45
3.10.5 手工添加磁盘到VSAN磁盘组 45
3.10.6 磁盘组创建示例 46
3.10.7 VSAN数据存储的属性 47
3.11 小结 49
第4章 VSAN相关的虚拟机存储策略 50
4.1 在VSAN环境中引入基于存储策略的管理 51
4.1.1 允许的故障数 53
4.1.2 容错方法 54
4.1.3 每个对象的磁盘带数 56
4.1.4 对象的IOPS限制 57
4.1.5 闪存读取缓存预留 57
4.1.6 对象空间预留 58
4.1.7 强制置备 58
4.1.8 禁用对象校验和 59
4.2 VASA供应商提供程序 59
4.2.1 VASA简介 59
4.2.2 存储提供程序 60
4.3 VSAN存储提供程序:高可用 61
4.3.1 实时变更虚拟机存储策略 61
4.3.2 对象、组件和见证 65
4.4 虚拟机存储策略 66
4.4.1 启用虚拟机存储策略 66
4.4.2 创建虚拟机存储策略 66
4.4.3 在虚拟机置备时分配虚拟机存储策略 67
4.5 小结 67
第5章 架构细节 68
5.1 分布式RAID 68
5.2 对象和组件 70
5.2.1 组件的限制 71
5.2.2 虚拟机存储对象 72
5.2.3 名字空间 72
5.2.4 虚拟机交换文件 74
5.2.5 VMDK和增量盘 74
5.2.6 见证和副本 74
5.2.7 对象布局 75
5.3 VSAN软件组件 77
5.3.1 组件管理 78
5.3.2 对象的数据路径 78
5.3.3 对象的归属 79
5.3.4 对象的放置与迁移 79
5.3.5 CMMDS 79
5.3.6 主机角色(主控、备用和代理) 80
5.3.7 可靠数据报传输 80
5.4 磁盘格式 81
5.4.1 缓存设备 81
5.4.2 容量设备 81
5.5 VSAN I/O流 82
5.5.1 缓存算法 82
5.5.2 缓存层的角色 82
5.5.3 剖析混合VSAN中的读操作 83
5.5.4 剖析全闪存VSAN中的读操作 84
5.5.5 剖析混合VSAN中的写操作 85
5.5.6 剖析全闪存VSAN中的写操作 85
5.5.7 将写操作回写入磁盘 86
5.5.8 去重与压缩 86
5.5.9 数据本地化 87
5.5.10 VSAN延伸群集中的数据本地化 88
5.6 基于存储策略的管理 89
5.7 VSAN的功能 89
5.7.1 策略设置:允许的故障数 90
5.7.2 允许的故障数的最佳实践 91
5.7.3 策略设置:条带宽度 92
5.7.4 在策略设置中未指定条带化时使用RAID-0 96
5.7.5 条带宽度的最大值 97
5.7.6 条带宽度配置错误 98
5.7.7 条带宽带:块大小 98
5.7.8 条带宽度最佳实践 98
5.7.9 策略设置:闪存读取缓存预留 99
5.7.10 策略设置:对象空间预留 100
5.7.11 虚拟机主页名字空间再探 100
5.7.12 交换文件再探 100
5.7.13 如何查看虚拟机交换文件存储对象 101
5.7.14 增量盘/快照的告诫 103
5.7.15 验证空间的实际使用量 103
5.7.16 策略设置:强制置备 103
5.7.17 见证和副本:故障场景 104
5.7.18 通过校验和实现的数据完整性 107
5.7.19 从故障中恢复 107
5.7.20 问题设备的处理 109
5.7.21 延伸性VSAN的情况又如何 110
5.8 小结 111
第6章 虚拟机存储策略和虚拟机置备 112
6.1 策略设置:FTT=1 112
6.2 策略设置:FTT=1,SW=2 119
6.3 策略设置:FTT=2,SW=2 122
6.4 策略设置:FTT=1,OSR=50% 125
6.5 策略设置:FTT=1,OSR=100% 127
6.6 策略设置:RAID-5 129
……
前言/序言
说到虚拟化及其依赖的底层基础架构,经常会提起一个组件——存储。原因相当简单:在很多环境中,存储是痛点。尽管存储市场已经因为闪存技术的引入发生了变化,很多传统的存储问题得到了缓解,但是很多机构还没能采纳这些新的架构,因而仍然会遇到挑战。
存储问题的范围包括运营上的复杂性到性能问题甚至是可用性的限制。这些问题中的大部分都起因于同样的根本问题:老旧的系统架构。这是因为大多数存储平台架构是在虚拟化技术出现之前开发出来的,而虚拟化已经改变了使用这些共享存储平台的方法。
某种程度上,可以说是虚拟化迫使存储业界去寻找新的方法来构建存储系统。不再是通过单台服务器连接到单台存储设备(也称为逻辑单元或简写为LUN),虚拟化通常由一台(或多台)物理服务器承载很多虚拟机连接到一个或多个存储设备上。这不仅仅增加了这些存储系统的负载,也改变了工作负载的模式并增加了对总容量的需求。
可以想象,对于大多数存储管理员来说,这要求思考模式的大改变。LUN的大小应该是多少?对性能有什么要求?最终需要多少个磁盘?这些LUN将提供何种数据服务?虚拟机将存放在什么地方?不仅思考模式要改变,而且要求和其他IT团队协力合作。过去服务器管理员、网络管理员和存储管理员都可以活在他们自己的独立的小天地内,现在他们需要相互沟通并齐心协力才能保证他们构建的平台的高可用性。在过去,一个错误(例如错误配置或过低的置备)只会影响一台服务器,现在则会影响很多虚拟机。
当虚拟化出现时,我们对于如何运营和构建IT基础架构的思维曾经发生过集体性的根本变化。如今集体性的转变再次发生,这一次是由软件定义的网络和软件定义的存储引起的。但我们不应该再重复历史,重复那些在虚拟化首次出现时我们曾经犯过的错误。我们应该坦率而开放地和数据中心管理员们讨论这个问题,并一起迎接数据中心架构和运营的革命。
读者对象本书的目标读者是和VMware vSphere环境相关的IT专业人员。你最好已经用过一阵子VMware vSphere,或许已经参加过vSphere的课程,例如“安装、配置和管理”课程。本书不是一本初学者读物,但是书中提供的信息应该已经足够覆盖各种不同水平的管理员和架构师。
如何使用本书本书分10章,分别如下:
第1章概要介绍了软件定义的存储和VSAN。
第2章从物理和虚拟的角度描述了安全实施VSAN的要求。
第3章介绍了安装和配置VSAN的各个步骤。
第4章介绍了基于策略的存储管理。
第5章深入介绍了VSAN的架构细节。
第6章描述了虚拟机存储策略是如何用来简化虚拟机部署的。
第7章描述了常用的管理和维护任务的步骤。
第8章覆盖了关于VSAN延伸群集的介绍、操作、架构和设计决策。
第9章提供了多个例子来介绍如何设计一个VSAN群集,包含了一些容量规划的练习。
第10章覆盖了各种可用于进行VSAN排错和监控的(命令行)工具。
致谢我们两个作者都在VMware公司工作。在本书中表达的意见都是我们根据自己对产品的经验表达的个人意见。本书中的陈述不一定反映出VMware公司的意见和观点。
我们要感谢Christian Dickmann和John Nicholson,作为我们的技术编辑,他们始终让我们保持坦诚的态度。当然,我们要特别感谢Virtual SAN工程团队的耐心和帮助,特别要指出存储与可用性部门的几个人:Christian Dickmann、Paudie O’Riordan和Christos Karamanolis,他们在VSAN方面的渊博知识和对VSAN的深入理解贯穿到了本书的各个角落。我们还想感谢William Lam对本书提供的帮助和贡献。
最后,我们想感谢VMware公司的管理团队(Yanbing Li和Christos Karamanolis)对本书和其他项目的支持。
VSAN加油!
Cormac Horgan和Duncan Epping
《虚拟化存储的变革之路:构建高可用、高性能的企业级解决方案》 在这个数据爆炸式增长的时代,企业对存储的需求早已不再是简单的容量堆叠,而是对性能、可用性、弹性以及成本效益提出了前所未有的挑战。传统的集中式存储系统,虽然在过去扮演了重要角色,但其高昂的初始投入、复杂的管理维护以及固有的可扩展性瓶颈,已越来越难以满足现代数据中心日益增长的需求。尤其是在虚拟化环境中,存储的性能直接影响着虚拟机(VM)的整体运行效率,存储的可用性则关系到业务的连续性。在这种背景下,一种全新的存储模式应运而生,它打破了硬件的束缚,将存储资源池化、软件定义,为企业级应用提供了强大而灵活的支持,这便是虚拟化存储的崛起。 本书将带您深入探索虚拟化存储的精髓,聚焦于如何利用先进的技术构建真正高可用、高性能的企业级存储解决方案。我们将从根本上剖析传统存储的痛点,阐述虚拟化存储如何以颠覆性的方式解决这些问题,并为您提供一套系统性的理论框架和实操指南,帮助您在实际环境中成功部署和管理虚拟化存储。 第一部分:虚拟化存储的时代背景与核心理念 在深入技术细节之前,我们首先需要理解虚拟化存储为何如此重要,以及它所代表的先进理念。 数据中心的演进与存储挑战: 回顾IT基础设施从物理服务器到虚拟化,再到云计算的演进历程。重点分析在虚拟化浪潮下,存储面临的独特挑战,包括存储孤岛、性能瓶颈、备份恢复复杂性、高可用性配置困难、以及高昂的TCO(总拥有成本)。例如,当大量虚拟机同时访问共享存储时,I/O风暴可能导致性能急剧下降,影响业务运行;传统存储阵列的单点故障风险,以及实现高可用所需的昂贵冗余配置。 软件定义存储(SDS)的崛起: 介绍软件定义存储(SDS)的概念,它将存储控制逻辑与底层物理硬件分离,通过软件实现存储的自动化管理、资源池化和按需分配。SDS的核心在于其灵活性、开放性和可编程性,使得存储能够像计算和网络一样,变得更加敏捷和可扩展。 分布式存储的优势: 深入解析分布式存储架构的原理,强调其通过将存储分布在多个节点上,实现数据的冗余备份和负载均衡。这种架构天然具备高可用性、线性扩展性和高吞吐量,能够有效应对大规模数据增长和高并发访问的需求。 虚拟化存储的价值定位: 明确虚拟化存储在现代数据中心中的战略价值。它不仅仅是一种技术,更是实现业务敏捷性、降低运营成本、提升IT效率的关键驱动力。我们将探讨虚拟化存储如何赋能私有云、混合云以及各种云原生应用的构建。 第二部分:构建企业级虚拟化存储的基石——技术解析与原理洞察 本部分将深入剖析支撑企业级虚拟化存储的核心技术和底层原理,为您的技术选型和设计决策提供坚实的基础。 分布式文件系统(DFS)与块存储: 详细介绍分布式文件系统(如HDFS)和分布式块存储(如Ceph RBD)的工作原理。理解数据如何在多个存储节点上进行条带化、复制或纠删码保护,以及客户端如何通过统一的接口访问这些分布式资源。 数据保护机制: 深入研究虚拟化存储中的关键数据保护技术,包括: 数据复制: 同步复制与异步复制的区别、应用场景及优缺点。 纠删码(Erasure Coding): 详细解释纠删码的原理,如Reed-Solomon算法,以及它如何在保证数据冗余的同时,显著降低存储空间开销。对比其与传统 RAID 技术的优劣。 快照(Snapshots)与克隆(Clones): 介绍快照和克隆技术的工作原理、实现方式(如写时复制 COW),以及它们在数据备份、灾难恢复、开发测试等方面的应用。 IOPS、吞吐量与延迟: 详解存储性能的关键指标,并分析分布式存储架构如何通过并行 I/O、智能缓存和分层存储等技术,实现卓越的性能表现。我们将探讨如何优化存储配置以满足不同工作负载的需求,例如,数据库 I/O 对 IOPS 的高要求,流媒体业务对吞吐量的重视,以及实时应用对低延迟的极致追求。 数据放置策略与均衡: 探讨虚拟化存储如何根据数据的重要程度、访问频率以及硬件特性,智能地将数据放置在不同的存储介质或节点上。理解数据在集群内部的自动均衡机制,以确保存储资源的有效利用和性能的持续稳定。 高可用性与容错机制: 详细阐述虚拟化存储系统如何实现真正意义上的高可用性。包括: 无共享架构(Shared-Nothing Architecture): 解释其如何消除单点故障,以及集群中的节点如何相互独立又协同工作。 故障检测与自动故障转移: 介绍系统如何实时监控节点健康状态,并在节点发生故障时,自动将服务和数据迁移到健康的节点上,实现业务的无缝切换。 数据冗余与修复: 阐述数据复制和纠删码如何保证在部分节点失效的情况下,数据依然安全可用,以及系统如何自动启动数据修复进程,重建丢失的副本或恢复损坏的数据。 第三部分:构建灵活、可扩展的虚拟化存储环境——方案设计与实践要点 本部分将重点关注如何在实际环境中设计、部署和管理一个高效、可靠的虚拟化存储解决方案。 存储节点选择与配置: 如何根据业务需求、预算以及性能指标,选择合适的服务器硬件(CPU、内存、网络、存储介质),以及 SSD、HDD 的混合部署策略。 网络设计与优化: 强调存储网络的重要性,包括选择万兆以太网、InfiniBand 等高速网络技术,以及网络拓扑、带宽分配、QoS 等配置要点,以确保数据传输的顺畅与低延迟。 集群部署与初始化: 指导您完成虚拟化存储集群的部署流程,包括节点加入、配置参数设置、以及集群的初始化和健康检查。 存储池管理与数据服务: 学习如何创建和管理存储池,定义存储容量、性能和服务级别。掌握如何提供块存储(如 iSCSI、NVMe-oF)、文件存储(如 NFS、SMB)等多种数据服务,以满足不同应用的访问需求。 虚拟化平台集成: 重点讲解如何将虚拟化存储无缝集成到 VMware vSphere、KVM 等主流虚拟化平台中。探讨通过 vCenter、vSphere Client 等管理工具,实现存储资源的统一纳管、性能监控和自动化运维。 性能调优与监控: 提供一套行之有效的性能监控方法,包括关键指标的采集、异常情况的分析以及根源定位。学习如何根据监控数据,对存储系统进行参数调优,以达到最佳性能。 容量规划与扩展策略: 如何根据业务增长趋势,预测存储需求,并制定合理的容量扩展计划。讨论弹性扩展的优势,以及如何在不中断业务的情况下,平滑地增加存储节点或容量。 灾难恢复(DR)与业务连续性(BC): 详细阐述如何利用虚拟化存储的快照、复制和多站点部署能力,构建强大的灾难恢复方案。讲解 RPO(恢复点目标)和 RTO(恢复时间目标)的定义,以及如何设计满足不同 RPO/RTO 要求的 DR 架构。 安全性设计与管理: 探讨虚拟化存储的安全考量,包括数据加密、访问控制、审计日志等,确保存储数据的安全性和合规性。 第四部分:面向未来的虚拟化存储——趋势与进阶应用 本部分将展望虚拟化存储的未来发展趋势,并介绍其在高级应用场景中的实践。 云原生存储: 探讨虚拟化存储如何与容器化技术(如 Kubernetes)深度集成,为微服务架构提供弹性的存储支持。介绍 CSI(Container Storage Interface)等标准接口的作用。 AI/ML 工作负载的存储需求: 分析人工智能和机器学习工作负载对存储的独特要求,如海量数据处理、高并发读写以及对低延迟的需求,以及虚拟化存储如何应对这些挑战。 存储自动化与智能化: 展望虚拟化存储在自动化部署、智能监控、预测性维护以及自愈能力方面的发展。 多云与混合云存储策略: 探讨如何构建跨越多个公有云和私有云的统一存储管理策略,实现数据的灵活迁移和访问。 通过本书的学习,您将能够深入理解虚拟化存储的核心技术原理,掌握构建企业级高可用、高性能存储解决方案的设计与实践方法,并对未来存储发展趋势有清晰的认识。无论您是企业IT架构师、系统管理员、还是对先进存储技术充满兴趣的技术爱好者,本书都将为您提供宝贵的知识与启迪,助力您的数据中心迈向更加高效、弹性、智能的未来。