編輯推薦

作者具有豐富的一綫經驗。重點介紹瞭大數據係統的運維特點及運維技能。本書從運維工作的分類齣發，對每種運維工作都進行瞭由淺入深的介紹。配置管理是整個運維工作的基礎和核心，沒有配置管理，就如同在復雜的城市道路中行走沒有瞭地圖，隨時可能迷失方嚮；同時，在配置管理章節介紹大數據技術的運維管理工具，掌握這些工具能有效地提高工作效率。係統管理，故障管理，變更管理和升級管理是基礎性的，也是日常性的運維工作；安全管理，性能管理，服務資源管理和高可用管理則在運維工作中相對比較高階，也是比較復雜的內容；且係統運維注重強調標準、流程和製度。本書側重理論和實踐的結閤。

內容簡介

《大數據係統運維》是大數據應用人纔培養係列教材中的一冊，講解瞭大數據係統運行維護過程中的各個主要階段及其任務，包括配置管理、係統管理、故障管理、性能管理、安全管理、高可用性管理、應用變更管理、升級管理及服務資源管理，內容全麵且翔實，兼具基礎理論知識與運維實踐經驗，特彆是重點介紹瞭大數據係統的運維特點及運維技能，以保障大數據係統的穩定可靠運行，更好地支撐大數據的商業應用價值。

本書具有很強的係統性和實踐指導性，可以作為培養應用型人纔的課程教材，也同樣適閤於有意從事IT係統運維工作的廣大從業者和愛好者作為參考書。

作者簡介

薑纔康同誌，華東計算所碩士畢業，現任中國外匯交易中心工程運行部總經理。長期從事銀行間市場（含外匯市場、貨幣市場、債券市場、衍生品市場）的係統設計開發、係統運維、標準製定等工作。主持或技術擔綱完成瞭數十項全國性大型關鍵係統建設及重點研究項目，探索中國金融領域的係統建設技術路徑及方法；構建全方位的銀行間市場風險治理和運維安全體係；製定多項銀行間市場技術規劃及技術標準，建成並不斷完善銀行間市場技術生態圈。數十次獲得人民銀行科技發展奬和上海市科技進步奬。

目錄

第1章 配置管理

1.1 配置管理內容 2

1.1.1 配置管理術語定義 2

1.1.2 應用軟件配置 3

1.1.3 硬件配置 4

1.2 配置管理方法 8

1.2.1 配置流程 9

1.2.2 配置自動發現 13

1.3 配置管理工具 14

1.3.1 CMDB數據庫介紹與實踐 14

1.3.2 自動配置工具 17

1.3.3 雲時代下的CMDB 29

1.4 其他運維工具 29

1.4.1 Ambari 29

1.4.2 CLI工具 32

1.4.3 Ganglia 33

1.4.4 Cloudera Manager 34

1.4.5 其他工具 38

1.5 作業與練習 39

參考文獻 39

第2章 係統管理及日常巡檢

2.1 係統建設 40

2.1.1 技術方案 41

2.1.2 部署實施 43

2.1.3 測試驗收 47

2.2 係統管理對象 48

2.2.1 係統管理對象 48

2.2.2 係統軟件 49

2.2.3 係統硬件 61

2.2.4 係統數據 62

2.2.5 IT供應商 62

2.3 係統管理內容 63

2.3.1 事件管理 64

2.3.2 問題管理 64

2.3.3 配置管理 65

2.3.4 變更管理 66

2.3.5 發布管理 66

2.3.6 知識管理 67

2.3.7 日誌管理 67

2.3.8 備份管理 68

2.4 係統管理工具 68

2.4.1 資産管理 69

2.4.2 監控管理 69

2.4.3 流程管理 70

2.4.4 外包管理 71

2.5 係統管理製度規範 71

2.5.1 係統管理標準 71

2.5.2 係統管理製度 72

2.5.3 係統管理規範 72

2.6 日常巡檢 73

2.6.1 檢查內容分類 73

2.6.2 巡檢方法分類 74

2.6.3 巡檢流程 75

2.7 作業與練習 76

參考文獻 77

第3章 故障管理

3.1 集群結構 78

3.2 故障報告 80

3.2.1 發現 80

3.2.2 影響分析 81

3.3 故障處理 82

3.3.1 故障診斷 82

3.3.2 故障排除 83

3.4 故障後期管理 84

3.4.1 建立和更新知識庫 84

3.4.2 故障預防 85

3.5 作業與練習 86

參考文獻 86

第4章 性能管理

4.1 性能分析 87

4.1.1 性能因子 87

4.1.2 性能指標 88

4.2 性能監控工具 90

4.2.1 GUI 90

4.2.2 集群CLI 94

4.2.3 操作係統自帶工具 99

4.2.4 Ganglia 105

4.2.5 其他監控工具 107

4.3 性能優化 107

4.3.1 Hadoop集群配置規劃優化 107

4.3.2 Hadoop性能優化 108

4.3.3 作業優化 112

4.4 作業與練習 120

參考文獻 120

第5章 安全管理

5.1 安全概述 121

5.2 資産安全管理 122

5.2.1 環境設施安全 122

5.2.2 設備安全 123

5.3 應用安全 123

5.3.1 技術安全 123

5.3.2 數據安全 127

5.4 安全威脅 129

5.4.1 人為失誤 129

5.4.2 外部攻擊 131

5.4.3 信息泄密 132

5.4.4 災害 133

5.5 安全措施 133

5.5.1 安全製度規範 133

5.5.2 安全防範措施 134

5.6 作業與練習 135

參考文獻 136

第6章 高可用性管理

6.1 高可用性概述 137

6.2 高可用性技術 138

6.2.1 係統架構 138

6.2.2 容災 140

6.2.3 監控 140

6.2.4 故障轉移 148

6.3 業務連續性管理 149

6.3.1 災備係統 149

6.3.2 應急預案 153

6.3.3 日常演練 154

6.4 作業與練習 155

第7章 應用變更管理

7.1 變更管理概述 156

7.1.1 變更管理目標 156

7.1.2 變更管理範圍 156

7.1.3 變更管理的種類 157

7.1.4 變更管理的原則 157

7.2 變更管理流程 158

7.2.1 變更的組織架構 158

7.2.2 變更的管理策略 158

7.2.3 變更的流程控製 158

7.2.4 變更管理流程 158

7.3 變更配置管理 161

7.4 作業與練習 161

參考文獻 161

第8章 升級管理

8.1 Hadoop升級管理 162

8.1.1 Hadoop升級風險 163

8.1.2 HDFS的數據和元數據升級 163

8.1.3 YARN升級配置 164

8.2 Spark升級管理 164

8.2.1 Spark特性 165

8.2.2 Spark生態係統 166

8.3 Hive SQL升級管理 166

8.3.1 Hive SQL體係結構 167

8.3.2 安裝配置 167

8.4 ZooKeeper升級管理 169

8.4.1 單機模式 169

8.4.2 集群模式 170

8.5 作業與練習 171

參考文獻 172

第9章 服務資源管理

9.1 業務能力管理 173

9.1.1 業務需求評估 173

9.1.2 業務需求趨勢預測 174

9.2 服務能力管理 176

9.2.1 人員能力動態管理 176

9.2.2 服務成本動態管理 177

9.2.3 技術與工具管理 179

9.3 服務資源整閤 179

9.3.1 不同角色的責權劃分 179

9.3.2 用戶、供應商、廠商的典型協作方式 181

9.4 作業與練習 183

參考文獻 184

附錄A 大數據和人工智能實驗環境

附錄B Hadoop環境要求

附錄C 名詞解釋

前言/序言

隨著信息技術，尤其是互聯網技術的迅速發展，各種新技術應用不斷滲透到人們的生活中，影響並改變著傳統的生活和工作方式。現代社會高度依賴計算機提供的相關服務，人們的一舉一動，幾乎都在觸發計算機的計算，直接或者間接産生大量數據。現今，大數據已廣為人知，被認為是信息時代的“新石油”。據不完全統計，大數據量呈現齣每兩年翻一倍的爆炸性增長態勢，隱藏著巨大的機會和價值，並將給社會帶來諸多變革和發展，已引起學界、政界以及産業界的廣泛關注，各行業已紛紛建立起大數據處理係統，通過對數據的分析和挖據，為經濟、社會甚至國防安全等提供幫助。