定價:¥79.00作者:
ELK是Elasticsearch、Logstash、Kibana三個開源軟件的組閤,是目前開源界流行的實時數據分析方案,成為實時日誌處理領域開源界的第壹選擇。然而,ELK也並不是實時數據分析界的靈丹妙藥,使用不恰當,反而會事倍功半。本書對ELK的原理進行瞭解剖,不僅分享瞭大量實戰案例和實現效果,而且分析瞭部分源代碼,使讀者不僅知其然還知其所以然。讀者可通過本書的學習,快速掌握實時日誌處理方法,並搭建符閤自己需要的大數據分析係統。本書分為三大部分,第壹部分“Logstash”介紹Logstash的安裝與配置、場景示例、性能與測試、擴展方案、源碼解析、插件開發等,第二部分“Elasticsearch”介紹Elasticsearch的架構原理、數據接口用例、性能優化、測試和擴展方案、映射與模闆的定製、監控方案等,第三部分“Kibana”介紹Kibana3和Kibana5的特點對比,Kibana的配置、案例與源代碼解析。
目 錄Contents
前 言
,部分 Logstash
第1章 入門示例 3
1.1 下載安裝 3
1.2 Hello World 4
1.3 配置語法 8
1.3.1 語法 8
1.3.2 命令行參數 10
1.3.3 設置文件示例 11
1.4 插件安裝 12
1.5 長期運行方式 13
第2章 插件配置 15
2.1 輸入插件 15
2.1.1 標準輸入 16
2.1.2 文件輸入 17
2.1.3 TCP輸入 18
2.1.4 syslog輸入 19
2.1.5 http_poller抓取 21
2.2 編解碼配置 22
2.2.1 JSON編解碼 23
2.2.2 多行事件編碼 24
2.2.3 網絡流編碼 26
2.2.4 collectd輸入 27
2.3 過濾器配置 30
2.3.1 date時間處理 30
2.3.2 grok正則捕獲 33
2.3.3 dissect解析 35
2.3.4 GeoIP地址查詢 36
2.3.5 JSON編解碼 38
2.3.6 key-value切分 38
2.3.7 metrics數值統計 40
2.3.8 mutate數據修改 41
2.3.9 隨心所欲的Ruby處理 45
2.3.10 split拆分事件 47
2.3.11 交叉日誌閤並 48
2.4 輸齣插件 49
2.4.1 輸齣到Elasticsearch 49
2.4.2 發送email 54
2.4.3 調用係統命令執行 54
2.4.4 保存成文件 55
2.4.5 報警發送到Nagios 56
2.4.6 statsd 58
2.4.7 標準輸齣stdout 61
2.4.8 TCP發送數據 62
2.4.9 輸齣到HDFS 62
第3章 場景示例 64
3.1 Nginx訪問日誌 64
3.1.1 grok處理方式 64
3.1.2 split處理方式 65
3.1.3 JSON格式 68
3.1.4 syslog方式發送 69
3.2 Nginx錯誤日誌 69
3.3 Postfix日誌 71
3.4 Ossec日誌 72
3.4.1 配置所有Ossec agent采用syslog輸齣 72
3.4.2 配置Logstash 72
3.4.3 推薦Kibana儀錶盤 73
3.5 Windows係統日誌 73
3.5.1 采集端配置 73
3.5.2 接收解析端配置 75
3.6 Java日誌 77
3.6.1 Log4J配置 77
3.6.2 Logstash配置 78
3.6.3 異常堆棧測試驗證 78
3.6.4 JSON Event layout 79
3.7 MySQL慢查詢日誌 80
3.8 Docker日誌 82
3.8.1 記錄到主機磁盤 82
3.8.2 通過logspout收集 83
第4章 性能與監控 85
4.1 性能測試 85
4.1.1 配置示例 85
4.1.2 使用方式 86
4.1.3 額外的話 87
4.2 監控方案 87
4.2.1 logstash-input-heartbeat心跳檢測方式 88
4.2.2 JMX啓動參數方式 89
4.2.3 API方式 90
第5章 擴展方案 94
5.1 通過Redis隊列擴展 95
5.1.1 讀取Redis數據 95
5.1.2 采用list類型擴展Logstash 96
5.1.3 輸齣到Redis 97
5.2 通過Kafka隊列擴展 98
5.2.1 Kafka基礎概念 99
5.2.2 Input配置 100
5.2.3 Output配置 101
5.2.4 性能 103
5.3 logstash-forwarder 103
5.3.1 Indexer端配置 104
5.3.2 Shipper端配置 104
5.3.3 AIX上的logstash-forwarder-java 106
5.4 Rsyslog 107
5.4.1 常用模塊介紹 107
5.4.2 與Logstash閤作 109
5.4.3 Mmexternal模塊 109
5.5 Nxlog 112
5.6 Heka 114
5.7 Fluentd 115
5.7.1 配置示例 115
5.7.2 Fluentd插件 117
5.8 Message::Passing 117
第6章 Logstash源碼解析 119
6.1 Pipeline 120
6.2 Plugins 122
第7章 插件開發 125
7.1 插件格式 125
7.2 插件的關鍵方法 126
7.3 插件打包 127
7.4 Filter插件開發示例 128
7.4.1 mmdb數據庫的生成方法 129
7.4.2 LogStash::Filters::Mmdb實現 130
7.4.3 logstash-filter-mmdb打包 131
7.5 Input插件開發示例 132
7.5.1 FileWatch模塊原理 132
7.5.2 LogStash::Inputs::Utmp實現 133
7.6 Output插件開發示例 136
第8章 Beats 138
8.1 libbeat的通用配置 138
8.1.1 過濾器配置 138
8.1.2 輸齣配置 139
8.1.3 shipper網絡配置 142
8.1.4 日誌配置 142
8.1.5 運行配置 142
8.2 Filebeat 142
8.2.1 安裝部署 143
8.2.2 配置 144
8.2.3 生成的可用字段 145
8.3 packetbeat抓包分析 145
8.3.1 安裝部署 146
8.3.2 配置示例 146
8.3.3 dashboard效果 147
8.3.4 Kibana 3拓撲圖 148
8.4 metricbeat 150
8.4.1 配置示例 152
8.4.2 各模塊輸齣指標示例 152
8.4.3 采集Docker中的指標 164
8.5 winlogbeat 164
第二部分 Elasticsearch
第9章 架構原理 169
9.1 準實時索引的實現 169
9.1.1 動態更新的Lucene索引 169
9.1.2 利用磁盤緩存實現的準實時檢索 170
9.1.3 translog提供的磁盤同步控製 171
9.2 segment merge的影響 172
9.2.1 歸並綫程配置 173
9.2.2 歸並策略 174
9.2.3 forcemerge接口 174
9.3 routing和replica的讀寫過程 174
9.3.1 路由計算 175
9.3.2 副本一緻性 175
9.4 shard的allocate控製 176
9.4.1 reroute接口 178
9.4.2 分配失敗原因 179
9.4.3 節點下綫 180
9.4.4 冷熱數據的讀寫分離 180
9.5 自動發現的配置 181
第10章 數據接口用例 183
10.1 增刪改查操作 183
10.2 搜索請求 185
10.2.1 全文搜索 185
10.2.2 聚閤請求 187
10.2.3 pipeline聚閤 189
10.2.4 搜索請求參數 191
10.3 腳本 192
10.3.1 動態提交 192
10.3.2 固定文件 193
10.3.3 其他語言 194
10.4 重建索引 194
10.4.1 Perl客戶端 194
10.4.2 用Logstash重建索引 195
10.4.3 新reindex接口的應用 195
10.5 Spark Streaming交互 197
第11章 性能優化 199
11.1 bulk提交 199
11.1.1 bulk大小 200
11.1.2 UDP方式 200
11.2 gateway配置 201
11.3 集群狀態維護 202
11.4 緩存 206
11.4.1 filter緩存 206
11.4.2 shard reguest緩存 207
11.4.3 field_stats 接口 208
11.5 字段數據 209
11.5.1 Circuit Breaker 209
11.5.2 doc values 210
11.6 curator工具 212
11.6.1 參數介紹 213
11.6.2 常用示例 214
11.7 profiler調試接口 214
第12章 測試和擴展方案 217
12.1 測試方案 217
12.2 多集群互聯 220
12.3 puppet-elasticsearch模塊的使用 223
12.3.1 安裝和配置示例 223
12.3.2 配置解釋 224
12.4 計劃內停機升級的操作流程 224
12.5 Shield權限管理 227
12.5.1 Shield架構 227
12.5.2 安裝部署 227
12.6 searchguard權限管理 229
12.6.1 安裝 229
12.6.2 權限角色配置 231
12.6.3 其他組件配置方式 233
12.7 彆名的應用 234
12.7.1 索引更名時的無縫切換 234
12.7.2 限製索引數據部分可讀 236
12.8 快照與恢復 237
12.8.1 HDFS插件安裝配置 237
12.8.2 Hadoop配置 238
12.8.3 備份操作 240
12.9 rollover和shrink管理 240
12.9.1 rollover管理 240
12.9.2 shrink縮容 241
12.10 ingest節點 243
12.10.1 創建管道流 243
12.10.2 測試管道流 243
12.10.3 處理器 244
第13章 映射與模闆的定製 246
13.1 映射的增刪改查 246
13.2 Elasticsearch的核心類型 248
13.3 自定義字段映射 249
13.3.1 精確索引 249
13.3.2 時間格式 249
13.3.3 多重索引 250
13.4 特殊字段 250
13.5 動態模闆映射 251
13.6 索引模闆 252
第14章 監 控 方 案 254
14.1 監控相關接口 254
14.1.1 集群健康狀態 254
14.1.2 節點狀態 257
14.1.3 熱綫程狀態 264
14.1.4 索引狀態 265
14.1.5 任務管理 266
14.1.6 cat接口的命令行使用 268
14.2 日誌記錄 271
14.3 實時bigdesk方案 272
14.4 cerebro 274
14.5 Zabbix trapper方案 275
14.5.1 安裝配置 275
14.5.2 模闆應用 276
第15章 Elasticsearch在運維監控領域的其他應用 278
15.1 Percolator接口 278
15.2 Watcher報警 281
15.3 ElastAlert 284
15.3.1 安裝 284
15.3.2 配置結構 284
15.3.3 擴展 286
15.4 時序數據庫 288
15.5 Etsy的Kale異常檢測 290
15.6 Grafana可視化 291
15.6.1 安裝 291
15.6.2 配置數據源 292
15.6.3 生成,個圖錶 293
15.6.4 模闆功能 295
15.6.5 在綫資源 300
15.7 Juttle可視化 301
15.7.1 安裝部署 302
15.7.2 命令行運行示例 302
15.7.3 可視化界麵 304
15.7.4 可視化相關指令介紹 304
第三部分 Kibana
第16章 Kibana的産品對比 309
16.1 Kibana 3的設計思路和功能 309
16.2 Kibana 5的設計思路和功能 310
16.3 與Hadoop體係的區彆 310
16.4 Splunk場景參考 311
第17章 Kibana 5 312
17.1 安裝、配置和運行 313
17.2 生産環境部署 314
17.2.1 Nginx代理配置 316
17.2.2 開啓SSL 317
17.3 Discover功能 318
17.3.1 設置時間過濾器 318
17.3.2 搜索數據 319
17.3.3 按字段過濾 321
17.3.4 過濾器的協同工作方式 321
17.3.5 查看文檔數據 323
17.4 各種可視化功能 324
17.4.1 area 326
17.4.2 table 329
17.4.3 line 330
17.4.4 Markdown 331
17.4.5 metric 331
17.4.6 pie 332
17.4.7 tile map 332
17.4.8 vertical bar 334
17.4.9 tagcloud 335
| 商品名稱: | 深入理解ElasticSearch | ||
| 作者: | (美)酷奇 | 開本: | |
| 定價: | 69 | 頁數: | |
| 現價: | 見頂部 | 齣版時間 | 2016-01 |
| ISBN號: | 9787111524168 | 印刷時間: | |
| 齣版社: | 機械工業齣版社 | 版次: | |
| 商品類型: | 圖書 | 印次: | |
這本書在涉及最新版本迭代和特性更新方麵,明顯滯後於行業發展速度。我購買時是希望能夠獲得最新的、與當前生産環境兼容的技術棧指導,然而,書中的很多配置示例和API調用方式,明顯是基於好幾個主要版本之前的舊版軟件環境。當我試圖將書中提供的代碼片段復製粘貼到我當前的新環境中運行時,大量的報錯和兼容性問題接踵而至,我不得不花費大量時間去手動修正那些過時的命令和參數,這簡直是令人抓狂。技術領域的知識更新速度本來就很快,一本號稱“權威”的指南,如果不能緊跟主流版本的步伐,其參考價值就會大打摺扣,甚至可能誤導讀者走嚮錯誤的技術路徑。購買技術書籍,很大程度上是圖一個“省心”和“可靠”,但這本書在這方麵錶現得非常不盡人意,讓我不得不懷疑其內容更新維護的頻率和專業程度。
評分這本書的排版和印刷質量簡直是一場災難,拿到手的時候就感覺像是被粗暴對待過一樣。紙張的厚度非常不均勻,有些地方薄得幾乎能透過光綫,另一些地方卻又厚得像是貼瞭兩層。更要命的是,油墨的附著力非常差,隨便用手指蹭一下,就能看到一些文字邊緣開始模糊、擴散,簡直是考驗我的視力極限。特彆是那些涉及代碼示例和配置文件的部分,本該清晰銳利的地方,現在看起來就像是濛瞭一層灰塵,我不得不經常眯著眼睛去辨認那些復雜的參數和路徑。閱讀體驗因此大打摺扣,每次翻頁都像是在進行一次對眼睛的摺磨,完全沒有沉浸在技術學習的樂趣中。如果這是一個嚴肅的技術參考資料,至少應該保證信息傳遞的準確性和舒適性吧?現在的狀態,讓我嚴重懷疑作者和齣版社在裝訂和校對環節上是否存在嚴重的疏忽。我甚至擔心,隨著時間的推移,這些脆弱的頁麵會不會自己脫落,讓我的學習資料支離破碎。希望未來的再版能夠重視一下基礎的齣版工藝,畢竟內容再好,如果載體本身都難以承受閱讀的重量,那也是徒勞。
評分全書的錯誤和筆誤多到令人發指的程度,簡直讓人懷疑它是否經過瞭任何形式的專業校對。不僅僅是錯彆字這種小問題,更嚴重的是,在關鍵的技術解釋和代碼塊中,存在著明顯的邏輯錯誤和事實性偏差。比如,在描述一個關鍵的配置項的作用時,它給齣的解釋與實際係統的行為完全相反;在展示一個多步驟操作流程時,步驟的順序描述是錯誤的,導緻讀者按照書中的指引操作必然失敗。這些深層次的錯誤一旦齣現,就會像滾雪球一樣積纍讀者的不信任感。每發現一個錯誤,我都需要停下來,花費額外的精力去驗證其正確性,然後自己修正認知,這極大地破壞瞭閱讀的流暢性和對作者專業度的信任。如果一本專業書籍中充滿瞭錯誤,它所傳遞的“權威性”便蕩然無存,最終淪為一本需要讀者自行“打補丁”的草稿。
評分書中對於一些復雜概念的解釋,坦率地說,有些過於抽象和晦澀,缺乏足夠的、貼近實際場景的案例來佐證其理論。很多段落讀起來就像是教科書上的定義集閤,雖然術語都用對瞭,但對於初次接觸這些技術的讀者來說,理解起來非常吃力。比如,當提到某種特定的數據結構或算法優化時,作者似乎默認讀者已經具備瞭深厚的背景知識,直接拋齣瞭結論,而沒有深入剖析其背後的設計哲學和選擇依據。我多次需要跳齣這本書,去互聯網上搜索相關的博客文章或官方文檔的圖解,纔能勉強理清作者想錶達的意圖。一個真正“權威的指南”應該能夠站在讀者的角度,用更容易消化的語言去拆解和重構復雜的思想,提供直觀的視覺輔助,而不是僅僅堆砌文字。這種高高在上的講解方式,讓學習過程充滿瞭“猜謎”的成分,極大地降低瞭學習的效率和探索的興趣。
評分我對這本書的目錄結構感到非常睏惑,似乎作者在內容的組織上缺乏一個清晰、連貫的邏輯主綫。章節之間的跳轉顯得突兀且生硬,前一章還在討論基礎的概念介紹,下一章立刻就跳到瞭高階的性能調優,中間缺失瞭大量必要的過渡和鋪墊,讓人感覺像是在走一段沒有指引的迷宮。很多我本以為會放在一起討論的關鍵技術點,卻被生生地拆分到瞭相距甚遠的幾個章節裏,這極大地增加瞭知識點串聯的難度。我花費瞭大量時間去翻閱不同章節,試圖構建一個完整的認知框架,但每次都因為這種不閤理的編排而功虧一簣。對於一個需要係統性學習新技術的讀者來說,這種“碎片化”的知識呈現方式是非常低效的。如果作者能按照“理論基礎 -> 核心組件 -> 實踐應用 -> 深入優化”這樣的清晰路徑來組織內容,學習麯綫會平滑得多。現在的感覺是,我需要自己充當一個“知識整閤者”的角色,而不是一個單純的知識接收者,這無疑增加瞭學習的負擔和挫敗感。
本站所有內容均為互聯網搜尋引擎提供的公開搜索信息,本站不存儲任何數據與內容,任何內容與數據均與本站無關,如有需要請聯繫相關搜索引擎包括但不限於百度,google,bing,sogou 等
© 2025 book.coffeedeals.club All Rights Reserved. 靜流書站 版權所有