前言

準 備 篇

dy 章 環境準備2

1.1 運行環境準備2

1.1.1 安裝JDK3

1.1.2 安裝Scala3

1.1.3 安裝Spark4

1.2 Spark初體驗4

1.2.1 運行spark-shell4

1.2.2 執行word count5

1.2.3 剖析spark-shell7

1.3 閱讀環境準備11

1.4 Spark源碼編譯與調試13

1.5 小結17

第2章 Spark設計理念與基本架構18

2.1 初識Spark18

2.1.1 Hadoop MRv1的局限18

2.1.2 Spark使用場景20

2.1.3 Spark的特點20

2.2 Spark基礎知識20

2.3 Spark基本設計思想22

2.3.1 Spark模塊設計22

2.3.2 Spark模型設計24

2.4 Spark基本架構25

2.5 小結26

核心設計篇

第3章 SparkContext的初始化28

3.1 SparkContext概述28

3.2 創建執行環境SparkEnv30

3.2.1 安全管理器SecurityManager31

3.2.2 基於Akka的分布式消息係統ActorSystem31

3.2.3 map任務輸齣跟蹤器mapOutputTracker32

3.2.4 實例化ShuffleManager34

3.2.5 shuffle綫程內存管理器ShuffleMemoryManager34

3.2.6 塊傳輸服務BlockTransferService35

3.2.7 BlockManagerMaster介紹35

3.2.8 創建塊管理器BlockManager36

3.2.9 創建廣播管理器Broadcast-Manager36

3.2.10 創建緩存管理器CacheManager37

3.2.11 HTTP文件服務器HttpFile-Server37

3.2.12 創建測量係統MetricsSystem39

深入理解Spark核心思想與源碼分析 下載 mobi epub pdf txt 電子書