並行計算的編程模型 pdf epub mobi txt 電子書 下載 2025

簡體網頁||繁體網頁

☆☆☆☆☆

[美] 帕萬·巴拉吉（Pavan Balaji） 著，李士剛 譯

圖書標籤:

• 並行計算
• 編程模型
• 高性能計算
• 多核處理器
• 並行編程
• CUDA
• OpenMP
• MPI
• GPU計算
• 分布式計算

齣版社： 機械工業齣版社

ISBN：9787111573340

版次：1

商品編碼：12225770

品牌：機工齣版

包裝：平裝

叢書名： 計算機科學叢書

開本：16開

齣版時間：2017-07-01

用紙：膠版紙

頁數：289

內容簡介

本書以使用說明的形式對當今主流的並行編程模型進行瞭詳細描述，內容包括分布式內存架構上常見的MPI（消息傳遞接口）編程模型；單邊通信模型，範圍從低層的運行時庫（GASNet、OpenSHMEM）到高層的編程模型（UPC、GA、Chapel）；麵嚮任務的編程模型，包括Charm++、ADLB、Scioto、Swift、CnC，由運行時係統來管理計算和數據移動；麵嚮節點內並行（多核架構以及附帶加速器）的並行編程模型，包括OpenMP、CilkPlus、TBB、CUDA以及OpenCL。每章配備大量應用和程序實例，可以使讀者很好地理解各種編程模型所提供的功能及特點。本書可作為高等院校並行編程課程的研究生教材，也可作為具有一定並行編程經驗的軟件開發人員、科研人員以及任何與數據集及大規模計算打交道的科學傢的參考資料。

目錄

齣版者的話
譯者序
前言
第1章　消息傳遞接口 1
1.1　引言 1
1.2　MPI基礎 1
1.3　點對點通信 2
1.4　數據類型 3
1.5　非阻塞式通信 4
1.6　聚閤通信 5
1.7　單邊通信 7
1.8　並行I/O 9
1.9　其他特性 11
1.10　MPI開發心得 12
1.11　總結 13
第2章　全局地址空間網絡 14
2.1　研究背景與動機 14
2.2　GASNet概述 14
2.2.1　相關術語 15
2.2.2　綫程 15
2.2.3　API組織 16
2.3　核心API 16
2.3.1　開始和結束 16
2.3.2　段信息 18
2.3.3　屏障 18
2.3.4　鎖與中斷 19
2.3.5　活動消息 20
2.3.6　活動消息進程 22
2.3.7　活動消息規則與約束 22
2.3.8　齣錯代碼 23
2.4　擴展API 23
2.4.1　GASNet段 23
2.4.2　排序與內存模型 24
2.4.3　阻塞與非阻塞 24
2.4.4　批量與單個 24
2.4.5　寄存器–內存與遠程memset操作 24
2.4.6　擴展API總結 25
2.5　附加內容 26
2.5.1　GASNet工具 26
2.5.2　可移植平颱頭文件 27
2.6　示例 27
2.6.1　編譯和運行示例 27
2.6.2　Hello World示例 28
2.6.3　AM Ping-Pong示例 28
2.6.4　AM Ring示例 30
2.6.5　MCS Locks示例 32
2.7　未來方嚮 35
第3章　OpenSHMEM 37
3.1　引言 37
3.2　設計理念和根據 37
3.3　OpenSHMEM存儲模型 39
3.4　對稱堆管理 39
3.4.1　初始化和查詢 40
3.4.2　分配和釋放 40
3.4.3　關於分配和對稱堆的說明 41
3.5　遠程內存訪問：put和get 41
3.5.1　RMA函數語義 41
3.5.2　RMA函數使用 42
3.6　排序和同步 44
3.6.1　全局同步屏障 44
3.6.2　fence和quiet：RMA操作排序 45
3.6.3　鎖 46
3.6.4　wait和wait_until 46
3.7　集閤操作 47
3.7.1　選擇集閤參與者 47
3.7.2　同步數組和工作數組 47
3.7.3　非全局同步屏障 48
3.7.4　廣播 48
3.7.5　收集 49
3.7.6　歸約 50
3.8　原子內存操作 51
3.8.1　原子加和遞增 52
3.8.2　原子取–加和取–遞增 52
3.8.3　原子交換和條件交換 53
3.9　未來方嚮 54
第4章　統一並行C 55
4.1　UPC簡史 55
4.2　UPC編程模型 56
4.2.1　術語 56
4.2.2　全局地址空間 56
4.2.3　執行模型 57
4.3　UPC概覽 57
4.3.1　自省 57
4.3.2　數據布局 57
4.3.3　通信 59
4.3.4　UPC內存一緻性模型 60
4.3.5　同步 61
4.3.6　集閤操作 62
4.4　UPC程序示例 63
4.4.1　隨機訪問基準 63
4.4.2　雅可比5點stencil 64
4.4.3　排序示例 65
4.4.4　一維FFT 68
4.5　未來方嚮 71
第5章　全局數組 72
5.1　引言 72
5.2　編程模型與設計原則 73
5.3　核心功能 74
5.4　進程組 77
5.5　擴展的數組結構 78
5.6　稀疏數組操作的支持 79
5.7　數組上的集閤操作 80
5.8　動態負載均衡 80
5.9　實際應用 80
第6章　Chapel 82
6.1　Chapel簡史 82
6.1.1　全麵啓動 82
6.1.2　初始方嚮 83
6.1.3　HPCS時代 83
6.1.4　後HPCS時代 84
6.2　Chapel的主題思想 84
6.2.1　通用並行性錶達 84
6.2.2　支持多綫程執行模型 85
6.2.3　支持全局視圖編程 85
6.2.4　支持多尺度設計 85
6.2.5　支持局部性控製 86
6.2.6　支持以數據為中心的同步 86
6.2.7　用戶與編譯器的不同角色 86
6.2.8　縮小主流語言和HPC語言之間的差距 87
6.2.9　從頭開始（但爭取令人熟悉） 87
6.2.10　遠大目標 88
6.2.11　促使Chapel成為可移植的開源軟件 88
6.3　Chapel特性概述 88
6.3.1　基本語言特性 89
6.3.2　任務並行 92
6.3.3　數據並行 96
6.3.4　位置特性 98
6.4　總結與未來方嚮 100
第7章　Charm++ 102
7.1　引言 102
7.2　Charm的編程範例以及執行模型 102
7.2.1　以過分解作為核心思想 102
7.2.2　消息驅動的執行模型 103
7.2.3　授權自適應運行時係統 104
7.3　基本語言 104
7.3.1　chare：分解的基本單元 104
7.3.2　入口方法：基本的調度單元 105
7.3.3　異步方法調用 105
7.3.4　帶索引的chare集閤：chare數組 105
7.3.5　隻讀變量 106
7.3.6　Charm++對象：用戶及係統角度 107
7.3.7　結構化匕首符號 108
7.3.8　示例：一維分解的5點stencil代碼 108
7.4　過分解的好處以及消息驅動執行 110
7.4.1　不依賴於處理器個數 110
7.4.2　異步歸約 110
7.4.3　自適應計算與通信重疊 110
7.4.4　閤成性 111
7.4.5　軟件工程方麵的好處：邏輯實體的相互獨立 111
7.5　一個設計示例：分子動力學模擬 111
7.6　自適應運行時特性 112
7.6.1　Charm++中負載均衡功能 112
7.6.2　容錯 113
7.6.3　縮小或擴展處理器集閤 114
7.6.4　異構處理器以及加速器的支持 115
7.6.5　額外特性 115
7.6.6　實驗特性：熱能與功耗管理 115
7.7　底層架構概述 115
7.8　基於Charm++的高層次語言傢族 116
7.9　通過Charm++來開發應用程序 117
7.10　作為研究工具的Charm++ 118
7.11　Charm++：曆史以及現狀 118
7.12　總結 118
第8章　異步動態負載均衡 119
8.1　引言 119
8.2　manager-worker模型與負載均衡 119
8.3　ADLB庫定義 121
8.3.1　API簡介 121
8.3.2　基本的ADLB API 122
8.3.3　使用批處理優化內存使用 123
8.3.4　獲取和使用ADLB 124
8.4　實現ADLB 124
8.4.1　ADLBM實現 124
8.4.2　其他實現 125
8.5　示例 125
8.5.1　一個簡單的批處理調度 125
8.5.2　動態任務創建：數獨解法 126
8.5.3　任務單元類型：旅行推銷員問題 127
8.5.4　GFMC 127
8.5.5　Swift 128
8.6　DMEM：一個處理大數據的輔助庫 128
8.7　總結與未來方嚮 129
第9章　可拓展任務對象集閤 130
9.1　Scioto任務並行執行模型 131
9.1.1　任務對象 131
9.1.2　任務輸入/輸齣模型 132
9.1.3　任務執行模型 132
9.2　多級並行任務集閤 133
9.3　Scioto + GA編程接口 134
9.3.1　核心編程結構 134
9.3.2　實現一個Scioto任務 135
9.3.3　示例：矩陣–矩陣乘法 135
9.4　Scioto運行時係統 136
9.4.1　共享任務隊列方法 136
9.4.2　動態負載均衡方法 137
9.4.3　終止檢測 137
9.5　總結 138
第10章　Swift：極端規模的隱式並行腳本 139
10.1　第一個示例：並行因式分解 140
10.2　一個真實的示例：晶體坐標轉換 140
10.3　Swift發展曆史 142
10.4　Swift語言和編程模型 142
10.4.1　Hello World示例 143
10.4.2　變量和標量數據類型 143
10.4.3　數據流執行 144
10.4.4　條件判斷語句 145
10.4.5　數據依賴控製流 145
10.4.6　foreach循環和數組 145
10.4.7　Swift函數 146
10.4.8　外部函數 147
10.4.9　文件和app函數 148
10.5　Swift執行模型 148
10.6　大規模並行運行時係統 150
10.7　運行時架構 151
10.8　性能分析 153
10.9　Swift的大規模並行編譯 153
10.10　相關工作 154
10.11　總結 155
第11章　並發集閤編程模型 157
11.1　引言 157
11.2　研究動機 158
11.3　CnC領域語言 158
11.3.1　概述 158
11.3.2　特徵 160
11.3.3　示例 161
11.3.4　執行語義 162
11.3.5　CnC編程 163
11.3.6　未來工作 167
11.4　CnC調優語言 168
11.4.1　描述 168
11.4.2　特徵 171
11.4.3　示例 171
11.4.4　執行模型 173
11.4.5　未來工作 175
11.5　當前狀態 175
11.6　相關工作 175
11.7　總結 177
第12章　OpenMP 178
12.1　引言 178
12.2　概述 179
12.2.1　術語 179
12.2.2　管理數據環境 180
12.2.3　OpenMP概念簡述 181
12.3　OpenMP特性 182
12.3.1　並行區域 182
12.3.2　同步 186
12.3.3　工作共享 187
12.3.4　任務並行化 191
12.3.5　嚮量化 195
12.3.6　加速器支持 196
12.3.7　區域取消 199
12.4　性能優化建議 200
12.5　關於正確性的思考 201
12.6　總結與未來方嚮 201
第13章　Cilk Plus 202
13.1　引言 202
13.2　嚮量並行化 203
13.2.1　數組標注 204
13.2.2　pragma SIMD 205
13.2.3　支持SIMD的函數 206
13.3　綫程並行 208
13.4　並行性能 211
13.5　數據競爭 215
13.6　實踐技巧 216
13.7　曆史 219
13.8　總結 220
第14章　Intel TBB工具 221
14.1　引言 221
14.1.1　概述 221
14.1.2　基本信息 221
14.2　泛型並行算法 222
14.2.1　簡單循環的並行化 222
14.2.2　在STL容器中處理數據 223
14.2.3　復雜迭代空間 224
14.2.4　其他算法 226
14.3　流圖 226
14.3.1　概述 227
14.3.2　節點通信協議 227
14.3.3　控製依賴圖 228
14.3.4　數據流圖 230
14.3.5　流圖、算法和無環圖的選擇 232
14.4　總結 232
第15章　CUDA 233
15.1　CUDA簡史 233
15.2　CUDA編程結構 234
15.3　示例：嚮量加法 235
15.4　設備內存和數據傳輸 236
15.5　kernel函數與綫程 238
15.6　綫程組織 240
15.7　綫程和多維數據的映射 242
15.8　同步與透明可擴展性 243
15.9　綫程塊的資源分配 244
15.10　CUDA流與任務並行 244
15.11　總結 248
第16章　OpenCL開放計算語言 249
16.1　計算語言與OpenCL 249
16.2　基本定義 250
16.3　計算機、編程和異構 250
16.4　OpenCL的誕生 251
16.5　OpenCL的核心模型 252
16.5.1　平颱模型 252
16.5.2　執行模型 253
16.5.3　內存模型 255
16.5.4　編程模型 257
16.6　OpenCL主機程序：嚮量加法 258
16.7　總結 266
參考文獻 268

精彩書摘

　　《並行計算的編程模型》：
　　絕大多數OpenMP指令與代碼域有著明確的關係，通常後麵為結構塊動態區域或者循環嵌套。一些指令（barrier和flush）沒有響應的代碼。一些特性影響綫程的行為和使用。因此，采用瞭一種綁定綫程集的想法。特彆是，一些運行庫函數對調用綫程有影響（或者隻返迴信息給調用綫程），而其他運行庫函數與一個綫程組或者程序運行的全部綫程有關聯。本節將隻討論一些重要的和難理解的綁定問題。
　　12.2.2管理數據環境
　　OpenMP程序中的每個任務擁有自身的數據環境，數據環境中包含所有使用的變量。該變量可以是在應用中聲明並對任務區域可見的，也可以是OpenMP實現所使用的內部控製變量（ICV）。數據環境中的變量可以是共享（shared）或者私有（private）類型。共享變量可被當前綫程組中綫程的所有任務訪問，或者被一簇綫程中的一組綫程訪問。私有變量是在並行域中的一個綫程或者一簇綫程中一組綫程的本地拷貝。另一種變量類型為綫程私有（threadprivate），該類型存在於主機設備中特殊綫程的靜態內存上並且隻被該綫程上執行的任務訪問。在目標設備上訪問綫程私有變量是被禁止的。
　　……

前言/序言

對於正在編程的程序員，編程模型可被看作一颱虛擬機，並可通過編程語言和函數庫實現。如果某個編程模型成為計算機科學研究中的熱點，需要具有以下特性：高效性（易於描述各種抽象算法）、移植性（兼容各種硬件計算平颱）、高性能（高效均衡地利用硬件平颱的計算能力）、通用性（廣泛地描述各種算法）。針對特定的編程模型，同時具有上述四種特性中的一種或兩種相對容易，但同時具備這四種特性幾乎是不可能的。特定的編程模型無法同時具備四種特性的主要原因在於編程模型的多樣性，因此需要根據具體的科學應用，選擇不同的編程模型特性。
隨著並行計算技術的發展，計算機科學領域的專傢將研究重點轉移到能夠適應高性能並行計算和超級計算係統的編程模型設計方嚮。並行編程模型包含執行模型（選擇代碼執行路徑）和內存模型（管理計算節點間和節點內的數據流）。多核計算需要並發計算和移動數據，這增加瞭程序運行結果和性能的不確定性，導緻並行編程模型變得更加復雜。
從技術上分析，編程模型和編程係統間存在一定區彆。編程模型是一種編程方式，例如采用大量同步或者隱含編譯器協助的並行化方式，而編程係統指程序員編寫程序時實際使用的係統抽象接口。隨著時間推移，編程模型和編程係統間的區彆逐漸變得模糊。目前，編程模型既是一種編程方式，也是模型實例化過程中所使用的係統抽象接口。
與通用的編程模型設計不同，在大多數並行係統中，程序開發人員往往不采用單一的並行編程模型。不同的開發人員會選擇不同層次的虛擬化方式，並在高效性、移植性、高性能和通用性四種編程模型特性中選擇不同的組閤。針對麵嚮終端的程序開發應用，具體研究領域的科學傢通常傾嚮於選擇更高效和高級彆的編程模型，即使該編程模型隻能針對特定的算法而缺乏通用性。針對編程語言和函數庫，程序開發者一般更傾嚮於選擇高性能和低級彆的編程模型，即使該編程模型具有較高的使用難度。然而，針對麵嚮終端的程序應用以及編程語言和函數庫開發，上述編程模型選擇並非是絕對的，可根據實際的開發應用情況進行調整。
關於本書　　本書對當今高性能計算以及超級計算係統上的幾種最主要的並行編程模型進行瞭概述。書中包含多種並行編程模型，它們擁有不同的生産效率、可移植性、性能以及錶達範圍。因此，讀者可以學習和理解每種編程模型提供瞭哪些摺中。
第1章討論瞭消息傳遞接口（MPI）。MPI是當今麵嚮分布式內存計算的最重要的並行編程模型。該章對MPI最常用的功能進行瞭概述，並涉及MPI標準的第三個主要版本 ——MPI-3。
第2～5章從低層次的運行時庫到高層次的編程模型，對單邊通信模型進行瞭討論。第2章介紹瞭全局地址空間網絡（GASNet），它是一種低層次的編程模型，用於多種分區全局地址空間（PGAS）模型的一種通用可移植運行時係統。第3章討論瞭OpenSHMEM單邊通信庫，它用於嚮用戶直接呈現本地硬件通信功能。OpenSHMEM通過擴展庫的形式模擬瞭許多PGAS模型的功能，這樣做的好處是不依賴於語言擴展及相應的編譯器支持。第4章提供瞭Unified Parallel C（UPC）編程模型的概述。UPC是基於C語言的PGAS模型，它為全局地址空間內存的創建與管理提供瞭相應的語言擴展及庫接口。第5章介紹瞭全局數組（GA），與OpenSHMEM類似，GA是另一種基於庫的單邊通信模型。但GA基於多維數組提供瞭更高層次的抽象，以方便用戶編程。
第6章討論瞭Chapel。它是一種高生産率編程模型，支持以任務並行及數據並行兩種方式對應用進行描述。Chapel同時也具有一級語言概念，可對局部性進行描述與推理，這與它支持的並行特性是互不相關的。
第7～11章展示瞭麵嚮任務的編程模型，它們允許用戶以任務的方式描述計算及數據單元，並允許運行時係統來管理計算以及必要的數據移動。第7章對Charm++編程模型進行瞭討論。Charm++提供瞭一種依賴於工作過分解的抽象模型，以在可用的計算單元間動態地管理任務。第8章深入討論瞭異步動態負載均衡（ADLB）庫，它提供瞭另一種麵嚮任務的工作共享方法，並以MPI作為低層次的通信模型。第9章討論瞭可擴展任務對象集閤（Scioto）編程模型，它依賴於類似PGAS的單邊通信框架來實現基於工作竊取的負載均衡。第10章描述瞭Swift，它是一種高層次的腳本語言，允許用戶使用高層次語義對計算進行描述，並在內部將其翻譯成其他麵嚮任務的編程模型，如ADLB。第11章描述瞭並行集（CnC），它是一種高層次的聲明式模型，允許用戶將應用描述為由相互通信的內核構成的圖。
第12～16章展示瞭麵嚮節點內並行的編程模型，涉及的硬件環境包括多核架構、加速器以及兩者同時存在的情況。第12章討論瞭OpenMP。OpenMP是當今科學計算領域最重要的節點內並行編程模型。該章介紹瞭OpenMP的進化曆程以及核心特性，並涉及OpenMP 4.0。第13章討論瞭Cilk Plus編程模型，它是一種對C及C++語言的並行擴展，用於在現代共享內存多核機器上開發規則以及非規則並行。第14章討論瞭Intel TBB（Threading Building Block），它是一個基於C++模闆類實現的庫。與Cilk Plus類似，TBB支持共享內存多核架構上的並行執行。第15章討論瞭NVIDIA提供的CUDA（Compute Unified Device Architecture）編程模型。CUDA通過單指令多綫程塊運行方式來支持NVIDIA圖形處理單元上的並行計算。盡管CUDA是NVIDIA設備上的專有編程模型，但CUDA在並行編程社區中具有廣泛影響力，並在應用中得到廣泛使用，因此第15章對CUDA進行瞭討論。第16章描述瞭OpenCL（Open Computing Language）模型，它提供瞭一個低層次的、平颱無關的編程模型，可以在不同異構架構上進行編程，其中包括圖形處理單元。
本書對不同編程模型的講解方式在其他書籍中是很少見的。尤其是通過使用說明的方式來展示材料，而不是以更正式的類似於研究論文的方式展示。本書不是一個緻力於詳細描述每個編程模型語法及語義的參考手冊。本書的目標是描述使用這些模型進行並行編程的通用方法，以及每種方法所實現的目標。不過，本書提供瞭一些模型所提供的核心接口的語法及語義定義，我們將這些定義作為編程模型所提供抽象的例子。提供這些定義的目的是提高內容的可讀性。這些定義並不一定是最重要的或最常用的接口，而隻是作為例子說明如何使用該編程模型。
緻謝　　首先感謝對本書不同章節做齣貢獻的所有作者：
William D. Gropp，伊利諾伊大學厄巴納-香檳分校　　Rajeev Thakur，阿貢國傢實驗室　　Paul Hargrove，勞倫斯伯剋利國傢實驗室　　Jeffery A. Kuehn，橡樹嶺國傢實驗室　　Stephen W. Poole，橡樹嶺國傢實驗室　　Kathy Yelick，加州大學伯剋利分校，勞倫斯伯剋利國傢實驗室.　　Yili Zheng，勞倫斯伯剋利國傢實驗室　　Sriram Krishnamoorthy，美國太平洋西北國傢實驗室　　Jeff Daily，美國太平洋西北國傢實驗室　　Abhinav Vishnu，美國太平洋西北國傢實驗室　　Bruce Palmer，美國太平洋西北國傢實驗室　　Bradford L. Chamberlain，Cray公司　　Laxmikant Kale，伊利諾伊大學厄巴納–香檳分校　　Nikhil Jain，伊利諾伊大學厄巴納–香檳分校　　Jonathan Lifflander，伊利諾伊大學厄巴納–香檳分校　　Ewing Lusk，阿貢國傢實驗室　　Ralph Butler，中田納西州州立大學　　Steven C. Pieper，阿貢國傢實驗室　　James Dinan，Intel公司　　Timothy Armstrong，芝加哥大學　　Justin M. Wozniak，阿貢國傢實驗室，芝加哥大學　　Michael G.Burke，阿貢國傢實驗室，芝加哥大學　　Ian T. Foster，阿貢國傢實驗室，芝加哥大學　　Kath Knobe，萊斯大學　　Michael G. Burke，萊斯大學　　Frank Schlimbach，Intel公司　　Barbara Chapman，休斯敦大學　　Deepak Eachempati，休斯敦大學　　Sunita Chandrasekaran，休斯敦大學　　Arch D. Robinson，Intel公司　　Charles E. Leiserson，麻省理工學院　　Alexey Kukanov，Intel公司　　Wen-mei Hwu，伊利諾伊大學厄巴納–香檳分校　　David Kirk，NVIDIA公司　　Tim Mattson，Intel公司　　尤其感謝Ewing Lusk以及William Gropp對本書的整體貢獻以及對修辭的潤色。
我也要感謝阿貢國傢實驗室的數學與計算機科學部的技術作傢Gail Pieper，她對本書的格式以及用法進行瞭不可或缺的指導，極大地提高瞭本書的可讀性。

《跨越時代的編程範式：邁嚮更高效、更強大的計算之旅》 在信息技術飛速發展的今天，我們正經曆著一場深刻的計算革命。單核處理器已接近物理極限，而多核、眾核甚至異構計算平颱的興起，正以前所未有的方式重塑著我們解決復雜問題的能力。然而，隨之而來的挑戰也愈發嚴峻：如何充分釋放這些強大硬件的潛力？如何設計齣能夠高效運行在並行架構上的軟件？如何讓程序員擺脫低效的串行思維，擁抱並行計算的廣闊天地？《跨越時代的編程範式》正是為迴應這些核心問題而生，它不拘泥於單一的硬件平颱或特定的編程語言，而是深入探討並行計算的核心理念、設計思想以及實現這些理念的各類編程模型。 本書並非一本關於“並行計算的編程模型”的書籍，而是旨在引領讀者跳齣對具體“編程模型”的狹隘認知，去理解驅動並行計算發展的底層邏輯和通用的設計哲學。它著眼於更宏觀的視角，剖析瞭不同時代、不同應用場景下，計算機科學傢和工程師們如何思考和實踐並行計算。本書將帶領您穿越編程語言的進化史，探尋那些旨在提升並行度的抽象機製，以及它們如何應對並行計算帶來的同步、通信、數據共享等經典難題。 第一篇：並行計算的基石與演進 在信息爆炸的時代，我們對於計算能力的需求從未停止增長。摩爾定律的放緩促使我們不得不轉嚮另一種提升性能的路徑——並行計算。這一篇將為您勾勒齣並行計算發展的宏偉畫捲，從早期的多處理器係統到如今百花齊放的異構計算，深入剖析其曆史脈絡和技術驅動力。 第三章：從指令級並行到綫程級並行：硬件的演進與編程的挑戰 在深入探討具體編程範式之前，理解硬件的演進至關重要。本章將首先迴顧指令級並行（Instruction-Level Parallelism, ILP）的發展曆程，例如超標量（Superscalar）和超長指令字（VLIW）等技術，它們如何在單個處理器內部挖掘並行性。這部分內容將幫助您理解，即使是單個核心，其內部也蘊藏著大量的並行潛力，而這為更高級彆的並行計算奠定瞭基礎。 隨後，我們將重點聚焦於綫程級並行（Thread-Level Parallelism, TLP）。多綫程（Multithreading）的齣現，使得同一個程序能夠在同一時間段內執行多個獨立的任務流。本章將詳細探討多綫程技術如何成為應對處理器核心數量增長的關鍵手段。我們將深入研究硬件如何支持綫程切換和並發執行，以及由此帶來的編程挑戰，例如如何有效地劃分任務，如何管理共享數據，以及如何處理潛在的數據競爭和死鎖問題。這部分內容將為您理解後續章節中各種並行編程模型打下堅實的理論基礎，讓您明白為什麼會齣現這些模型，以及它們試圖解決的根本問題是什麼。 第四章：分布式計算的曙光：從網絡連接到協同工作 當單個計算機的計算能力不足以應對龐大的數據和復雜的任務時，將計算任務分散到多颱計算機上協同完成的需求應運而生。本章將追溯分布式計算的起源，從早期的局域網互聯到如今覆蓋全球的互聯網，探討網絡技術如何成為實現大規模並行計算的血管。 我們將深入研究分布式係統中的核心挑戰：如何實現節點之間的有效通信？如何保證數據的一緻性和可靠性？如何應對節點故障和網絡延遲？本章將為您介紹幾種早期的分布式計算模型和通信協議，例如消息傳遞接口（Message Passing Interface, MPI）的雛形，以及遠程過程調用（Remote Procedure Call, RPC）等技術。通過對這些早期探索的理解，您將深刻體會到構建可靠、高效的分布式並行係統所麵臨的巨大工程挑戰，並為後續章節中更高級的分布式編程模型打下堅實的認識基礎。 第二篇：抽象的藝術：通用的並行計算理念 在硬件日新月異的今天，真正寶貴的是那些能夠跨越具體硬件平颱、指導我們如何設計並行程序的通用理念。這一篇將為您揭示這些抽象的智慧，讓您能夠以更具普適性的眼光看待並行計算。 第六章：同步與協作：並行執行中的協調藝術 並行執行的根本睏難之一在於如何讓多個獨立的執行流協同工作，避免互相乾擾。本章將深入探討並行計算中的“同步”（Synchronization）與“協作”（Cooperation）問題。我們將從最基本的概念入手，例如互斥鎖（Mutex）、信號量（Semaphore），理解它們如何用於保護共享資源，防止數據競爭。 接著，我們將進一步探討更高級的同步機製，例如條件變量（Condition Variable）和屏障（Barrier），它們如何實現綫程之間的精確協調和等待。此外，本章還將觸及分布式係統中的同步挑戰，例如如何實現全局一緻性的操作，以及分布式鎖的實現原理。通過對這些同步機製的深入理解，您將能夠構建齣在並行環境中安全、有效地共享數據和協調任務的程序，這是任何高性能並行計算不可或缺的一環。 第七章：數據劃分與負載均衡：讓每個計算單元都發揮價值 在並行計算中，如何將數據和計算任務有效地分配給不同的處理器或計算單元，是決定係統性能的關鍵因素之一。本章將聚焦於“數據劃分”（Data Partitioning）與“負載均衡”（Load Balancing）的策略。 我們將探討不同的數據劃分技術，例如按行、按列、塊狀劃分等，並分析它們在不同應用場景下的優缺點。例如，在處理大型矩陣時，如何劃分纔能最小化數據傳輸的開銷？在處理圖像時，又該如何進行劃分以利於局部計算？ 負載均衡是與數據劃分緊密相關的概念，它旨在確保所有計算單元的工作負載盡可能均勻，避免齣現“熱點”或“閑置”的情況。本章將介紹靜態負載均衡和動態負載均衡兩種策略，以及實現這些策略的常用算法。通過對這些策略的掌握，您將能夠設計齣能夠充分利用所有計算資源的並行程序，避免齣現性能瓶頸。 第八章：通信模式與通信開銷：高效信息交換的藝術 並行計算的另一大挑戰在於處理器之間的通信。當數據需要被共享或傳遞時，通信的效率直接影響著整體性能。本章將深入研究各種“通信模式”（Communication Patterns）以及如何最小化“通信開銷”（Communication Overhead）。 我們將分析常見的通信模式，例如點對點通信（Point-to-Point Communication）、集體通信（Collective Communication）等，並討論在不同模型下（如共享內存與分布式內存）實現這些模式的機製。例如，在共享內存模型中，通信可能錶現為對共享變量的讀寫；而在分布式內存模型中，則需要通過消息傳遞來完成。 本章還將重點探討如何優化通信，包括如何減少通信頻率、如何閤並通信操作、如何選擇最優的通信算法等。理解通信的本質以及如何高效地進行信息交換，是構建高性能並行應用的核心技能之一。 第三篇：麵嚮未來的計算：新時代的編程範式 隨著硬件技術的不斷發展，新的計算模式層齣不窮，對傳統的編程方式提齣瞭新的挑戰。這一篇將目光投嚮未來，為您介紹那些正在改變我們編寫並行程序的時代新範式。 第十章：數據並行與任務並行：理解計算的兩種基本形式 在並行計算的廣闊領域中，可以將其抽象為兩種最基本、最核心的並行計算形式：“數據並行”（Data Parallelism）與“任務並行”（Task Parallelism）。本章將深入剖析這兩種並行模式的內涵、特點以及適用場景，幫助您建立起對並行計算本質的清晰認知。 數據並行，顧名思義，是指將相同操作應用於不同數據元素的並行化。想象一下，我們有一個龐大的數據集，需要對其中的每一個元素執行相同的計算。在這種情況下，我們可以將數據集劃分成若乾個子集，並將這些子集分配給不同的處理器，讓它們同時對各自的數據子集執行相同的操作。本章將通過具體的例子，例如嚮量加法、矩陣乘法中的某些階段，來闡釋數據並行的概念。我們將探討數據並行的核心思想在於“在多個地方同時做同一件事情”，這對於處理大規模數據集和重復性計算任務尤其高效。 任務並行，則側重於將一個大型任務分解成多個獨立的子任務，並將這些子任務分配給不同的處理器去並發執行。每個子任務可能執行的操作各不相同，但它們共同協作，最終完成整個大型任務。例如，在一個科學模擬中，一個子任務可能負責計算模型的某個部分，另一個子任務負責處理輸入輸齣，還有一個子任務負責可視化結果。本章將通過介紹管道（Pipelining）和工作流（Workflow）等概念，來闡述任務並行的思想。我們將強調任務並行在於“同時做不同的事情”，這對於處理復雜、多階段的任務具有顯著優勢。 通過對這兩種基本並行模式的深入理解，您將能夠更好地分析和設計各種並行算法，並識彆齣哪些問題更適閤采用數據並行，哪些問題更適閤采用任務並行，從而為後續更具體的編程模型打下堅實的基礎。 第十一章：加速器的編程模型：GPU、FPGA與眾核的協同 如今，加速器（Accelerators）已經成為高性能計算領域不可或缺的一部分。圖形處理器（GPU）、現場可編程門陣列（FPGA）以及各種專用集成電路（ASIC）正以前所未有的力量加速著科學計算、深度學習和大數據分析等領域的發展。本章將為您介紹這些異構計算設備上的主要編程模型，幫助您理解如何有效地利用它們來提升計算性能。 我們將重點關注GPU編程模型。GPU擁有海量的計算核心，特彆擅長並行處理大量相似的數據。本章將深入探討CUDA（Compute Unified Device Architecture）和OpenCL（Open Computing Language）等主流的GPU編程框架。我們將分析它們如何暴露GPU的硬件特性，如何管理內存，以及如何組織並行執行。您將學習到如何在CPU和GPU之間進行數據傳輸，如何編寫核函數（Kernel Function）來在GPU上執行計算，以及如何優化GPU程序的性能。 除瞭GPU，FPGA也以其高度的靈活性和可重構性在特定領域展現齣巨大的潛力。本章將簡要介紹FPGA的編程範式，例如硬件描述語言（HDL）以及基於高層次綜閤（High-Level Synthesis, HLS）的方法，讓您瞭解如何將算法映射到硬件層麵實現極緻的性能。 此外，我們還會觸及一些其他眾核（Many-Core）處理器的編程模型，這些處理器可能在架構和指令集上有所不同，但其核心思想都圍繞著如何高效地利用大量的計算單元。通過本章的學習，您將能夠理解不同加速器類型的特點，並掌握在其上進行高效編程的基本方法，從而為解決計算密集型問題提供強大的工具。 第十二章：數據流計算與響應式編程：麵嚮大規模並發的全新視角 在現代軟件開發中，隨著用戶交互的日益復雜和係統規模的不斷擴大，如何處理大量的並發事件和數據流已成為一個重要的挑戰。本章將為您介紹兩種前沿的編程範式：數據流計算（Dataflow Computing）與響應式編程（Reactive Programming），它們為構建高度並發、可伸縮的係統提供瞭全新的視角。 數據流計算的核心思想是將程序錶示為一個計算節點組成的網絡，數據在這些節點之間流動。每個節點接收輸入數據，執行特定的計算，然後將結果輸齣給下遊節點。這種模型天然地支持並行執行，因為不同的節點可以在數據可用時獨立地進行計算。本章將探討數據流模型在並行和分布式係統中的應用，以及一些經典的數據流編程框架，例如Apache Flink和Apache Spark的某些數據流處理部分。您將瞭解到數據流計算如何簡化並發程序的編寫，並提高係統的吞吐量和響應速度。 響應式編程則側重於數據流和變化傳播。它允許您以聲明式的方式定義程序，使其能夠對數據流中的變化做齣響應。想象一下，當某個輸入數據發生改變時，您希望係統能夠自動更新相關的輸齣，而無需手動編寫大量的事件處理邏輯。本章將介紹響應式編程的核心概念，例如Observables、Operators和Subscribers，以及在不同編程語言和框架中實現響應式編程的方法，例如RxJava、RxJS等。您將學會如何利用響應式編程來處理異步事件、構建用戶界麵、以及管理復雜的數據依賴關係，從而編寫齣更加優雅和高效的並發代碼。 通過對數據流計算和響應式編程的探索，您將能夠掌握處理大規模並發和實時數據流的強大工具，為構建現代、高性能的分布式係統和交互式應用打下堅實的基礎。 本書將為您打開一扇通往並行計算廣闊世界的大門。無論您是初學者還是有一定經驗的開發者，都將從中獲得深刻的洞察和實用的指導。我們相信，通過理解這些跨越時代的編程範式，您將能夠更自信、更高效地應對未來計算的挑戰，邁嚮一個更強大、更智能的計算新紀元。

評分☆☆☆☆☆

這本書的標題《並行計算的編程模型》聽起來就有一種強大的吸引力，尤其是在我最近接觸瞭一些高性能計算的項目後。我一直對如何更有效地利用多核處理器和分布式係統感到好奇，但總覺得缺乏一個係統性的框架來理解背後的原理。我希望能在這本書中找到清晰的解釋，比如，到底什麼是“編程模型”，它和普通的編程語言有什麼區彆，為什麼我們需要不同的編程模型來處理並行計算？我期望作者能夠從最基礎的概念講起，比如任務分解、數據劃分、通信與同步等，然後循序漸進地介紹各種主流的並行編程模型，比如MPI、OpenMP、CUDA等等。我想瞭解它們的適用場景，各自的優缺點，以及在實際應用中如何選擇和組閤使用。此外，我特彆關心的是，這些模型在代碼實現上有什麼樣的共性與差異，有沒有一些通用的設計原則可以幫助我寫齣更高效、更易於維護的並行程序。我希望這本書能夠給我提供一係列的“工具箱”，讓我能夠應對不同類型的並行計算挑戰，而不僅僅是停留在理論層麵。

評分☆☆☆☆☆

《並行計算的編程模型》這個書名，讓我聯想到一種“搭建高樓”的感覺，而這本書就像是提供瞭圖紙和工具，讓我可以開始構建我的並行計算“帝國”。我希望這本書能夠係統地介紹各種編程模型的“藍圖”，讓我明白它們的結構和工作原理。例如，我想瞭解像MPI（消息傳遞接口）和OpenMP（開放多綫程）這樣的模型，它們分彆是如何組織並行任務的，程序員需要掌握哪些核心的API和概念纔能使用它們。我尤其關心的是，如何有效地進行進程間或綫程間的通信和同步，這似乎是並行編程中最容易齣錯的地方。我希望能在這本書中找到關於如何設計高效通信策略的指導，以及如何避免常見的同步問題，比如死鎖和活鎖。此外，我希望作者能夠針對不同的應用場景，給齣一些關於如何選擇最閤適的編程模型的建議，並提供相應的優化技巧，讓我能夠寫齣既正確又高效的並行程序。

評分☆☆☆☆☆

最近我正在嘗試將一些我編寫的算法應用到大規模數據集上，但傳統的單綫程處理速度實在是令人頭疼。於是我抱著“或許能找到解決方案”的心態翻開瞭《並行計算的編程模型》。我特彆希望能在這本書中找到一些實實在在的、可操作的技巧，而不是枯燥的理論堆砌。比如，我想知道在處理大規模並行任務時，如何有效地管理內存，避免數據競爭和死鎖。有沒有什麼“秘籍”或者設計模式可以幫助我優化數據的訪問模式，減少不必要的通信開銷？我希望作者能夠提供一些真實的案例分析，展示如何將某種編程模型成功地應用於解決實際問題，比如在科學計算、圖像處理或者機器學習領域。我希望看到的不僅僅是抽象的概念，而是能夠在我自己的代碼中看到改進的希望。我非常期待能夠學習到如何編寫齣能夠充分發揮硬件性能的並行代碼，讓我的計算任務不再成為瓶頸，而是能夠快速得到結果，從而加速我的研究和開發進程。

評分☆☆☆☆☆

我近期對高性能計算和分布式係統産生瞭濃厚的興趣，特彆是想要深入理解如何在現代硬件上實現高效的並行計算。《並行計算的編程模型》這本書名，立刻吸引瞭我，因為它直接指嚮瞭核心問題——如何有效地將計算任務分解並映射到多個處理器上執行。我期望在這本書中能夠找到對各種主流並行編程模型的詳盡闡述，不僅僅是介紹它們的基本語法和API，更重要的是深入剖析它們的設計哲學和適用場景。例如，我希望能詳細瞭解像MPI、OpenMP、CUDA等模型在任務劃分、數據管理、通信與同步機製上的異同。我特彆希望能學習到如何通過理解這些模型的底層原理，來優化我的並行程序的性能，比如如何減少通信開銷、如何平衡負載、如何避免內存瓶頸等。我希望這本書能提供一些切實可行的指導，幫助我解決在實際並行編程中遇到的挑戰，並最終能夠寫齣高效、可靠的並行應用程序。

評分☆☆☆☆☆

坦白說，我對並行計算一直有著一種“高不可攀”的感覺，覺得它隻屬於那些頂尖的計算機科學傢和工程師。但是，《並行計算的編程模型》這個書名，卻讓我覺得它似乎在試圖拉近我和這個領域之間的距離。我希望這本書能用一種相對易懂的方式，解釋那些看似復雜的技術。比如，作者能否用生動的比喻來解釋“並行”和“並發”的區彆，以及為什麼它們對於提升計算能力至關重要？我特彆想瞭解，在不同的編程模型中，程序員是如何“告訴”計算機同時做多件事情的。有沒有一些常見的陷阱，我應該盡量避免？我希望書中能夠包含一些清晰的代碼示例，能夠讓我立刻上手，並且能夠看到代碼運行的效果。最重要的是，我希望能在這本書中建立起一種對並行計算的信心，不再害怕那些復雜的概念，而是能夠理解它們，甚至能夠初步掌握一些編程技巧，為我日後深入學習打下堅實的基礎。