xxxfreesexmoves-haodiaocao这里只有精品视频-欧美性受黑人性爽-欧美性受xxxxxx黑人xyx性爽|www.jsyyzsb.com

      本書以使用說明的形式對(duì)當(dāng)今主流的并行編程模型進(jìn)行了詳細(xì)描述，內(nèi)容包括分布式內(nèi)存架構(gòu)上常見的MPI（消息傳遞接口）編程模型；單邊通信模型，范圍從低層的運(yùn)行時(shí)庫（GASNet、OpenSHMEM）到高層的編程模型（UPC、GA、Chapel）；面向任務(wù)的編程模型，包括Charm++、ADLB、Scioto、Swift、CnC，由運(yùn)行時(shí)系統(tǒng)來管理計(jì)算和數(shù)據(jù)移動(dòng)；面向節(jié)點(diǎn)內(nèi)并行（多核架構(gòu)以及附帶加速器）的并行編程模型，包括OpenMP、CilkPlus、TBB、CUDA以及OpenCL。每章配備大量應(yīng)用和程序?qū)嵗梢允棺x者很好地理解各種編程模型所提供的功能及特點(diǎn)。本書可作為高等院校并行編程課程的研究生教材，也可作為具有一定并行編程經(jīng)驗(yàn)的軟件開發(fā)人員、科研人員以及任何與數(shù)據(jù)集及大規(guī)模計(jì)算打交道的科學(xué)家的參考資料。

出版者的話
譯者序
前言
第1章　消息傳遞接口 1
1.1　引言 1
1.2　MPI基礎(chǔ) 1
1.3　點(diǎn)對(duì)點(diǎn)通信 2
1.4　數(shù)據(jù)類型 3
1.5　非阻塞式通信 4
1.6　聚合通信 5
1.7　單邊通信 7
1.8　并行I/O 9
1.9　其他特性 11
1.10　MPI開發(fā)心得 12
1.11　總結(jié) 13
第2章　全局地址空間網(wǎng)絡(luò) 14
2.1　研究背景與動(dòng)機(jī) 14
2.2　GASNet概述 14
2.2.1　相關(guān)術(shù)語 15
2.2.2　線程 15
2.2.3　API組織 16
2.3　核心API 16
2.3.1　開始和結(jié)束 16
2.3.2　段信息 18
2.3.3　屏障 18
2.3.4　鎖與中斷 19
2.3.5　活動(dòng)消息 20
2.3.6　活動(dòng)消息進(jìn)程 22
2.3.7　活動(dòng)消息規(guī)則與約束 22
2.3.8　出錯(cuò)代碼 23
2.4　擴(kuò)展API 23
2.4.1　GASNet段 23
2.4.2　排序與內(nèi)存模型 24
2.4.3　阻塞與非阻塞 24
2.4.4　批量與單個(gè) 24
2.4.5　寄存器–內(nèi)存與遠(yuǎn)程memset操作 24
2.4.6　擴(kuò)展API總結(jié) 25
2.5　附加內(nèi)容 26
2.5.1　GASNet工具 26
2.5.2　可移植平臺(tái)頭文件 27
2.6　示例 27
2.6.1　編譯和運(yùn)行示例 27
2.6.2　Hello World示例 28
2.6.3　AM Ping-Pong示例 28
2.6.4　AM Ring示例 30
2.6.5　MCS Locks示例 32
2.7　未來方向 35
第3章　OpenSHMEM 37
3.1　引言 37
3.2　設(shè)計(jì)理念和根據(jù) 37
3.3　OpenSHMEM存儲(chǔ)模型 39
3.4　對(duì)稱堆管理 39
3.4.1　初始化和查詢 40
3.4.2　分配和釋放 40
3.4.3　關(guān)于分配和對(duì)稱堆的說明 41
3.5　遠(yuǎn)程內(nèi)存訪問：put和get 41
3.5.1　RMA函數(shù)語義 41
3.5.2　RMA函數(shù)使用 42
3.6　排序和同步 44
3.6.1　全局同步屏障 44
3.6.2　fence和quiet：RMA操作排序 45
3.6.3　鎖 46
3.6.4　wait和wait_until 46
3.7　集合操作 47
3.7.1　選擇集合參與者 47
3.7.2　同步數(shù)組和工作數(shù)組 47
3.7.3　非全局同步屏障 48
3.7.4　廣播 48
3.7.5　收集 49
3.7.6　歸約 50
3.8　原子內(nèi)存操作 51
3.8.1　原子加和遞增 52
3.8.2　原子取–加和取–遞增 52
3.8.3　原子交換和條件交換 53
3.9　未來方向 54
第4章　統(tǒng)一并行C 55
4.1　UPC簡史 55
4.2　UPC編程模型 56
4.2.1　術(shù)語 56
4.2.2　全局地址空間 56
4.2.3　執(zhí)行模型 57
4.3　UPC概覽 57
4.3.1　自省 57
4.3.2　數(shù)據(jù)布局 57
4.3.3　通信 59
4.3.4　UPC內(nèi)存一致性模型 60
4.3.5　同步 61
4.3.6　集合操作 62
4.4　UPC程序示例 63
4.4.1　隨機(jī)訪問基準(zhǔn) 63
4.4.2　雅可比5點(diǎn)stencil 64
4.4.3　排序示例 65
4.4.4　一維FFT 68
4.5　未來方向 71
第5章　全局?jǐn)?shù)組 72
5.1　引言 72
5.2　編程模型與設(shè)計(jì)原則 73
5.3　核心功能 74
5.4　進(jìn)程組 77
5.5　擴(kuò)展的數(shù)組結(jié)構(gòu) 78
5.6　稀疏數(shù)組操作的支持 79
5.7　數(shù)組上的集合操作 80
5.8　動(dòng)態(tài)負(fù)載均衡 80
5.9　實(shí)際應(yīng)用 80
第6章　Chapel 82
6.1　Chapel簡史 82
6.1.1　全面啟動(dòng) 82
6.1.2　初始方向 83
6.1.3　HPCS時(shí)代 83
6.1.4　后HPCS時(shí)代 84
6.2　Chapel的主題思想 84
6.2.1　通用并行性表達(dá) 84
6.2.2　支持多線程執(zhí)行模型 85
6.2.3　支持全局視圖編程 85
6.2.4　支持多尺度設(shè)計(jì) 85
6.2.5　支持局部性控制 86
6.2.6　支持以數(shù)據(jù)為中心的同步 86
6.2.7　用戶與編譯器的不同角色 86
6.2.8　縮小主流語言和HPC語言之間的差距 87
6.2.9　從頭開始（但爭取令人熟悉） 87
6.2.10　遠(yuǎn)大目標(biāo) 88
6.2.11　促使Chapel成為可移植的開源軟件 88
6.3　Chapel特性概述 88
6.3.1　基本語言特性 89
6.3.2　任務(wù)并行 92
6.3.3　數(shù)據(jù)并行 96
6.3.4　位置特性 98
6.4　總結(jié)與未來方向 100
第7章　Charm++ 102
7.1　引言 102
7.2　Charm的編程范例以及執(zhí)行模型 102
7.2.1　以過分解作為核心思想 102
7.2.2　消息驅(qū)動(dòng)的執(zhí)行模型 103
7.2.3　授權(quán)自適應(yīng)運(yùn)行時(shí)系統(tǒng) 104
7.3　基本語言 104
7.3.1　chare：分解的基本單元 104
7.3.2　入口方法：基本的調(diào)度單元 105
7.3.3　異步方法調(diào)用 105
7.3.4　帶索引的chare集合：chare數(shù)組 105
7.3.5　只讀變量 106
7.3.6　Charm++對(duì)象：用戶及系統(tǒng)角度 107
7.3.7　結(jié)構(gòu)化匕首符號(hào) 108
7.3.8　示例：一維分解的5點(diǎn)stencil代碼 108
7.4　過分解的好處以及消息驅(qū)動(dòng)執(zhí)行 110
7.4.1　不依賴于處理器個(gè)數(shù) 110
7.4.2　異步歸約 110
7.4.3　自適應(yīng)計(jì)算與通信重疊 110
7.4.4　合成性 111
7.4.5　軟件工程方面的好處：邏輯實(shí)體的相互獨(dú)立 111
7.5　一個(gè)設(shè)計(jì)示例：分子動(dòng)力學(xué)模擬 111
7.6　自適應(yīng)運(yùn)行時(shí)特性 112
7.6.1　Charm++中負(fù)載均衡功能 112
7.6.2　容錯(cuò) 113
7.6.3　縮小或擴(kuò)展處理器集合 114
7.6.4　異構(gòu)處理器以及加速器的支持 115
7.6.5　額外特性 115
7.6.6　實(shí)驗(yàn)特性：熱能與功耗管理 115
7.7　底層架構(gòu)概述 115
7.8　基于Charm++的高層次語言家族 116
7.9　通過Charm++來開發(fā)應(yīng)用程序 117
7.10　作為研究工具的Charm++ 118
7.11　Charm++：歷史以及現(xiàn)狀 118
7.12　總結(jié) 118
第8章　異步動(dòng)態(tài)負(fù)載均衡 119
8.1　引言 119
8.2　manager-worker模型與負(fù)載均衡 119
8.3　ADLB庫定義 121
8.3.1　API簡介 121
8.3.2　基本的ADLB API 122
8.3.3　使用批處理優(yōu)化內(nèi)存使用 123
8.3.4　獲取和使用ADLB 124
8.4　實(shí)現(xiàn)ADLB 124
8.4.1　ADLBM實(shí)現(xiàn) 124
8.4.2　其他實(shí)現(xiàn) 125
8.5　示例 125
8.5.1　一個(gè)簡單的批處理調(diào)度 125
8.5.2　動(dòng)態(tài)任務(wù)創(chuàng)建：數(shù)獨(dú)解法 126
8.5.3　任務(wù)單元類型：旅行推銷員問題 127
8.5.4　GFMC 127
8.5.5　Swift 128
8.6　DMEM：一個(gè)處理大數(shù)據(jù)的輔助庫 128
8.7　總結(jié)與未來方向 129
第9章　可拓展任務(wù)對(duì)象集合 130
9.1　Scioto任務(wù)并行執(zhí)行模型 131
9.1.1　任務(wù)對(duì)象 131
9.1.2　任務(wù)輸入/輸出模型 132
9.1.3　任務(wù)執(zhí)行模型 132
9.2　多級(jí)并行任務(wù)集合 133
9.3　Scioto + GA編程接口 134
9.3.1　核心編程結(jié)構(gòu) 134
9.3.2　實(shí)現(xiàn)一個(gè)Scioto任務(wù) 135
9.3.3　示例：矩陣–矩陣乘法 135
9.4　Scioto運(yùn)行時(shí)系統(tǒng) 136
9.4.1　共享任務(wù)隊(duì)列方法 136
9.4.2　動(dòng)態(tài)負(fù)載均衡方法 137
9.4.3　終止檢測 137
9.5　總結(jié) 138
第10章　Swift：極端規(guī)模的隱式并行腳本 139
10.1　第一個(gè)示例：并行因式分解 140
10.2　一個(gè)真實(shí)的示例：晶體坐標(biāo)轉(zhuǎn)換 140
10.3　Swift發(fā)展歷史 142
10.4　Swift語言和編程模型 142
10.4.1　Hello World示例 143
10.4.2　變量和標(biāo)量數(shù)據(jù)類型 143
10.4.3　數(shù)據(jù)流執(zhí)行 144
10.4.4　條件判斷語句 145
10.4.5　數(shù)據(jù)依賴控制流 145
10.4.6　foreach循環(huán)和數(shù)組 145
10.4.7　Swift函數(shù) 146
10.4.8　外部函數(shù) 147
10.4.9　文件和app函數(shù) 148
10.5　Swift執(zhí)行模型 148
10.6　大規(guī)模并行運(yùn)行時(shí)系統(tǒng) 150
10.7　運(yùn)行時(shí)架構(gòu) 151
10.8　性能分析 153
10.9　Swift的大規(guī)模并行編譯 153
10.10　相關(guān)工作 154
10.11　總結(jié) 155
第11章　并發(fā)集合編程模型 157
11.1　引言 157
11.2　研究動(dòng)機(jī) 158
11.3　CnC領(lǐng)域語言 158
11.3.1　概述 158
11.3.2　特征 160
11.3.3　示例 161
11.3.4　執(zhí)行語義 162
11.3.5　CnC編程 163
11.3.6　未來工作 167
11.4　CnC調(diào)優(yōu)語言 168
11.4.1　描述 168
11.4.2　特征 171
11.4.3　示例 171
11.4.4　執(zhí)行模型 173
11.4.5　未來工作 175
11.5　當(dāng)前狀態(tài) 175
11.6　相關(guān)工作 175
11.7　總結(jié) 177
第12章　OpenMP 178
12.1　引言 178
12.2　概述 179
12.2.1　術(shù)語 179
12.2.2　管理數(shù)據(jù)環(huán)境 180
12.2.3　OpenMP概念簡述 181
12.3　OpenMP特性 182
12.3.1　并行區(qū)域 182
12.3.2　同步 186
12.3.3　工作共享 187
12.3.4　任務(wù)并行化 191
12.3.5　向量化 195
12.3.6　加速器支持 196
12.3.7　區(qū)域取消 199
12.4　性能優(yōu)化建議 200
12.5　關(guān)于正確性的思考 201
12.6　總結(jié)與未來方向 201
第13章　Cilk Plus 202
13.1　引言 202
13.2　向量并行化 203
13.2.1　數(shù)組標(biāo)注 204
13.2.2　pragma SIMD 205
13.2.3　支持SIMD的函數(shù) 206
13.3　線程并行 208
13.4　并行性能 211
13.5　數(shù)據(jù)競爭 215
13.6　實(shí)踐技巧 216
13.7　歷史 219
13.8　總結(jié) 220
第14章　Intel TBB工具 221
14.1　引言 221
14.1.1　概述 221
14.1.2　基本信息 221
14.2　泛型并行算法 222
14.2.1　簡單循環(huán)的并行化 222
14.2.2　在STL容器中處理數(shù)據(jù) 223
14.2.3　復(fù)雜迭代空間 224
14.2.4　其他算法 226
14.3　流圖 226
14.3.1　概述 227
14.3.2　節(jié)點(diǎn)通信協(xié)議 227
14.3.3　控制依賴圖 228
14.3.4　數(shù)據(jù)流圖 230
14.3.5　流圖、算法和無環(huán)圖的選擇 232
14.4　總結(jié) 232
第15章　CUDA 233
15.1　CUDA簡史 233
15.2　CUDA編程結(jié)構(gòu) 234
15.3　示例：向量加法 235
15.4　設(shè)備內(nèi)存和數(shù)據(jù)傳輸 236
15.5　kernel函數(shù)與線程 238
15.6　線程組織 240
15.7　線程和多維數(shù)據(jù)的映射 242
15.8　同步與透明可擴(kuò)展性 243
15.9　線程塊的資源分配 244
15.10　CUDA流與任務(wù)并行 244
15.11　總結(jié) 248
第16章　OpenCL開放計(jì)算語言 249
16.1　計(jì)算語言與OpenCL 249
16.2　基本定義 250
16.3　計(jì)算機(jī)、編程和異構(gòu) 250
16.4　OpenCL的誕生 251
16.5　OpenCL的核心模型 252
16.5.1　平臺(tái)模型 252
16.5.2　執(zhí)行模型 253
16.5.3　內(nèi)存模型 255
16.5.4　編程模型 257
16.6　OpenCL主機(jī)程序：向量加法 258
16.7　總結(jié) 266
參考文獻(xiàn) 268