主要內容 ●規劃新的并行項目 ●了解CPU和GPU架構上的差異 ●找到性能不佳的內核和循環 ●使用批處理調度來管理應用程序
編寫可擴展的、快速、強大、節能的程序，才適合處理大量數據。使用并行編程，可將數據處理任務分布在多個CPU上完成，從而從根本上提高性能。只需要稍加學習，讀者就可以創建速度和效率最大化的軟件。
《并行計算與高性能計算》將講述用于提高代碼運行效率的技術。你將學習評估硬件架構，學會使用OpenMP和MPI等行業標準工具，將掌握用于高性能計算的數據結構和算法，并學習手持設備的節能技術。你甚至可在一組GPU上運行大規模海嘯仿真程序。
探險家最重要的任務之一就是為后來者畫一張地圖。這對我們這些在科技領域不斷開拓的人來說尤其如此。我們在本書中的目標是為那些剛剛開始學習并行和高性能計算的人以及那些想要擴大知識面的人提供一個路線圖。高性能計算是一個快速變化的領域，其中的語言和技術一直在變化。
出于這個原因，我們將關注長期保持穩定的基本面。對于用于CPU 和GPU 的計算機語言，我們強調跨許多語言的通用模式，以便你可以快速地為當前任務選擇最合適的語言。
本書的目標讀者
本書適用于本科階段高年級的并行計算課程，也可以作為從事計算工作的專業人員的最新文獻。如果你對性能感興趣，無論是運行時間、規模還是處理能力，本書都將為你提供改進應用程序和超越競爭對手的工具。隨著處理器達到規模、熱量以及功率的極限，我們不能指望下一代計算機來加快運行我們的應用程序。越來越多的高技能和知識淵博的程序員對于從當今的應用程序中獲得最大性能至關重要。
在本書中，我們可以了解當今高性能計算硬件的關鍵思想。這些是為了性能而編程的基本真理。
這些主題構成了整本書的基礎。
在高性能計算中，關鍵不在于編寫代碼的速度有多快，而在于代碼運行的有多快。
這一想法總結了為高性能計算編寫應用程序意味著什么。對于大多數其他應用程序，關注的重點是如何能夠快速地完成編寫應用程序的過程。如今，計算機語言的設計通常是為了提高編程速度，而不是提高代碼的性能。雖然這種編程方法長期以來一直存在于高性能計算應用程序，但它還沒有得到廣泛的記錄或描述。在第4 章中，我們將在最近被稱為面向數據設計的編程方法中討論這一點。
一切都與內存有關：將多少內容加載到內存以及加載的頻率。
即使你知道可用內存和內存操作幾乎總是性能的瓶頸，但我們依舊傾向于花大量時間考慮浮點操作。目前大多數計算硬件對于每個內存負載能夠執行50 個浮點操作，因此浮點操作已經是次要的了。在幾乎每一章中，我們都使用了STREAM 基準測試，這是一個內存性能測試，用來驗證我們是否從硬件和編程語言中獲得了合理的性能。
如果加載一個值，則得到8 或16。
這就像買雞蛋一樣。你不可能每次只買一個。內存負載由512 位的高速緩存行完成。對于8 字節的雙精度值，無論是否需要，都將加載8 個值。所以在編程過程中，讓你的程序一次使用多個值而不是一個值，而且最好是使用8 個連續的值，這樣可以獲得最佳性能。如果代碼中存在任何缺陷，并行執行時將暴露它們。
與串行運行的應用程序相比，在高性能計算中需要更多地關注代碼質量。代碼質量將貫穿整個并行化生命周期。使用并行化，你更有可能在程序中觸發缺陷，而且還會發現調試并行程序更具挑戰性，特別是在大規模使用并行的情況下。我們將在第2 章中介紹提高編程質量的方法，并在整個章節中都一直使用可以提高編程質量的工具，最后，在第17 章中，我們列出了其他優秀的用于提高編程質量的工具。
這些關鍵主題不局限于硬件類型，對于CPU 環境和GPU 環境都同樣適用。同時支持CPU 與GPU 是因為在現實中運行高性能程序往往受到物理硬件的限制，不可能所有的硬件都有GPU 環境。
本書內容的基本路線圖
這本書并不要求你具備任何并行編程的知識，但希望你最好是一位熟練的程序員，并且熟悉高性能編譯語言，如C、C 或Fortran；同時也希望你對計算術語、操作系統基礎知識和網絡有一定的了解，并且能夠完成其他的計算機操作，比如安裝軟件和完成輕量化的系統任務管理。
計算硬件的知識或許是對讀者最重要的要求。我們建議打開計算機，查看每個組件，并了解其物理特性。
本書由組成高性能世界的以下四部分組成。
● 第Ⅰ部分：并行計算介紹(第1~5 章)
● 第Ⅱ部分：CPU：并行的主力(第6~8 章)
● 第Ⅲ部分：GPU：加速應用程序運行(第9~13 章)
● 第Ⅳ部分：高性能計算生態系統(第14~17 章)
本書設計的主體順序是面向處理高性能計算項目的人員。例如，對于應用程序項目，在項目開始之前，了解第2 章中介紹的軟件工程主題是必要的。一旦軟件工程就位，接下來就要決定數據結構和算法。然后是使用CPU 或GPU 進行實現。最后，為應用程序使用并行文件系統或高性能計算系統的其他特有特性。
另一方面，我們的一些讀者對獲得并行編程的基本技能更感興趣，可能想直接進入MPI 或
OpenMP 章節。今天，并行計算的技術如此豐富，所以不要止步于此。比如從可以將應用程序的速度提高一個數量級的GPU，到可以提高代碼質量或指出需要優化的代碼段的工具潛在的收益僅受你的時間和專業知識的限制。
如果你將本書作為并行計算課程的教材，那么本書所提供的內容足夠支撐兩個學期的時間。你可將本書當作并行與高性能計算的知識集合，可根據自己的情況來選擇學習的主題，并制定課程目標，比如下面列出的自定義學習目標的例子：
● 第1 章提供了并行計算的介紹。
● 第3 章講解測量硬件和應用程序性能的方法。
● 第4.1~4.2 節描述面向數據的編程設計概念、多維數組和緩存基礎知識。
● 第7 章討論OpenMP(Open Multi-Processing)以獲得節點上的并行性。
● 第8 章介紹消息傳遞接口(Message Passing Interface，MPI)，用于實現跨多個節點的分布式并行。
● 第14.1~14.5 節介紹關聯性與流程布局的概念。
● 第9 章和第10 章描述了GPU 硬件和編程模型。
● 第11.1~11.2 節主要介紹如何使用OpenACC 讓應用程序在GPU 上運行。
你可以將算法、向量化、并行文件處理或更多GPU 語言等主題添加到上面的列表中，也可以刪除某個主題，以便將更多時間花在其他主題上。還有一些額外的章節將吸引學生繼續探索并行計算的世界。
關于代碼
如果不實際編寫代碼并運行它，就無法學習并行計算。為此，我們在書中提供了大量的例子。
這些例子可掃描封底二維碼下載。你可以下載這些示例的完整集合或單獨按章節進行下載。
在這些示例代碼、所涉及的軟件和硬件當中不可避免地會有缺陷和錯誤。如果你發現了錯誤或不完整的內容，我們鼓勵你對示例進行反饋。我們已經合并了一些來自讀者的更改請求，對此我們非常感激。此外，源代碼存儲庫是查找修正和討論源代碼的最佳地方。
參考資料和習題答案
可掃描封底二維碼下載。
軟件與硬件需求
也許并行和高性能計算的最大挑戰是所用到的廣泛的硬件和軟件。在過去，這些專門的系統只能在特定的環境下使用。最近，硬件和軟件變得更加大眾化，甚至在臺式機或筆記本電腦上都可以廣泛使用。這是一個重大轉變，可讓高性能計算程序更容易開發。然而，硬件和軟件環境的設置仍然是該任務中最困難的部分。如果你可以訪問已經配置好的并行計算集群，我們鼓勵你利用它。最
后，你可能希望設置自己的計算環境。這些示例在Linux 或UNIX 系統上是最容易使用的，但許多情況下也可在Windows 和macOS 上運行，只是需要做一些額外更改。如果你發現某個示例不能在系統上運行，我們提供了Docker 容器模板和VirtualBox 設置腳本作為替代方案。
關于GPU 的練習，需要使用來自不同硬件制造商的GPU，包括NVIDIA、AMD Radeon 和Intel。
安裝GPU 圖形驅動程序仍然是設置本地運行環境遇到的最大困難。一些GPU 語言也可以在CPU上工作，從而允許在本地環境中為你沒有的硬件開發代碼。你可能還會發現在CPU 上調試更加容易，但是為了看到真實性能，你還必須安裝GPU 硬件。
其他需要特殊安裝的示例包括批處理系統和并行文件示例。為了更加接近真實情況，批處理系統需要在多臺筆記本電腦或者工作站上進行設置。類似地，并行文件示例最適合使用像Lustre 這樣的專門文件系統，但其他的基本示例可在單獨的筆記本電腦或工作站上運行。
關于封面插圖
本書封面上的人物插圖標題是Mde de brosses à Vienne，即《維也納的刷子銷售商》。該插圖取自 Jacques Grasset de Saint-Sauveur(17571810 年)收集的各國禮服畫集，名為Costumes de Différents Pays，于1797 年在法國出版。其中的每幅插圖都是經手工精細繪制并上色的。Jacques Grassetde Saint-Sauveur 豐富多樣的收藏生動地提醒我們，僅在200 年前，世界上的城鎮和地區在文化上存在很大的差異。那時，人們彼此隔絕，說著不同的方言或語言；無論是在街上還是在鄉下，只要看他們的衣著，就很容易看出他們住在哪里，從事什么職業或處于什么地位。
從那時起，我們的著裝方式發生了變化，當時非常豐富的地域多樣性已經消失。現在，已很難區分不同國家的居民，更不用說不同的城鎮或地區了。也許我們已經用文化的多樣性換取了更多樣化的個人生活當然，指的是更多樣化和快節奏的技術生活。在當前這個電腦書籍同質化嚴重的時代，Manning 出版社用兩個世紀前地區生活的豐富多樣性的書籍封面來慶祝電腦行業的發明創造和首創精神，這些書被Jacques Grasset de Saint-Sauveur 的圖片重新賦予了生命。
Robert Robey在洛斯阿拉莫斯國家實驗室工作，30多年來一直活躍在并行計算領域。Yuliana Zamora目前是芝加哥大學的博士生及Siebel學者，曾在許多國家會議上講授現代硬件編程技術。
第Ⅰ部分 并行計算介紹
第1 章 為什么使用并行計算 3
1.1 為什么要學習并行計算 5
1.1.1 并行計算的潛在優勢是什么 7
1.1.2 并行計算的注意事項 9
1.2 并行計算的基本定律 9
1.2.1 并行計算的極限：Amdahl 定律 9
1.2.2 突破并行極限：Gustafson-Barsis定律 10
1.3 并行計算如何工作 12
1.3.1 應用程序示例 13
1.3.2 當今異構并行系統的硬件模型 18
1.3.3 當今異構并行系統的應用程序模型及軟件模型 21
1.4 對并行方法進行分類 24
1.5 并行策略 25
1.6 并行加速與比較加速：兩種不同的衡量標準 26
1.7 你將在本書中學到哪些內容 27
1.7.1 擴展閱讀 27
1.7.2 練習 28
1.8 本章小結 28
第2 章 規劃并行化 29
2.1 處理新項目：準備工作 30
2.1.1 版本控制：為并行代碼創建一個安全的存儲庫 31
2.1.2 測試套件：創建健壯、可靠的應用程序的第一步 32
2.1.3 查找和修復內存問題 40
2.1.4 提高代碼的可移植性 41
2.2 概要分析：探測系統功能和應用程序性能之間的差距 42
2.3 計劃：成功的基礎 42
2.3.1 探索benchmark 和mini-apps 43
2.3.2 核心數據結構和代碼模塊化設計 43
2.3.3 算法：重新設計并行 44
2.4 實施 44
2.5 提交：高質量的打包過程 45
2.6 進一步探索 46
2.6.1 擴展閱讀 46
2.6.2 練習 46
2.7 本章小結 46
第3 章 性能極限與分析 49
3.1 了解應用程序的潛在性能限制 49
3.2 了解硬件性能：基準測試 52
3.2.1 用于收集系統特征的工具 52
3.2.2 計算浮點運算的最大理論值 55
3.2.3 內存層級和理論內存帶寬 55
3.2.4 帶寬和浮點運算的實證測量 56
3.2.5 計算flop 和帶寬之間的機器平衡 59
3.3 描述你的應用程序：分析 59
3.3.1 分析工具 60
3.3.2 處理器時鐘頻率和能耗的實證測量 69
3.3.3 在運行時跟蹤內存 70
3.4 進一步探索 71
3.4.1 擴展閱讀 71
3.4.2 練習 71
3.5 本章小結 71
第4 章 數據設計和性能模型 73
4.1 數據結構與性能：面向數據的設計 74
4.1.1 多維數組 76
4.1.2 結構數組(AoS)與數組結構(SoA) 80
4.1.3 數組結構的數組(AoSoA) 85
4.2 緩存未命中的3C：強制、容量與沖突 86
4.3 簡單性能模型：案例研究 90
4.3.1 全矩陣數據表示 92
4.3.2 壓縮稀疏存儲表示 95
4.4 高級性能模型 98
4.5 網絡消息 101
4.6 進一步探索 103
4.6.1 擴展閱讀 104
4.6.2 練習 104
4.7 本章小結 104
第5 章 并行算法與模式 105
5.1 并行計算應用的算法分析 105
5.2 性能模型與算法復雜性 106
5.3 什么是并行算法 109
5.4 什么是哈希函數 110
5.5 空間哈希：一種高并行度算法 111
5.5.1 使用完美哈希進行空間網格操作 113
5.5.2 使用緊湊哈希進行空間網格操作 126
5.6 prefix sum(掃描)模式及其在并行計算中的重要性 132
5.6.1 Step-efficient 并行掃描操作 133
5.6.2 Work-efficient 并行掃描操作 134
5.6.3 用于大型數組的并行掃描操作 135
5.7 并行全局和：解決關聯性問題 135
5.8 并行算法研究的未來 141
5.9 進一步探索 141
5.9.1 擴展閱讀 141
5.9.2 練習 142
5.10 本章小結 142
第II 部分 CPU：并行的主力第6 章 向量化：免費的flop 145
6.1 向量及單指令多數據流(SIMD)概要 145
6.2 向量化的硬件趨勢 146
6.3 向量化方法 147
6.3.1 使用優化軟件庫可以輕松提高性能 148
6.3.2 自動向量化：向量化加速的簡單方法(大多數情況下) 148
6.3.3 通過提示來指導編譯器：pragma和指令 152
6.3.4 使用向量本征庫處理無法向量化的循環 157
6.3.5 大膽嘗試：使用匯編代碼進行向量化 162
6.4 實現更好向量化的編程風格 163
6.5 與編譯器向量化相關的編譯器標志 164
6.6 使用OpenMP SIMD 指令實現更好的移植性 170
6.7 進一步探索 172
6.7.1 擴展閱讀 172
6.7.2 練習 172
6.8 本章小結 173
第7 章 使用OpenMP 實現并行計算 175
7.1 OpenMP 介紹 175
7.1.1 OpenMP 概念 176
7.1.2 OpenMP 簡單程序示例 179
7.2 典型的OpenMP 用例：循環級OpenMP、高級OpenMP 和MPI OpenMP 183
7.2.1 使用循環級OpenMP 進行快速并行化 184
7.2.2 使用高級OpenMP 獲得更好的并行度 184
7.2.3 使用MPI OpenMP 獲得極限可擴展性 185
7.3 標準循環級OpenMP 示例 185
7.3.1 循環級OpenMP：向量加法示例 186
7.3.2 stream triad 示例 189
7.3.3 循環級OpenMP：stencil 示例 190
7.3.4 循環級示例的性能 191
7.3.5 使用OpenMP 線程的global sum的約減示例 192
7.3.6 循環級OpenMP 的潛在問題 193
7.4 OpenMP 中變量范圍對結果準確性的重要性 193
7.5 函數級OpenMP：使整個函數實現線程并行 194
7.6 使用高級OpenMP 改進并行可伸縮性 196
7.6.1 如何實現高級OpenMP 197
7.6.2 實現高級OpenMP 的示例 199
7.7 使用OpenMP 混合線程及向量化 201
7.8 使用OpenMP 的高級示例 204
7.8.1 在x 和y 方向單獨傳遞的stencil示例 204
7.8.2 使用OpenMP 線程實現kahan求和 208
7.8.3 通過線程實現的prefix scan算法 209
7.9 線程工具對健壯程序的重要性 210
7.9.1 使用Allinea/ARM MAP快速獲得應用程序的高層概要文件 211
7.9.2 使用Intel Inspector 查找線程競態條件 212
7.10 基于任務的支持算法示例 213
7.11 進一步探索 214
7.11.1 擴展閱讀 214
7.11.2 練習 215
7.12 本章小結 215
第8 章 MPI：并行骨干 217
8.1 MPI 程序基礎 217
8.1.1 為每個MPI 程序進行基本MPI函數調用 218
8.1.2 簡單MPI 程序的編譯器包裝器 219
8.1.3 使用并行啟動命令 219
8.1.4 MPI 程序的最小工作示例 219
8.2 用于進程間通信的發送和接收命令 221
8.3 聚合通信：MPI 的強大組件 227
8.3.1 使用barrier 來同步計時器 228
8.3.2 使用廣播處理小文件輸入 228
8.3.3 使用約減從所有進程中獲取單個值 230
8.3.4 使用gather 在調試打印輸出中排序 233
8.3.5 使用scatter 和gather 將數據發送到工作進程 234
8.4 數據并行示例 236
8.4.1 使用stream triad 來測量節點上的帶寬 236
8.4.2 二維網格中的ghost cell 交換 238
8.4.3 三維stencil 計算中的ghost cell交換 244
8.5 使用高級MPI 功能來簡化代碼和啟用優化 245
8.5.1 使用自定義MPI 數據類型來簡化代碼并提升性能 245
8.5.2 MPI 中的笛卡兒拓撲 250
8.5.3 ghost cell 交換變體的性能測試 255
8.6 通過聯合使用MPI 和OpenMP實現極高的可擴展性 257
8.6.1 混合MPI 和OpenMP 的優勢 257
8.6.2 MPI 與OpenMP 混合示例 258
8.7 進一步探索 259
8.7.1 擴展閱讀 260
8.7.2 練習 260
8.8 本章小結 261
第III 部分 GPU：加速應用程序運行
第9 章 GPU 架構及概念 265
9.1 作為加速計算平臺的CPU-GPU
系統 266
9.1.1 集成GPU：商業化系統中沒有被充分使用的資源 267
9.1.2 獨立GPU：高性能計算的主力 267
9.2 GPU 和線程引擎 268
9.2.1 使用流多處理器(或子片)作為計算單元 270
9.2.2 作為獨立處理器的處理單元 270
9.2.3 每個處理單元進行多個數據操作 270
9.2.4 計算最新GPU flop 的理論峰值 270
9.3 GPU 內存空間的特點 272
9.3.1 計算內存帶寬的理論峰值 273
9.3.2 測量GPU stream benchmark 274
9.3.3 GPU 的Roofline 性能模型 275
9.3.4 使用mixbench 性能工具為工作負載選擇最佳GPU 276
9.4 PCI 總線：CPU 與GPU 之間的數據傳輸橋梁 278
9.4.1 PCI 總線的理論帶寬 279
9.4.2 PCI 帶寬benchmark 應用程序 281
9.5 多GPU 平臺和MPI 284
9.5.1 優化網絡中GPU 之間的數據移動 284
9.5.2 一種比PCI 總線性能更高的替代方案 285
9.6 GPU 加速平臺的潛在收益 286
9.6.1 縮短解決問題的時間 286
9.6.2 使用GPU 降低能耗 287
9.6.3 使用GPU 降低云計算成本 292
9.7 何時使用GPU 292
9.8 進一步探索 292
9.8.1 擴展閱讀 293
9.8.2 練習 293
9.9 本章小結 293
第10 章 GPU 編程模型 295
10.1 GPU 編程抽象：通用框架 296
10.1.1 大規模并行處理 296
10.1.2 無法在任務之間進行協調 297
10.1.3 GPU 并行性的術語 297
10.1.4 將數據分解成獨立的工作單元：NDRange 或網格 297
10.1.5 為工作組提供大小合適的工作塊 300
10.1.6 通過lockstep 執行子工作組、warp 與wavefront 300
10.1.7 工作項：操作的基本單元 301
10.1.8 SIMD 或向量硬件 301
10.2 GPU 編程模型的代碼結構 302
10.2.1 Me編程：并行kernel的概念 302
10.2.2 線程索引：將本地tile 映射到全局中 303
10.2.3 索引集 304
10.2.4 如何在GPU 編程模型中對內存資源進行尋址 305
10.3 優化GPU 資源利用 306
10.3.1 kernel 將使用多少寄存器 307
10.3.2 利用率：提高工作組的負載率 307
10.4 約減模式需要跨工作組進行同步 309
10.5 通過隊列(流)進行異步計算 310
10.6 為GPU 定制并行化應用程序的策略 311
10.6.1 場景1：三維大氣環境仿真 311
10.6.2 場景2：非結構化網格應用 312
10.7 進一步探索 312
10.7.1 擴展閱讀 313
10.7.2 練習 314
10.8 本章小結 314
第11 章 基于指令的GPU 編程 315
11.1 為GPU 實現應用編譯指令和pragma 的過程 316
11.2 OpenACC：在GPU 上運行的最簡單方法 317
11.2.1 編譯OpenACC 代碼 319
11.2.2 OpenACC 中用于加速計算的并行計算區域 320
11.2.3 使用指令減少CPU 和GPU之間的數據移動 325
11.2.4 優化GPU kernel 329
11.2.5 stream triad 性能結果的總結 334
11.2.6 高級OpenACC 技術 335
11.3 OpenMP：加速器領域的重量級選手 337
11.3.1 編譯OpenMP 代碼 337
11.3.2 使用OpenMP 在GPU 上生成并行工作 339
11.3.3 使用OpenMP 創建數據區域來控制到GPU 的數據移動 342
11.3.4 為GPU 優化OpenMP 346
11.3.5 用于GPU 的高級OpenMP 350
11.4 進一步探索 353
11.4.1 擴展閱讀 353
11.4.2 練習 354
11.5 本章小結 355
第12 章 GPU 語言：深入了解基礎知識 357
12.1 原生GPU 編程語言的特性 358
12.2 CUDA 和HIP GPU 語言：底層性能選項 359
12.2.1 編寫和構建第一個CUDA應用程序 360
12.2.2 CUDA 的約減kernel：事情變得復雜 367
12.2.3 Hipifying CUDA 代碼 372
12.3 OpenCL：用于可移植的開源GPU 語言 375
12.3.1 編寫和構建第一個OpenCL應用程序 376
12.3.2 OpenCL 中的約減 381
12.4 SYCL：一個成為主流的實驗性C 實現 384
12.5 性能可移植性的高級語言 387
12.5.1 Kokkos：性能可移植性生態系統 387
12.5.2 RAJA 提供更具適應性的性能可移植性層 390
12.6 進一步探索 392
12.6.1 擴展閱讀 392
12.6.2 練習 393
12.7 本章小結 393
第13 章 GPU 配置分析及工具 395
13.1 分析工具概要 395
13.2 如何選擇合適的工作流 396
13.3 問題示例：淺水仿真 397
13.4 分析工作流的示例 400
13.4.1 運行淺水應用程序 400
13.4.2 分析CPU 代碼來制定行動計劃 402
13.4.3 為實施步驟添加OpenACC計算指令 403
13.4.4 添加數據移動指令 405
13.4.5 通過引導分析獲取改進建議 406
13.4.6 強大的輔助開發工具：NVIDIA Nsight 工具套件 408
13.4.7 用于AMD GPU 生態系統的CodeXL 409
13.5 專注于重要指標 409
13.5.1 利用率：是否有足夠的工作量 410
13.5.2 發布效率：你的warp 是否經常停滯？ 410
13.5.3 獲得帶寬 411
13.6 使用容器和虛擬機來提供備用工作流 411
13.6.1 將Docker 容器作為解決方案 411
13.6.2 使用VirtualBox 虛擬機 413
13.7 移入云端：提供靈活和可擴展能力 415
13.8 進一步探索 415
13.8.1 擴展閱讀 415
13.8.2 練習 416
13.9 本章小結 416
第Ⅳ部分 高性能計算生態系統
第14 章 關聯性：與kernel 休戰 419
14.1 為什么關聯性很重要 420
14.2 探索架構 421
14.3 OpenMP 的線程關聯 422
14.4 進程關聯性與MPI 429
14.4.1 OpenMPI 的默認進程放置 429
14.4.2 進行控制：在OpenMPI 中指定進程放置的基本技術 430
14.4.3 關聯性不僅僅是進程綁定：全面討論 434
14.5 MPI OpenMP 的關聯性 436
14.6 從命令行控制關聯性 440
14.6.1 使用hwloc-bind 分配關聯性 440
14.6.2 使用likwid-pin: likwid 工具套件中的關聯工具 441
14.7 展望未來：在運行時設置和更改關聯性 443
14.7.1 在可執行文件中設置關聯性 443
14.7.2 在運行時更改進程關聯性 445
14.8 進一步探索 447
14.8.1 擴展閱讀 447
14.8.2 練習 448
14.9 本章小結 449
第15 章 批處理調度器：為混亂帶來秩序 451
15.1 無管理系統所帶來的混亂 452
15.2 如何順利地在繁忙的集群中部署任務 452
15.2.1 繁忙集群中的批處理系統布局 453
15.2.2 如何合理地在繁忙的集群和HPC 站點上運行任務：HPC 中的推薦做法 453
15.3 提交第一個批處理腳本 454
15.4 為長時間運行的作業設定自動重啟 459
15.5 在批處理腳本中指定依賴項 463
15.6 進一步探索 465
15.6.1 擴展閱讀 465
15.6.2 練習 465
15.7 本章小結 466
第16 章 并行環境的文件操作 467
16.1 高性能文件系統的組成部分 467
16.2 標準文件操作：并行到串行(parallel-to-serial)接口 468
16.3 在并行環境中使用MPI
文件操作(MPI-IO) 469
16.4 HDF5 具有自我描述功能，可更好地管理數據 477
16.5 其他并行文件軟件包 485
16.6 并行文件系統：硬件接口 485
16.6.1 并行文件設置 485
16.6.2 適用于所有文件系統的通用提示 489
16.6.3 特定文件系統的提示 490
16.7 進一步探索 493
16.7.1 擴展閱讀 493
16.7.2 練習 494
16.8 本章小結 494
第17 章 用于編寫優質代碼的工具和資源 495
17.1 版本控制系統：一切從這里開始 497
17.1.1 分布式版本控制更適合全局協作 498
17.1.2 通過集中版本控制來簡化操作并提高代碼安全 498
17.2 用于跟蹤代碼性能的計時器例程 499
17.3 分析器：不去衡量就無法提升 500
17.3.1 日常使用的基于文本的分析器 501
17.3.2 用于快速識別瓶頸的高級分析器 502
17.3.3 使用中級分析器來指導應用程序開發 502
17.3.4 通過詳細分析器了解硬件性能的細節信息 504
17.4 benchmark 和mini-apps：了解系統性能的窗口 504
17.4.1 使用benchmark 測量系統性能特征 504
17.4.2 通過mini-apps 提供應用程序的視角 505
17.5 為健壯的應用程序檢測及修復內存錯誤 507
17.5.1 valgrind Memcheck：備用開源方案 507
17.5.2 使用Dr. Memory 診斷內存問題 507
17.5.3 對于要求嚴苛的應用程序使用商業內存檢測工具 509
17.5.4 使用基于編譯器的內存工具來簡化操作 509
17.5.5 通過Fence-post 檢查器來檢測越界內存訪問 510
17.5.6 GPU 應用程序所使用的內存工具 511
17.6 用于檢測競態條件的線程檢查器 512
17.6.1 Intel Inspector：帶有GUI 的競態條件檢測工具 512
17.6.2 Archer：一個基于文本的檢測競態條件的工具 512
17.7 Bug-busters：用于消除bug 的調試器 514
17.7.1 在HPC 站點中廣泛使用的TotalView 調試器 514
17.7.2 DDT：另一種在HPC 站點廣泛使用的調試器 514
17.7.3 Linux 調試器：為本地開發需求提供免費的替代方案 515
17.7.4 通過GPU 調試器消除GPU bug 515
17.8 文件操作分析 516
17.9 包管理器：你的個人系統管理員 519
17.9.1 macOS 的包管理器 519
17.9.2 Windows 包管理器 519
17.9.3 Spack 包管理器：用于高性能計算的包管理器 519
17.10 模塊：加載專門的工具鏈 520
17.10.1 TCL modules：用于加載軟件工具鏈的原始模塊系統 522
17.10.2 Lmod：基于Lua 的替代模塊實現 523
17.11 思考與練習 523
17.12 本章小結 523
附錄A 參考資料 (可從配書網站下載)
附錄B 習題答案 (可從配書網站下載)
新書資訊