本書是一本構(gòu)建大規(guī)模高效算法的綜合性實用書籍，介紹各種并行技術(shù)，從R語言的并行版本lapply()的簡單應(yīng)用到基于Hadoop和ApacheSpark框架的高級AWS云。在本書的后，你將了解到影響并行效率的因素，包括：評估代碼性能和實現(xiàn)負(fù)載平衡；要避免的陷阱，包括死鎖和數(shù)值不穩(wěn)定問題；對于你的項目，如何為適合的并行類型構(gòu)建代碼和數(shù)據(jù)；如何在各種計算機系統(tǒng)中運行R代碼獲取佳性能。本書針對那些想要超越單線程和內(nèi)存限制的R程序員，使其從中學(xué)習(xí)如何實現(xiàn)高效大規(guī)模算法，這是對大數(shù)據(jù)高性能處理的必要條件。
并行計算是一種通過執(zhí)行多條指令來解決大型復(fù)雜計算問題的有效算法，可以顯著提高計算機系統(tǒng)的計算速度和處理能力。R語言是目前非常流行的一種開源程序語言，在統(tǒng)計學(xué)和生物學(xué)等學(xué)科中得到了廣泛應(yīng)用。本書成功地借助于R語言實現(xiàn)了并行計算的多種有效算法，并且通過案例分析了如何運用R語言執(zhí)行并行計算。同時詳細(xì)介紹了并行計算中的R程序包的使用，如SPRINT包提供了一套從R中調(diào)用并行計算的MPI函數(shù)。全書案例簡單易懂，程序翔實，敘述清晰。本書4位作者都是計算機專業(yè)的資深專家和學(xué)者，從事并行計算多年，發(fā)表了眾多成果。本書的引進(jìn)有益于讀者運用R語言進(jìn)行并行計算的研究，讀者可以結(jié)合實際應(yīng)用來學(xué)習(xí)本書中討論的算法和模型。
本書的翻譯得到了國家自然科學(xué)基金（項目編號71461005）和廣西高校數(shù)據(jù)分析與計算重點實驗室的資助。特別感謝桂林電子科技大學(xué)研究生姚家進(jìn)、郭夢菲、秦文哲在翻譯本書中所做的出色工作。
由于時間和水平所限，難免會有不當(dāng)之處，希望同行和讀者多加指正和批評。
前言
我們正處于信息爆炸時代。從個人到全世界，生活中的一切都變得越來越與物聯(lián)網(wǎng)實時關(guān)聯(lián)。據(jù)預(yù)測，到2020年，世界上的數(shù)據(jù)將超過現(xiàn)在的10倍，達(dá)到驚人的44澤字節(jié)（1澤字節(jié)相當(dāng)于2500億張DVD）。為了解決大數(shù)據(jù)的規(guī)模和速度問題，我們需要巨大的計算、內(nèi)存和磁盤資源，而為此就需要并行計算。
盡管使用的時間不長，但R作為一種開源統(tǒng)計編程語言，逐漸成為人們分析數(shù)據(jù)的關(guān)鍵基礎(chǔ)技術(shù)之一。我敢說R現(xiàn)在是“數(shù)據(jù)科學(xué)家”的主流編程語言之一。
當(dāng)然，數(shù)據(jù)科學(xué)家可能會部署許多其他工具來處理大數(shù)據(jù)的一些困難問題，如Python、SAS、SPSS或MATLAB。然而，自從1997年以來，隨著開源語言的深入發(fā)展，R語言非常流行，在20年中開發(fā)了許多存放于CRAN鏡像站點的R添加包，這些添加包適用于幾乎所有形式的數(shù)據(jù)分析，從小型數(shù)值矩陣到龐大的符號數(shù)據(jù)集，如生物分子DNA。事實上，我認(rèn)為R語言正成為“事實上”的數(shù)據(jù)科學(xué)腳本語言，它可以融合許多不同類型的高度復(fù)雜數(shù)據(jù)的分析方法。
R語言自身總是按照單線程來實現(xiàn)的，而且其原有的程序設(shè)計并沒有應(yīng)用并行機制。然而，為了達(dá)到某些功能的并行目的以及使用并行處理框架，R語言需要借助于某些特別開發(fā)的外部添加包。我們將重點關(guān)注一些目前技術(shù)范圍內(nèi)可用的好的并行算法。
在本書中，我們將介紹并行計算的各個方面，從單程序多數(shù)據(jù)（SPMD）到單指令多數(shù)據(jù)（SIMD）向量處理，包括用R添加包parallel來利用R內(nèi)置的多核功能、用消息傳遞接口（MPI）進(jìn)行消息傳遞、用OpenCL處理通用GPU（GPGPU）的并行性。我們還將探討并行性的不同框架方法，從利用任務(wù)分配的負(fù)載均衡到網(wǎng)格空間處理。我們將通過Hadoop了解云計算中更通用的批量數(shù)據(jù)處理，以及集群計算中的熱門新技術(shù)Apache Spark，它更適合大規(guī)模的實時數(shù)據(jù)處理。
我們甚至?xí)剿魅绾问褂谜嬲臄?shù)百萬英鎊的超級計算機。是的，我知道你可能沒有這樣的計算機，但是在本書中，我們會告訴你如何使用它，以及并行計算的效果。說不定，隨著知識的更新，你可以來到當(dāng)?shù)氐某売嬎銠C中心，并說服他們讓你進(jìn)行一些大規(guī)模的并行計算！
本書中展示的所有編碼示例都具有原創(chuàng)性，選擇這些示例的原因是為了不復(fù)制其他書中可能遇到的例子。親愛的讀者，選擇這些代碼的原因是希望能讓你與普通讀者有一點不同。作為作者，我們非常希望你享受這個過程。
西蒙R. 查普爾（Simon R. Chapple）是一位經(jīng)驗豐富的解決方案架構(gòu)師和**軟件工程師，從事數(shù)據(jù)分析和醫(yī)療信息系統(tǒng)解決方案和應(yīng)用的開發(fā)超過25年。他也是超級計算機HPC和大數(shù)據(jù)處理方面的專家。
Simon是Datalytics科技有限公司的**技術(shù)官和管理合伙人，帶領(lǐng)一個團隊建設(shè)下一代大規(guī)模數(shù)據(jù)分析平臺，該平臺建立在一組由高性能工具、框架和系統(tǒng)所構(gòu)成的可定制的工具集合基礎(chǔ)上，可以使從數(shù)據(jù)采集、分析到呈現(xiàn)的整個實時處理周期，輕松地部署到任何已有的IT操作環(huán)境中。
此前，他在Aridhia信息公司擔(dān)任產(chǎn)品創(chuàng)新總監(jiān)，為蘇格蘭的醫(yī)療服務(wù)供應(yīng)商建立了多個新系統(tǒng)，包括為蘇格蘭18周轉(zhuǎn)診治療和癌癥患者的管理而提供的一體化病人路徑跟蹤系統(tǒng)，該系統(tǒng)應(yīng)用了10個單獨數(shù)據(jù)系統(tǒng)的集成（減少病人等待時間，從而提供**的服務(wù)）。他還利用公共云托管監(jiān)測系統(tǒng)，為實時化療患者建立了專門的移動系統(tǒng)，該系統(tǒng)在澳大利亞進(jìn)行了臨床試驗，受到護(hù)士和病人的高度贊揚，“**像在你的起居室里有一位護(hù)士……希望所有的化療病人每天都有天使般的安全舒適的護(hù)理環(huán)境�！�
Simon也是ROpenCL開源軟件包的作者之一，該添加包使得用R編寫的統(tǒng)計程序可以應(yīng)用圖形加速器芯片中的并行計算能力。
對于SPRINT這一章，我特別要感謝愛丁堡并行計算中心的同事以及本書審閱者Willem Ligtenberg、Joe McKavanagh和Steven Sanderson，謝謝他們的積極反饋。我還要感謝Packt出版社的編輯團隊為本書的**終出版付出的辛勤勞動。感謝我的妻子和兒子的理解，他們給我珍貴的時間使我成為一名作者，謹(jǐn)以此書獻(xiàn)給我愛的Heather和Adam。
伊麗·特魯普（Eilidh Troup）是愛丁堡大學(xué)EPCC的應(yīng)用顧問。她擁有Glasgow大學(xué)的遺傳學(xué)學(xué)位，現(xiàn)在專注于為廣大用戶尤其是生物學(xué)家提供高性能計算。Eilidh致力于各種軟件項目，包括為基于網(wǎng)絡(luò)的科學(xué)數(shù)據(jù)存儲庫提供簡單的并行R接口（SPRINT）和SEEK。
托斯頓·福斯特（Thorsten Forster）是愛丁堡大學(xué)的數(shù)據(jù)科學(xué)研究員。他具有統(tǒng)計學(xué)和計算機科學(xué)背景，并獲得了生物醫(yī)學(xué)科學(xué)博士學(xué)位，在這些交叉學(xué)科研究方面擁有超過10年的經(jīng)驗。
Thorsten利用統(tǒng)計學(xué)和機器學(xué)習(xí)（如微陣列和下一代測序）研究生物醫(yī)學(xué)的大數(shù)據(jù)分析方法，他曾經(jīng)是SPRINT項目的項目經(jīng)理，該項目的目標(biāo)是允許潛在用戶使用R統(tǒng)計編程語言對大型生物數(shù)據(jù)集應(yīng)用并行分析解決方案。他還是Fios Genomics公司的聯(lián)合創(chuàng)始人，該公司是一家大學(xué)孵化的提供生物醫(yī)學(xué)大數(shù)據(jù)研究的數(shù)據(jù)分析服務(wù)公司。
目前，Thorsten的工作是設(shè)計用于診斷新生兒細(xì)菌感染的基因轉(zhuǎn)移分類器、分析巨噬細(xì)胞干擾素激活的轉(zhuǎn)移譜、調(diào)查膽固醇對感染免疫的作用，以及研究導(dǎo)致兒童氣喘的基因因素。
Thorsten的完整資料可以在http://tinyurl.com/ThorstenForsterUEDIN上獲得。
特倫斯·斯隆（Terence Sloan）是愛丁堡大學(xué)高性能計算中心EPCC的軟件開發(fā)小組經(jīng)理。他在蘇格蘭中小企業(yè)、英國公司以及歐洲和全球合作方面擁有超過25年的管理和參與數(shù)據(jù)科學(xué)和高性能計算項目的經(jīng)驗。
Terry獲得過Wellcome Trust（基金號086696/Z/08/Z）、BBSRC（基金號BB/J019283/1）研究基金，以及幫助開發(fā)R語言SPRINT添加包的3個EPSRC分布式計算科學(xué)基金。他在使用行為大數(shù)據(jù)進(jìn)行客戶行為分析方面獲得過ESRC獎（獲獎號RES-189-25-0066、RES-149-25-0005）。
Terry是愛丁堡大學(xué)HPC數(shù)據(jù)科學(xué)碩士項目的HPC數(shù)據(jù)分析、項目準(zhǔn)備和論文課程的責(zé)任人。
我要感謝Alan Simpson博士，他是EPCC的技術(shù)總監(jiān)、ARCHER超級計算機的計算科學(xué)和工程總監(jiān)，感謝他支持SPRINT的開發(fā)及其在英國國家超級計算機上的應(yīng)用。
目錄 Contents
譯者序
前言
關(guān)于作者
第1章 簡單的R并行性1
1.1 亞里士多德數(shù)謎2
1.1.1 求解程序的實現(xiàn)2
1.1.2 改進(jìn)求解程序6
1.1.3 將問題分解為多個任務(wù)10
1.2 R的并行包14
1.2.1 使用mclapply()15
1.2.2 使用parLapply()19
1.2.3 并行負(fù)載均衡21
1.3 segue包23
1.3.1 安裝segue24
1.3.2 設(shè)置AWS賬戶25
1.3.3 運行segue27
1.3.4 求解亞里士多德數(shù)謎32
1.4 總結(jié)34
第2章 消息傳遞入門36
2.1 為MPI設(shè)置系統(tǒng)環(huán)境36
2.1.1 為MPI選擇R包37
2.1.2 選擇MPI子系統(tǒng)37
2.1.3 安裝OpenMPI38
2.2 MPI標(biāo)準(zhǔn)39
2.2.1 MPI的世界39
2.2.2 安裝Rmpi40
2.2.3 安裝pbdMPI41
2.3 MPI API43
2.3.1 點對點阻塞通信44
2.3.2 點對點非阻塞通信56
2.3.3 集體通信60
2.4 總結(jié)65
第3章 高級消息傳遞66
3.1 網(wǎng)格并行性66
3.1.1 創(chuàng)建網(wǎng)格集群68
3.1.2 邊界數(shù)據(jù)交換70
3.1.3 中值濾波73
3.1.4 平鋪分配圖像74
3.1.5 中值濾波網(wǎng)格程序76
3.2 檢查和管理通信84
3.3 lapply()的函數(shù)變體87
3.4 總結(jié)89
第4章 開發(fā)SPRINT—超級計算機的基于MPI的R包90
4.1 關(guān)于ARCHER91
4.2 從R中調(diào)用MPI代碼92
4.2.1 MPI Hello World92
4.2.2 從R中調(diào)用C94
4.3 建立一個MPI R包—SPRINT97
4.3.1 簡單的并行R接口（SPRINT）包97
4.3.2 SPRINT包的體系結(jié)構(gòu)99
4.4 將一個新函數(shù)添加到SPRINT包中100
4.4.1 下載SPRINT源代碼101
4.4.2 在R中創(chuàng)建一個存根—phello.R102
4.4.3 添加接口函數(shù)—phello.c103
4.4.4 添加實現(xiàn)函數(shù)—hello.c105
4.4.5 連接存根、接口和實現(xiàn)106
4.4.6 編譯并運行SPRINT代碼110
4.5 基因組學(xué)分析案例研究112
4.5.1 基因組學(xué)113
4.5.2 基因組數(shù)據(jù)115
4.6 基因組學(xué)與超級計算機116
4.6.1 目標(biāo)116
4.6.2 ARCHER超級計算機116
4.6.3 隨機森林120
4.6.4 基因組分析案例研究的數(shù)據(jù)122
4.6.5 ARCHER中的隨機森林性能122
4.6.6 排名產(chǎn)品127
4.6.7 ARCHER中的排名產(chǎn)品性能128
4.6.8 結(jié)論131
4.7 總結(jié)132
第5章 筆記本中的超級計算機133
5.1 OpenCL133
5.2 ROpenCL包142
5.2.1 ROpenCL編程模型142
5.2.2 距離矩陣示例153
5.3 總結(jié)161
第6章 并行程序設(shè)計的藝術(shù)162
6.1 理解并行效率163
6.1.1 加速比163
6.1.2 阿姆達(dá)爾定律164
6.1.3 并行或者不并行165
6.2 數(shù)值逼近167
6.3 隨機數(shù)170
6.4 死鎖172
6.5 減少并行開銷175
6.6 自適應(yīng)負(fù)載均衡178
6.6.1 任務(wù)場178
6.6.2 有效的網(wǎng)格處理179
6.6.3 成功并行化的3個步驟180
6.6.4 未來將會怎樣181
6.6.5 混合并行性184
6.7 總結(jié)185
新書資訊