本書以云邊協同技術的發展歷程為線索,介紹云邊協同技術體系,具體內容組織如下。
第1章以云邊協同技術為線索,首先介紹云計算與邊緣計算的發展歷程,然后梳理云邊協同技術的發展,并詳細介紹云邊協同數據處理系統發展過程中的驅動因素,以及數據處理在云邊協同架構下的模式演化和未來的復雜應用的潛在計算模式。
第2章詳細介紹云邊協同環境下的數據預處理技術,對云邊協同環境下需要處理的數據具有的多樣性、異構性、限制性、穩定性和高吞吐等特點做了介紹,然后對數據清理、集成、歸約等預處理技術以及典型批流融合處理架構和系統進行詳細介紹,最后展示了典型技術案例SlimML。
第3章具體介紹邊緣智能技術,包括邊緣訓練前沿技術(如通信開銷優化、梯度計算優化等)和邊緣推斷前沿技術(如模型壓縮、模型分割、多模型并行、多模型流水線等)。
第4章著重介紹物聯網與邊緣智能數據安全隱私,從數據安全與隱私技術的起源和發展講起,對云邊協同環境下的數據安全挑戰進行總結,最后詳細介紹實現數據安全與隱私保護的差分隱私技術、安全多方計算技術、同態加密技術和區塊鏈技術,并展望了未來的數據安全與隱私保護技術。
第5章從實際的云邊協同應用出發,詳細介紹視頻、工業互聯網和智慧城市場景中的典型云邊協同技術及其面臨的挑戰。
本書的讀者對象主要包括大數據應用開發人員、大數據運維工程師、高校和研究院大數據方向師生以及開源軟件愛好者。
隨著物聯網的不斷發展,越來越多的終端設備,如可穿戴設備、環境監控設備、傳感器、虛擬現實設備等,具有了接入互聯網的能力,并產生了海量的異構數據交互。傳統的云平臺已經不能滿足不斷涌現出來的新型應用對數據處理任務的響應速度、延遲、高吞吐和容錯性等方面的要求,因而引發了學術界和工業界對云邊協同平臺的數據處理技術的廣泛研究。本書以云邊協同技術為主線,首先介紹云計算與邊緣計算的發展歷程,然后詳細介紹云邊協同環境下霧計算、邊緣計算等與傳統云平臺相結合而催生的典型云邊協同技術及其實際應用場景和案例。
本書作為為數不多的全面總結云邊協同技術及其應用場景的書籍,從云計算和邊緣計算的發展歷程開始講起,由淺入深,對云邊協同的發展歷程、云邊協同所要解決的技術挑戰等做了總結,然后詳細介紹了典型的云邊協同技術和框架,并在實際應用場景下講述如何應用這些技術,同時對未來的云邊協同技術做了展望。本書試圖通過既簡單又系統的方式讓讀者了解云邊協同的前世今生,熟悉典型的云邊協同技術及其應用場景,進而對整個云邊協同技術體系有一個全面的認識。
為幫助讀者輕松閱讀并理解書中內容,本書不僅有詳細的文字描述,還插入了大量的圖表。此外,對于典型的云邊協同技術,書中多從具體的應用場景出發,分析所要解決的技術挑戰,然后介紹該應用場景中具體用到的云邊協同技術,由點及面,向讀者展現整個云邊協同技術體系。在組織形式上,本書具有三大特色:
系統性:從云邊協同技術的發展背景開始,深入典型技術和實際應用,全方位剖析云邊協同大數據技術及其應用;
技術性:對云邊協同環境下的典型技術進行了詳盡介紹,如第2章中的云邊協同數據預處理技術,第3章中的邊緣訓練和邊緣推斷前沿技術,第4章中的差分隱私技術、安全多方計算技術等;
實用性:理論和實踐相結合,介紹了大量云邊協同技術在典型場景下的挑戰和應用,如第5章中的智慧倉儲、智能配電、自動駕駛、智能家居等。
本書以云邊協同技術的發展歷程為線索,介紹云邊協同技術體系,具體內容組織如下:
第1章:主要從云計算和邊緣計算的發展歷程開始介紹,然后對云邊協同階段的問題與挑戰、云邊協同數據處理、云邊協同系統管理和云邊協同的典型場景進行詳細介紹,讓讀者從宏觀層面了解云邊協同技術體系。
第2章:重點介紹云邊協同的數據處理系統。先總體介紹云邊協同環境下數據處理所面臨的問題和挑戰,然后重點介紹云邊協同環境下的數據預處理技術,包括數據清理、數據集成和數據歸約;接著介紹批流融合處理架構與系統,包括 Lambda 和 Kappa 架構,并對云邊協同環境下的批流融合處理前沿技術進行討論;最后就典型技術案例 SlimML 進行詳細介紹。
第3章:對邊緣計算和人工智能的結合—邊緣智能進行詳細介紹。先總結了云邊協同環境下邊緣智能所面臨的技術挑戰;然后詳細介紹邊緣訓練前沿技術,包括中心化/去中心化訓練、隱私保護、通信開銷優化、梯度計算優化等;接著對邊緣推斷前沿技術進行詳細介紹,包括輸入過濾、模型壓縮、模型分割、邊緣緩存、多模型并行、多模型流水線、模型最優選擇和模型生成等。
第4章:主要介紹云邊協同下隱私計算技術的相關應用場景以及技術方案。首先介紹隱私保護技術的起源與發展,接著對云邊協同場景下的數據安全場景以及惡意威脅模型進行詳細介紹,之后討論差分隱私技術、安全多方計算技術、同態加密技術、區塊鏈技術的相關方案以及應用場景,最后對隱私計算領域的未來趨勢做了展望。
第5章:從視頻大數據、工業互聯網大數據、智慧城市大數據3個方面介紹云邊協同大數據的典型應用,著重介紹數據具有的典型特征、云邊協同在相關領域下的“云-邊-端”三層應用架構以及關鍵問題和相關前沿技術,并且針對每個領域的一些案例,給出云邊協同場景下的解決方案。
由于筆者的水平有限,編寫時間倉促,書中難免會有一些錯誤或者不準確的地方,請讀者原諒,并提出寶貴意見。
韓銳
北京理工大學特別研究員,博士生導師。2010年畢業于清華大學并獲優秀碩士畢業生,2014年博士畢業于英國帝國理工學院,2014年3月至2018年6月在中國科學院計算所工作。專注于研究面向典型負載(機器學習、深度學習、互聯網服務)的云計算系統優化,在 TPDS、TC、TKDE、TSC等領域頂級(重要)期刊和INFOCOM、ICDCS、ICPP、RTSS等會議上發表超過40篇論文,Google學術引用1000 余次。
劉馳
北京理工大學計算機學院副院長,教授,博士生導師。智能信息技術北京市重點實驗室主任,國家優秀青年科學基金獲得者,國家重點研發計劃首席科學家,中國電子學會會士,英國工程技術學會會士,英國計算機學會會士。分別于清華大學和英國帝國理工學院獲得學士和博士學位,后在德國電信研究總院任博士后研究員,在美國IBM T.J.Watson研究中心和IBM中國研究院任研究主管。主要研究方向是智能物聯網技術。曾主持國家重點研發計劃“工業軟件”重點專項項目、國家自然科學基金青年/面上/優青/重點項目、國家重點研發計劃課題等。現任國家信息產業“十四五”規劃專家顧問組成員、第四屆全國信標委技術委員會委員、IEEE Transactions on Network Science and Engineering編委等。獲得KDD'21最佳論文亞軍,以及省部級一等獎、二等獎、三等獎各1項。
前言
作者簡介
第1章 云邊協同大數據系統概述 1
1.1 云邊協同發展歷程 1
1.1.1 探索階段 1
1.1.2 云階段 3
1.1.3 云邊協同階段 7
1.2 云邊協同數據處理 12
1.2.1 數據來源 12
1.2.2 處理模式 13
1.3 云邊協同系統管理 18
1.3.1 云邊協同負載 18
1.3.2 任務管理 25
1.3.3 資源管理 29
1.3.4 應用管理 33
1.4 云邊協同典型場景 35
1.4.1 物聯網大數據 35
1.4.2 視頻大數據 41
1.4.3 智能駕駛大數據 47
1.5 本章小結 52
參考文獻 54
第2章 云邊融合的數據處理系統 60
2.1 云邊協同環境下的數據處理簡介 60
2.1.1 背景 60
2.1.2 環境 61
2.1.3 數據 63
2.1.4 處理模式 63
2.1.5 問題與挑戰 64
2.2 云邊協同環境下的數據預處理 66
2.2.1 簡介 66
2.2.2 數據質量 67
2.2.3 數據清理 68
2.2.4 數據集成 77
2.2.5 數據歸約 80
2.2.6 數據預處理小結 84
2.3 批流融合處理架構與系統 84
2.3.1 批流融合處理架構 85
2.3.2 批流處理系統的發展 86
2.3.3 批流融合處理前沿技術 91
2.4 典型技術案例SlimML 95
2.4.1 背景 95
2.4.2 非關鍵點驗證 97
2.4.3 總體思想 100
2.4.4 架構 101
2.4.5 評測 105
2.5 本章小結 112
參考文獻 112
第3章 邊緣智能 119
3.1 背景 119
3.1.1 邊緣計算 119
3.1.2 邊緣智能 119
3.2 挑戰 121
3.3 邊緣訓練前沿技術 122
3.3.1 邊緣訓練簡介 122
3.3.2 中心化/去中心化訓練簡介 123
3.3.3 隱私保護 126
3.3.4 通信開銷優化 131
3.3.5 梯度計算優化 135
3.3.6 邊緣訓練小結 139
3.4 邊緣推斷前沿技術 140
3.4.1 邊緣推斷簡介 140
3.4.2 模型角度優化 141
3.4.3 系統角度優化 151
3.4.4 模型最優選擇 155
3.4.5 模型自動生成 156
3.4.6 邊緣推斷小結 157
3.5 本章小結 158
參考文獻 160
第4章 物聯網與邊緣智能數據安全隱私 165
4.1 數據安全與隱私技術的起源與發展 165
4.1.1 隱私技術的起源與發展 166
4.1.2 隱私保護技術現狀 168
4.2 云邊協同下的數據安全挑戰 169
4.2.1 云邊協同下的數據安全場景 169
4.2.2 云邊協同下的惡意威脅模型 172
4.2.3 數據安全關鍵挑戰 174
4.2.4 數據泄露案例 176
4.3 差分隱私技術 177
4.3.1 相關應用場景與挑戰 177
4.3.2 差分隱私技術簡介 177
4.3.3 差分隱私技術應用 182
4.3.4 相關前沿研究簡介 183
4.4 安全多方計算技術 183
4.4.1 相關應用場景與挑戰 183
4.4.2 安全多方計算簡介 184
4.4.3 安全多方計算應用 189
4.4.4 相關前沿研究簡介 192
4.5 同態加密技術 192
4.5.1 相關應用場景與挑戰 192
4.5.2 同態加密技術簡介 193
4.5.3 同態加密技術應用 195
4.5.4 相關前沿研究簡介 197
4.6 區塊鏈技術 197
4.6.1 相關應用場景與挑戰 197
4.6.2 區塊鏈技術簡介 198
4.6.3 區塊鏈技術應用 201
4.6.4 相關前沿研究簡介 202
4.7 未來技術展望 202
4.8 本章小結 203
參考文獻 203
第5章 云邊協同典型應用 206
5.1 視頻大數據 206
5.1.1 簡介 206
5.1.2 數據特征 207
5.1.3 相關技術 209
5.1.4 典型案例 217
5.2 工業互聯網大數據 219
5.2.1 簡介 219
5.2.2 數據特征 220
5.2.3 相關技術 223
5.2.4 典型案例 227
5.3 智慧城市大數據 230
5.3.1 簡介 230
5.3.2 數據特征 232
5.3.3 關鍵問題和前沿技術 233
5.3.4 典型案例 238
5.4 本章小結 243
參考文獻 243