本書主要討論機器學習、神經形態計算和神經網絡的理論及應用，專注于機器學習加速器和硬件開發。本書從傳統的微處理架構發展歷程入手，介紹在后摩爾定律和后丹納德微縮定律下，新型架構的發展趨勢和影響執行性能的各類衡量指標。然后從應用領域、ASIC和特定領域架構三個角度展示了設計特定的硬件實現所需考慮的諸多因素。接著結合機器學習開發過程及其性能提升方法（如模型壓縮、編碼、近似、優化等）介紹硬件實現的細節。zui后給出機器學習硬件實現的大量案例，展示機器如何獲得思維能力。本書適合有一定機器學習基礎并希望了解更多技術發展趨勢的讀者閱讀。
1. 涵蓋多種機器學習硬件和平臺，以及各類機器學習硬件加速器解決方案，讀者可根據需要將這些解決方案應用于合適的機器學習算法。2. 對現有研究成果和產品進行回顧，分析不同的機器學習模型，并通過FPGA和ASIC方法解釋目標機器學習模型的設計。3. 對硬件設計的未來方向進行展望，涉及傳統微處理器、GPU、FPGA和ASIC等，幫助讀者了解現代研究趨勢，進而實現自己的設計。
PREFACE
前 言
2012年，機器學習被應用于圖像識別，并提供了很高的推理準確性。此外，還開發了一個機器學習系統，可以在國際象棋和圍棋游戲中挑戰人類專家，并成功地擊敗了世界級的專業人士。半導體技術的進步提高了完成深度學習任務所需的執行性能和數據存儲容量。不僅如此，互聯網還提供了大量的數據，可以被應用于神經網絡模型的訓練。研究環境的改善為機器學習領域帶來了突破性進展。
深度學習在世界各地的應用越來越廣泛，特別是在互聯網服務和社會基礎設施的管理方面。深度學習的神經網絡模型在開源的基礎設施和高性能計算系統上運行，使用專用的圖形處理單元（GPU）。然而，GPU會消耗大量的電力（300W），因此數據中心在應用大量的GPU時，必須管理電力消耗和產生的熱能以降低運營成本。高昂的運營成本使人們難以使用GPU，即使是在有云服務的情況下。此外，雖然我們應用了開源軟件工具，但機器學習平臺是由特定的CPU和GPU供應商控制的。我們不能從各種產品中進行選擇，而且幾乎沒有什么多樣性可言。但多樣性是必要的，不僅對于軟件程序如此，對于硬件設備也是如此。2018年是深度學習的特定領域架構（DSA）的開端之年，各種初創公司開發了自己的深度學習處理器，與此同時還出現了硬件多樣性。
本書介紹了不同的機器學習硬件和平臺，描述了各種類型的硬件架構，并提供了未來硬件設計的方向。書中涵蓋各類機器學習模型，包括神經形態計算和神經網絡模型，例如深度學習。此外，還介紹了開發深度學習的一般周期設計過程。本書對多核處理器、數字信號處理器（DSP）、現場可編程門陣列（FPGA）和特定應用集成電路（ASIC）等示例產品也進行了介紹，并總結了硬件架構設計的關鍵點。雖然本書主要關注深度學習，但也對神經形態計算進行了簡要描述。書中還考慮了硬件設計的未來方向，并對傳統微處理器、GPU、FPGA和ASIC的未來發展進行了展望。為了展示這一領域的當前趨勢，本書描述了當前的機器學習模型及其平臺，使讀者能夠更好地了解現代研究趨勢，并考慮未來的設計，進而有自己的想法。
為了展示相關技術的基本特征，附錄介紹了作為基本深度學習方法的前饋神經網絡模型，并提供了一個硬件設計實例。此外，附錄還詳細介紹了高級神經網絡模型，使讀者能夠考慮不同的硬件來支持這種模型。最后，附錄還介紹了與深度學習相關的各國研究趨勢和各類社會問題。
全書概要
第1章提供了一個深度學習基礎的例子，并解釋了其應用。本章介紹了訓練（學習）這是機器學習的核心部分，包括它的評估以及驗證方法。工業4.0是一個應用實例，這是一個先進的行業定義，支持客戶適應性和優化工廠生產線的需求。此外，還介紹了區塊鏈在機器學習中的應用。區塊鏈是一個有形和無形財產的賬本系統，該系統將被用于深度學習的各種目的。
第2章介紹用于機器學習的基本硬件基礎設施，如微處理器、多核處理器、DSP、GPU和FPGA，包括微架構及其編程模型。本章還討論了最近在通用計算機器中使用GPU和FPGA的原因，以及為什么微處理器在提高執行性能時遇到了困難。本章還解釋了市場趨勢在應用前景方面的變化。此外，還簡要介紹了評估執行性能的指標。
第3章首先描述了一個形式化的神經元模型，然后討論了神經形態計算模型和神經網絡模型，這兩個模型是最近腦啟發計算的主要實現方法。神經形態計算包括大腦的脈沖時序依賴可塑性（STDP）特征，這似乎在學習中起著關鍵作用。此外，本章還解釋了用于脈沖傳輸的地址-事件表示（AER）。關于神經網絡，我們對淺層神經網絡和深層神經網絡（有時被稱為深度學習）都進行了簡單的解釋。如果你想了解深度學習任務，那么附錄A可以作為一份簡介。
第4章介紹了ASIC和特定領域架構。算法被描述為對應用的表示，形成了傳統計算機上的軟件。本章接著介紹了應用程序設計（不僅是軟件開發）所涉及的局部性、死鎖屬性、依賴性以及（到計算機核心的）時間和空間映射等特征。好的硬件架構有好的設計，可以有效地利用這些因素。死鎖屬性和依賴性由一般資源系統統一解釋。此外，本章還解釋了設計約束。最后，在Alex Net的案例中分析了推理和訓練方面的深度學習任務。
第5章簡要解釋了機器學習模型神經網絡模型的開發過程，以及編碼后的模型如何通過Python腳本語言的虛擬機器在計算系統上工作。此外，還解釋了向量化、SIMD化和內存訪問對齊等代碼優化技術。這些技術提高了數據級的并行性這是數據密集型計算的一個指標。這些技術也提高了執行性能，就像在深度神經網絡任務中所表現的那樣。除此之外，本章還介紹了計算統一設備架構（CUDA）。CUDA是英偉達公司的通用編程基礎設施，用于數據密集型計算，包括深度學習任務。你將看到一個基于GPU的系統是如何工作的。
第6章解釋了提高執行性能的方法，主要包含模型壓縮、數值壓縮、編碼、零值跳過、近似和優化六種方法。模型壓縮包括剪枝、dropout、dropconnect、蒸餾、主成分分析（PCA）和權重共享。數值壓縮包括量化、低精度數值表示、切邊和剪裁。編碼解釋了游程編碼和霍夫曼編碼。零值跳過包括壓縮稀
Shigeyuki Takano，目前在一家頂尖的汽車公司擔任工程師，從事深度學習處理器的開發。曾在三洋半導體（Sanyo Semiconductor）公司從事數字信號處理器的開發；還曾任職于多玩國（Dowango）公司，從事硬件視頻轉碼器原型的開發和實現。此外，他正在慶應義塾大攻讀計算機工程博士學位，研究領域為處理器體系結構，特別是針對領域特定的體系結構。
CONTENTS
目 錄
譯者序
前言
第1章 簡介 1
1.1 機器學習的曙光 1
1.1.1 Jeopardy!中的IBM Watson
挑戰 1
1.1.2 ImageNet挑戰 2
1.1.3 谷歌AlphaGo挑戰職業
圍棋選手 2
1.2 機器學習及其應用 3
1.2.1 定義 3
1.2.2 應用 3
1.3 學習及其性能指標 4
1.3.1 學習前的準備 5
1.3.2 學習方法 7
1.3.3 性能指標和驗證 8
1.4 例子 11
1.4.1 工業4.0 11
1.4.2 交易（區塊鏈） 12
1.5 機器學習的總結 15
1.5.1 與人工智能的區別 15
1.5.2 炒作周期 15
第2章 傳統的微架構 16
2.1 微處理器 16
2.1.1 處理器核心的微架構 16
2.1.2 微處理器的編程模型 17
2.1.3 微處理器的復雜性 18
2.1.4 超標量處理器的優點和
缺點 20
2.1.5 寄存器文件的規模 20
2.1.6 分支預測及其懲罰 20
2.2 多核處理器 21
2.2.1 眾核的概念 21
2.2.2 編程模型 21
2.3 數字信號處理器 22
2.3.1 DSP的概念 22
2.3.2 DSP微架構 23
2.4 圖形處理單元 24
2.4.1 GPU的概念 24
2.4.2 GPU微架構 24
2.4.3 GPU上的編程模型 26
2.4.4 將GPU應用于計算系統 26
2.5 現場可編程門陣列 27
2.5.1 FPGA的概念 27
2.5.2 FPGA微架構 27
2.5.3 FPGA設計流程 28
2.5.4 將FGPA應用于計算系統 29
2.6 特定領域架構的前景 30
2.6.1 過去的計算機行業 30
2.6.2 機器學習硬件的歷史 31
2.6.3 重新審視機器學習硬件 32
2.7 執行性能的衡量指標 34
2.7.1 延遲和吞吐量 34
2.7.2 每秒的操作數 35
2.7.3 能耗和功耗 36
2.7.4 能效 37
2.7.5 利用情況 39
2.7.6 數據重用 40
2.7.7 面積 41
2.7.8 成本 41
第3章 機器學習及其實現 43
3.1 神經元及其網絡 43
3.2 神經形態計算 45
3.2.1 脈沖時序依賴可塑性和
學習 45
3.2.2 神經形態計算硬件 46
3.2.3 地址-事件表示 48
3.3 神經網絡 49
3.3.1 神經網絡模型 50
3.3.2 以前和現在的神經網絡 52
3.3.3 神經網絡硬件 53
3.4 用于模擬實現的內存單元 57
第4章 應用、ASIC和特定領域架構 58
4.1 應用 58
4.1.1 應用的概念 58
4.2 應用的特征 59
4.2.1 局部性 59
4.2.2 死鎖 60
4.2.3 依賴性 62
4.2.4 時間和空間操作 64
4.3 特定應用的集成電路 65
4.3.1 設計約束 65
4.3.2 模塊化結構和大規模生產 69
4.3.3 牧村波動 70
4.3.4 設計流程 71
4.4 特定領域架構 71
4.4.1 特定領域架構簡介 71
4.4.2 特定領域語言 72
4.5 機器學習硬件 73
4.6 深度學習上的推理分析和訓練
分析 74
4.6.1 深度學習上的推理分析 74
4.6.2 深度學習上的訓練分析 76
第5章 機器學習模型開發 79
5.1 開發過程 79
5.1.1 開發周期 79
5.1.2 交叉驗證 80
5.1.3 軟件棧 81
5.2 編譯器 82
5.2.1 ONNX 82
5.2.2 NNVM 83
5.2.3 TensorFlow XLA 83
5.3 代碼優化 83
5.3.1 提取數據級并行 83
5.3.2 內存訪問優化 84
5.4 Python腳本語言和虛擬機 85
5.4.1 Python和優化 85
5.4.2 虛擬機 86
5.5 計算統一設備架構 87
第6章 性能提升方法 89
6.1 模型壓縮 89
6.1.1 剪枝 89
6.1.2 dropout 93
6.1.3 dropconnect 94
6.1.4 蒸餾 94
6.1.5 主成分分析 96
6.1.6 權重共享 97
6.2 數值壓縮 99
6.2.1 量化和數值精度 100
6.2.2 對內存占用和推理準確性
的影響 103
6.2.3 切邊和剪裁 109
6.3 編碼 110
6.3.1 游程編碼 110
6.3.2 霍夫曼編碼 111
6.3.3 壓縮的效果 113
6.4 零值跳過 116
6.4.1 零值跳過的概念 116
6.4.2 CSR和CSC的稀疏表示 116
6.4.3 零值跳過的用例 119
6.5 近似 121
6.5.1 近似的概念 121
6.5.2 激活函數近似 121
6.5.3 乘法器的近似 123
6.6 優化 125
6.6.1 模型優化 125
6.6.2 數據流優化 126
6.7 性能提升方法的總結 128
第7章 硬件實現的案例研究 130
7.1 神經形態計算 130
7.1.1 模擬邏輯電路 130
7.1.2 數字邏輯電路 131
7.2 深度神經網絡 135
7.2.1 模擬邏輯電路 135
7.2.2 DSP 137
7.2.3 FPGA 139
7.2.4 ASIC 145
7.3 量子計算 175
7.4 研究案例的總結 175
7.4.1 神經形態計算的案例
研究 181
7.4.2 深度神經網絡的案例
研究 181
7.4.3 神經形態計算和深度神經
網絡硬件之間的比較 182
第8章 硬件實現的關鍵 183
8.1 市場增長預測 183
8.1.1 IoT市場 183
8.1.2 機器人市場 184
8.1.3 大數據和機器學習市場 184
8.1.4 藥物研發中的人工智能
市場 185
8.1.5 FPGA市場 185
8.1.6 深度學習芯片市場 185
8.2 設計和成本之間的權衡 186
8.3 硬件實現策略 188
8.3.1 策略規劃的要求 188
8.3.2 基本策略 191
8.3.3 替代因子 193
8.4 硬件設計要求概述 193
第9章 結論 194
附錄A 深度學習基礎 195
A.1 等式模型 195
A.1.1 前饋神經網絡模型 196
A.1.2 激活函數 196
A.1.3 輸出層 197
A.1.4 學習和反向傳播 197
A.1.5 參數初始化 201
A.2 用于深度學習的矩陣操作 201
A.2.1 矩陣表示及其布局 202
A.2.2 用于學習的矩陣操作
序列 203
A.2.3 學習優化 203
A.2.4 偏置-方差問題 203
附錄B 深度學習硬件建模 205
B.1 深度學習硬件的概念 205
B.1.1 參數空間與傳播之間的
關系 205
B.1.2 基本的深度學習硬件 206
B.2 深度學習硬件上的數據流 206
B.3 機器學習硬件架構 207
附錄C 高級神經網絡模型 208
C.1 CNN變體 208
C.1.1 卷積架構 208
C.1.2 卷積的后向傳播 210
C.1.3 卷積的變體 213
C.1.4 深度卷積對抗生成
網絡 215
C.2 RNN變體 215
C.2.1 RNN架構 215
C.2.2 LSTM和GRU單元 216
C.2.3 公路網絡 218
C.3 自編碼器變體 218
C.3.1 堆式去噪自編碼器 218
C.3.2 梯形網絡 219
C.3.3 變分自編碼器 220
C.4 殘差網絡 221
C.4.1 殘差網絡的概念 221
C.4.2 殘差網絡效應 221
C.5 圖神經網絡 222
C.5.1 圖神經網絡的概念 222
附錄D 國家研究、趨勢和投資 224
D.1 中國 224
D.1.1 下一代人工智能發展
計劃 224
D.2 美國 225
D.2.1 SyNAPSE計劃 225
D.2.2 UPSIDE計劃 225
D.2.3 MICrONS計劃 225
D.3 歐洲 225
D.4 日本 226
D.4.1 內政及通信省 226
D.4.2 文部科學省 226
D.4.3 日本經濟貿易產業省 226
D.4.4 內務省 227
附錄E 機器學習對社會的影響 228
E.1 產業 228
E.1.1 過去的產業 228
E.1.2 下一個產業 230
E.1.3 開源的軟件和硬件 230
E.1.4 社會企業和共享經濟 231
E.2 機器學習與我們 231
E.2.1 機器學習可替代的領域 231
E.2.2 產業整合 232
E.2.3 一個簡化的世界 232
E.3 社會與個人 233
E.3.1 將編程引入教育 233
E.3.2 價值改變 233
E.3.3 社會支持 235
E.3.4 犯罪 235
E.4 國家 236
E.4.1 警察和檢察官 236
E.4.2 行政、立法和司法 236
E.4.3 軍事 236
參考文獻 237
新書資訊![機器學習及其硬件實現 [日]高野茂之](http://pic.book1993.com/Pic/uploadfile/202402/9787111739500.jpg)