《AI處理器硬件架構設計》基于當前工業界主流的設計規格，詳細介紹了AI處理器硬件架構及微架構的設計原理，并配有對應的工程經驗總結與產品實例分析。本書主要內容包括：業界主流AI處理器架構及基礎背景知識（第1章）；AI處理器指令集設計與硬件架構總體設計（第2、3章）；核心計算單元，即向量處理單元、矩陣處理單元、標量處理單元的微架構設計實現（第4~6章）；數據搬運單元與存儲系統設計（第7、8章）；AI處理器設計實例剖析（第9章）。
《AI處理器硬件架構設計》可作為從事AI處理器相關研發工作的專業人員的參考書，也可用作高等院校計算機、集成電路相關專業研究生、高年級本科生的教材和參考書，還可供對AI處理器設計感興趣的讀者自學。
《AI處理器硬件架構設計》融合了一線自研高性能處理器資深工程師多年工作經驗，從人工智能處理器的架構設計出發，對比各種不同架構的人工智能處理器的優缺點，詳細介紹各個組件的架構和微架構設計，循序漸進、由淺入深，圖文結合。用戶可根據本書的介紹，從0到1完成人工智能處理器的設計、驗證工作。
人工智能技術正在深刻改變著我們的學習、工作和生活。從計算機視覺到自然語言處理，從自動駕駛到智能機器人，AI應用的蓬勃發展對計算平臺提出了新的挑戰。這些挑戰主要表現在以下兩個方面：1）計算需求的爆炸性增長，深度學習模型規模持續擴大，訓練數據量急劇增加，實時推理應用對延遲提出更高要求，邊緣計算場景對能效比的要求提升；2）新興應用帶來的特殊需求，包括大規模矩陣運算加速、靈活的數據精度支持、復雜的數據重用模式，以及特定算子的硬件映射優化。
隨著人工智能技術的快速發展和廣泛應用，傳統通用處理器架構在處理AI工作負載時的局限性日益凸顯，其瓶頸主要表現在：存儲墻問題日益嚴重、對AI特征計算支持不足、控制邏輯開銷過大，以及數據搬運效率低下。為了更好地支持大規模參數和復雜計算結構的機器學習模型的高效執行，專門面向人工智能領域的處理器架構設計成為近幾年計算機體系結構領域最活躍的研究方向之一。面對傳統處理器在AI領域應用的瓶頸，設計專用的AI處理器架構已是大勢所趨。由此，作者團隊撰寫了本書，對AI處理器硬件架構設計進行了全方位的系統闡述。
本書所呈現的內容基于工業界當下實際的產品和應用技術，在不侵犯商用知識產權的前提下，盡力為讀者呈現是什么（What）為什么這樣設計（Why），以及如何設計，如何分析（How）。在本書的寫作過程中，作者相對弱化了對計算機體系結構基礎知識的闡述，將更多的篇幅有針對性地聚焦于處理器架構/微架構設計的內容，最大限度地為讀者呈現硬件架構/微架構的全貌，以及如何設計一款AI處理器。
無論是產品還是工程經驗，都會存在自身的局限性。每個成熟的商業公司都有其特有研發體系，工程師也往往在體系之內選擇自己認為適宜的方式去做設計以及思考，這本身就帶有一定的慣性和片面性。因此，作者通過一家之言拋磚引玉，希望能夠引發讀者對設計的思考；或者，根據作者的視角和工程經驗，啟發讀者的思路。如果本書能夠幫助讀者解決實際的工程問題，或者幫助讀者彌合了課堂與工業界的差距，那么作者將甚感榮幸。
《AI處理器硬件架構設計》分為9章，各章內容如下。
第1章為基礎知識概述，簡要介紹了神經網絡和硬件加速平臺的相關基礎知識，便于讀者理解后續內容。
第2章和第3章從宏觀角度分別介紹了AI處理器指令集與硬件架構的設計。其中第2章為讀者介紹了一套通用的AI處理器指令集的詳細規格，包括標量指令、向量指令、矩陣運算指令等。第3章為架構設計總述，介紹了當前典型的AI處理器架構實現（包括VLIW/超標量 SIMD和SIMT），計算核心向量運算單元、矩陣處理單元，以及標量處理單元三者的架構設計、流水線分配，以及運算融合。
AI處理器硬件架構設計第4章介紹了向量處理單元的詳細微架構設計，涉及從整體微架構到各個功能單元的設計，包括浮點運算單元、各種向量類指令和超越函數類指令的硬件實現。
第5章介紹了矩陣處理單元的詳細微架構設計，重點闡述了數據流設計、脈動陣列的設計和優化，以及乘累加單元的硬件實現。
第6章介紹了標量處理單元的詳細微架構設計，對應于標量指令的生命周期，基于AI處理器與通用CPU在應用場景與設計考量上的差異，根據流水線設計的次序，依次講解了指令提取單元、分支預測單元、指令譯碼單元與指令發射單元、執行單元，以及訪存單元的微架構設計。
第7章介紹了數據搬運單元的設計，包括數據傳輸和在線處理，以及總線接口單元設計。
第8章介紹了AI處理器中存儲系統的設計，包括存儲器中Bank的劃分、Gather/Scatter引擎的設計，以及進行相應的物理實現時需要關注的問題。
第9章對西安交通大學人工智能與機器人研究所研發的HiPU微架構進行了深度剖析，包括從指令集設計到硬件架構的實現。通過對流水線和各功能單元微架構的介紹，讀者可對第2~8章中介紹的內容進行相互印證并將所學知識融會貫通。
感謝西安交通大學趙文哲副教授和大洋彼岸的同學Howard Wong在本書策劃與編寫過程中提供的指導及幫助；感謝機械工業出版社編輯李培培一如既往的關照和支持。
天下事，在局外吶喊議論，總是無益。必須躬身入局，挺膺負責，方有成事之可冀。最后以此句話與各位業界同仁共勉。
李東聲
任子木
處理器架構高級工程師
主導多款高性能推理/訓練處理器和數字信號處理器架構與核心模塊設計。諳熟業界主流高性能處理器指令集架構，帶領團隊設計的芯片廣泛應用于相機、無人機和服務器中。在計算機體系結構、圖像處理等方向有豐富的實踐經驗。申請國內外發明專利五十余項。
李東聲
處理器架構師
專注于ARM/RISC-V架構高性能處理器設計、性能分析優化、架構演進探索與關鍵技術研究。參與和主導多項高性能CPU與AI處理器IP架構/微架構以及SoC設計，商用產品涉及服務器、移動終端、邊緣計算等多個領域。授權國內外發明專利十余項。
推薦語
前言
第1章 AI處理器概述
1.1神經網絡基礎
1.1.1卷積神經網絡簡介
1.1.2殘差神經網絡簡介
1.1.3Transformer網絡簡介
1.2應用場景及其硬件需求介紹
1.2.1圖像識別場景簡介
1.2.2自動駕駛場景簡介
1.2.3自然語言生成場景簡介
1.3硬件加速平臺介紹
1.3.1GPU簡介
1.3.2DSA簡介
第2章 AI處理器指令集設計
2.1標量指令集設計
2.2向量指令集設計
2.2.1寄存器設計
2.2.2算術邏輯類指令設計
2.2.3規約類指令設計
2.2.4重排列類指令設計
2.2.5數制轉換類指令設計
2.2.6訪存類指令設計
2.3矩陣運算指令設計
2.4DMA描述符設計
第3章AI處理器架構設計
3.1AI處理器架構概述
3.1.1VLIW SIMD架構設計
3.1.2超標量 SIMD架構設計
3.1.3SIMT架構設計
3.2向量運算和矩陣運算的融合層級
3.2.1寄存器級融合
3.2.2存儲器級融合
3.3向量處理單元架構選型
3.3.1Memory直連型向量處理單元設計
3.3.2基于VRF的向量處理單元設計
3.4標量流水線和向量矩陣流水線的位置關系
3.4.1并行流水線結構設計
3.4.2串行流水線結構設計
3.5AI處理器整體架構設計
第4章 向量處理單元設計
4.1向量處理單元整體架構設計
4.2向量指令發射設計
4.2.1順序發射設計
4.2.2亂序發射設計
4.3浮點運算單元設計
4.3.1IEEE 754協議介紹
4.3.2浮點加法器設計
4.3.3浮點乘法器設計
4.3.4浮點除法器設計
4.3.5浮點運算的融合
4.4跨通道跨切片處理單元設計
4.4.1規約類指令的硬件實現
4.4.2壓縮類指令的硬件實現
4.4.3排序類指令的硬件實現
4.5超越函數類指令的硬件實現
4.5.1CORDIC算法介紹
4.5.2分段線性逼近實現
4.5.3分段查表結合多項式運算實現
第5章 矩陣處理單元設計
5.1矩陣乘法的硬件映射
5.2數據流設計
5.2.1輸出固定數據流設計
5.2.2權重固定數據流設計
5.2.3輸入固定數據流設計
5.3脈動陣列的結構及計算流程
5.4脈動陣列的優化
5.4.1列間廣播設計
5.4.2行間累加融合設計
5.5定點MAC單元設計
5.5.1定點乘法器設計
5.5.2定點MAC單元微架構設計
5.6浮點MAC單元設計
第6章 標量處理單元設計
6.1前端設計
6.1.1指令提取單元設計
6.1.2分支預測單元設計
6.1.3指令譯碼單元與指令發射單元設計
6.2執行單元設計
6.2.1執行單元流水線設計
6.2.2典型功能單元的微架構實現
6.3訪存單元設計
6.3.1數據緩存子系統概述
6.3.2訪存單元微架構設計
第7章 數據搬運單元設計
7.1數據搬運單元整體架構設計
7.2多維傳輸任務的解析
7.2.1多維傳輸介紹
7.2.2不同維度傳輸的歸一化設計
7.3A線接口設計
7.4在線填充引擎設計
7.5在線排序引擎設計
7.6在線轉置引擎設計
第8章 存儲系統設計
8.1AI處理器中的存儲器設計
8.2存儲器中Bank的劃分方式
8.2.1Bank間地址交織方式
8.2.2Bank劃分粒度介紹
8.3向量存儲器設計
8.4GatherScatter引擎設計
8.5存儲系統的物理實現
第9章 AI處理器設計實例
9.1HiPU硬件架構和指令集綜述
9.1.1核心組件設計
9.1.2存儲層次結構設計
9.1.3指令集設計
9.2HiPU微架構與流水線設計
9.3HiPU數據平面與計算陣列設計
參考文獻
新書資訊