章毓晉1989年獲比利時列日大學應用科學博士學位。1989 1993年先后在荷蘭德爾夫特大學從事博士后研究并擔任專職研究員。1993年到清華大學任教，1997年被聘為教授，1998年被聘為博士生導師，2014年成為教學科研系列長聘教授。2003年學術休假一年，期間同時被聘為新加坡南洋理工大學訪問教授。在清華大學，先后開出并講授過10多門本科生和研究生課程，包括圖象處理圖象分析圖象理解基于內容的視覺信息檢索等。在南洋理工大學，開出并講授過研究生課程Advanced Image Analysis。已編寫出版了中英文教材30多本（共印刷30多萬冊）。已在國內外發表了30多篇教學研究論文。主要科研領域為其積極倡導的圖像工程（圖像處理、圖像分析、圖像理解及其技術應用）和相關學科。已在國內外發表500多篇圖像工程研究論文；出版了專著《圖象分割》《基于內容的視覺信息檢索》《基于子空間的人臉識別》；編著了《英漢圖像工程辭典》（第1版、第2版和第3版）及《圖像工程技術選編》《圖像工程技術選編（二）》；將Computational Geometry, Topology and Physics of Digital Images with Applications (Springer-Verlag, Germany)翻譯為中文；主持編著了Advances in Image and Video Segmentation和Semantic-Based Visual Information Retrieval (IRM Press, USA)，以及Advances in Face Image Analysis: Techniques and Technologies (IGI Global, USA)；編著了Handbook of Image Engineering (Springer Nature, Singapore)，以及A Selection of Image Processing Techniques, A Selection of Image Analysis Techniques, A Selection of Image Understanding Techniques (CRC Press, USA)。現為中國圖象圖形學學會會士和名譽監事長、國際光學工程學會（SPIE）會士（因在圖像工程方面的成就）；曾任第二十四屆國際圖象處理學術會議（ICIP2017）程序委員會主席。
第1章 緒論 001
1.1 計算機視覺簡介 002
1.1.1 人類視覺要點 002
1.1.2 計算機視覺 003
1.1.3 相關學科 004
1.2 計算機視覺理論和框架 007
1.2.1 視覺計算理論 007
1.2.2 框架問題和改進 011
1.2.3 關于馬爾重建理論的討論 013
1.2.4 新理論框架的研究 016
1.2.5 從心理認知出發的討論 018
1.3 圖像工程簡介 021
1.3.1 圖像工程的3個層次 021
1.3.2 圖像工程的研究和應用 023
1.4 深度學習簡介 024
1.4.1 卷積神經網絡的基本概念 024
1.4.2 深度學習的核心技術 028
1.4.3 計算機視覺中的深度學習 030
1.5 本書的組織架構和內容 032
參考文獻 033
第2章 攝像機成像和標定 036
2.1 亮度成像模型 037
2.1.1 光度學概念 037
2.1.2 基本的亮度成像模型 038
2.2 空間成像模型 039
2.2.1 投影成像幾何 039
2.2.2 基本空間成像模型 040
2.2.3 通用空間成像模型 043
2.2.4 完整空間成像模型 045
2.3 攝像機模型 047
2.3.1 線性攝像機模型 047
2.3.2 非線性攝像機模型 050
2.4 攝像機標定方法 053
2.4.1 標定方法分類 053
2.4.2 傳統標定方法 055
2.4.3 自標定方法 058
2.4.4 結構光主動視覺系統標定方法 061
2.4.5 在線攝像機外參數標定方法 066
參考文獻 069
第3章 深度圖像采集 071
3.1 深度圖像和深度成像 072
3.1.1 深度圖像 072
3.1.2 深度成像 074
3.2 直接深度成像 075
3.2.1 激光掃描介紹 075
3.2.2 飛行時間法 079
3.2.3 LiDAR 081
3.2.4 結構光法 082
3.2.5 莫爾等高條紋法 084
3.3 間接深度成像 087
3.3.1 雙目橫向模式 087
3.3.2 雙目會聚橫向模式 092
3.3.3 雙目軸向模式 095
3.4 單像素深度成像 097
3.4.1 單像素成像原理 097
3.4.2 單像素相機 098
3.4.3 單像素3D成像 100
3.5 生物視覺與立體視覺 102
3.5.1 生物視覺和雙目視覺 102
3.5.2 從單目到雙目立體 102
參考文獻 103
第4章 3D點云數據采集及加工 105
4.1 點云數據概況 106
4.1.1 點云數據獲取方式 106
4.1.2 點云數據類型 107
4.1.3 點云數據加工任務 108
4.1.4 LiDAR測試數據集 109
4.2 點云數據預處理 109
4.2.1 點云數據補漏 110
4.2.2 點云數據去噪 110
4.2.3 點云數據地面區域濾波 111
4.2.4 點云數據精簡/壓縮 112
4.2.5 多平臺點云數據配準 114
4.2.6 點云數據與影像數據配準 116
4.3 激光點云3D建模 117
4.3.1 德勞內三角網法 117
4.3.2 面片擬合法 118
4.4 3D模型的紋理映射 121
4.4.1 顏色紋理映射法 121
4.4.2 幾何紋理映射法 123
4.4.3 過程紋理映射法 123
4.5 點云特征描述 124
4.5.1 全局特征描述符和局部特征描述符 124
4.5.2 3種局部特征描述符 125
4.6 點云理解與深度學習 126
4.7 仿生優化配準點云 128
4.7.1 布谷鳥搜索 128
4.7.2 改進的布谷鳥搜索 129
4.7.3 點云配準應用 131
參考文獻 132
第5章 雙目立體視覺 137
5.1 基于區域的雙目立體匹配 138
5.1.1 模板匹配 138
5.1.2 立體匹配 141
5.2 基于特征的雙目立體匹配 147
5.2.1 基本步驟 147
5.2.2 尺度不變特征變換 150
5.2.3 加速魯棒性特征 152
5.2.4 動態規劃匹配 158
5.3 視差圖誤差檢測與校正 160
5.3.1 誤差檢測 160
5.3.2 誤差校正 161
5.4 基于深度學習的立體匹配 163
5.4.1 立體匹配網絡 163
5.4.2 基于特征級聯CNN的匹配 165
參考文獻 166
第6 章 多目立體視覺 170
6.1 水平多目立體匹配 171
6.1.1 多目圖像和SSD 171
6.1.2 倒距離和SSSD 173
6.2 正交三目立體匹配 175
6.2.1 正交三目 175
6.2.2 基于梯度分類的正交匹配 180
6.3 多目立體匹配 184
6.3.1 任意排列三目立體匹配 185
6.3.2 正交多目立體匹配 189
6.4 等基線多攝像機組 190
6.4.1 圖像采集 191
6.4.2 圖像合并方法 192
6.5 單攝像機多鏡反射折射系統 193
6.5.1 總體系統結構 194
6.5.2 成像和標定模型 195
參考文獻 196
第7 章 單目多圖像場景恢復 199
7.1 單目圖像場景恢復 200
7.2 由光照恢復形狀 201
7.2.1 物體亮度和圖像亮度 202
7.2.2 表面反射特性和亮度 205
7.2.3 物體表面朝向 207
7.2.4 反射圖和圖像亮度約束方程 209
7.2.5 圖像亮度約束方程求解 211
7.3 由運動恢復形狀 215
7.3.1 光流和運動場 215
7.3.2 光流場和光流方程 217
7.3.3 光流方程求解 219
7.3.4 光流與表面取向 225
7.3.5 光流與相對深度 227
7.4 由分割輪廓恢復形狀 228
7.5 光度立體技術綜述 230
7.5.1 光源標定 230
7.5.2 非朗伯表面反射模型 231
7.5.3 彩色光度立體 232
7.5.4 3D重建方法 233
7.6 基于GAN的光度立體 234
7.6.1 網絡結構 234
7.6.2 損失函數 235
參考文獻 236
第8章 單目單圖像場景恢復 241
8.1 由影調恢復形狀 242
8.1.1 影調與形狀 242
8.1.2 圖像亮度方程求解 245
8.2 由紋理恢復形狀 251
8.2.1 單目成像和紋理畸變 252
8.2.2 由紋理變化恢復表面朝向 254
8.2.3 紋理消失點檢測 260
8.3 由焦距確定深度 265
8.4 根據三點透視估計位姿 267
8.4.1 三點透視問題 267
8.4.2 迭代求解 268
8.5 混合表面透視投影下的由影調恢復形狀 269
8.5.1 改進的Ward反射模型 269
8.5.2 透視投影下的圖像亮度約束方程 270
8.5.3 圖像亮度約束方程求解 272
8.5.4 基于Blinn-Phong反射模型的方程 273
8.5.5 新圖像亮度約束方程求解 274
參考文獻 276
第9章 廣義匹配 278
9.1 匹配介紹 279
9.1.1 匹配策略 279
9.1.2 匹配算法分類 280
9.1.3 匹配評價 281
9.2 目標匹配 282
9.2.1 匹配的度量 282
9.2.2 對應點匹配 285
9.2.3 慣量等效橢圓匹配 286
9.3 動態模式匹配 288
9.3.1 匹配流程 288
9.3.2 絕對模式和相對模式 289
9.4 匹配和配準 291
9.4.1 配準的實現 291
9.4.2 基于特征匹配的異構遙感圖像配準 293
9.4.3 基于空間關系推理的圖像匹配 294
9.5 關系匹配 295
9.6 圖同構匹配 298
9.6.1 圖論簡介 298
9.6.2 圖同構和匹配 301
9.7 線條圖標記和匹配 304
9.7.1 輪廓標記 304
9.7.2 結構推理 305
9.7.3 回朔標記 307
9.8 多模態圖像匹配 308
9.8.1 基于區域的技術 308
9.8.2 基于特征的技術 310
參考文獻 312
第10章 同時定位和制圖 317
10.1 SLAM概況 318
10.1.1 激光SLAM 318
10.1.2 視覺SLAM 321
10.1.3 對比和結合 323
10.2 激光SLAM算法 324
10.2.1 Gmapping算法 324
10.2.2 Cartographer算法 326
10.2.3 LOAM算法 330
10.3 視覺SLAM算法 331
10.3.1 ORB-SLAM算法系列 331
10.3.2 LSD-SLAM算法 336
10.3.3 SVO算法 341
10.4 群體機器人和群體SLAM 343
10.4.1 群體機器人的特性 344
10.4.2 群體SLAM要解決的問題 344
10.5 SLAM的一些新動向 345
10.5.1 SLAM與深度學習的結合 345
10.5.2 SLAM與多智能體的結合 346
參考文獻 347
第11 章 時空行為理解 354
11.1 時空技術 355
11.1.1 新的研究領域 355
11.1.2 多個層次 356
11.2 動作分類和識別 357
11.2.1 動作分類 358
11.2.2 動作識別 360
11.3 主體與動作聯合建模 363
11.3.1 單標簽主體?動作識別 363
11.3.2 多標簽主體?動作識別 364
11.3.3 主體?動作語義分割 365
11.4 活動和行為建模 368
11.4.1 動作建模 369
11.4.2 活動建模和識別 373
11.4.3 基于關節點的行為識別 378
11.5 異常事件檢測 381
11.5.1 自動活動分析 381
11.5.2 異常事件檢測方法分類 383
11.5.3 基于卷積自編碼器的檢測 386
11.5.4 基于單類神經網絡的檢測 387
參考文獻 388
主題索引 392
新書資訊