本書從計算機視覺技術和增強現實的概述開始著筆,繼而討論增強現實理論基礎,然后介紹增強現實系統,后討論增強現實行業應用及發展趨勢。本書可作為高等院校計算機視覺或增強現實基礎課程的參考教材,也可供有意從事AR相關行業的從業人員參考。
近年來,隨著增強現實(AR)技術的火熱,越來越多的人開始關注相關領域的動態及發展,尤其是相當一部分軟件開發者及技術愛好者已經開始計劃從事AR行業相關的研究或開發工作。由于增強現實技術近幾年才進入公眾的視野,且涉及眾多計算機視覺的復雜概念,相關知識又有著相當的深度及廣度,因此目前市面上還沒有一本系統介紹增強現實相關理論基礎、軟硬件系統及應用案例的專業書籍。
本書從增強現實的基本概念出發,系統介紹AR相關的理論、系統設計、行業應用及發展趨勢,可以作為計算機科學、電子工程及其他相關院系的計算機視覺或增強現實基礎課程的參考教材,也可以作為有意從事AR相關行業的從業人員的業務參考書。同時,對增強現實技術感興趣的讀者,也可以通過本書對AR的不同方面有一個系統的認識,為之后進一步的研究打下良好的基礎。
本書部分章節涉及一些數學公式及程序實例,若想透徹理解這些內容,需要讀者有良好的高等數學基礎并有一定的實用基礎軟件編程能力,例如C++或 C#。考慮到大多數讀者的需要,本書第2章對增強現實相關的計算機視覺基本概念進行了簡單描述。建議一般讀者按照章節的順序逐章進行閱讀,有計算機視覺基礎的專業讀者則可按照自身情況選擇相關內容進行閱讀。對于非技術人員或者對AR應用及發展感興趣的讀者,可重點閱讀第5~7章。在本書的編寫過程中,我們得到了眾多友人的支持。感謝浙江大學周泓教授為本書的修改多次提出寶貴意見,感謝香港理工大學池哲儒教授在百忙之中為本書寫序。最后,感謝機械工業出版社的編輯為本書的出版付出的辛勤勞動。
雖然本書經過了多次校對,但難免會有疏漏之處。歡迎讀者指出其中的錯誤,以便我們及時更正。
最后,愿廣大讀者朋友在本書的幫助下,都能很好地理解增強現實技術的各方面內容。愿本書能為增強現實在國內的普及以及在世界范圍內的發展獻上綿薄之力。
序言
前言
第1章 計算機視覺與增強現實應用概論1
1.1 計算機視覺概述1
1.1.1 計算機視覺發展歷程2
1.1.2 計算機視覺常見模塊5
1.1.3 計算機視覺應用領域8
小結9
1.2 增強現實概述9
1.2.1 增強現實發展歷程11
1.2.2 增強現實表現形式14
1.2.3 增強現實應用領域19
小結21
第2章 增強現實理論基礎23
2.1 增強現實理論基礎簡介23
2.2 增強現實的攝像機空間理論25
2.2.1 攝像機透視模型25
2.2.2 攝像機參數矩陣27
2.2.3 雙目攝像機立體視覺系統32
小結36
2.3 圖像處理基本原理37
2.3.1 數字圖像的色彩模型37
2.3.2 圖像的截取與縮放40
2.3.3 線性濾波器的運用42
小結46
2.4 圖像局部特征的提取與匹配46
2.4.1 SIFT特征描述子47
2.4.2 ORB特征描述子56
2.4.3 模板匹配64
小結66
2.5 圖像的邊緣檢測67
2.5.1 一階導數邊緣檢測67
2.5.2 二階導數邊緣檢測69
2.5.3 Canny算子邊緣檢測73
2.5.4 基于二值圖像的模板匹配74
小結80
2.6 位姿估計80
2.7 用于運動狀態預測的濾波器83
2.7.1 貝葉斯濾波器83
2.7.2 粒子濾波器85
2.7.3 卡爾曼濾波器90
小結95
2.8 即時定位與地圖構建系統95
2.8.1 單目LSD-SLAM97
2.8.2 單目ORB-SLAM104
小結107
第3章 增強現實系統簡介108
3.1 增強現實軟件系統108
3.1.1 增強現實軟件系統概述108
3.1.2 基于平面圖像識別的增強現實系統110
3.1.3 基于實物識別的增強現實系統113
3.1.4 基于SLAM的增強現實系統116
小結117
3.2 增強現實硬件系統117
3.2.1 基于高清攝像機的舞臺增強現實系統117
3.2.2 基于普通智能手機的增強現實系統119
3.2.3 基于包含深度攝像模塊的手持設備增強現實系統119
3.2.4 基于單目智能眼鏡的增強現實系統122
3.2.5 基于雙目可穿透式智能眼鏡的增強現實系統124
3.2.6 基于投影的增強現實系統125
小結127
3.3 國際主流增強現實引擎簡介127
第4章 增強現實相關的人機交互系統簡介129
4.1 手勢識別交互系統129
4.1.1 2D靜態手勢識別129
4.1.2 2D動態手勢識別130
4.1.3 3D手勢識別130
4.2 語音識別交互系統132
4.3 眼動追蹤交互系統134
小結135
第5章 增強現實行業應用136
5.1 增強現實在教育和技能培訓領域的應用136
5.1.1 早教類增強現實應用137
5.1.2 學科教學類增強現實應用138
5.1.3 工業培訓類增強現實應用140
5.2 增強現實在游戲娛樂領域的應用141
5.3 市場營銷類增強現實應用143
5.4 文化旅游類增強現實應用146
5.5 工業和醫療類增強現實應用147
5.6 軍事類增強現實應用149
小結150
第6章 增強現實系統發展趨勢151
6.1 增強現實軟件發展趨勢151
6.1.1 深度學習與增強現實的結合151
6.1.2 云計算技術與增強現實的結合155
6.1.3 大范圍三維重建技術156
小結160
6.2 增強現實硬件發展趨勢160
6.2.1 基于光場成像技術的增強現實系統160
6.2.2 基于半導體光學的增強現實系統169
小結172
6.3 增強現實人機交互技術發展趨勢172
6.3.1 新形態用戶界面172
6.3.2 新形態交互技術181
小結182
第7章 結語183