物體6自由度（6D，6DoF）位姿估計是機器人視覺、增強現實、自動駕駛、具身智能等領域的核心技術。本書分層次介紹了有紋理物體、低紋理物體，以及反光低紋理物體位姿估計的先進機器視覺理論、方法及關鍵技術，其中以最具挑戰(zhàn)性的反光低紋理物體為重點。
全書包含8章，第1章為緒論，介紹視覺6D位姿估計的基本概念、研究現狀，及現有技術面臨的挑戰(zhàn)；第2章介紹視覺6D位姿估計的基礎知識；第3章介紹適用于有紋理物體的基于圖像特征點匹配的方法；第4章介紹適用于低紋理物體的判別式神經網絡方法；第5章～第8章介紹適用于反光低紋理物體的理論、方法及數據集，其中，第5章和第6章分別為基于低層和高層幾何特征的理論與方法，第7章介紹基于“特征_圖像”的生成式深度神經網絡理論與方法，第8章介紹構建的大型反光低紋理物體圖像數據集RT-Less。
發(fā)表第一/通訊作者SCI期刊論文36篇(含在線發(fā)表)，其中權威期刊論文22篇（占61.1%）：包括中科院1區(qū)論文10篇、中科院2區(qū)及浙大TOP期刊論文12篇。
目錄
前言
第1章 緒論 1
1.1 物體6D位姿估計的基本概念 1
1.2 物體6D位姿估計的研究現狀 2
1.2.1 傳統6D位姿估計方法 3
1.2.2 基于深度學習的6D位姿估計方法 4
1.3 反光低紋理物體位姿估計的挑戰(zhàn) 8
1.4 本書的主要內容與結構 9
參考文獻 12
第2章 視覺6D位姿估計基礎 15
2.1 空間幾何變換 15
2.1.1 齊次坐標 15
2.1.2 射影變換 16
2.1.3 仿射變換 17
2.1.4 歐式空間剛體變換 17
2.2 相機模型 19
2.2.1 像素坐標系到圖像坐標系的轉換 19
2.2.2 圖像坐標系到相機坐標系的轉換 20
2.2.3 相機坐標系到世界坐標系的轉換 22
2.3 相機標定及校正 22
2.3.1 相機內外參標定 23
2.3.2 相機畸變校正 25
2.3.3 相機內參標定實例 26
2.4 “手眼”標定及坐標轉換 30
2.4.1 手眼標定 30
2.4.2 坐標轉換 31
2.5 PnP問題和RANSAC算法 32
2.5.1 PnP 問題 33
2.5.2 隨機采樣一致性 34
2.6 位姿估計方法的有效性評價 35
2.6.1 魯棒性評價指標：正確率 35
2.6.2 精度評價指標：旋轉與平移誤差 36
參考文獻 36
第3章 基于圖像特征點匹配的6D位姿估計 38
3.1 圖像特征與特征匹配 38
3.1.1 圖像特征(點） 38
3.1.2 圖像特征點提取——以SIFT和LIFT特征點為例 39
3.1.3 圖像特征點匹配 43
3.2 基于圖像特征點匹配的6D位姿估計方法 44
3.2.1 通過求解相對位姿計算絕對位姿 44
3.2.2 通過求解PnP問題直接求解絕對位姿 46
3.3 圖像特征點誤匹配剔除 47
3.3.1 誤匹配帶來的挑戰(zhàn) 47
3.3.2 傳統的誤匹配去除方法 48
3.3.3 基于三角拓撲與概率采樣的誤匹配去除方法 49
3.4 位姿估計實例 51
參考文獻 53
第4章 基于判別式網絡的低紋理物體6D位姿估計 54
4.1 基于多模態(tài)表征的6D位姿初始估計方法 54
4.1.1 單目提升融合網絡架構 55
4.1.2 3D幾何表征回歸模塊 55
4.1.3 2D幾何表征回歸模塊 57
4.1.4 損失函數和2D-3D匹配 60
4.1.5 位姿估計實驗分析 61
4.2 基于長短程感知配準網絡的位姿精細估計方法 63
4.2.1 區(qū)域級關鍵點熱力圖構建 64
4.2.2 目標級初始位姿渲染圖構建 65
4.2.3 全局級像素位置編碼 66
4.2.4 基于長短程感知配準網絡的位姿精細估計網絡設計 66
4.2.5 分割引導的域特征自適應編碼 68
4.2.6 基于偏移門控機制的域特征長程感知配準 69
4.2.7 基于關鍵點潛在區(qū)域短程感知的位姿求解 71
4.2.8實驗驗證 72
參考文獻 77
第5章 基于低層幾何特征的反光低紋理物體6D位姿估計 79
5.1 基于空間圓錐求交的橢圓特征6D位姿估計 79
5.1.1 基于輪廓梯度分類的橢圓檢測 79
5.1.2 基于圓錐求交的橢圓位姿估計 85
5.1.3位姿估計實驗 91
5.2 基于頻域相關性分析的一般平面特征位姿估計 96
5.2.1 基于先驗水平集的平面圖形檢測 97
5.2.2 基于相關性分析的位姿初始估計 100
5.2.3 基于LM算法的位姿迭代求解 102
5.2.4位姿估計實驗 104
參考文獻 106
第6章 基于高層幾何特征的反光低紋理物體6D位姿估計 108
6.1 基于直線族特征的6D位姿估計 108
6.1.1 基于規(guī)整化直線檢測子的無紋理零件特征提取 108
6.1.2 基于對比度不變線束描述子的無紋理零件邊緣輪廓匹配 113
6.1.3 基于直線族特征的零件位姿估計 121
6.1.4 位姿估計實驗 123
6.2 基于虛擬幾何點匹配的6D位姿估計 133
6.2.1 基于區(qū)域融合的多光源幾何特征增強 133
6.2.2 基于虛擬幾何點匹配的位姿估計 138
6.2.3 位姿估計實驗 142
參考文獻 148
第7章 基于生成式觀察空間的反光低紋理物體6D位姿估計 150
7.1 觀察空間——機器人視覺系統的構型空間 151
7.1.1 觀察空間的定義 151
7.1.2 觀察空間的界定與估計方法 154
7.1.3 觀察空間的工業(yè)場景應用 159
7.2 生成式觀察空間與“特征_圖像”模式識別方法 161
7.2.1 生成式觀察空間模型 162
7.2.2 “特征-圖像”模式識別方法 165
7.2.3 觀察空間的主觀位姿表達方式 167
7.3 基于VAE生成式觀察空間的單目標6D位姿估計方法 172
7.3.1 面向6D位姿估計的變分自編碼器 173
7.3.2 基于VAE的反光低紋理物體生成式觀察空間 175
7.3.3 基于“特征-圖像”方法的6D位姿估計 183
7.3.4 實驗驗證 193
7.4 透視誤差與多目標場景的6D位姿估計 199
7.4.1 “透視誤差”現象 200
7.4.2 局部觀察空間 211
7.4.3 基于“監(jiān)督式生成模型”的位姿估計算法 213
7.4.4 實驗驗證 217
參考文獻 223
第8章 反光低紋理金屬零件6D位姿估計數據集構建 227
8.1 均勻化視角分布的全自動圖像采樣系統 228
8.1.1 基于黃金分割策略的均勻化圖像采樣方法 228
8.1.2 多設備聯動協同自動化拍攝控制系統設計 232
8.2 基于ArUco靶標的快速全自動精確真值標注方法 233
8.3 RT-Less數據集內容及測試 237
8.3.1 RT-Less的訓練集 238
8.3.2 RT-Less的測試集 239
8.3.3 數據集使用方法 240
8.3.4 RT-Less數據集測試實驗及結果分析 241
參考文獻 244
彩圖
新書資訊