本書從基于圖像的視覺感知角度出發，對面向自動駕駛的交通標識視覺感知相關技術進行系統分析和介紹，主要內容包括基于深度學習的視覺感知、交通標識的視覺識別、雙目視覺與交通標識測距、車道線檢測、面向自動駕駛的嵌入式系統、視覺感知在自動駕駛中的應用展望等。
基于視覺的自動駕駛汽車環境感知中的交通標識識別，從算法和硬件平臺兩個角度出發進行平臺的設計與實現
自動駕駛汽車是人類道路交通工具的未來發展形態，將對人類社會的各方面產生廣泛而深遠的影響。自動駕駛汽車具有減少道路交通事故、緩解城市交通擁堵并減少環境污染等諸多優勢。自動駕駛技術是一個涉及車輛工程、計算機科學、人工智能、模式識別和智能控制的多學科、跨學科綜合研究領域，是人工智能技術在汽車領域的關鍵應用。自動駕駛汽車的核心是具有環境感知、規劃決策和控制執行的移動信息處理平臺，其中環境感知是自動駕駛汽車獲取外界信息的源頭，占據著關鍵的地位。
視覺感知在環境感知中發揮著極其重要的作用，是獲取物理世界實時信息的主要方式。以深度學習為代表的人工智能技術在視覺感知上的進展推動了各類視覺應用性能的提升，逐漸達到實用的程度。交通標識包括道路交通設置的交通標識牌、紅綠燈以及地面的車道線和停止線等交通指示線信息，基于深度學習的視覺感知通過對交通標識的檢測、識別與測距，能夠完成自動駕駛汽車需要的環境感知需求。本書對面向自動駕駛的交通標識視覺感知相關技術進行了系統的介紹，梳理了自動駕駛需要實現的系統功能、交通標識視覺識別技術的原理和實現、雙目視覺在交通標識測距上的應用以及車道線檢測的基本方法和實現參考，最后通過對實現平臺的介紹，可為相關研究人員在這一領域開展研究提供相關參考。
全書共分為8章。第1章對自動駕駛的發展歷史、分級定義與功能分析、硬件平臺及軟件平臺進行了詳細的介紹； 第2章介紹了人工智能的發展歷程和研究途徑，分析了人工智能技術，特別是深度學習和強化學習在自動駕駛中的應用場景； 第3章介紹了基于深度學習的視覺感知技術在圖像分類、目標檢測、目標跟蹤和圖像分割應用上的典型算法； 第4章介紹了如何采用深度學習框架、制作數據集、修改和設計神經網絡模型實現交通標識的視覺識別； 第5章介紹了雙目視覺定義和原理、交通標識測距的流程和方法、試驗結果與分析； 第6章介紹了基于傳統視覺和深度學習的視覺感知，詳細介紹了實現車道線檢測的不同方法的原理和實現方法，包括實現代碼和具體流程； 第7章介紹了視覺感知處理依賴的嵌入式計算機系統，包括視覺傳感器、硬件計算平臺和軟件開發環境，結合交通標識視覺感知和雙目相機測距，給出了系統實現框架； 第8章介紹了視覺感知技術在自動駕駛中的應用展望，給出了視覺感知技術能夠進一步推動自動駕駛發展的研究方向。
在本書的編寫過程中，得到了沈陽工業大學多位教師和研究生的幫助和支持，徐佳鋒同學的研究工作使得車道線檢測部分的內容更加完善，陳健、蔣慶齡、吳思男、郭玉婷、楊麗、王守滿、賀繼昌、趙鋆益等同學做了大量的書稿整理和完善工作。
在本書的編寫過程中，編者參閱了大量的文獻資料，從中得到了許多有益的啟發和幫助，在此向這些文獻的作者表示衷心的感謝。感謝全國勞動模范、奇瑞汽車股份有限公司汽車工程技術研發總院的徐有忠博士為本書作序，他在本書的編寫過程中提供了很多中肯的建議，同時對清華大學出版社在出版過程中給予的支持表示誠摯感謝。
由于編者水平有限，加之經驗不足，本書難免有疏漏之處，懇請各位同行和讀者批評指正。
編者
2023年6月
第1章自動駕駛與計算機視覺
1.1自動駕駛發展歷史
1.2自動駕駛的定義與功能分析
1.3自動駕駛硬件平臺
1.4自動駕駛軟件平臺
1.5計算機視覺與感知
1.6視覺感知在自動駕駛中的應用
參考文獻
第2章人工智能及其在自動駕駛中的應用
2.1人工智能基礎
2.1.1人工智能的發展歷程
2.1.2人工智能的研究途徑
2.1.3人工智能的趨勢與展望
2.2機器學習與深度學習
2.2.1機器學習的含義與分類
2.2.2深度學習的發展歷程
2.2.3深度學習與計算機視覺
2.2.4深度學習與自然語言處理
2.3強化學習
2.3.1強化學習的基本要素
2.3.2強化學習的常用方法
2.3.3強化學習的發展方向
2.4深度學習在自動駕駛中的應用
2.4.1交通標識識別
2.4.2目標感知
2.4.3車道線檢測
2.4.4自動泊車
2.4.5司乘人員狀態監控
2.5強化學習在自動駕駛中的應用
參考文獻
第3章基于深度學習的視覺感知
3.1深度學習基礎
3.2計算機視覺技術
3.3圖像分類典型算法
3.4目標檢測典型算法
3.4.1兩階段目標檢測方法
3.4.2單階段目標檢測方法
3.5目標跟蹤典型算法
3.6圖像分割典型算法
3.6.1語義分割算法
3.6.2實例分割算法
參考文獻
第4章交通標識的視覺識別
4.1交通標識和信號燈檢測
4.1.1交通標識檢測
4.1.2交通信號燈檢測
4.2卷積神經網絡與目標檢測
4.2.1卷積神經網絡結構分析
4.2.2目標檢測算法評估指標
4.2.3YOLOv3目標檢測模型分析
4.3數據集準備
4.3.1開源數據集的現狀及使用方法
4.3.2自制數據集的工作流程
4.4深度學習框架及模型使用
4.4.1主流深度學習框架
4.4.2開源模型使用方法
4.5交通標識與信號燈檢測模型
4.5.1TYOLO模型設計要點
4.5.2輕量化網絡設計
4.5.3TMYOLO網絡
4.5.4檢測模型試驗
參考文獻
第5章雙目視覺與交通標識測距
5.1雙目視覺
5.1.1雙目視覺定義
5.1.2雙目視覺面臨的問題
5.2雙目視覺的應用
5.3雙目測距原理與優化
5.3.1雙目視覺測距原理
5.3.2雙目視覺測距優化
5.4交通標識測距
5.4.1相機標定及校正映射表計算
5.4.2圖像預處理
5.4.3金字塔模板匹配
5.4.4坐標校正及測距
5.4.5測距流程
5.5試驗與結果分析
5.5.1雙目視覺傳感器
5.5.2視覺傳感器參數計算
5.5.3車載環境試驗與分析
參考文獻
第6章車道線檢測
6.1車道線檢測
6.2車道線檢測研究進展
6.2.1傳統視覺檢測方法
6.2.2深度學習檢測方法
6.3基于傳統視覺的車道線檢測
6.3.1透視變換
6.3.2動態閾值提取車道線
6.3.3車道線方程擬合
6.3.4平滑輸出方法
6.4基于深度學習的車道線檢測
6.4.1語義分割網絡與車道線檢測
6.4.2基于DABNet的改進模型
參考文獻
第7章面向自動駕駛的嵌入式系統
7.1嵌入式系統構成
7.2車載攝像頭
7.2.1車載攝像頭組成
7.2.2車載攝像頭性能參數
7.3嵌入式硬件計算平臺
7.3.1各類計算平臺的性能和功耗
7.3.2不同計算平臺優、缺點分析
7.3.3產業格局及代表產品
7.4嵌入式系統軟件環境
7.4.1計算平臺中的開發環境
7.4.2Jetson TX2中配置深度學習框架
7.4.3基于TensorRT的模型量化壓縮
7.5交通標識視覺感知系統框架
7.6交通標識視覺感知系統實現
7.6.1圖像采集與目標檢測
7.6.2基于MobileNetv2的目標識別模塊
7.6.3雙目相機測距模塊
參考文獻
第8章視覺感知在自動駕駛中的應用展望
8.1視覺感知與交通標識
8.2視覺感知與內容理解
8.3視覺感知與數字孿生
8.4視覺感知與信息獲取
8.5視覺感知與計算平臺
8.6環境感知與信息融合
參考文獻
新書資訊