本書以函數逼近論與學習理論為主要工具，建立了一個系統的數學框架來解釋深度的必要性、深度神經網絡的適用性、數據規模對深度神經網絡的影響、深度選擇問題、網絡結構選擇問題及過參數化深度神經網絡的泛化性等現階段深度學習亟待解決的核心理論問題。本書的主要目的有三個:其一是期望從學習理論的角度給出作者的見解，能為某些方向的學者解惑；其二是為打算進入深度學習理論這一領域的青年學者及廣大學生提供參考，使其能盡快領略深度學習理論的魅力;其三是拋磚引玉，希望更多的學者關注到深度學習理論這一方向并推動這一領域的更快發展。
2009.09－2014.09 西安交通大學博士；2002.09-2009.06 杭州師范大學 本科與碩士2019.06至今 西安交通大學，教授 2014.09-2019.06 溫州大學，講師，教授
2017.08-2019.08 香港城市大學數學系研究員
2017.01-2017.08 香港理工大學應用數學系副研究員
2015.03-2016.03 香港城市大學數學系博士應用數學青年拔尖人才。
主持或以核心骨干參與國家級課題11項。無
目錄
《大數據與數據科學專著系列》序
前言
主要符號表
第1章 深度神經網絡與學習理論 1
1.1 機器學習及其三要素 2
1.2 深度神經網絡 3
1.3 學習理論 6
1.4 深度神經網絡的學習理論問題 10
1.5 文獻導讀 13
第2章 淺層神經網絡的逼近理論 15
2.1 淺層神經網絡的稠密性.15
2.2 淺層神經網絡逼近的復雜性與優越性 18
2.3 淺層神經網絡逼近的局限性 22
2.4 相關證明 26
2.5 文獻導讀 40
第3章 深度的必要性 43
3.1 函數逼近中深度的作用.43
3.2 深度與寬度對神經網絡覆蓋數的影響 45
3.3 深度的必要性.49
3.4 深度神經網絡的最優泛化性 51
3.5 數值實驗 53
3.6 相關證明 55
3.7 文獻導讀 69
第4章 深度全連接神經網絡的學習理論 72
4.1 深度全連接神經網絡的性質 72
4.2 深度全連接神經網絡的適用性 75
4.3 數據規模在深度學習中的作用 80
4.4 數值實驗 84
4.5 相關證明 87
4.6 文獻導讀 102
第5章 深度稀疏連接神經網絡的學習理論 104
5.1 稀疏連接神經網絡 104
5.2 深度稀疏連接神經網絡的性質.108
5.3 深度選擇與深度-參數平衡現象 111
5.4 深度稀疏連接神經網絡的構造 115
5.5 數值實驗 118
5.6 相關證明 121
5.7 文獻導讀 133
第6章 深度卷積神經網絡的學習理論 136
6.1 卷積神經網絡 136
6.2 零填充在卷積神經網絡中的作用 141
6.3 池化的作用 143
6.4 卷積神經網絡的逼近與學習性能 147
6.5 數值實驗 149
6.6 相關證明 152
6.7 文獻導讀 164
第7章 過參數化神經網絡的學習理論 167
7.1 過參數化神經網絡 167
7.2 全局極小解的分布與性質 169
7.3 過參數化神經網絡的泛化性能 171
7.4 數值實驗 174
7.5 相關證明 177
7.6 文獻導讀 185
參考文獻 187
《大數據與數據科學專著系列》已出版書目 195
新書資訊