本書主要對算法的原理進行了介紹，并融合大量的應用案例，詳細介紹使用機器學習模型的一般方法，幫助讀者理解算法原理，學會模型設計。本書首先介紹數據理解、數據的處理與特征，幫助讀者認識數據；然后從宏觀、系統的角度介紹機器學習算法分類、一般學習規則及機器學習的基礎應用；接著根據項目研發的流程，詳細介紹了模型選擇和結構設計、目標函數設計、模型訓練過程設計、模型效果的評估與驗證、計算性能與模型加速；最后通過多個應用案例幫助讀者加強對前面知識點的理解。
統計學中的三要素是模型+策略+算法。
對于算法，本書用原理+示例進行講解，做到學以致用。
對于模型，本書用表格對比各模型優缺點+適用場景+具體案例，讀者可根據場景找到適合的模型。
策略的具體呈現是損失函數，用公式+描述+適用問題對各損失函數進行對比介紹，并用案例詳細展現具體應用。
劉凡平，碩士，畢業于中國科學技術大學，專注于大數據分析、搜索引擎、傳統機器學習和深度的應用與研究，從業多年，深耕在機器學習應用領域，擁有多項人工智能技術領域專利，近兩年擔任過多場全國性人工智能領域賽事的講師與評委，負責過國內一線互聯網企業的機器學習組、算法團隊建設，擁有豐富的人工智能應用落地和團隊管理經驗。2016年至今已出版過《大數據搜索引擎原理分析》《大數據時代的算法》《神經網絡與深度學習應用實戰》等技術專著。
第1章 引言 1
1.1 人工智能概述 2
1.1.1 人工智能的分類 2
1.1.2 人工智能的應用 3
1.2 人工智能與傳統機器學習 5
1.2.1 人工神經網絡與生物神經網絡 5
1.2.2 落地的關鍵因素 6
1.3 機器學習算法領域發展綜述 8
1.3.1 計算機視覺 9
1.3.2 自然語言處理 10
1.3.3 語音識別 11
1.4 小結 13
參考文獻 13
第2章 數據理解 16
2.1 數據的三個基本維度 17
2.1.1 集中趨勢 17
2.1.2 離散趨勢 19
2.1.3 分布形態 20
2.2 數據的統計推論的基本方法 22
2.2.1 數據抽樣 22
2.2.2 參數估計 24
2.2.3 假設檢驗 26
2.3 數據分析 31
2.3.1 基本理念 31
2.3.2 體系結構 32
2.3.3 傳統數據分析方法與示例 33
2.3.4 基于數據挖掘的數據分析方法與示例 35
2.3.5 工作流程 38
2.3.6 數據分析技巧 40
2.3.7 數據可視化 43
2.4 小結 45
參考文獻 45
第3章 數據處理與特征 47
3.1 數據的基本處理 48
3.1.1 數據預處理 48
3.1.2 數據清洗中的異常值判定和處理 49
3.1.3 數據清洗中的缺失值填充 51
3.2 數據的特征縮放和特征編碼 54
3.2.1 特征縮放 54
3.2.2 特征編碼 57
3.3 數據降維 58
3.3.1 基本思想與方法 58
3.3.2 變量選擇 59
3.3.3 特征提取 61
3.4 圖像的特征分析 68
3.4.1 圖像預處理 68
3.4.2 傳統圖像特征提取 74
3.4.3 指紋識別 77
3.5 小結 78
參考文獻 79
第4章 機器學習基礎 81
4.1 統計學習 82
4.1.1 統計學習概述 82
4.1.2 一般研發流程 83
4.2 機器學習算法分類 85
4.2.1 體系框架 85
4.2.2 模型的形式 88
4.3 機器學習的學習規則 90
4.3.1 誤差修正學習 90
4.3.2 赫布學習規則 91
4.3.3 最小均方規則 92
4.3.4 競爭學習規則 93
4.3.5 其他學習規則 94
4.4 機器學習的基礎應用 95
4.4.1 基于最小二乘法的回歸分析 95
4.4.2 基于K-Means的聚類分析 98
4.4.3 基于樸素貝葉斯的分類分析 101
4.5 小結 103
參考文獻 103
第5章 模型選擇和結構設計 105
5.1 傳統機器學習模型選擇 106
5.1.1 基本原則 106
5.1.2 經典模型 107
5.2 經典回歸模型的理解和選擇 108
5.2.1 邏輯回歸 108
5.2.2 多項式回歸 109
5.2.3 各類回歸模型的簡單對比 112
5.3 經典分類模型的理解和選擇 113
5.3.1 K近鄰算法 113
5.3.2 支持向量機 114
5.3.3 多層感知器 115
5.3.4 AdaBoost算法 117
5.3.5 各類分類算法的簡單對比 118
5.4 經典聚類模型的理解和選擇 120
5.4.1 基于劃分的聚類 120
5.4.2 基于層次的聚類 122
5.4.3 基于密度的聚類 126
5.4.4 基于網格的聚類 131
5.4.5 聚類算法的簡單對比 131
5.5 深度學習模型選擇 132
5.5.1 分類問題模型 132
5.5.2 聚類問題模型 138
5.5.3 回歸預測模型 139
5.5.4 各類深度學習模型的簡單對比 140
5.6 深度學習模型結構的設計方向 141
5.6.1 基于深度的設計 141
5.6.2 基于升維或降維的設計 144
5.6.3 基于寬度和多尺度的設計 145
5.7 模型結構設計中的簡單技巧 146
5.7.1 激活函數的選擇 146
5.7.2 隱藏神經元的估算 147
5.7.3 卷積核串聯使用 148
5.7.4 利用Dropout提升性能 149
5.8 小結 150
參考文獻 151
第6章 目標函數設計 154
6.1 損失函數 155
6.1.1 一般簡單損失函數 155
6.1.2 圖像分類場景經典損失函數 156
6.1.3 目標檢測中的經典損失函數 158
6.1.4 圖像分割中的經典損失函數 159
6.1.5 對比場景中的經典損失函數 161
6.2 風險最小化和設計原則 165
6.2.1 期望風險、經驗風險和結構風險 165
6.2.2 目標函數的設計原則 166
6.3 基于梯度下降法的目標函數優化 167
6.3.1 理論基礎 167
6.3.2 常見的梯度下降法 169
6.3.3 改進方法 169
6.4 基于牛頓法的目標求解 173
6.4.1 基本原理 173
6.4.2 牛頓法的計算步驟 174
6.5 小結 175
參考文獻 176
第7章 模型訓練過程設計 178
7.1 數據選擇 179
7.1.1 數據集篩選 179
7.1.2 難例挖掘 180
7.1.3 數據增強 181
7.2 參數初始化 183
7.2.1 避免全零初始化 183
7.2.2 隨機初始化 184
7.3 擬合的驗證與判斷 185
7.3.1 過擬合的模型參數 185
7.3.2 不同算法場景中的欠擬合和過擬合 187
7.4 學習速率的選擇 188
7.4.1 學習速率的一般觀測方法 188
7.4.2 學習速率與批處理大小的關系 189
7.5 遷移學習 189
7.5.1 概念與基本方法 189
7.5.2 應用示例：基于VGG-16的遷移思路 190
7.6 分布式訓練 191
7.6.1 數據并行 191
7.6.2 模型并行 193
7.7 小結 194
參考文獻 194
第8章 模型效果的評估與驗證 196
8.1 模型效果評估的一般性指標 197
8.1.1 分類算法的效果評估 197
8.1.2 聚類算法的效果評估 201
8.1.3 回歸算法的效果評估 205
8.1.4 不同應用場景下的效果評估 206
8.2 交叉驗證 208
8.2.1 基本思想 208
8.2.2 不同的交叉驗證方法 209
8.3 模型的穩定性分析 210
8.3.1 計算的穩定性 210
8.3.2 數據的穩定性 211
8.3.3 模型性能 212
8.4 小結 213
參考文獻 213
第9章 計算性能與模型加速 215
9.1 計算優化 216
9.1.1 問題與挑戰 216
9.1.2 設備與推斷計算 216
9.2 性能指標 217
9.2.1 計算平臺的重要指標：算力和帶寬 217
9.2.2 模型的兩個重要指標：計算量和訪存量 218
9.3 模型壓縮與裁剪 219
9.3.1 問題背景 219
9.3.2 基本思路和方法 220
9.4 小結 221
參考文獻 221
第10章 應用案例專題 223
10.1 求解二元一次方程 224
10.1.1 問題分析 224
10.1.2 模型設計 225
10.2 鳶尾花的案例分析 226
10.2.1 數據說明 226
10.2.2 數據理解和可視化 227
10.2.3 數據特征的降維 230
10.2.4 數據分類 231
10.2.5 數據聚類 235
10.3 形體識別 237
10.3.1 問題定義 237
10.3.2 應用形式 239
10.3.3 數據準備與處理 241
10.3.4 技術方案與模型設計 243
10.3.5 改進思考 245
10.4 小結 246
參考文獻 246
新書資訊