機器學習的主要目的是從有限的數據中學習到知識。而知識的基本單元是概念。借助于概念，人類可以在繁復的思想與多彩的世界之間建立起映射，指認各種對象，發現各種規律，表達各種想法，交流各種觀念。一旦缺失相應的概念，人們將無法思考、交流，甚至于無法順利地生活、學習、工作、醫療、娛樂等。哲學家如卡西爾等甚至認為人類的本質特性是能夠使用和創造各種符號概念。因此，如何使機器能夠像人一樣能夠自動發現、運用概念，正是機器學習當前的重要研究內容。本書將集中討論這個問題。本書借助學于認知科學的研究成果，提出了類的統一表示數學模型，以及與之相關的歸類問題的統一數學表示。由此提出了類表示公理，歸類公理和歸類測試公理。據此， 本書分別研究了歸類結果分類、歸類算法分類、以及歸類判據設計原則等諸多問題。 并借助于提出的公理模型以統一的方式解釋了機器學習中數據降維、密度估計、回歸、聚類和分類等問題中常用的歸類算法。
本書第1版于2017年出版，出版后受到廣泛好評，被多所高等院校作為本科生、研究生教材。
機器學習的主要目的是從有限的數據中學習到知識，而知識的基本單元是概念。借助于概念，人類可以在繁復的思想與多彩的世界之間建立起映射，指認各種對象，發現各種規律，表達各種想法，交流各種觀念。一旦缺失相應的概念，人們將無法思考、交流，甚至無法順利地生活、學習、工作、醫療、娛樂等。哲學家卡西爾等甚至認為人類的本質特性是能夠使用和創造各種符號概念。因此，如何使機器能夠像人一樣自動發現、運用概念，正是機器學習的基本研究內容。本書將集中討論這個問題。
所謂的概念發現，是指從一個給定概念（或者概念集合）的有限外延子集提取對應的概念（或者概念集合）表示，又稱歸類問題。通過自然進化，人類可以從一個概念（或概念集合）的有限外延子集（有限的對象）中輕松提取概念（或概念集合）自身。對于人類如何處理歸類問題，人們已經研究了很多年，發明了許多理論，比如經典概念理論、原型理論、樣例理論和知識理論等，積累了很多的研究成果。本書借助認知科學的研究成果，提出了類的統一表示數學模型，以及與之相關的歸類問題的統一數學表示。由此提出了類表示公理、歸類公理和分類測試公理。據此，本書分別研究了歸類結果分類、歸類算法分類等諸多問題。特別需要提出的是，本書首次歸納了歸類算法設計應該遵循的 4條準則，即類一致性準則、類緊致性準則、類分離性準則和奧卡姆剃刀準則。在理論上，任何機器學習算法的目標函數設計都遵循上述 4條準則的 1條或者數條。
對于具體的機器學習問題，本書依據奧卡姆剃刀準則，按照歸類表示從簡單到復雜的順序，重新進行了組織。本書不僅論述了單類問題比多類問題的歸類表示簡單，聚類問題比分類問題的歸類表示簡單，單源數據學習比多源數據學習的歸類表示簡單，而且對于單類問題、多類問題自身的歸類表示復雜度也進行了研究。在此基礎上，指出單類問題包括密度估計、回歸和單類數據降維等，并借助提出的公理框架以統一的方式演繹推出了在密度估計、回歸、數據降維、聚類和分類等問題中常用的機器學習算法。
本書中章節的組織結構都是類似的，特別是與具體學習算法有關的章節。每章有一個簡短的開篇詞。如果該章是學習算法章節，該開篇詞用來簡要說明本章算法的主要設計思想。如果該章是理論章節，該開篇詞說明該理論問題的主要目標。每章結尾有延伸閱讀或者討論，延伸閱讀提供更深入的相關閱讀文獻，討論說明本章的相關內容與分析或者尚未解決的問題。
作者講授機器學習已十數年，有感于當前的機器學習算法理論依據過多過雜，同時也一直羨慕歐氏幾何從五條公理出發導出所有結論的風格。撰寫本書，既是將歐氏幾何風格移植到機器學習的一個嘗試，更是試圖為機器學習與模式識別提供一個統一但又簡單的理論視角。總之，機器學習公理化這個問題在本書中提出，也在本書中解決了。
于劍
2017年 3月
于劍,北京交通大學計算機學院教授,博導,人工智能研究院院長,中國人工智能學會會士、副秘書長。承擔多項國家自然科學基金項目,發表多篇學術論文, 包括TPAMI, CVPR 等。
第 1 章 引言 1
1.1 機器學習的目的：從數據到知識 1
1.2 機器學習的基本框架 2
1.2.1 數據集合與對象特性表示 3
1.2.2 學習判據 4
1.2.3 學習算法 5
1.2.4 評估方法 5
1.3 機器學習思想簡論 5
延伸閱讀 7
習題 8
參考文獻 9
第 2 章 歸類理論 11
2.1 類表示與類表示公理 13
2.2 歸類公理 17
2.3 歸類結果分類 20
2.4 歸類方法設計準則 22
2.4.1 類一致性準則 23
2.4.2 類緊致性準則 24
2.4.3 類分離性準則 25
2.4.4 奧卡姆剃刀準則 26
討論 28
延伸閱讀 29
習題 30
參考文獻 32
第 3 章 密度估計 33
3.1 密度估計的參數方法 33
3.1.1 最大似然估計 33
3.1.2 貝葉斯估計 35
3.2 密度估計的非參數方法 39
3.2.1 直方圖 39
3.2.2 核密度估計 39
3.2.3 K 近鄰密度估計法 40
延伸閱讀 40
習題 41
參考文獻 41
第 4 章 回歸 43
4.1 線性回歸 43
4.2 嶺回歸 47
4.3 Lasso 回歸 48
討論 51
習題 52
參考文獻 52
第 5 章 單類數據降維 55
5.1 主成分分析 56
5.2 非負矩陣分解 58
5.3 字典學習與稀疏表示 59
5.4 局部線性嵌入 61
5.5 多維度尺度分析與等距映射 64
5.6 典型關聯分析 66
5.7 隨機鄰域嵌入及其擴展 68
5.7.1 隨機鄰域嵌入 68
5.7.2 t-SNE 70
討論 71
習題 71
參考文獻 72
第 6 章 聚類理論 73
6.1 聚類問題表示及相關定義 73
6.2 聚類算法設計準則 74
6.2.1 類緊致性準則和聚類不等式 74
6.2.2 類分離性準則和重合類非穩定假設 76
6.2.3 類一致性準則和迭代型聚類算法 77
6.3 聚類有效性 77
6.3.1 外部方法 77
6.3.2 內蘊方法 79
延伸閱讀 80
習題 81
參考文獻 81
第 7 章 聚類算法 85
7.1 樣例理論：圖聚類算法 85
7.1.1 層次聚類算法 86
7.1.2 HB 聚類算法 88
7.1.3 SATB 聚類算法 90
7.2 原型理論：點原型聚類算法 92
7.2.1 C 均值算法 93
7.2.2 模糊 C 均值 95
7.2.3 最大熵 C 均值算法 97
7.3 基于密度估計的聚類算法 99
7.3.1 基于參數密度估計的聚類算法 99
7.3.2 基于無參數密度估計的聚類算法 107
延伸閱讀 117
習題 118
參考文獻 118
第 8 章 分類理論 121
8.1 分類及相關定義 121
8.2 從歸類理論到經典分類理論 122
8.2.1 PAC 理論 123
8.2.2 統計學習理論 125
8.3 分類測試公理 128
8.4 分類性能評估 129
討論 130
習題 131
參考文獻 131
第 9 章 基于單類的分類算法：神經網絡 133
9.1 分類問題的回歸表示 133
9.2 人工神經網絡 134
9.2.1 人工神經網絡簡介 134
9.2.2 前饋神經網絡 136
9.3 從參數密度估計到受限玻耳茲曼機 141
9.4 深度學習 143
9.4.1 自編碼器 144
9.4.2 卷積神經網絡 145
9.4.3 Transformer 147
討論 149
習題 150
參考文獻 151
第 10 章 K 近鄰分類模型 155
10.1 K 近鄰算法 156
10.1.1 K 近鄰算法問題表示 156
10.1.2 K 近鄰分類算法 157
10.1.3 K 近鄰分類算法的理論錯誤率 158
10.2 距離加權最近鄰算法 159
10.3 K 近鄰算法加速策略 160
10.4 kd 樹 161
10.5 K 近鄰算法中的參數問題 162
延伸閱讀 163
習題 164
參考文獻 164
第 11 章 線性分類模型 165
11.1 判別函數和判別模型 165
11.2 線性判別函數 166
11.3 線性感知機算法 169
11.3.1 感知機數據表示 169
11.3.2 感知機算法的歸類判據 170
11.3.3 感知機分類算法 171
11.4 支持向量機 174
11.4.1 線性可分支持向量機 174
11.4.2 近似線性可分支持向量機 177
11.4.3 多類分類問題 180
討論 182
習題 183
參考文獻 184
第 12 章 對數線性分類模型 185
12.1 Softmax 回歸 185
12.2 Logistic 回歸 188
討論 190
習題 191
參考文獻 191
第 13 章 貝葉斯決策 193
13.1 貝葉斯分類器 193
13.2 樸素貝葉斯分類 194
13.2.1 最大似然估計 196
13.2.2 貝葉斯估計 199
13.3 最小化風險分類 201
13.4 效用最大化分類 203
討論 203
習題 204
參考文獻 204
第 14 章 決策樹 205
14.1 決策樹的類表示 205
14.2 信息增益與 ID3 算法 210
14.3 增益比率與 C4.5 算法 212
14.4 Gini 指數與 CART 算法 213
14.5 決策樹的剪枝 214
討論 215
習題 215
參考文獻 216
第 15 章 多類數據降維 217
15.1 有監督特征選擇模型 217
15.1.1 過濾式特征選擇 218
15.1.2 包裹式特征選擇 219
15.1.3 嵌入式特征選擇 219
15.2 有監督特征提取模型 220
15.2.1 線性判別分析 220
15.2.2 二分類線性判別分析問題 220
15.2.3 二分類線性判別分析 221
15.2.4 二分類線性判別分析優化算法 223
15.2.5 多分類線性判別分析 223
延伸閱讀 225
習題 225
參考文獻 225
第 16 章 多類數據升維：核方法 227
16.1 核方法 227
16.2 非線性支持向量機 228
16.2.1 特征空間 228
16.2.2 核函數 228
16.2.3 常用核函數 230
16.2.4 非線性支持向量機 230
16.3 多核方法 231
討論 233
習題 233
參考文獻 234
第 17 章 多源數據學習 235
17.1 多源數據學習的分類 235
17.2 單類多源數據學習 235
17.2.1 完整視角下的單類多源數據學習 236
17.2.2 不完整視角下的單類多源數據學習 238
17.3 多類多源數據學習 239
17.4 多源數據學習中的基本假設 240
討論 240
習題 241
參考文獻 241
后記 243
寫在《機器學習：從公理到算法》第 4 次印刷之后 247
寫在《機器學習：從公理到算法》第 5 次印刷之后 249
索引 251
新書資訊