本書介紹了元學習方法的發展歷史、起源、思想、近來流行的元學習方法，以及這些方法的組織思路、改進方案、相互繼承、如何應用。本書共11章，分為兩部分：元學習方法思想的介紹和元學習應用場景中模型的介紹。這些內容介紹了如何在元學習框架下融入強化學習、模仿學習、在線學習、無監督學習、遷移學習等，實現對實際應用中深度模型的改進，以適應復雜多變的實際任務。
彭慧民，2012年畢業于清華大學水利水電工程系，獲工程學學士、經濟學學士雙學位；2017年畢業于美國北卡羅萊納州立大學統計系，獲統計學博士學位，研究方向是高維數據和因果推斷；2019年完成在清華大學金融系的博士后工作，研究方向是公募基金業績評價。之后在浪潮（北京）電子信息產業有限公司做國家重點實驗室研究員，從事機器學習的研究工作。
前言 1
目錄 3
1 元學習介紹 8
1.1 研究背景 13
1.1.1 元學習與深度學習的區別和聯系 15
1.1.2 元學習應用舉例 19
1.2 元學習起源 21
1.2.1 1987年的Jürgen Schmidhuber 21
1.2.2 1990年的Stuart Russell和Eric H. Wefald 24
1.3 近期發展 25
1.3.1 1997年長短期記憶網絡LSTM 26
1.3.2 2001年LSTM元學習系統 27
1.3.3 2017年MAML算法 28
1.3.4 2019年基于LSTM的元學習器 28
1.3.5 2019年基于高效基礎學習器的元學習 29
1.4 參考文獻和擴展閱讀 30
2 元學習框架 32
2.1 元學習研究常用數據集 33
2.2 定義任務 36
2.2.1 元學習任務的定義 37
2.2.2 元強化學習任務的定義 38
2.2.3 任務分解 39
2.3 元學習訓練框架 40
2.4 元學習方法分類 42
2.4.1 神經網絡適應法 42
2.4.2 度量學習適應法 43
2.4.3 基礎學習器和元學習器適應法 44
2.4.4 貝葉斯元學習適應法 44
2.4.5 元學習與其他學習框架結合 45
2.5 元學習方法比較 46
2.6 參考文獻和擴展閱讀 48
3 元學習神經網絡方法 49
3.1 神經網絡 51
3.1.1 神經元 51
3.1.2 權重、偏差和激活函數 52
3.1.3 網絡反向傳播算法 54
3.1.4 學習率、批尺寸、動量和權值衰減 56
3.1.5 神經網絡模型的正則化 58
3.1.6 批歸一化 59
3.1.7 隨機失活 61
3.2 卷積神經網絡 62
3.2.1 卷積層和濾波器 62
3.2.2 池化層和下采樣層 64
3.2.3 全連接層和上采樣層 66
3.2.4 經典卷積神經網絡 67
3.3 殘差網絡 69
3.3.1 殘差網絡模塊 69
3.3.2 高速路神經網絡 70
3.3.3 寬殘差網絡 70
3.4 元學習神經網絡模型 71
3.4.1 學會學習的神經網絡學習器 72
3.4.2 預訓練深度神經網絡的適應 73
3.4.3 具有適應性的神經元設計 75
3.5 自動化機器學習 80
3.5.1 超參數優化 80
3.5.2 元學習和自動化機器學習 81
3.5.3 加速自動化機器學習 84
3.5.4 決策式自動化機器學習 88
3.5.5 漸進式自動化機器學習 90
3.6 總結 95
3.7 參考文獻和擴展閱讀 95
4 基于度量的元學習方法 98
4.1 基于度量的學習 99
4.1.1 度量的定義 100
4.1.2 度量學習的應用 102
4.1.3 有監督度量學習 103
4.1.4 半監督度量學習 106
4.1.5 無監督度量學習 108
4.2 注意力模型 108
4.3 記憶模塊 109
4.4 SNAIL算法 113
4.5 Relation Network算法 115
4.6 Prototypical Network算法 118
4.7 TADAM算法 120
4.8 Dynamic Few-Shot算法 123
4.9 mAP算法 128
4.10 總結 132
4.11 參考文獻和擴展閱讀 133
5 基礎學習器和元學習器結合的元學習 134
5.1 基礎學習器 137
5.2 元學習器 138
5.3 MAML算法 139
5.4 Reptile算法 145
5.5 Recurrent Neural Network 149
5.5.1 RNN基礎結構 149
5.5.2 Bidirectional RNN 152
5.5.3 Long Short-Term Memory 153
5.5.4 Gated Recurrent Unit 156
5.6 RNN元學習算法 158
5.7 Meta-LSTM算法 160
5.8 R2D2算法 164
5.9 LR2D2算法 167
5.10 MetaOptNet算法 170
5.11 Transductive Propagation Network算法 173
5.12 Latent Embedding Optimization算法 178
5.13 參考文獻和擴展閱讀 182
6 貝葉斯思想下的元學習方法 184
6.1 Bayesian Program Learning算法 186
6.2 Neural Statistician算法 189
6.3 LLAMA算法 192
6.4 BMAML算法 197
6.5 PLATIPUS算法 202
6.6 VERSA算法 204
6.7 參考文獻和擴展閱讀 207
7 元學習的應用場景 208
7.1 元遷移學習 211
7.2 元強化學習 212
7.3 元模仿學習 213
7.4 在線元學習 213
7.5 無監督元學習 214
7.6 參考文獻和擴展閱讀 215
8 元強化學習 216
8.1 強化學習 216
8.2 基于MAML的元強化學習 218
8.3 GrBAL算法 219
8.4 參考文獻和擴展閱讀 222
9 元模仿學習 223
9.1 模仿學習 223
9.2 MAML算法用于元模仿學習 225
9.3 MetaMimic算法 226
9.4 參考文獻和擴展閱讀 229
10 在線元學習 229
10.1 在線學習 229
10.2 FTML算法 231
10.3 參考文獻和擴展閱讀 233
11 無監督元學習 233
11.1 無監督學習 233
11.2 CACTUs算法 235
11.3 參考文獻和擴展閱讀 236
新書資訊