xxxfreesexmoves-haodiaocao这里只有精品视频-欧美性受黑人性爽-欧美性受xxxxxx黑人xyx性爽|www.jsyyzsb.com

近年來，深度學習在人工智能的發展過程中起到了舉足輕重的作用，而圖神經網絡是人工智能領域的一個新興方向，被稱為圖上的深度學習。 本書詳細介紹了從深度學習到圖神經網絡的基礎概念和前沿技術，包括圖上的深度學習、圖神經網絡的數學基礎、神經網絡學習與算法優化、深度學習基礎、神經網絡中的表示學習、面向圖數據的嵌入表示、初代圖神經網絡、空域及譜域圖卷積神經網絡等內容。為增強可讀性，本書敘述清晰、內容深入淺出、圖文并茂，力求降低初學者的學習難度。 本書既可作為人工智能領域研究和開發人員的技術參考書，也可作為對圖上的深度學習感興趣的高年級本科生和研究生的入門書。

張玉宏，博士畢業于電子科技大學，大數據分析師（高級），2009—2011年美國西北大學訪問學者，2019—2020年美國IUPUI高級訪問學者，CCF鄭州分部執行委員，CFF公益大使。現執教于河南工業大學，主要研究方向為人工智能、大數據等。發表學術論文30余篇，先后撰寫《深度學習之美：AI時代的數據處理與最佳實踐》《Python極簡講義：一本書入門數據分析與機器學習》等科技圖書15部。楊鐵軍，博士，教授，博士生導師，河南省電子學會副理事長，河南省高等學校電子信息類專業教學指導委員會副主任委員，河南省數字政府建設專家委員會委員。主要研究方向：醫學圖像處理、糧食信息處理。

第 1 章 圖上的深度學習 ...................................................................................................................... 1
1.1 人工智能與深度學習 ....................................................................................................................................... 2
1.1.1 深度學習的發展 ................................................................................................................................... 2
1.1.2 人工智能的底層邏輯 ............................................................................................................................ 4
1.2 圖神經網絡時代的來臨.................................................................................................................................... 6
1.2.1 圖與圖像大不同 ................................................................................................................................... 6
1.2.2 圖神經網絡的本質 ................................................................................................................................ 8
1.3 圖數據處理面臨的挑戰.................................................................................................................................... 9
1.3.1 歐氏空間難表示圖 ................................................................................................................................ 9
1.3.2 圖表達無固定格式 .............................................................................................................................. 10
1.3.3 圖可視化難理解 ................................................................................................................................. 11
1.3.4 圖數據不符合獨立同分布 .................................................................................................................. 11
1.4 圖神經網絡的應用層面.................................................................................................................................. 12
1.4.1 節點預測 ............................................................................................................................................. 12
1.4.2 邊預測 ................................................................................................................................................. 13
1.4.3 圖預測 ................................................................................................................................................. 14
1.5 圖神經網絡的發展簡史.................................................................................................................................. 15
1.5.1 早期的圖神經網絡 .............................................................................................................................. 15
1.5.2 圖卷積神經網絡的提出 ...................................................................................................................... 16
1.5.3 圖表示學習 ......................................................................................................................................... 18
1.5.4 圖卷積的簡化 ..................................................................................................................................... 19
1.6 圖神經網絡的模塊與分類 .............................................................................................................................. 20
1.6.1 圖神經網絡的常見模塊 ...................................................................................................................... 20
1.6.2 圖神經網絡的分類 .............................................................................................................................. 22
1.7 本章小結 ......................................................................................................................................................... 23
參考資料 .................................................................................................................................................................. 24

第 2 章 圖神經網絡的數學基礎 ........................................................................................................ 27
2.1 矩陣論基礎 ..................................................................................................................................................... 28
2.1.1 標量與向量 ......................................................................................................................................... 28
2.1.2 向量范數 ............................................................................................................................................. 30
2.1.3 向量的夾角與余弦相似度 .................................................................................................................. 32
2.1.4 矩陣與張量 ......................................................................................................................................... 33
2.1.5 矩陣的本質 ......................................................................................................................................... 34
2.1.6 矩陣乘法的三種視角 .......................................................................................................................... 34
2.1.7 逆矩陣與行列式 ................................................................................................................................. 37
2.1.8 特征值與特征向量 .............................................................................................................................. 38
2.1.9 矩陣的平方分解 ................................................................................................................................. 39
2.1.10 特征分解 ........................................................................................................................................... 40
2.1.11 正定矩陣和半正定矩陣 .................................................................................................................... 42
2.2 圖論基礎 ......................................................................................................................................................... 43
2.2.1 圖的表示 ............................................................................................................................................. 44
2.2.2 無向圖與有向圖 ................................................................................................................................. 45
2.2.3 權值圖 ................................................................................................................................................. 45
2.2.4 鄰接矩陣與關聯矩陣 .......................................................................................................................... 46
2.2.5 鄰域和度 ............................................................................................................................................. 47
2.2.6 度數矩陣 ............................................................................................................................................. 49
2.2.7 二分圖 ................................................................................................................................................. 50
2.2.8 符號圖 ................................................................................................................................................. 51
2.2.9 圖的遍歷 ............................................................................................................................................. 52
2.2.10 圖的同構與異構................................................................................................................................ 53
2.2.11 圖的途徑、跡與路 ............................................................................................................................ 54
2.2.12 圖的連通性 ....................................................................................................................................... 55
2.2.13 節點的中心性 ................................................................................................................................... 57
2.3 譜圖論基礎 ..................................................................................................................................................... 65
2.3.1 拉普拉斯矩陣的來源 .......................................................................................................................... 65
2.3.2 拉普拉斯矩陣的性質 .......................................................................................................................... 72
2.3.3 拉普拉斯矩陣的譜分解 ...................................................................................................................... 74
2.3.4 拉普拉斯矩陣的歸一化 ...................................................................................................................... 77
2.4 本章小結 ......................................................................................................................................................... 80
參考資料 .................................................................................................................................................................. 80

第 3 章 神經網絡學習與算法優化..................................................................................................... 82
3.1 人工神經網絡的緣起 ..................................................................................................................................... 83
3.2 神經網絡的第一性原理.................................................................................................................................. 84
3.2.1 通用近似定理 ..................................................................................................................................... 85
3.2.2 通用近似定理的應用 .......................................................................................................................... 86
3.3 感知機模型與前饋神經網絡 .......................................................................................................................... 87
3.3.1 人工神經元的本質 .............................................................................................................................. 88
3.3.2 歷久彌新的感知機 .............................................................................................................................. 88
3.3.3 備受啟發的支持向量機 ...................................................................................................................... 90
3.4 更強表征能力的多層感知機 .......................................................................................................................... 91
3.5 不可或缺的激活函數 ..................................................................................................................................... 93
3.5.1 Sigmoid 函數 ....................................................................................................................................... 94
3.5.2 Tanh 函數 ............................................................................................................................................ 95
3.5.3 ReLU 函數 ........................................................................................................................................... 96
3.5.4 Softmax 函數 ....................................................................................................................................... 98
3.6 損失函數 ....................................................................................................................................................... 100
3.6.1 普通的損失函數 ............................................................................................................................... 101
3.6.2 交叉熵損失函數 ............................................................................................................................... 103
3.7 神經網絡的訓練 ........................................................................................................................................... 105
3.7.1 優化算法的意義 ............................................................................................................................... 106
3.7.2 基于梯度的優化流程 ........................................................................................................................ 106
3.8 優化算法的分類 ........................................................................................................................................... 109
3.8.1 優化算法的派系 ............................................................................................................................... 109
3.8.2 優化算法面臨的挑戰 ........................................................................................................................ 111
3.9 本章小結 ....................................................................................................................................................... 112
參考資料 ................................................................................................................................................................ 113

第 4 章 深度學習基礎 ....................................................................................................................... 115
4.1 深度學習時代的興起 ................................................................................................................................... 116
4.2 卷積神經網絡 ............................................................................................................................................... 118
4.2.1 卷積神經網絡的整體結構 ................................................................................................................ 118
4.2.2 神經網絡中“層”的本質 .................................................................................................................... 119
4.3 可圈可點的卷積層 ....................................................................................................................................... 120
4.3.1 卷積核 ............................................................................................................................................... 120
4.3.2 卷積核的工作機理 ............................................................................................................................ 122
4.3.3 多通道卷積 ....................................................................................................................................... 123
4.3.4 用 PyTorch 實現特定卷積 ................................................................................................................ 125
4.3.5 卷積層的 4 個核心參數 .................................................................................................................... 127
4.4 降維減負的匯聚層 ....................................................................................................................................... 131
4.4.1 匯聚層原理 ....................................................................................................................................... 131
4.4.2 匯聚層實例 ....................................................................................................................................... 133
4.5 不可或缺的全連接層 ................................................................................................................................... 135
4.6 防止過擬合 ................................................................................................................................................... 136
4.6.1 批歸一化處理 ................................................................................................................................... 137
4.6.2 丟棄法 ............................................................................................................................................... 141
4.7 本章小結 ....................................................................................................................................................... 143
參考資料 ................................................................................................................................................................ 143

第 5 章 神經網絡中的表示學習 ...................................................................................................... 145
5.1 表示學習的背景 ........................................................................................................................................... 146
5.1.1 符號表示與向量表示 ........................................................................................................................ 146
5.1.2 為何需要表示學習 ............................................................................................................................ 147
5.2 離散表示與獨熱編碼 ................................................................................................................................... 148
5.3 分布式表示與神經網絡................................................................................................................................ 150
5.3.1 神經網絡是一種分布式表示 ............................................................................................................ 150
5.3.2 深度學習中的“End-to-End”表示學習 .............................................................................................. 152
5.4 自編碼器中的表示學習................................................................................................................................ 153
5.4.1 自編碼器的工作原理 ........................................................................................................................ 154
5.4.2 從信息瓶頸看自編碼器的原理 ........................................................................................................ 155
5.4.3 欠完備自編碼器 ............................................................................................................................... 156
5.4.4 正則化自編碼器 ............................................................................................................................... 157
5.4.5 降噪自編碼器 ................................................................................................................................... 159
5.4.6 變分自編碼器 ................................................................................................................................... 159
5.5 嵌入表示與 Word2vec .................................................................................................................................. 161
5.5.1 詞嵌入 ............................................................................................................................................... 161
5.5.2 Word2vec 的核心思想 ...................................................................................................................... 164
5.5.3 跳元模型 ........................................................................................................................................... 165
5.6 詞嵌入實戰 ................................................................................................................................................... 171
5.6.1 讀取數據集 ....................................................................................................................................... 171
5.6.2 數據預處理 ....................................................................................................................................... 172
5.6.3 模型構建與訓練 ............................................................................................................................... 174
5.6.4 相似性度量 ....................................................................................................................................... 175
5.6.5 詞向量可視化：t-SNE ...................................................................................................................... 177
5.7 本章小結 ....................................................................................................................................................... 179
參考資料 ................................................................................................................................................................ 180

第 6 章 面向圖數據的嵌入表示 ...................................................................................................... 182
6.1 圖嵌入概述 ................................................................................................................................................... 183
6.2 DeepWalk 的原理 .......................................................................................................................................... 184
6.2.1 DeepWalk 的基本思想 ...................................................................................................................... 184
6.2.2 隨機游走階段 ................................................................................................................................... 185
6.2.3 跳元模型訓練階段 ............................................................................................................................ 187
6.2.4 負采樣 ............................................................................................................................................... 193
6.2.5 分層 Softmax ..................................................................................................................................... 195
6.3 基于 DeepWalk 的維基百科相似網頁檢測 ................................................................................................. 198
6.3.1 數據準備 ........................................................................................................................................... 198
6.3.2 圖的構建 ........................................................................................................................................... 201
6.3.3 構建隨機游走節點序列 .................................................................................................................... 201
6.3.4 利用 Word2vec 實現 DeepWalk ........................................................................................................ 203
6.3.5 模型的保存與加載 ............................................................................................................................ 206
6.3.6 DeepWalk 的應用領域 ...................................................................................................................... 207
6.4 LINE 模型 ..................................................................................................................................................... 208
6.4.1 LINE 模型的發展背景...................................................................................................................... 208
6.4.2 一階相似度 ....................................................................................................................................... 208
6.4.3 二階相似度 ....................................................................................................................................... 209
6.5 Node2vec ....................................................................................................................................................... 211
6.5.1 Node2vec 的由來 .............................................................................................................................. 211
6.5.2 同質性與結構性 ............................................................................................................................... 212
6.5.3 Node2vec 的工作原理 ...................................................................................................................... 213
6.6 Metapath2vec ................................................................................................................................................. 215
6.6.1 異構圖的定義與問題 ........................................................................................................................ 216
6.6.2 基于 Meta-path 的隨機游走 ............................................................................................................. 216
6.7 本章小結 ....................................................................................................................................................... 218
參考資料 ................................................................................................................................................................ 219

第 7 章 初代圖神經網絡 .................................................................................................................. 221
7.1 初代圖神經網絡的誕生................................................................................................................................ 222
7.2 GNN 中的數據聚合 ...................................................................................................................................... 222
7.2.1 GNN 的本質 ...................................................................................................................................... 223
7.2.2 圖中的消息傳遞 ............................................................................................................................... 223
7.3 初代 GNN 的工作原理 ................................................................................................................................. 225
7.3.1 圖中節點的信息更新 ........................................................................................................................ 226
7.3.2 不動點理論 ....................................................................................................................................... 229
7.3.3 壓縮映射實現的條件 ........................................................................................................................ 232
7.3.4 圖神經網絡模型的訓練 .................................................................................................................... 234
7.4 初代圖神經網絡的局限性 ............................................................................................................................ 235
7.5 本章小結 ....................................................................................................................................................... 235
參考資料 ................................................................................................................................................................ 236

第 8 章 空域圖卷積神經網絡 .......................................................................................................... 238
8.1 圖卷積神經網絡概述 ................................................................................................................................... 239
8.1.1 圖卷積神經網絡的誕生 .................................................................................................................... 239
8.1.2 圖卷積神經網絡的框架 .................................................................................................................... 241
8.2 MPNN 模型 ................................................................................................................................................... 244
8.3 GCN 與 CNN 的關聯 .................................................................................................................................... 245
8.3.1 局部連接性 ....................................................................................................................................... 246
8.3.2 層次化表達 ....................................................................................................................................... 247
8.4 圖卷積節點分類實踐 ................................................................................................................................... 248
8.4.1 圖數據的生成 ................................................................................................................................... 248
8.4.2 傳遞規則的實現 ............................................................................................................................... 250
8.4.3 考慮權值影響的信息聚合 ................................................................................................................ 260
8.4.4 添加激活函數 ................................................................................................................................... 261
8.4.5 模擬一個分類輸出 ............................................................................................................................ 262
8.5 GraphSAGE ................................................................................................................................................... 263
8.5.1 歸納式學習與直推式學習 ................................................................................................................ 263
8.5.2 GraphSAGE 所為何來 ...................................................................................................................... 266
8.5.3 GraphSAGE 的框架 .......................................................................................................................... 267
8.5.4 鄰居節點采樣 ................................................................................................................................... 268
8.5.5 特征信息聚合 ................................................................................................................................... 269
8.5.6 權值參數訓練 ................................................................................................................................... 271
8.6 基于 GraphSAGE 的實踐 ............................................................................................................................. 273
8.6.1 Cora 數據探索 ................................................................................................................................... 273
8.6.2 構造正負樣本 ................................................................................................................................... 276
8.6.3 定義模型 ........................................................................................................................................... 277
8.6.4 訓練參數配置 ................................................................................................................................... 278
8.6.5 訓練模型 ........................................................................................................................................... 279
8.6.6 嵌入表示的可視化 ............................................................................................................................ 281
8.7 本章小結 ....................................................................................................................................................... 283
參考資料 ................................................................................................................................................................ 284

第 9 章 譜域圖卷積神經網絡 .......................................................................................................... 286
9.1 傅里葉變換 ................................................................................................................................................... 287
9.1.1 傅里葉變換背后的方法論 ................................................................................................................ 287
9.1.2 感性認識傅里葉變換 ........................................................................................................................ 288
9.1.3 向量分解與信號過濾 ........................................................................................................................ 288
9.2 圖傅里葉變換 ............................................................................................................................................... 290
9.2.1 什么是圖信號 ................................................................................................................................... 290
9.2.2 圖傅里葉變換簡介 ............................................................................................................................ 290
9.2.3 特征值與圖信號頻率之間的關系 .................................................................................................... 293
9.3 譜域視角下的圖卷積 ................................................................................................................................... 296
9.3.1 圖卷積理論 ....................................................................................................................................... 296
9.3.2 譜域圖卷積 ....................................................................................................................................... 297
9.3.3 基于譜的圖濾波器設計 .................................................................................................................... 299
9.4 基于譜域 GCN 的演進 ................................................................................................................................. 300
9.4.1 頻率響應參數化的 GCN .................................................................................................................. 300
9.4.2 多項式參數化的 GCN ...................................................................................................................... 302
9.4.3 基于切比雪夫網絡截斷的多項式參數化的 GCN ........................................................................... 304
9.4.4 基于一階切比雪夫網絡的 GCN ...................................................................................................... 306
9.5 Karate Club 圖卷積分類實踐 ....................................................................................................................... 308
9.5.1 Karate Club 數據集 ........................................................................................................................... 308
9.5.2 數據導入與探索 ............................................................................................................................... 309
9.5.3 鄰接矩陣與坐標格式 ........................................................................................................................ 312
9.5.4 繪圖 NetworkX 圖 ............................................................................................................................. 315
9.5.5 半監督的節點分類 ............................................................................................................................ 315
9.5.6 模型預測 ........................................................................................................................................... 321
9.6 本章小結 ....................................................................................................................................................... 323
參考資料 ................................................................................................................................................................ 323