本書作者都是微軟人工智能及研究院的研究人員和應(yīng)用科學(xué)家，具有深厚的機(jī)器學(xué)習(xí)背景，在一線針對產(chǎn)品需求和支持的場景進(jìn)行了大量的深度學(xué)習(xí)模型及算法的研究和開發(fā)，在模型設(shè)計、訓(xùn)練、評估、部署、推理優(yōu)化等模型開發(fā)全生命周期積累了豐富的經(jīng)驗。本書面向的讀者是希望學(xué)習(xí)和運(yùn)用深度學(xué)習(xí)模型到具體應(yīng)用場景的企業(yè)工程師、科研院所的學(xué)生和科研人員。讀者學(xué)習(xí)本書的目的是了解深度學(xué)習(xí)模型和算法基礎(chǔ)后，重點(diǎn)應(yīng)用和實踐并快速部署在自己的工作領(lǐng)域，同時取得落地成果。本書分為4 個部分，共13 章。其中第1 部分（第1～2 章）簡要介紹了深度學(xué)習(xí)的現(xiàn)狀、概念和實現(xiàn)工具。第2 部分（第3～5 章）以具體的實際應(yīng)用展示基于深度學(xué)習(xí)技術(shù)進(jìn)行工程實踐和開發(fā)的流程和技巧。第3 部分（第6～12 章）介紹了學(xué)術(shù)界和工業(yè)界最新的高階深度學(xué)習(xí)模型的實現(xiàn)和應(yīng)用。第4 部分（第13章）介紹了深度學(xué)習(xí)領(lǐng)域的一些前沿研究方向并對深度學(xué)習(xí)的未來發(fā)展進(jìn)行展望。
張若非美國紐約州立大學(xué)計算機(jī)科學(xué)博士。微軟（美國）人工智能與研究院高級研究總監(jiān)，全球合伙人，負(fù)責(zé)微軟在線廣告平臺機(jī)器學(xué)習(xí)模型、算法及系統(tǒng)的研究和建設(shè)。研究領(lǐng)域包括機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、自然語言處理、計算機(jī)視覺和多媒體信息檢索。在這些領(lǐng)域的一流學(xué)術(shù)期刊和頂級學(xué)術(shù)會議發(fā)表論文50余篇，獲得美國發(fā)明專利12項。美國國家自然科學(xué)基金會（NSF）智能系統(tǒng)評審委員會委員，IEEE和ACM高級會員。付強(qiáng)博士畢業(yè)于清華大學(xué)電子工程系，現(xiàn)任微軟（美國）搜索廣告部資深應(yīng)用科學(xué)家，主要從事機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、信息檢索、自然語言理解、圖像處理等方面的算法研究及其在搜索廣告產(chǎn)品中的應(yīng)用。此前曾任微軟亞洲研究院研究員，研究將機(jī)器學(xué)習(xí)算法用于云計算平臺的系統(tǒng)建模、性能優(yōu)化，以及故障自動診斷。在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、計算機(jī)系統(tǒng)等領(lǐng)域的國際頂級會議及期刊上共發(fā)表論文30余篇，持有4項美國專利。高斌博士畢業(yè)于北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院，現(xiàn)任微軟（美國）搜索廣告部資深機(jī)器學(xué)習(xí)科學(xué)家，此前曾擔(dān)任微軟亞洲研究院機(jī)器學(xué)習(xí)研究組主管研究員。主要從事機(jī)器學(xué)習(xí)、信息檢索、數(shù)據(jù)挖掘和計算廣告等領(lǐng)域的研究和開發(fā)。在國際頂級期刊和會議上發(fā)表相關(guān)論文40余篇，并持有30余項美國專利。主持研發(fā)的十余項創(chuàng)新技術(shù)已經(jīng)被應(yīng)用于必應(yīng)搜索引擎、必應(yīng)搜索廣告及微軟小冰等產(chǎn)品中。張耿豪博士畢業(yè)于美國加州大學(xué)伯克利分校，現(xiàn)任微軟（美國）搜索廣告部資深應(yīng)用科學(xué)家。主要專注于機(jī)器學(xué)習(xí)、自然語言處理、信息檢索、人機(jī)界面等領(lǐng)域，并且在微軟負(fù)責(zé)必應(yīng)搜索廣告業(yè)務(wù)及多項延伸的應(yīng)用與研究，例如聊天機(jī)器人、以圖搜圖等。在國際頂級期刊和會議上發(fā)表相關(guān)論文20余篇，并持有3項美國專利。葉挺碩士畢業(yè)于北京大學(xué)軟件工程研究所，現(xiàn)任微軟（美國）搜索廣告部工程師，主要從事深度學(xué)習(xí)算法的性能優(yōu)化和分布式實現(xiàn)，成功將多個深度學(xué)習(xí)模型應(yīng)用于必應(yīng)的廣告服務(wù)中。在計算機(jī)會議KDD、ASE發(fā)表論文3篇，并取得發(fā)明專利3項。
第1 章
神經(jīng)網(wǎng)絡(luò)發(fā)展史 / 1
1.1 神經(jīng)網(wǎng)絡(luò)的早期雛形 / 3
1.1.1 聯(lián)結(jié)主義和Hebb 學(xué)習(xí)規(guī)則 / 4
1.1.2 Oja 學(xué)習(xí)規(guī)則及主分量分析 / 5
1.1.3 早期的神經(jīng)元模型 / 5
1.2 現(xiàn)代神經(jīng)網(wǎng)絡(luò) / 6
1.2.1 反向傳播算法 / 6
1.2.2 神經(jīng)網(wǎng)絡(luò)的通用函數(shù)近似性 / 8
1.2.3 深度的必要性 / 9
1.3 深度學(xué)習(xí)發(fā)展歷史中的重要神經(jīng)網(wǎng)絡(luò) / 10
1.3.1 深度神經(jīng)網(wǎng)絡(luò)的興起 / 10
1.3.2 自組織特征映射 / 10
1.3.3 霍普菲爾德神經(jīng)網(wǎng)絡(luò) / 11
1.3.4 玻爾茲曼機(jī)及受限玻爾茲曼機(jī) / 12
1.3.5 深度信念網(wǎng) / 14
1.3.6 其他深度神經(jīng)網(wǎng)絡(luò) / 15
1.4 本章小結(jié) / 15
參考文獻(xiàn) / 16
第2 章
深度學(xué)習(xí)開源框架 / 17
2.1 主流的深度學(xué)習(xí)開源框架 / 18
2.2 簡單神經(jīng)網(wǎng)絡(luò)模型在不同框架上的實現(xiàn)對比 / 29
2.3 本章小結(jié) / 44
參考文獻(xiàn) / 45
第3 章
多層感知機(jī)在自然語言處理方面的應(yīng)用 / 46
3.1 詞和文本模型的發(fā)展歷程 / 47
3.2 Word2Vec 模型：基于上下文的分布式表達(dá) / 49
3.2.1 Skip-Gram 算法的訓(xùn)練流程 / 50
3.2.2 Skip-Gram 算法的網(wǎng)絡(luò)結(jié)構(gòu) / 53
3.2.3 代價函數(shù) / 54
3.3 應(yīng)用TensorFlow 實現(xiàn)Word2Vec 模型 / 58
3.3.1 定義計算圖：訓(xùn)練語料庫預(yù)處理 / 60
3.3.2 模型計算圖的實現(xiàn) / 63
3.4 Word2Vec 模型的局限及改進(jìn) / 66
3.5 本章小結(jié) / 67
參考文獻(xiàn) / 68
第4 章
卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用 / 69
4.1 圖像識別和圖像分類的發(fā)展 / 72
4.2 AlexNet / 73
4.2.1 網(wǎng)絡(luò)模型結(jié)構(gòu) / 74
4.2.2 AlexNet 的具體改進(jìn) / 79
4.2.3 代價函數(shù) / 83
4.3 應(yīng)用TensorFlow 實現(xiàn)AlexNet / 83
4.3.1 讀取訓(xùn)練圖像集 / 83
4.3.2 模型計算圖的實現(xiàn) / 84
4.4 本章小結(jié) / 85
參考文獻(xiàn) / 86
第5 章
遞歸神經(jīng)網(wǎng)絡(luò) / 87
5.1 遞歸神經(jīng)網(wǎng)絡(luò)應(yīng)用背景介紹 / 88
5.2 遞歸神經(jīng)網(wǎng)絡(luò)模型介紹 / 89
5.2.1 遞歸神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) / 89
5.2.2 雙向遞歸神經(jīng)網(wǎng)絡(luò) / 90
5.2.3 長短期記憶模型 / 91
5.3 遞歸神經(jīng)網(wǎng)絡(luò)展望 / 94
5.4 本章小結(jié) / 95
參考文獻(xiàn) / 95
第6 章
DeepIntent 模型在信息檢索領(lǐng)域的應(yīng)用 / 96
6.1 信息檢索在搜索廣告中的應(yīng)用發(fā)展 / 97
6.2 含有注意力機(jī)制的RNN 模型 / 99
6.2.1 網(wǎng)絡(luò)模型結(jié)構(gòu) / 100
6.2.2 代價函數(shù) / 104
6.3 應(yīng)用TensorFlow 實現(xiàn)DeepIntent 模型 / 107
6.3.1 定義計算圖 / 107
6.3.2 定義代價函數(shù)及優(yōu)化算法 / 114
6.3.3 執(zhí)行計算圖進(jìn)行訓(xùn)練 / 118
6.4 本章小結(jié) / 119
參考文獻(xiàn) / 120
第7 章
圖像識別及在廣告搜索方面的應(yīng)用 / 121
7.1 視覺搜索 / 122
7.2 方法和系統(tǒng) / 124
7.2.1 圖像DNN 編碼器 / 124
7.2.2 利用Rich-CDSSM 降低維度 / 125
7.2.3 快速最近鄰搜索系統(tǒng) / 127
7.2.4 精密層 / 127
7.2.5 端到端服務(wù)系統(tǒng) / 128
7.3 評測 / 129
7.4 用于演示的Visual Shopping Assistant 應(yīng)用程序 / 131
7.5 相關(guān)工作 / 132
7.6 本章小結(jié) / 133
第8 章
Seq2Seq 模型在聊天機(jī)器人中的應(yīng)用 / 134
8.1 Seq2Seq 模型應(yīng)用背景 / 135
8.2 Seq2Seq 模型的應(yīng)用方法 / 136
8.3 含有注意力機(jī)制的多層Seq2Seq 模型 / 137
8.3.1 詞嵌入層 / 137
8.3.2 可變深度LSTM 遞歸層 / 138
8.3.3 注意力機(jī)制層 / 139
8.3.4 投影層 / 139
8.3.5 損失函數(shù)（loss function）和端到端訓(xùn)練 / 140
8.4 信息導(dǎo)向的自適應(yīng)序列采樣 / 142
8.5 多輪項目推薦 / 143
8.6 熵作為信心的度量 / 143
8.6.1 直觀的定義和討論 / 143
8.6.2 序列后驗估計的不確定性 / 145
8.6.3 信息導(dǎo)向的抽樣：最大化預(yù)期信息增益的原則 / 145
8.6.4 Seq2Seq 模型的3 個應(yīng)用程序 / 146
8.6.5 應(yīng)用程序1：查詢理解和重寫 / 147
8.6.6 應(yīng)用程序2：相關(guān)性評分 / 152
8.6.7 應(yīng)用程序3：聊天機(jī)器人 / 156
8.7 本章小結(jié) / 160
參考文獻(xiàn) / 160
第9 章
word2vec 的改進(jìn)：fastText 模型 / 162
9.1 fastText 模型的原理 / 163
9.1.1 回顧Skip-Gram 算法 / 163
9.1.2 subword 模型 / 164
9.1.3 subword 形態(tài) / 167
9.1.4 分層softmax / 168
9.1.5 fastText 的模型架構(gòu) / 170
9.1.6 fastText 算法實現(xiàn) / 171
9.2 應(yīng)用場景：搜索廣告中的查詢詞關(guān)鍵詞匹配問題 / 172
9.3 本章小結(jié) / 173
參考文獻(xiàn) / 174
第10 章
生成對抗網(wǎng)絡(luò) / 175
10.1 生成對抗網(wǎng)絡(luò)的原理 / 176
10.1.1 GAN 的基本模型 / 176
10.1.2 GAN 優(yōu)化目標(biāo)的原理 / 178
10.1.3 GAN 的訓(xùn)練 / 179
10.1.4 GAN 的擴(kuò)展模型 / 180
10.2 應(yīng)用場景：搜索廣告中由查詢詞直接生成關(guān)鍵詞 / 182
10.2.1 生成模型的構(gòu)建 / 182
10.2.2 判別模型的構(gòu)建 / 184
10.2.3 條件生成對抗網(wǎng)絡(luò)的構(gòu)建 / 185
10.3 本章小結(jié) / 186
參考文獻(xiàn) / 187
第11 章
深度強(qiáng)化學(xué)習(xí) / 188
11.1 深度強(qiáng)化學(xué)習(xí)的原理 / 189
11.1.1 強(qiáng)化學(xué)習(xí)的基本概念 / 189
11.1.2 馬爾可夫決策過程 / 191
11.1.3 價值函數(shù)和貝爾曼方程 / 192
11.1.4 策略迭代和值迭代 / 194
11.1.5 Q-Learning / 196
11.1.6 深度Q 網(wǎng)絡(luò) / 198
11.1.7 策略梯度 / 201
11.1.8 動作評價網(wǎng)絡(luò) / 202
11.2 應(yīng)用場景：基于深度強(qiáng)化學(xué)習(xí)的推薦系統(tǒng) / 203
11.3 本章小結(jié) / 206
參考文獻(xiàn) / 206
第12 章
工程實踐和線上優(yōu)化 / 208
12.1 Seq2Seq 模型介紹 / 209
12.2 LSTM 優(yōu)化分析 / 211
12.2.1 優(yōu)化一：指數(shù)運(yùn)算的近似展開 / 214
12.2.2 優(yōu)化二：矩陣運(yùn)算的執(zhí)行速度優(yōu)化 / 218
12.2.3 優(yōu)化三：多線程并行處理 / 224
12.3 優(yōu)化應(yīng)用實例：RapidScorer 算法對GBDT 的加速 / 227
12.3.1 背景介紹 / 228
12.3.2 RapidScorer 數(shù)據(jù)結(jié)構(gòu)設(shè)計 / 231
12.3.3 RapidScorer 矢量化 / 233
12.3.4 RapidScorer 實驗結(jié)果 / 237
12.4 本章小結(jié) / 238
參考文獻(xiàn) / 239
第13 章
深度學(xué)習(xí)的下一個浪潮 / 240
13.1 深度學(xué)習(xí)的探索方向展望 / 241
13.1.1 設(shè)計更好的生成模型 / 241
13.1.2 深度強(qiáng)化學(xué)習(xí)的發(fā)展 / 241
13.1.3 半監(jiān)督學(xué)習(xí)與深度學(xué)習(xí) / 242
13.1.4 深度學(xué)習(xí)自身的學(xué)習(xí) / 242
13.1.5 遷移學(xué)習(xí)與深度學(xué)習(xí)的結(jié)合 / 242
13.1.6 用于推理的深度學(xué)習(xí) / 243
13.1.7 深度學(xué)習(xí)工具的標(biāo)準(zhǔn)化 / 243
13.2 深度學(xué)習(xí)的應(yīng)用場景展望 / 243
13.2.1 醫(yī)療健康領(lǐng)域 / 243
13.2.2 安全隱私領(lǐng)域 / 248
13.2.3 城市治理領(lǐng)域 / 249
13.2.4 藝術(shù)創(chuàng)作領(lǐng)域 / 250
13.2.5 金融保險領(lǐng)域 / 252
13.2.6 無人服務(wù)領(lǐng)域 / 254
13.3 本章小結(jié) / 257
參考文獻(xiàn) / 258
新書資訊