近年來，在自然語言處理領(lǐng)域，基于預(yù)訓(xùn)練語言模型的方法已形成全新范式。本書內(nèi)容分為基礎(chǔ)知識、預(yù)訓(xùn)練語言模型，以及實踐與應(yīng)用3個部分，共9章。第一部分全面、系統(tǒng)地介紹自然語言處理、神經(jīng)網(wǎng)絡(luò)和預(yù)訓(xùn)練語言模型的相關(guān)知識。第二部分介紹幾種具有代表性的預(yù)訓(xùn)練語言模型的原理和機(jī)制（涉及注意力機(jī)制和Transformer模型），包括BERT及其變種，以及近年來發(fā)展迅猛的GPT和提示工程。第三部分介紹了基于LangChain和ChatGLM-6B的知識庫問答系統(tǒng)、基于大型語言模型的自然語言處理任務(wù)應(yīng)用研究和大模型訓(xùn)練實戰(zhàn)等具體應(yīng)用，旨在從應(yīng)用的角度加深讀者對預(yù)訓(xùn)練語言模型理論的理解，便于讀者在實踐中提高技能，達(dá)到理論和實踐的統(tǒng)一。
本書適合計算機(jī)相關(guān)專業(yè)的學(xué)生，以及其他對預(yù)訓(xùn)練語言模型感興趣的讀者閱讀。
基礎(chǔ)知識：全面、系統(tǒng)介紹預(yù)訓(xùn)練語言模型的相關(guān)知識；
預(yù)訓(xùn)練語言模型：介紹具有代表性的預(yù)訓(xùn)練語言模型的原理和機(jī)制；
實踐與應(yīng)用：介紹知識庫問答系統(tǒng)、基于自然語言處理任務(wù)應(yīng)用研究、大模型訓(xùn)練實戰(zhàn)等具體應(yīng)用。
自然語言處理工程師，在機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自然語言處理領(lǐng)域有十余年的算法研發(fā)經(jīng)驗，曾在一線大廠阿里巴巴、京東等擔(dān)任過資深算法工程師和算法經(jīng)理等職，現(xiàn)在在世界500強(qiáng)公司擔(dān)任自然語言處理團(tuán)隊負(fù)責(zé)人，負(fù)責(zé)過金融和醫(yī)療領(lǐng)域的知識圖譜、智能問答系統(tǒng)、文本生成系統(tǒng)等企業(yè)級核心項目。
目 錄
第 一部分 基礎(chǔ)知識
第 1章 自然語言處理介紹2
1.1 什么是自然語言處理2
1.2 自然語言處理的發(fā)展歷史2
1.3 自然語言的特性3
1.3.1 歧義性4
1.3.2 主觀性4
1.3.3 創(chuàng)造性4
1.3.4 社會性5
1.4 自然語言處理的研究領(lǐng)域6
1.5 自然語言處理的常規(guī)任務(wù)6
1.5.1 機(jī)器翻譯7
1.5.2 信息抽取8
1.6 自然語言處理的常用工具12
1.6.1 常用工具12
1.6.2 PyTorch介紹13
第 2章 神經(jīng)網(wǎng)絡(luò)預(yù)備知識18
2.1 神經(jīng)網(wǎng)絡(luò)核心概念18
2.1.1 導(dǎo)數(shù)和梯度18
2.1.2 鏈?zhǔn)椒▌t20
2.1.3 損失函數(shù)22
2.1.4 前向傳播與反向傳播24
2.1.5 激活函數(shù)28
2.2 神經(jīng)網(wǎng)絡(luò)主要類型33
2.2.1 全連接神經(jīng)網(wǎng)絡(luò)33
2.2.2 卷積神經(jīng)網(wǎng)絡(luò)34
2.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)36
2.2.4 長短期記憶網(wǎng)絡(luò)38
2.2.5 自編碼器40
2.2.6 生成對抗網(wǎng)絡(luò)41
第3章 預(yù)訓(xùn)練語言模型基礎(chǔ)知識44
3.1 什么是預(yù)訓(xùn)練44
3.2 文本表示方法的分類45
3.3 詞袋型文本表示方法46
3.3.1 獨熱編碼46
3.3.2 詞袋模型47
3.3.3 N-gram49
3.3.4 TF-IDF51
3.4 主題型文本表示方法53
3.4.1 LSA53
3.4.2 LDA57
3.5 固定型詞向量文本表示方法59
3.5.1 Word2Vec59
3.5.2 GloVe70
3.5.3 FastText75
3.6 動態(tài)型詞向量文本表示方法77
3.6.1 ELMo77
3.6.2 ELMo實現(xiàn)78
第二部分 預(yù)訓(xùn)練語言模型
第4章 注意力機(jī)制和Transformer
模型82
4.1 注意力機(jī)制簡介82
4.1.1 什么是注意力機(jī)制82
4.1.2 自注意力機(jī)制88
4.1.3 多頭注意力機(jī)制95
4.2 Transformer模型97
4.2.1 編碼器部分98
4.2.2 解碼器部分101
4.2.3 模型示例104
第5章 BERT和變種BERT110
5.1 BERT110
5.1.1 BERT模型結(jié)構(gòu)110
5.1.2 BERT輸入表示112
5.1.3 BERT預(yù)訓(xùn)練113
5.1.4 BERT微調(diào)訓(xùn)練117
5.1.5 模型示例120
5.2 變種BERT122
5.2.1 ALBERT122
5.2.2 XLNet123
5.2.3 RoBERTa127
5.2.4 ELECTRA129
5.2.5 ERNIE132
第6章 GPT和提示工程137
6.1 GPT系列137
6.1.1 GPT-1137
6.1.2 GPT-2140
6.1.3 GPT-3142
6.1.4 InstructGPT和ChatGPT144
6.1.5 GPT-4147
6.2 Prompt148
6.2.1 什么是提示工程148
6.2.2 構(gòu)建提示模板的方法151
6.2.3 提示工程常用技術(shù)152
6.2.4 提示詞應(yīng)用示例157
第三部分 實踐與應(yīng)用
第7章 基于LangChain和ChatGLM-6B的知識庫問答系統(tǒng)166
7.1 核心組件166
7.1.1 LangChain166
7.1.2 ChatGLM-6B169
7.2 構(gòu)建流程172
7.2.1 本地知識庫構(gòu)建172
7.2.2 基于知識庫的問答系統(tǒng)
構(gòu)建173
7.3 趨勢與挑戰(zhàn)176
7.3.1 發(fā)展趨勢176
7.3.2 面臨的挑戰(zhàn)177
第8章 基于大型語言模型的自然語言處理任務(wù)應(yīng)用研究178
8.1 文本分類任務(wù)178
8.1.1 任務(wù)描述178
8.1.2 提示詞設(shè)計179
8.1.3 實現(xiàn)與測試180
8.2 信息抽取任務(wù)182
8.2.1 任務(wù)描述182
8.2.2 提示詞設(shè)計183
8.2.3 實現(xiàn)與測試184
8.3 文本匹配任務(wù)186
8.3.1 任務(wù)描述187
8.3.2 提示詞設(shè)計187
8.3.3 實現(xiàn)與測試187
第9章 大模型訓(xùn)練實戰(zhàn)190
9.1 預(yù)訓(xùn)練階段190
9.1.1 數(shù)據(jù)準(zhǔn)備190
9.1.2 數(shù)據(jù)處理191
9.1.3 詞表擴(kuò)充192
9.1.4 模型預(yù)訓(xùn)練193
9.1.5 模型效果評測195
9.2 指令微調(diào)階段197
9.2.1 指令微調(diào)197
9.2.2 數(shù)據(jù)集準(zhǔn)備199
9.2.3 指令微調(diào)模板202
9.3 獎勵模型204
9.3.1 直接打分204
9.3.2 排序打分207
9.4 RLHF微調(diào)211
9.4.1 流程介紹211
9.4.2 具體實現(xiàn)211
9.5 大模型評測214
9.5.1 評測內(nèi)容214
9.5.2 評測方法215
9.5.3 評測挑戰(zhàn)216
新書資訊