近年來，自然語言處理技術備受矚目，一方面受益于計算機硬件和機器學習等相關技術的快速發展，自然語言處理的技術性能得到了快速提高，讓人們真實地看到和切身感受到了該技術所帶來的便利； 另一方面，隨著計算機網絡和移動通訊技術的快速發展和普及應用，人們對自然語言處理技術的需求愈加迫切，對技術性能和服務方式的要求也越來越高，從機器翻譯、問答系統和人機對話系統，到自動文摘、情感分析和觀點挖掘等，再從輿論監督、社會管理和國家安全，到工商業界的業務需求和普通百姓的日常生活服務，自然語言處理技術都以其不可替代的地位和作用得到了廣泛關注和重視。尤其2022年底大規模語言模型騰空出世，徹底刷新了人們對自然語言處理技術的傳統認知，甚至顛覆和改變了整個人工智能領域的研究范式和發展方向。自然語言處理學科方向從鮮為人知的丑小鴨一躍而成為備受追捧的白天鵝，這門課程也在大多數高校的人工智能學院或人工智能專業中理所當然地成為專業必修課。自然語言處理的春天來到了。
在春暖花開的季節里，不同模態數據之間的邊界變得越來越模糊，自然語言文本、語音、圖像和視頻處理幾乎進入了同一種范式。與此同時，學術界和工業界研發機構所從事的工作越來越趨于同質化。越來越多的共享數據、技術和平臺，為該領域的迅速成長和壯大提供了強有力的支持。這對于技術初學者來說，何嘗不是一件幸事！但是，面對蜂擁而出的各類算法和模型，如何為初學者提供一個快速入門的切入點呢？大語言模型席卷全球，其最基本的理論方法和實現技術是什么？通過一種什么樣的方式讓初學者快速地了解每一種算法和模型是如何實現的，數據應如何處理，參數該如何配置和優化，系統要如何搭建，平臺可如何使用？這些基本問題和需求像線蟲一樣蠕動在我的心里，讓我時不時地產生要撰寫一部介紹技術實現方法著作的沖動，有時候這種蠕動如芒刺在背讓我坐臥不安。當百度飛槳技術團隊通過清華大學出版社聯系我，有意合作撰寫本書時，讓我頓時眼前一亮，因為我知道飛槳團隊有足夠的實力協助我完成這一任務，他們不僅有經驗豐富的專業技術人員，而且有成熟可靠的飛槳平臺。我自己團隊得力干將趙陽博士（副研究員）的加盟更讓我信心倍增。于是，我們一拍即合。自那一刻起，我便堅信芒刺將不復存在。
本書默認讀者對自然語言處理的基礎理論和方法有一定的了解，所以理論部分僅點到為止，而主要筆墨用于介紹技術具體實現方法。在內容分配上，以當前主流的神經網絡和深度學習方法為主，適當涉及n元文法模型和條件隨機場等統計自然語言處理的經典方法； 既有關鍵技術，也有應用系統，通過具體案例從不同層面全方位地貫穿整個自然語言處理全域。書中提供的每個代碼都已經通過調試，并以Jupyter Notebook形式托管在百度AI Studio星河社區上。讀者按照書中的說明就可以直接使用AI Studio星河社區提供的免費GPU算力卡在線編譯運行書中的程序代碼，為讀者實踐、練習提供了極大的便利。
作為共同作者的趙陽博士和飛槳技術團隊為本書的寫作給予了最有力的支持和幫助，如果沒有他們的鼎力相助和友好合作，恐怕一切還只會停留在我的空想和沖動之中。在此向他們表示最誠摯的謝意！
本書的撰寫工作得到了中國科學院大學教材出版中心的資助。學校教務處的田晨晨老師、人工智能學院的肖俊副院長和屈曉春老師給予了大力幫助和支持。同行專家趙鐵軍、王厚峰、王小捷、黃民烈和張家俊等對本書的初始結構提出了寶貴的修改建議。中國科學院自動化研究所自然語言處理團隊的向露博士對書中的部分內容進行了審閱和補充。清華大學出版社的孫亞楠編輯和王倩編輯給予了最貼心的幫助。一并向他們表示衷心的感謝！
本書從2021年6月開始策劃，基本內容確定之后實施代碼編寫、調試和優化工作，在組織準備過程中對部分內容進行了微調，至2022年初基本完成。2022年底大模型出現之后，根據最新技術發展我們又對書中部分內容重新作了調整。由于時間十分倉促，再加上作者的水平有限，書中難免有不妥之處，甚至可能存在疏漏或錯誤。作者真誠地歡迎讀者給予批評指正，或提出修改建議。謝謝！
宗成慶
2023年12月
第1章緒論
1.1自然語言處理方法概述
1.2本書的內容組織
1.3本書的實踐平臺
1.3.1本地運行
1.3.2AI Studio星河社區運行
1.3.3本書使用的API
1.3.4本書使用的數據集
第2章神經網絡基礎
2.1概述
2.2神經元與感知機
2.2.1神經元
2.2.2感知機
2.2.3常見的激活函數
2.3前饋神經網絡
2.4卷積神經網絡
2.4.1卷積
2.4.2池化
2.4.3卷積神經網絡
2.5循環神經網絡
2.5.1簡單循環神經網絡
2.5.2長短時記憶網絡
2.5.3門控循環單元
2.5.4循環神經網絡拓展知識
第3章分布式表示
3.1詞的分布式表示
3.1.1靜態詞向量
3.1.2動態詞向量
3.2短語的分布式表示
3.3句子的分布式表示
3.3.1基于循環神經網絡的表示方法
3.3.2基于預訓練語言模型的表示方法
第4章序列生成模型
4.1基于循環神經網絡的Seq2Seq模型
4.1.1基于RNN的Seq2Seq模型原理
4.1.2解碼策略
4.2融合注意力機制的Seq2Seq模型
4.3基于Transformer的Seq2Seq模型
4.3.1自注意力模型
4.3.2Transformer的網絡結構
4.3.3Transformer編碼器
4.3.4Transformer解碼器
4.3.5知識延伸： 基于Transformer結構的模型
第5章基礎語言模型
5.1統計語言模型
5.1.1模型定義
5.1.2數據平滑方法
5.1.3語言模型評價
5.2神經網絡語言模型
5.2.1前饋神經網絡語言模型
5.2.2循環神經網絡語言模型
5.2.3語言模型與詞向量
第6章預訓練大模型
6.1GPT語言模型
6.1.1GPT模型預訓練
6.1.2GPT在下游任務中的應用
6.2BERT語言模型
6.2.1BERT模型的預訓練任務
6.2.2BERT在下游任務中的應用
6.3ERNIE 語言模型
6.4預訓練大模型
6.4.1基礎大模型
6.4.2指令微調
6.4.3基于人類反饋的強化學習
第7章詞語切分
7.1基于BERT實現中文分詞
7.1.1任務目標
7.1.2實現思路及流程
7.1.3數據處理
7.1.4模型構建
7.1.5訓練配置
7.1.6模型訓練
7.1.7模型評估
7.1.8模型預測
7.2基于BPE算法實現子詞切分
7.2.1任務目標
7.2.2實現思路及流程
7.2.3構建BPE詞表
7.2.4文本子詞切分
7.2.5語料還原
7.3實驗思考
第8章文本情感分類方法實踐
8.1基于LSTM模型的情感分類方法
8.1.1任務目標
8.1.2實現思路及流程
8.1.3數據處理
8.1.4模型構建
8.1.5訓練配置
8.1.6模型訓練
8.1.7模型評估
8.1.8模型預測
8.2基于BERT模型實現情感分類
8.2.1數據處理
8.2.2模型構建
8.2.3訓練配置
8.2.4模型訓練
8.2.5模型評估
8.2.6模型預測
8.3基于BERT的屬性級情感分類
8.3.1任務目標
8.3.2實現思路及流程
8.3.3屬性和觀點抽取
8.3.4屬性級情感分類
8.3.5全流程模型推理
8.4實驗思考
第9章信息抽取實踐
9.1基于Bi-LSTM和CRF的命名實體識別方法
9.1.1任務目標和實現流程
9.1.2數據處理
9.1.3模型構建
9.1.4訓練配置
9.1.5模型訓練
9.1.6模型評估
9.1.7模型預測
9.2基于ERNIE-UIE實現實體關系抽取
9.2.1任務目標和實現流程
9.2.2數據處理
9.2.3模型構建
9.2.4訓練配置
9.2.5模型訓練
9.2.6模型評估
9.2.7模型預測
9.3實驗思考
第10章文本語義匹配實踐
10.1基于SimNet的文本語義匹配
10.1.1任務目標和實現流程
10.1.2數據處理
10.1.3模型構建
10.1.4訓練配置
10.1.5模型訓練
10.1.6模型評估
10.1.7模型預測
10.2基于RocketQA的文本語義匹配
10.2.1任務目標和實現流程
10.2.2數據處理
10.2.3模型構建
10.2.4訓練配置
10.2.5模型訓練
10.2.6模型評估
10.2.7模型預測
10.3實驗思考
第11章基于PEGASUS的中文文本摘要實踐
11.1任務目標和實現流程
11.2數據處理
11.2.1數據集確定
11.2.2數據加載
11.2.3將數據轉換成特征形式
11.2.4構造DataLoader
11.3模型構建
11.4訓練配置
11.4.1BLEU算法
11.4.2ROUGE算法
11.5模型訓練
11.6模型評估
11.7模型預測
11.8實驗思考
第12章基于ERNIE 3.0實現意圖識別
12.1任務目標和實現流程
12.2數據處理
12.2.1數據集確定
12.2.2數據加載
12.2.3將數據轉換成特征形式
12.2.4構造DataLoader
12.3模型構建
12.4訓練配置
12.5模型訓練
12.6模型評估
12.7模型預測
12.8實驗思考
第13章機器閱讀理解實踐
13.1任務目標
13.2實現流程
13.3數據處理
13.3.1數據集確定
13.3.2數據加載
13.3.3將數據轉換成特征形式
13.3.4構造DataLoader
13.4模型構建
13.5訓練配置
13.6模型訓練
13.7模型評估
13.8模型預測
13.9實驗思考
第14章機器翻譯實踐
14.1任務目標和實現流程
14.2數據處理
14.2.1數據集確定
14.2.2數據加載
14.2.3將數據轉換成特征形式
14.2.4構建DataLoader
14.2.5后處理
14.3模型構建
14.3.1嵌入層的代碼實現
14.3.2組裝Transformer模型
14.4訓練配置
14.5模型訓練
14.6模型評估
14.6.1數據讀取
14.6.2權重加載
14.6.3模型評估
14.7模型預測
14.8實驗思考
第15章基于大模型的自動問答實踐
15.1任務目標和設計方案
15.2通過飛槳零代碼開發工具實現
15.3通過PaddleNLP實現
15.3.1代碼實現邏輯
15.3.2配置大模型
15.3.3配置向量檢索模型
15.3.4定義document store
15.3.5構建文檔索引
15.3.6構建問答應用
15.3.7(可選)在線推理部署
15.4實驗思考
附錄 術語與縮略語
參考文獻
新書資訊