自然語言處理被譽為“人工智能皇冠上的明珠”。深度學習等技術的引入為自然語言處理技術帶來了一場革命,尤其是近年來出現(xiàn)的基于大語言模型的方法,已成為研究自然語言處理的新范式。本書在介紹自然語言處理、深度學習等基本概念的基礎上,重點介紹新的基于預訓練語言模型和大語言模型的自然語言處理技術。本書包括基礎知識、預訓練語言模型和大語言模型三部分:基礎知識部分主要介紹自然語言處理和深度學習的基礎知識、基本工具集和常用數(shù)據(jù)集;預訓練語言模型部分主要介紹語言模型、預訓練詞向量、預訓練語言模型的實現(xiàn)方法和應用;大語言模型部分首先介紹大語言模型的預訓練方法,其次介紹大語言模型的適配、應用和評估方法,最后介紹基于預訓練語言模型思想的各種延伸技術。除了理論知識,本書還有針對性地結(jié)合具體案例提供相應的PyTorch代碼實現(xiàn),讓讀者不僅能對理論有更深刻的理解,還能快速地實現(xiàn)自然語言處理模型,達到理論和實踐的統(tǒng)一。