文本語義向量化表示是指將自然語言編碼為計(jì)算機(jī)可處理的、蘊(yùn)含語義特征的向量的過程。在人工智能領(lǐng)域中，語義表示學(xué)習(xí)是實(shí)現(xiàn)機(jī)器理解自然語言的第一步，是機(jī)器處理文本數(shù)據(jù)和完成各種自然語言處理任務(wù)的基礎(chǔ)，其性能的優(yōu)劣直接影響下游任務(wù)的效果。因此，語義表示學(xué)習(xí)具有重要的研究意義和實(shí)用價(jià)值。本文梳理了文本語義向量化表示的基礎(chǔ)理論，詳細(xì)介紹了分布式表示方式、融合知識(shí)表示方法、任務(wù)導(dǎo)向的表示方法和預(yù)訓(xùn)練語言模型等典型方法，并以機(jī)器閱讀理解任務(wù)為例，介紹了文本語義向量化表示在自然語言處理領(lǐng)域的實(shí)際應(yīng)用。最后本文對(duì)文本語言向量化表示進(jìn)行了總結(jié)和未來研究方向展望。
黃河燕，1963年10月生，籍貫湖南。1986年1月加入中國共產(chǎn)黨，1989年3月參加工作。1983年畢業(yè)于武漢測繪科技大學(xué)計(jì)算機(jī)系獲學(xué)士學(xué)位，1986年畢業(yè)于國防科技大學(xué)計(jì)算機(jī)系獲碩士學(xué)位，1989年畢業(yè)于中國科學(xué)院計(jì)算技術(shù)研究所獲博士學(xué)位，后留所工作，先后任助理研究員、副研究員、研究員；1997年至2009年在中科院計(jì)算機(jī)語言信息工程研究中心任副主任、研究員并先后兼任中科院華建集團(tuán)黨委委員、副書記，2009年至今任北京理工大學(xué)計(jì)算機(jī)學(xué)院院長、教授，兼北京市海量語言信息處理與云計(jì)算應(yīng)用工程技術(shù)研究中心主任及中-德語言信息處理聯(lián)合實(shí)驗(yàn)室主任；現(xiàn)為國家"863計(jì)劃”主題專家組成員、中國人工智能學(xué)會(huì)及中國中文信息學(xué)會(huì)副理事長、教育部計(jì)算機(jī)教學(xué)指導(dǎo)委員會(huì)委員、北京市學(xué)位委員會(huì)委員。主持承擔(dān)了國家自科基金重點(diǎn)項(xiàng)目、"973計(jì)劃”課題、"863計(jì)劃”項(xiàng)目等20多項(xiàng)國家級(jí)科研攻關(guān)項(xiàng)目，獲得了國家科技進(jìn)步一等獎(jiǎng)等8項(xiàng)國家級(jí)和省部級(jí)獎(jiǎng)勵(lì)，1997年享受國務(wù)院政府特殊津貼，2014年當(dāng)選全國優(yōu)秀科技工作者。
第1章 緒論 1
1.1 研究背景及意義 1
1.2 基本定義及問題描述 3
第2章 語義表示學(xué)習(xí)的基礎(chǔ)信息 6
2.1 發(fā)展歷史 6
2.2 實(shí)際應(yīng)用 8
第3章 分布表示方法 12
3.1 概述 12
3.2 基于矩陣分解的方法 15
3.3 基于神經(jīng)網(wǎng)絡(luò)的方法 19
3.4 方法總結(jié)與對(duì)比 26
第4章 預(yù)訓(xùn)練語言模型 27
4.1 ELMo模型 27
4.2 GPT模型 28
4.3 BERT模型 29
4.4 RoBERTa模型 31
4.5 XLNet模型 32
4.6 方法總結(jié)與對(duì)比 33
第5章 增強(qiáng)關(guān)聯(lián)模式的語義表示方法 35
5.1 引言 35
5.2 相關(guān)工作 37
5.3 預(yù)備知識(shí) 39
5.3.1 基于上下文信息的語義表示模型 39
5.3.2 關(guān)聯(lián)模式挖掘 40
5.4 增強(qiáng)關(guān)聯(lián)模式的語義表示模型 41
5.4.1 基于CBOW的APWE模型 42
5.4.2 基于Skip-gram的APWE模型 43
5.5 實(shí)驗(yàn) 44
5.5.1 對(duì)比方法 45
5.5.2 實(shí)驗(yàn)I：文本分類 45
5.5.3 實(shí)驗(yàn)II：查詢?cè)~擴(kuò)展 48
5.5.4 參數(shù)分析 51
5.5.5 實(shí)例分析 52
5.6 本章小結(jié) 53
第6章 基于知識(shí)的語義向量化表示 55
6.1 引言 55
6.2 相關(guān)工作 57
6.2.1 知識(shí)庫表示 57
6.2.2 知識(shí)與文本聯(lián)合表示 59
6.3 基于語義結(jié)構(gòu)的語義表示模型 60
6.3.1 語義結(jié)構(gòu)定義 60
6.3.2 SENSE模型 61
6.4 實(shí)驗(yàn) 63
6.4.1 對(duì)比方法 64
6.4.2 參數(shù)設(shè)置 65
6.4.3 任務(wù)I：詞相似度測量 66
6.4.4 任務(wù)II：詞匯類比推理 67
6.4.5 任務(wù)III：文本分類 69
6.4.6 任務(wù)IV：查詢?cè)~擴(kuò)展 71
6.5 本章小結(jié) 73
第7章 文本分類中任務(wù)導(dǎo)向的語義表示方法 74
7.1 引言 74
7.2 相關(guān)工作 76
7.3 任務(wù)導(dǎo)向的語義表示模型 78
7.3.1 語義特征表示 78
7.3.2 任務(wù)特征表示 78
7.3.3 聯(lián)合表示模型及優(yōu)化 80
7.4 實(shí)驗(yàn) 80
7.4.1 數(shù)據(jù)集 80
7.4.2 對(duì)比方法 82
7.4.3 實(shí)驗(yàn)參數(shù)設(shè)置 82
7.4.4 整體評(píng)測效果 84
7.5 實(shí)例分析 87
7.6 本章小結(jié) 89
第8章 文本語義向量化表示在機(jī)器閱讀理解任務(wù)中的應(yīng)用 90
8.1 引言 90
8.2 機(jī)器閱讀理解 93
8.3 機(jī)器閱讀理解基礎(chǔ)方法 95
8.4 多粒度語義匹配的MGRC模型 96
8.4.1 多粒度語義表示 96
8.4.2 多粒度語義匹配 99
8.4.3 聯(lián)合模型及其優(yōu)化 103
8.5 實(shí)驗(yàn) 103
8.5.1 數(shù)據(jù)集 104
8.5.2 評(píng)測指標(biāo)及對(duì)比方法 105
8.5.3 整體性能評(píng)測 106
8.5.4 參數(shù)分析 109
8.5.5 模塊有效性驗(yàn)證 109
8.5.6 實(shí)例分析 113
8.6 本章小結(jié) 115
第9章 總結(jié)與展望 116
9.1 本書總結(jié) 116
9.2 未來研究方向展望 117
參考文獻(xiàn) 119
新書資訊