本書(shū)介紹了互聯(lián)網(wǎng)環(huán)境下文本類型數(shù)據(jù)的分析方法，探討了當(dāng)前主流的文本挖掘技術(shù)，以及這些技術(shù)在商業(yè)環(huán)境中的具體應(yīng)用。本書(shū)從算法原理和應(yīng)用場(chǎng)景兩方面分別對(duì)在線文本分析技術(shù)進(jìn)行了介紹：從算法原理的角度，以數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的相關(guān)知識(shí)為基礎(chǔ)，介紹了以文本建模、文本分類、文本聚類、序列標(biāo)注為主要任務(wù)的文本分析方法，并對(duì)當(dāng)前主流的深度學(xué)習(xí)方法與文本分析的結(jié)合進(jìn)行了討論。從應(yīng)用場(chǎng)景的角度，討論了文本分析技術(shù)的幾個(gè)重要實(shí)踐領(lǐng)域，包括信息檢索、內(nèi)容摘要、口碑分析、社交網(wǎng)絡(luò)分析以及智能系統(tǒng)。
劉通，畢業(yè)于上海交通大學(xué)安泰經(jīng)濟(jì)與管理學(xué)院，獲得博士研究生學(xué)位，多年從事動(dòng)畫(huà)、虛擬現(xiàn)實(shí)、手機(jī)游戲設(shè)計(jì)開(kāi)發(fā)的研究。曾出版《PREMIERE PRO CS4 視頻編輯與實(shí)戰(zhàn)演練》、《手機(jī)動(dòng)畫(huà)角色設(shè)計(jì)》目前就職于華為技術(shù)有限公司
第1章 概述 1
1.1 網(wǎng)絡(luò)運(yùn)營(yíng)與文本分析 1
1.1.1 互聯(lián)網(wǎng)運(yùn)營(yíng)的戰(zhàn)略思維 1
1.1.2 網(wǎng)絡(luò)運(yùn)營(yíng)與大數(shù)據(jù)文本分析 2
1.2 文本分析的4V特征 4
1.2.1 Volume特征 4
1.2.2 Variety特征 5
1.2.3 Value特征 6
1.2.4 Velocity特征 7
1.3 在線文本分析應(yīng)用 8
1.3.1 在線文本分析的管理類應(yīng)用 9
1.3.2 在線文本分析的內(nèi)容類應(yīng)用 12
1.4 本章小結(jié) 16
第2章 預(yù)備知識(shí) 18
2.1 文本挖掘的主要任務(wù) 18
2.2 語(yǔ)義分析與語(yǔ)法分析 20
2.3 文本的結(jié)構(gòu)化分析 21
2.4 文本的標(biāo)準(zhǔn)化分析 24
2.5 機(jī)器學(xué)習(xí)的基本概念 24
2.5.1 機(jī)器學(xué)習(xí)與深度學(xué)習(xí) 25
2.5.2 機(jī)器學(xué)習(xí)的基本要素 33
2.6 機(jī)器學(xué)習(xí)的重要問(wèn)題 36
2.6.1 概率圖模型 36
2.6.2 判別式模型和產(chǎn)生式模型 39
2.6.3 機(jī)器學(xué)習(xí)模型求解 40
2.6.4 模型過(guò)擬合 43
2.7 本章小結(jié) 45
第3章 文本建模 46
3.1 文本建模的基本概念 46
3.2 文本建模的應(yīng)用場(chǎng)景 48
3.2.1 主體角色識(shí)別 48
3.2.2 語(yǔ)言風(fēng)格分析 49
3.2.3 智能系統(tǒng) 49
3.2.4 文本表示 50
3.2.5 文本降維 50
3.2.6 話題分析 50
3.3 語(yǔ)言學(xué)建模概述 51
3.4 詞標(biāo)注分析 52
3.5 句法分析 55
3.5.1 轉(zhuǎn)換生成語(yǔ)法 56
3.5.2 依存句法 56
3.6 知識(shí)庫(kù)與語(yǔ)義網(wǎng) 58
3.7 統(tǒng)計(jì)學(xué)建模概述 59
3.8 向量空間模型 61
3.9 LSI模型 64
3.9.1 SVD 64
3.9.2 基于SVD的降維分析 66
3.10 Unigram模型 67
3.11 pLSI模型 67
3.11.1 pLSI的模型結(jié)構(gòu) 67
3.11.2 pLSI的參數(shù)估計(jì) 68
3.12 LDA主題模型 70
3.12.1 LDA的模型結(jié)構(gòu) 70
3.12.2 LDA的參數(shù)估計(jì) 72
3.13 主題模型拓展 75
3.13.1 相關(guān)主題模型 76
3.13.2 層次主題模型 77
3.13.3 動(dòng)態(tài)主題模型 80
3.13.4 句子主題模型 82
3.14 基于詞匯的統(tǒng)計(jì)學(xué)建模方法 83
3.15 本章小結(jié) 86
第4章 文本分類 88
4.1 文本分類的基本概念 88
4.2 文本分類的應(yīng)用場(chǎng)景 89
4.2.1 文檔有用性判斷 89
4.2.2 口碑情感分析 90
4.2.3 負(fù)面信息識(shí)別 90
4.2.4 信息檢索 90
4.3 樸素貝葉斯模型 91
4.3.1 貝努利模型 91
4.3.2 多項(xiàng)式模型 93
4.3.3 模型參數(shù)平滑 94
4.4 向量空間模型 95
4.4.1 Rocchio方法 95
4.4.2 KNN方法 96
4.5 SVM模型 97
4.5.1 硬間隔SVM 97
4.5.2 軟間隔SVM 100
4.6 文本分類的評(píng)價(jià) 102
4.6.1 二元分類評(píng)價(jià) 102
4.6.2 多類問(wèn)題評(píng)價(jià) 104
4.6.3 分類測(cè)試集 105
4.7 分類特征優(yōu)化 106
4.7.1 分類特征提取 106
4.7.2 分類特征轉(zhuǎn)化 112
4.7.3 分類特征擴(kuò)展 114
4.8 分類學(xué)習(xí)策略優(yōu)化 117
4.8.1 AdaBoost算法 117
4.8.2 主動(dòng)式學(xué)習(xí) 118
4.8.3 遷移學(xué)習(xí) 119
4.9 本章小結(jié) 119
第5章 文本聚類 121
5.1 文本聚類的基本概念 121
5.2 文本聚類的應(yīng)用場(chǎng)景 122
5.2.1 探索分析 122
5.2.2 降維 123
5.2.3 信息檢索 123
5.3 扁平式聚類 124
5.3.1 K-均值算法 125
5.3.2 基于模型的聚類 128
5.4 凝聚式聚類 132
5.4.1 層次聚類 132
5.4.2 基于簇距離的聚類過(guò)程 132
5.4.3 算法停止條件 135
5.5 聚類結(jié)果分析 136
5.5.1 聚類算法評(píng)估 136
5.5.2 聚類標(biāo)簽生成 138
5.6 聚類特征優(yōu)化 140
5.6.1 基于迭代的方法 141
5.6.2 無(wú)監(jiān)督指標(biāo) 141
5.7 半監(jiān)督聚類 143
5.7.1 遷移學(xué)習(xí) 144
5.7.2 AP算法 145
5.8 短文本聚類 146
5.8.1 文本特征補(bǔ)充 146
5.8.2 TermCut算法 148
5.8.3 Dirichlet多項(xiàng)式混合模型 149
5.9 流數(shù)據(jù)聚類 151
5.9.1 OSKM算法 151
5.9.2 可拓展K-means算法 152
5.10 本章小結(jié) 153
第6章 序列標(biāo)注 155
6.1 序列標(biāo)注的基本概念 155
6.2 序列標(biāo)注的應(yīng)用場(chǎng)景 157
6.2.1 詞性標(biāo)注 157
6.2.2 命名實(shí)體識(shí)別 157
6.2.3 分詞 157
6.3 HMM 158
6.3.1 HMM的概率計(jì)算問(wèn)題 160
6.3.2 HMM的學(xué)習(xí)問(wèn)題 162
6.2.3 HMM的預(yù)測(cè)問(wèn)題 164
6.4 最大熵模型和最大熵馬爾可夫模型 166
6.4.1 最大熵模型 167
6.4.2 最大熵馬爾可夫模型 170
6.5 條件隨機(jī)場(chǎng) 172
6.5.1 標(biāo)注偏置問(wèn)題 172
6.5.2 條件隨機(jī)場(chǎng)的基本原理 174
6.6 本章小結(jié) 176
第7章 信息檢索 177
7.1 信息檢索的基本概念 177
7.2 信息檢索的應(yīng)用場(chǎng)景 180
7.2.1 搜索引擎 180
7.2.2 內(nèi)容推薦 182
7.3 基于空間模型的信息檢索 184
7.3.1 文檔查找 184
7.3.2 文檔排序 185
7.3.3 系統(tǒng)評(píng)價(jià) 187
7.4 基于概率模型的信息檢索 190
7.4.1 二值獨(dú)立模型 191
7.4.2 模型參數(shù)估計(jì) 193
7.5 基于語(yǔ)言模型的信息檢索 196
7.5.1 語(yǔ)言模型 196
7.5.2 查詢似然模型 198
7.6 本章小結(jié) 201
第8章 文本摘要 203
8.1 文本摘要的基本概念 203
8.2 文本摘要的應(yīng)用場(chǎng)景 206
8.2.1 信息檢索 206
8.2.2 信息壓縮 207
8.2.3 用戶畫(huà)像 208
8.2.4 知識(shí)管理 209
8.3 關(guān)鍵詞提取的特征設(shè)計(jì) 210
8.3.1 詞頻特征 210
8.3.2 詞匯基礎(chǔ)特征 211
8.3.3 詞匯位置特征 212
8.3.4 詞匯標(biāo)記特征 214
8.4 關(guān)鍵詞提取的有監(jiān)督算法 214
8.5 關(guān)鍵詞提取的無(wú)監(jiān)督算法 217
8.5.1 簡(jiǎn)單指標(biāo)設(shè)計(jì) 217
8.5.2 復(fù)合指標(biāo)設(shè)計(jì) 217
8.6 基于圖模型的關(guān)鍵詞提取算法 218
8.6.1 圖模型靜態(tài)指標(biāo)算法 220
8.6.2 圖模型動(dòng)態(tài)指標(biāo)算法 223
8.7 關(guān)鍵詞提取的技術(shù)優(yōu)化 226
8.7.1 長(zhǎng)文本問(wèn)題優(yōu)化 227
8.7.2 短文本問(wèn)題優(yōu)化 228
8.7.3 多主題特征優(yōu)化 229
8.7.4 時(shí)序特征優(yōu)化 232
8.7.5 歧義問(wèn)題優(yōu)化 233
8.8 關(guān)鍵短語(yǔ)提取 234
8.8.1 短語(yǔ)性指標(biāo) 235
8.8.2 信息性指標(biāo) 235
8.9 關(guān)鍵句提取 236
8.9.1 基于詞匯關(guān)鍵性的方法 236
8.9.2 基于句子特征的方法 237
8.9.3 基于圖模型的方法 238
8.10 本章小結(jié) 240
第9章 口碑分析 241
9.1 口碑分析的基本概念 242
9.2 口碑分析的應(yīng)用場(chǎng)景 243
9.2.1 用戶視角的應(yīng)用 243
9.2.2 網(wǎng)站運(yùn)營(yíng)者視角的應(yīng)用 244
9.2.3 商家視角的應(yīng)用 244
9.2.4 其他應(yīng)用 245
9.3 基于詞典的評(píng)價(jià)對(duì)象提取 245
9.4 基于語(yǔ)料的評(píng)價(jià)對(duì)象提取 246
9.5 評(píng)價(jià)水平量化 252
9.5.1 整體粗粒度情感分析 253
9.5.2 整體細(xì)粒度情感分析 254
9.5.3 局部粗粒度情感分析 258
9.5.4 局部細(xì)粒度情感分析 259
9.6 基于語(yǔ)言模型的情感分析技術(shù) 259
9.6.1 最大熵LDA主題模型：模型性質(zhì) 260
9.6.2 最大熵LDA主題模型：基本結(jié)構(gòu) 260
9.6.3 最大熵LDA主題模型：參數(shù)估計(jì) 263
9.7 本章小結(jié) 265
第10章 社交網(wǎng)絡(luò)分析 266
10.1 社交網(wǎng)絡(luò)分析的基本概念 266
10.2 社交網(wǎng)絡(luò)分析的應(yīng)用場(chǎng)景 269
10.2.1 虛擬社區(qū)發(fā)現(xiàn) 270
10.2.2 用戶影響力分析 271
10.2.3 情感分析 271
10.2.4 話題發(fā)現(xiàn)與演化 272
10.2.5 信息檢索 273
10.3 社交網(wǎng)絡(luò)的虛擬社區(qū)發(fā)現(xiàn) 274
10.3.1 社區(qū)發(fā)現(xiàn)的信息基礎(chǔ) 274
10.3.2 基于隱性位置的聚類模型 275
10.4 社交網(wǎng)絡(luò)的用戶影響力分析 276
10.4.1 網(wǎng)絡(luò)結(jié)構(gòu)與用戶影響力 276
10.4.2 TwitterRank算法 277
10.5 社交網(wǎng)絡(luò)的情感分析 279
10.5.1 基于表情符號(hào)的訓(xùn)練集合構(gòu)建 279
10.5.2 基于POSTag的特征優(yōu)化 280
10.6 社交網(wǎng)絡(luò)的話題發(fā)現(xiàn)與演化 282
10.6.1 話題發(fā)現(xiàn)分析 282
10.6.2 Twitter-LDA 284
10.6.3 基于文檔聚類的話題發(fā)現(xiàn) 284
10.6.4 基于詞匯聚類的話題發(fā)現(xiàn) 286
10.6.5 話題演化分析 287
10.6.6 基于NMF的主題建模 287
10.7 社交網(wǎng)絡(luò)的信息檢索 289
10.7.1 信息檢索的內(nèi)容拓展策略 290
10.7.2 信息檢索的綜合排序策略 291
10.8 本章小結(jié) 293
第11章 深度學(xué)習(xí)與NLP 295
11.1 基本原理 296
11.2 詞嵌入模型 299
11.2.1 詞匯的分布式表示 299
11.2.2 神經(jīng)概率語(yǔ)言模型 300
11.2.3 詞嵌入模型概述 301
11.3 RNN與NLP 304
11.3.1 RNN 304
11.3.2 基于RNN的機(jī)器翻譯 305
11.3.3 RNN的其他應(yīng)用 308
11.4 本章小結(jié) 309
第12章 實(shí)證研究 311
12.1 研究框架 311
12.1.1 研究問(wèn)題背景 311
12.1.2 問(wèn)題分析 313
12.2 理論與模型 314
12.2.1 相關(guān)理論與假設(shè) 314
12.2.2 模型構(gòu)建 317
12.3 文本數(shù)據(jù)處理 319
12.3.1 基于文本分析的口碑打分調(diào)整 319
12.3.2 基于文本分析的口碑權(quán)重計(jì)算 323
12.3.3 基于文本分析的候選集合構(gòu)建 324
12.4 研究結(jié)論 326
12.4.1 實(shí)證結(jié)果 326
12.4.2 管理建議 328
12.5 本章小結(jié) 329
第13章 總結(jié) 330
新書(shū)資訊