本書從工程角度出發(fā)，闡述了運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行軟件測試的方法和實(shí)現(xiàn)過程。全書共11章，介紹了大數(shù)據(jù)測試思維、手機(jī)聯(lián)網(wǎng)數(shù)據(jù)的收集方法、數(shù)據(jù)格式的轉(zhuǎn)換方法、大數(shù)據(jù)的處理方法、軟件缺陷挖掘技術(shù)及實(shí)踐項(xiàng)目的應(yīng)用等。本書第1章介紹了大數(shù)據(jù)的測試方法和思維方式，隨后每一章都通過案例來講解大數(shù)據(jù)技術(shù)的相關(guān)理論及其測試應(yīng)用。除第1章外，每章*后都提供了思考題來幫助讀者回顧和鞏固本章的學(xué)習(xí)內(nèi)容，本書*后還提供了思考題的參考答案。同時，本書對每一個案例進(jìn)行了詳細(xì)圖例展示和講解。
本書不同于傳統(tǒng)的軟件測試圖書，主要講解大數(shù)據(jù)層面的軟件測試方法。
通過實(shí)踐操作，幫助學(xué)生掌握大數(shù)據(jù)的收集、處理、分析的方法，進(jìn)而分析出軟件是否存在缺陷。
搭配在線實(shí)驗(yàn)環(huán)境，書網(wǎng)融合。
劉攀，男，博士，副教授，上海商學(xué)院信息與計算機(jī)學(xué)院計算機(jī)系專業(yè)負(fù)責(zé)人，美國德克薩斯大學(xué)達(dá)拉斯分校的訪問學(xué)者，上海協(xié)同計算與信息服務(wù)專委會成員，上海市計算機(jī)軟件評測重點(diǎn)實(shí)驗(yàn)室研究員（兼職）。曾主持和參與省部級以上課題10項(xiàng)，在《ACM SIGSOFT Software Engineering Notes》《IJDSN》《JCST》《IJPE》《軟件學(xué)報》《計算機(jī)學(xué)報》等學(xué)術(shù)雜志及QRS、ICFEM、TASE、ATS、PRDC、ICPCA、WCICA、ICIS、SPND等國際會議上發(fā)表學(xué)術(shù)論文30余篇。目前從事計算機(jī)類課程的教學(xué)，主要承擔(dān)軟件測試、大數(shù)據(jù)分析及可視化、軟件工程、程序設(shè)計基礎(chǔ)、高級程序設(shè)計等課程。
第 1章 大數(shù)據(jù)測試的思維 1
1.1 規(guī)律是否存在 1
1.2 大數(shù)據(jù)的背后 3
1.3 大數(shù)據(jù)測試方法 4
1.4 目的及組織結(jié)構(gòu) 5
第 2章 大數(shù)據(jù)收集概述 7
2.1 案例介紹 7
2.2 原理及方法 7
2.3 環(huán)境配置 8
2.3.1 配置無線網(wǎng) 8
2.3.2 安裝分析軟件 9
2.4 數(shù)據(jù)采集 10
2.4.1 軟件連接 10
2.4.2 信息顯示 11
2.4.3 數(shù)據(jù)包的存儲 11
2.5 同步操作 12
2.6 小結(jié) 14
【思考題】 14
第3章 網(wǎng)絡(luò)數(shù)據(jù)的采集與分析 15
3.1 物理連接及Wireshark軟件的常用操作 15
3.1.1 物理連接 15
3.1.2 Wireshark軟件的打開方式 15
3.1.3 構(gòu)建網(wǎng)絡(luò) 17
3.1.4 Wireshark軟件功能介紹 18
3.2 數(shù)據(jù)包的采集 18
3.2.1 數(shù)據(jù)的收集 18
3.2.2 數(shù)據(jù)的存儲和打開 20
3.3 數(shù)據(jù)包的自動抓取 22
3.3.1 背景介紹 22
3.3.2 腳本錄制 23
3.3.3 腳本執(zhí)行 24
3.4 數(shù)據(jù)包分析 25
3.4.1 數(shù)據(jù)包的分析方法 25
3.4.2 數(shù)據(jù)獲取 25
3.4.3 數(shù)據(jù)包的數(shù)量 28
3.4.4 數(shù)據(jù)分析 28
3.5 小結(jié) 32
【思考題】 32
第4章 數(shù)據(jù)格式轉(zhuǎn)換及Python編程 34
4.1 原理及方法 34
4.1.1 pyshark介紹 34
4.1.2 FileCapture和LiveCapture 35
4.1.3 Python基礎(chǔ)語法 37
4.2 Python安裝及配置 37
4.2.1 Python安裝 37
4.2.2 配置 38
4.2.3 pyshark包下載 39
4.2.4 pyshark包安裝 40
4.2.5 安裝支撐文件 41
4.3 Python基礎(chǔ)學(xué)習(xí) 42
4.3.1 Python的命令行演示 42
4.3.2 創(chuàng)建并運(yùn)行.py文件 42
4.3.3 Python出錯演示 42
4.3.4 Python注釋 43
4.3.5 一行多語句 43
4.3.6 輸出換行 43
4.3.7 縮進(jìn) 44
4.3.8 Python幫助 44
4.4 Notepad環(huán)境 45
4.4.1 Notepad++軟件 45
4.4.2 運(yùn)行設(shè)置 45
4.4.3 多個變量賦值 46
4.4.4 Python的標(biāo)準(zhǔn)數(shù)據(jù)類型 47
4.4.5 刪除對象的引用 50
4.4.6 Python語言的運(yùn)算符 50
4.4.7 Python條件語句 52
4.5 Python編程實(shí)踐 52
4.5.1 漢諾塔問題 52
4.5.2 奇偶數(shù)分離 53
4.5.3 Python中in的應(yīng)用 54
4.5.4 循環(huán)使用else語句編程 54
4.6 Python面向?qū)ο蟆?4
4.6.1 面向?qū)ο蠼榻B 54
4.6.2 self代表類的對象 55
4.6.3 類的實(shí)例化 56
4.6.4 Python內(nèi)置類屬性 57
4.6.5 Python對象的銷毀（垃圾回收） 57
4.6.6 類的繼承 58
4.6.7 方法重寫 59
4.6.8 運(yùn)算符重載 60
4.6.9 類屬性與方法 60
4.7 Python的集成開發(fā)環(huán)境 61
4.7.1 PyCharm軟件 61
4.7.2 Jupyter軟件 67
4.8 pcapng文件到CSV文件 78
4.8.1 編寫代碼 78
4.8.2 代碼運(yùn)行 80
4.8.3 轉(zhuǎn)換文件 80
4.9 小結(jié) 80
【思考題】 81
第5章 Splunk軟件初探 83
5.1 Splunk簡介 83
5.1.1 Splunk的架構(gòu) 84
5.1.2 Splunk indexer集群架構(gòu) 85
5.1.3 Splunk search集群架構(gòu) 86
5.1.4 SPL語言 86
5.2 Splunk的安裝與配置 90
5.2.1 安裝 90
5.2.2 配置 92
5.3 Splunk數(shù)據(jù)分析 94
5.3.1 構(gòu)造SPL語句 94
5.3.2 確定列名 95
5.3.3 Splunk的簡單操作 95
5.4 SPL高級編程 97
5.4.1 自動生成數(shù)據(jù) 97
5.4.2 構(gòu)造隨機(jī)數(shù) 99
5.4.3 數(shù)據(jù)統(tǒng)計 100
5.4.4 Splunk處理過程 101
5.4.5 報告再編輯 102
5.5 小結(jié) 102
【思考題】 102
第6章 Splunk平臺實(shí)踐 105
6.1 Splunk的基礎(chǔ)命令 105
6.1.1 Search（搜索）命令 105
6.1.2 SPL的命令分類 107
6.1.3 常用命令詳解 115
6.2 Splunk軟件的自動數(shù)據(jù)生成 119
6.2.1 生成數(shù)據(jù) 119
6.2.2 刪除無用數(shù)據(jù) 121
6.2.3 構(gòu)造隨機(jī)數(shù)據(jù) 121
6.2.4 創(chuàng)建對數(shù)列和指數(shù)列 122
6.3 可視化展示 123
6.3.1 可視化圖 123
6.3.2 格式設(shè)置 123
6.3.3 保存和導(dǎo)入 123
6.3.4 圖形修改 125
6.4 官方幫助文檔 126
6.4.1 SPL語言目錄 126
6.4.2 命令分析實(shí)例 133
6.5 應(yīng)用分析實(shí)例 137
6.5.1 案例 137
6.5.2 案例分析 137
6.5.3 創(chuàng)建記錄 137
6.5.4 增加統(tǒng)計值 138
6.5.5 創(chuàng)建test字段 138
6.5.6 錯誤解決 139
【思考題】 140
第7章 SPL案例編程 142
7.1 stats命令學(xué)習(xí) 142
7.2 數(shù)據(jù)下載和導(dǎo)入 144
7.2.1 數(shù)據(jù)下載 144
7.2.2 數(shù)據(jù)導(dǎo)入 145
7.3 問題描述及分析 148
7.3.1 自動生成的SPL語句 148
7.3.2 要求及分析 149
7.3.3 解決方案 150
【思考題】 151
第8章 數(shù)據(jù)導(dǎo)入及錯誤分析 153
8.1 背景知識介紹 153
8.1.1 時間戳 153
8.1.2 數(shù)據(jù) 153
8.2 數(shù)據(jù)選擇 154
8.2.1 導(dǎo)入數(shù)據(jù)入口 154
8.2.2 數(shù)據(jù)類型 154
8.3 時間戳錯誤 155
8.3.1 手機(jī)聯(lián)網(wǎng)數(shù)據(jù)導(dǎo)入 155
8.3.2 時間戳錯誤 157
8.4 問題分析及解決 157
8.4.1 問題分析 157
8.4.2 問題解決 158
8.5 導(dǎo)入配置 159
8.5.1 源類型設(shè)置 159
8.5.2 索引設(shè)置 160
8.5.3 導(dǎo)入成功及預(yù)覽 161
8.5.4 數(shù)據(jù)搜索及分析 162
【思考題】 163
第9章 聯(lián)網(wǎng)效率分析 164
9.1 原理及方法 164
9.1.1 效率分析 164
9.1.2 性能測試方法 164
9.2 常用分析命令 164
9.2.1 sort命令 164
9.2.2 timechart命令 165
9.2.3 outlier命令 166
9.2.4 eventstats命令 167
9.3 數(shù)據(jù)導(dǎo)入和處理 167
9.3.1 數(shù)據(jù)導(dǎo)入 167
9.3.2 從Wireshark代碼到Splunk代碼 167
9.3.3 字段調(diào)整 169
9.3.4 時間排序 171
9.3.5 數(shù)據(jù)分組 172
9.4 分析聯(lián)網(wǎng)效率 175
9.4.1 創(chuàng)建count字段 175
9.4.2 數(shù)據(jù)過濾 176
9.4.3 數(shù)據(jù)分析 176
【思考題】 180
第 10章 Linux部署 182
10.1 原理及方法 182
10.1.1 虛擬機(jī) 182
10.1.2 數(shù)據(jù)傳輸 183
10.2 軟件安裝及運(yùn)行 184
10.2.1 在虛擬機(jī)中安裝Linux系統(tǒng) 184
10.2.2 在CentOS 7系統(tǒng)中安裝Splunk平臺 185
10.2.3 啟動Splunk 186
10.2.4 Splunk的運(yùn)行演示 187
10.3 網(wǎng)絡(luò)配置 189
10.3.1 Ubuntu安裝 189
10.3.2 VMware網(wǎng)絡(luò)設(shè)置 190
10.3.3 網(wǎng)絡(luò)驗(yàn)證 191
10.3.4 Ubuntu系統(tǒng)的網(wǎng)絡(luò)配置 192
10.3.5 運(yùn)行Splunk 193
【思考題】 196
第 11章 大數(shù)據(jù)測試實(shí)踐 197
11.1 監(jiān)測數(shù)據(jù)導(dǎo)入 197
11.1.1 運(yùn)行Splunk 197
11.1.2 Web日志分析 197
11.1.3 Xftp連接 198
11.1.4 monitor方式 199
11.1.5 monitor數(shù)據(jù)導(dǎo)入 199
11.1.6 數(shù)據(jù)分析 203
11.1.7 查看文件和目錄 204
11.1.8 小結(jié) 205
11.2 數(shù)據(jù)缺陷挖掘 205
11.2.1 方法與思路 205
11.2.2 狀態(tài)碼 206
11.2.3 啟動Splunk服務(wù) 209
11.2.4 網(wǎng)絡(luò)聯(lián)通驗(yàn)證 210
11.2.5 運(yùn)行Splunk 212
11.2.6 返回操作 212
11.2.7 數(shù)據(jù)挖掘及分析 214
11.2.8 可視化展示 217
11.3 非結(jié)構(gòu)化數(shù)據(jù)處理 220
11.3.1 非結(jié)構(gòu)化數(shù)據(jù) 220
11.3.2 正則表達(dá)式 221
11.3.3 數(shù)據(jù)處理 226
【思考題】 240
思考題答案 242
新書資訊