本書詳細介紹了大數(shù)據(jù)技術(shù)的基礎(chǔ)理論和*新主流前沿技術(shù)，全書共分為10章，分別介紹我們目前面臨的數(shù)字化信息社會的大數(shù)據(jù)時代、大數(shù)據(jù)技術(shù)基本概念、云計算網(wǎng)絡(luò)、大數(shù)據(jù)采集與預處理、大數(shù)據(jù)存儲、計算模式與處理系統(tǒng)、查詢顯示與交互、大數(shù)據(jù)分析與數(shù)據(jù)挖掘、隱私與安全、大數(shù)據(jù)技術(shù)發(fā)展前景，同時包括行業(yè)案例研究(銀行、保險、證券、金融行業(yè))，典型系統(tǒng)與相關(guān)大數(shù)據(jù)分析實例。
本書主要作為高等院校計算機專業(yè)、信息管理專業(yè)、經(jīng)濟類專業(yè)、管理類專業(yè)相關(guān)本科生和研究生專業(yè)基礎(chǔ)課的教材，也可以作為干部培訓、職業(yè)技術(shù)教育以及職業(yè)培訓機構(gòu)的云計算與大數(shù)據(jù)分析技術(shù)的專業(yè)訓練教材。對從事云計算與大數(shù)據(jù)分析工作的財政金融、政府管理、計算機網(wǎng)絡(luò)、軟件工程的方面的管理與工程技術(shù)人員也有學習參考價值。
1. 大數(shù)據(jù)技術(shù)是近年來計算機技術(shù)發(fā)展的前沿技術(shù)領(lǐng)域，2015年9月，國務(wù)院印發(fā)《促進大數(shù)據(jù)發(fā)展行動綱要》，系統(tǒng)部署大數(shù)據(jù)發(fā)展工作。國內(nèi)外都很關(guān)注這一技術(shù)的發(fā)展。本書反映了大數(shù)據(jù)分析方面的基礎(chǔ)理論和*新主流技術(shù)。
2. 目前國內(nèi)圖書市場上開始出現(xiàn)一些大數(shù)據(jù)相關(guān)技術(shù)書籍，主要可歸類為以下幾類：（1）外文資料翻譯書籍（2）科普類（3）計算機技術(shù)類（4）財金管理應(yīng)用類。上述相關(guān)書籍專業(yè)性或過深、或過淺，均不十分適合高校專業(yè)課程的教學要求�！洞髷�(shù)據(jù)技術(shù)及應(yīng)用簡明教程》一書深淺程度適合大學生知識水平，較適合作為高等學校計算機類、經(jīng)濟管理類學生的專業(yè)教材。
3. 《大數(shù)據(jù)技術(shù)及應(yīng)用簡明教程》一書淺顯易懂，案例豐富，教學輔助材料豐富，方便高校教師直接用于教學過程準備及課堂教學。
本書試圖在介紹大數(shù)據(jù)技術(shù)的理論基礎(chǔ)上對大數(shù)據(jù)分析最新前沿技術(shù)做全面詳細介紹，給出實際案例及行業(yè)解決方案，達到技術(shù)全面、案例教學及工程實用的目的。
本書主要分為4個部分，共10章，分別按大數(shù)據(jù)的技術(shù)架構(gòu)分層次詳細講述涉及大數(shù)據(jù)分析系統(tǒng)的各類相關(guān)技術(shù)：
第一部分大數(shù)據(jù)基礎(chǔ)知識， 簡單介紹我們目前面臨的數(shù)字化時代與信息社會的狀況，大數(shù)據(jù)的定義和特點、大數(shù)據(jù)技術(shù)基礎(chǔ)、大數(shù)據(jù)的社會價值、大數(shù)據(jù)的商業(yè)應(yīng)用、大數(shù)據(jù)的基礎(chǔ)架構(gòu)、云計算網(wǎng)絡(luò)的技術(shù)層次、典型的云計算網(wǎng)絡(luò)平臺，包括第1章“大數(shù)據(jù)技術(shù)基本概念”和第2章“基礎(chǔ)架構(gòu)——云計算網(wǎng)絡(luò)”；
第二部分大數(shù)據(jù)理論與技術(shù)，介紹涉及大數(shù)據(jù)分析的基本理論與技術(shù)基礎(chǔ)，按照技術(shù)層次分別介紹大數(shù)據(jù)采集與預處理、大數(shù)據(jù)存儲、大數(shù)據(jù)計算模式與處理系統(tǒng)、大數(shù)據(jù)查詢、顯示與交互、大數(shù)據(jù)分析與數(shù)據(jù)挖掘、大數(shù)據(jù)隱私與安全，包括第3章到第8章的內(nèi)容；
第三部分為行業(yè)案例研究，以銀行、保險、證券、金融行業(yè)為例，介紹涉及大數(shù)據(jù)分析的理論與技術(shù)方法在具體行業(yè)中的應(yīng)用，包括第9章“行業(yè)案例研究”；
第四部分大數(shù)據(jù)技術(shù)發(fā)展前景，介紹大數(shù)據(jù)引發(fā)的新一代信息技術(shù)變革浪潮、大數(shù)據(jù)各個過程的最新技術(shù)與發(fā)展前景，包括第10章大數(shù)據(jù)技術(shù)發(fā)展前景。
本書主要作為高等院校計算機專業(yè)、信息管理與信息系統(tǒng)專業(yè)、經(jīng)濟類專業(yè)、管理類專業(yè)相關(guān)專業(yè)本科生和研究生專業(yè)基礎(chǔ)課的教材，安排課時為48課時（3學分）。如課時縮減，可在概要敘述第一部分的基礎(chǔ)上，主要講解第二部分第3章到第8章的內(nèi)容，并安排學生在課外自主閱讀每章節(jié)后的案例及第9章“行業(yè)案例研究”。第10章“大數(shù)據(jù)技術(shù)發(fā)展前景”僅作參考性講解。
本書的特點是緊扣實踐應(yīng)用需求，全面講述講云計算與大數(shù)據(jù)分析實用技術(shù)，提供了大量的實際案例、數(shù)據(jù)分析適用技術(shù)。內(nèi)容新穎、用表格和結(jié)構(gòu)圖直觀描述知識并力圖反映最新主流技術(shù)。
每一章在講解相關(guān)理論外，還講解了最新前沿技術(shù)。各章都附有案例、習題以幫助讀者學習理解和實際工程應(yīng)用。為方便教師教學，附有全套教學PPT課件、教學大綱、教學計劃以便教師使用。
本書由李聯(lián)寧教授編著，在本書編寫過程中，編者參考了國內(nèi)外大量的云計算網(wǎng)絡(luò)與大數(shù)據(jù)分析技術(shù)的書刊及文獻資料，主要參考書籍及研究論文在書后“參考文獻”中列出。但由于大量來自網(wǎng)絡(luò)的資料未能詳盡標注作者及文獻資料來源，疏漏之處在所難免，在此一并對書刊文獻、科技論文的作者表示感謝。如有遺漏，懇請相應(yīng)書刊文獻作者及時告知，將在書籍再版時列入。如發(fā)現(xiàn)本書有錯誤或不妥之處，懇請廣大讀者不吝賜教。
李聯(lián)寧，40年涉外企業(yè)、政府經(jīng)濟管理部門、高等學校工作經(jīng)驗，曾歷任大型軟件公司總工程師、外資企業(yè)總經(jīng)理、高等學校教授，主要研究領(lǐng)域為計算機網(wǎng)絡(luò)、物聯(lián)網(wǎng)、信息管理系統(tǒng)、商業(yè)大數(shù)據(jù)分析。最近5年在清華大學出版社出版網(wǎng)絡(luò)工程、物聯(lián)網(wǎng)技術(shù)、網(wǎng)絡(luò)安全、信息管理與信息系統(tǒng)等方面高等學校教材6本，其中物聯(lián)網(wǎng)方面教材在全國18所高校使用，獲2016年高等學校優(yōu)秀教材一等獎。
第1章大數(shù)據(jù)技術(shù)基本概念31.1數(shù)據(jù)3
1.1.1數(shù)據(jù)的單位4
1.1.2數(shù)據(jù)與信息的關(guān)系 4
1.1.3數(shù)據(jù)的分類 4
1.2信息6
1.2.1信息的定義6
1.2.2信息資源7
1.2.3信息的應(yīng)用意義8
1.3大數(shù)據(jù)9
1.3.1大數(shù)據(jù)發(fā)展歷史9
1.3.2大數(shù)據(jù)的定義和特點10
1.4大數(shù)據(jù)技術(shù)的基本概念15
1.4.1傳統(tǒng)數(shù)據(jù)處理15
1.4.2大數(shù)據(jù)分析的方法理論16
1.4.3大數(shù)據(jù)技術(shù)17
1.5大數(shù)據(jù)的社會價值21
1.5.1大數(shù)據(jù)的社會價值體現(xiàn)21
1.5.2大數(shù)據(jù)在政府管理方面的應(yīng)用22
1.5.3大數(shù)據(jù)在公共服務(wù)領(lǐng)域的應(yīng)用23
1.6大數(shù)據(jù)的商業(yè)應(yīng)用24
1.6.1商業(yè)大數(shù)據(jù)的類型和價值挖掘方法24
1.6.2全球大數(shù)據(jù)市場結(jié)構(gòu)26
1.6.3中國大數(shù)據(jù)市場26
1.6.4大數(shù)據(jù)給中國帶來的十大商業(yè)應(yīng)用場景27
1.7大數(shù)據(jù)與商業(yè)模式創(chuàng)新32
1.7.1商業(yè)模式的創(chuàng)新特點32
1.7.2商業(yè)模式創(chuàng)新可以為企業(yè)帶來什么32
1.7.3基于大數(shù)據(jù)分析的商業(yè)模式創(chuàng)新33
1.8如何成為“大數(shù)據(jù)企業(yè)”35
1.8.1駕馭企業(yè)外部大數(shù)據(jù)35
1.8.2成為“大數(shù)據(jù)企業(yè)”36
1.8.3如何挖掘企業(yè)大數(shù)據(jù)的價值37
1.8.4大數(shù)據(jù)實質(zhì)上是一種管理思維38
1.9大數(shù)據(jù)應(yīng)用案例之: 男女嘉賓《非誠勿擾》牽手數(shù)據(jù)分析39
習題與思考題42
大數(shù)據(jù)技術(shù)及應(yīng)用教程目錄第二部分大數(shù)據(jù)技術(shù)
第2章基礎(chǔ)架構(gòu)——云計算平臺472.1大數(shù)據(jù)處理的基礎(chǔ)架構(gòu)47
2.2云計算網(wǎng)絡(luò)47
2.2.1云計算簡介48
2.2.2云計算系統(tǒng)的體系結(jié)構(gòu)50
2.2.3云計算服務(wù)層次55
2.2.4云計算技術(shù)層次57
2.2.5云計算的核心技術(shù)58
2.2.6典型云計算平臺59
2.2.7典型的云計算系統(tǒng)及應(yīng)用64
2.2.8大數(shù)據(jù)平臺的應(yīng)用67
2.3大數(shù)據(jù)應(yīng)用案例之: 在“北上廣”打拼是怎樣一種體驗69
習題與思考題72第3章大數(shù)據(jù)采集與預處理74
3.1大數(shù)據(jù)采集概念74
3.2數(shù)據(jù)采集來源75
3.3大數(shù)據(jù)采集方法76
3.3.1大數(shù)據(jù)數(shù)據(jù)采集方面新方法76
3.3.2網(wǎng)頁數(shù)據(jù)采集方法76
3.3.3Web信息數(shù)據(jù)自動采集79
3.4導入/預處理82
3.4.1大數(shù)據(jù)導入/預處理的過程 82
3.4.2數(shù)據(jù)清洗84
3.4.3數(shù)據(jù)采集(ETL)技術(shù)86
3.4.4基于大數(shù)據(jù)的數(shù)據(jù)預處理88
3.4.5數(shù)據(jù)處理的基本流程與關(guān)鍵技術(shù)90
3.5數(shù)據(jù)集成91
3.5.1數(shù)據(jù)集成的概念91
3.5.2數(shù)據(jù)集成面臨問題92
3.6數(shù)據(jù)變換92
3.6.1異構(gòu)數(shù)據(jù)交換綜述93
3.6.2異構(gòu)數(shù)據(jù)分析94
3.6.3異構(gòu)數(shù)據(jù)交換方式97
3.6.4異構(gòu)數(shù)據(jù)交換技術(shù)99
3.6.5異構(gòu)數(shù)據(jù)交換與集成的研究方向103
3.7大數(shù)據(jù)應(yīng)用案例之: 互聯(lián)網(wǎng)行業(yè)哪個職位比較有前途103
習題與思考題107第4章大數(shù)據(jù)存儲110
4.1傳統(tǒng)數(shù)據(jù)存儲110
4.1.1傳統(tǒng)數(shù)據(jù)存儲介質(zhì)110
4.1.2存儲的模式112
4.2海量數(shù)據(jù)存儲的需求113
4.3分布式存儲系統(tǒng)117
4.3.1分布式存儲系統(tǒng)117
4.3.2典型系統(tǒng)118
4.4云存儲120
4.5數(shù)據(jù)庫123
4.5.1數(shù)據(jù)庫分類123
4.5.2常規(guī)SQL結(jié)構(gòu)化關(guān)系數(shù)據(jù)庫124
4.5.3NoSQL非結(jié)構(gòu)化數(shù)據(jù)庫124
4.5.4NoSQL技術(shù)126
4.5.5大規(guī)模并行分析數(shù)據(jù)庫129
4.6數(shù)據(jù)倉庫131
4.6.1數(shù)據(jù)倉庫的概念131
4.6.2數(shù)據(jù)倉庫技術(shù)發(fā)展133
4.6.3數(shù)據(jù)倉庫原理及構(gòu)成133
4.6.4數(shù)據(jù)倉庫的基本架構(gòu)136
4.6.5數(shù)據(jù)倉庫的數(shù)據(jù)存儲136
4.6.6數(shù)據(jù)倉庫的數(shù)據(jù)應(yīng)用137
4.6.7元數(shù)據(jù)管理138
4.7大數(shù)據(jù)應(yīng)用案例之: 一場霧霾將損失多少GDP 138
習題與思考題141
第5章大數(shù)據(jù)計算模式與處理系統(tǒng)143
5.1數(shù)據(jù)計算143
5.1.1離線批處理143
5.1.2實時交互計算145
5.1.3海量數(shù)據(jù)實時計算145
5.1.4流計算146
5.2聚類算法147
5.2.1聚類算法的分類147
5.2.2數(shù)據(jù)分類與聚類147
5.3數(shù)據(jù)集成148
5.3.1數(shù)據(jù)集成概述149
5.3.2數(shù)據(jù)集成方案155
5.3.3企業(yè)數(shù)據(jù)集成應(yīng)用形式157
5.3.4企業(yè)整體解決方案160
5.4機器學習161
5.4.1機器學習的定義和例子162
5.4.2機器學習的范圍164
5.4.3機器學習的方法165
5.4.4機器學習的應(yīng)用——大數(shù)據(jù)170
5.4.5機器學習的子類——深度學習172
5.4.6機器學習的父類——人工智能174
5.5數(shù)據(jù)處理語言175
5.5.1數(shù)據(jù)分析語言R175
5.5.2大數(shù)據(jù)開發(fā)語言Python177
5.6大數(shù)據(jù)應(yīng)用案例之: 北京的人流在哪兒？用大數(shù)據(jù)看城市179
習題與思考題183第6章大數(shù)據(jù)查詢、顯現(xiàn)與交互185
6.1數(shù)據(jù)的查詢185
6.1.1常規(guī)數(shù)據(jù)庫查詢結(jié)構(gòu)化數(shù)據(jù)185
6.1.2大數(shù)據(jù)時代的數(shù)據(jù)搜索186
6.1.3數(shù)據(jù)庫與信息檢索技術(shù)的比較188
6.1.4數(shù)據(jù)庫技術(shù)面臨的Web數(shù)據(jù)管理問題 189
6.2網(wǎng)絡(luò)數(shù)據(jù)索引與查詢技術(shù)192
6.2.1搜索引擎技術(shù)概述192
6.2.2Web搜索引擎工作原理192
6.3大數(shù)據(jù)索引與查詢技術(shù)200
6.3.1大數(shù)據(jù)索引和查詢200
6.3.2大數(shù)據(jù)處理案例: 登機牌、閱卷與MapReduce201
6.4相似性搜索工具206
6.5數(shù)據(jù)展現(xiàn)與交互209
6.6數(shù)據(jù)可視化210
6.6.1數(shù)據(jù)可視化概念210
6.6.2數(shù)據(jù)可視化定義與方法211
6.6.3數(shù)據(jù)可視化分析216
6.6.4個性化精準推薦217
6.6.5預測和預警217
6.6.6決策分析219
6.7知識圖譜220
6.7.1知識圖譜的概念221
6.7.2知識圖譜的表示221
6.7.3知識圖譜的存儲222
6.7.4知識圖譜的應(yīng)用223
6.8大數(shù)據(jù)應(yīng)用案例之: 數(shù)據(jù)告訴你，上海的房子都被
誰買走了229
習題與思考題233第7章大數(shù)據(jù)分析與數(shù)據(jù)挖掘235
7.1大數(shù)據(jù)的分析及應(yīng)用235
7.1.1數(shù)據(jù)處理和分析的發(fā)展235
7.1.2大數(shù)據(jù)分析面對的數(shù)據(jù)類型236
7.1.3大數(shù)據(jù)分析與處理方法237
7.1.4數(shù)據(jù)分析的步驟237
7.1.5大數(shù)據(jù)分析應(yīng)用240
7.2數(shù)據(jù)挖掘技術(shù)242
7.2.1數(shù)據(jù)挖掘的定義242
7.2.2數(shù)據(jù)挖掘的常用方法244
7.2.3數(shù)據(jù)挖掘的功能 245
7.2.4數(shù)據(jù)挖掘技術(shù) 246
7.2.5數(shù)據(jù)挖掘的流程248
7.2.6數(shù)據(jù)挖掘的應(yīng)用250
7.2.7“大數(shù)據(jù)自動挖掘”才是大數(shù)據(jù)的真正意義251
7.3商業(yè)智能與數(shù)據(jù)分析252
7.3.1商業(yè)智能技術(shù)輔助決策的發(fā)展252
7.3.2商業(yè)智能系統(tǒng)架構(gòu)253
7.3.3商業(yè)智能的技術(shù)體系253
7.3.4商務(wù)智能=數(shù)據(jù)+分析+決策+利益254
7.4電商大數(shù)據(jù)分析技術(shù)257
7.4.1移動互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)分析基礎(chǔ)257
7.4.2用戶規(guī)模和質(zhì)量258
7.4.3參與度分析259
7.4.4渠道分析260
7.4.5功能分析261
7.4.6用戶屬性分析262
7.5大數(shù)據(jù)營銷業(yè)務(wù)模型263
7.5.1大數(shù)據(jù)對業(yè)務(wù)模式的影響263
7.5.2大數(shù)據(jù)時代的網(wǎng)絡(luò)化精確營銷264
7.5.3移動互聯(lián)和大數(shù)據(jù)時代的電子商務(wù)265
7.5.4大數(shù)據(jù)營銷的定義與特點266
7.5.5網(wǎng)絡(luò)營銷大數(shù)據(jù)實際操作268
7.5.6數(shù)據(jù)營銷方法論270
7.6基于社會媒體的分析預測技術(shù)273
7.6.1基于空間大數(shù)據(jù)的社會感知273
7.6.2基于社會媒體的預測技術(shù)278
7.6.3基于消費意圖挖掘的預測279
7.6.4基于事件抽取的預測282
7.6.5基于因果分析的預測282
7.7大數(shù)據(jù)應(yīng)用案例之: 如何用大數(shù)據(jù)看風水？以星巴克和海底撈的
選址為例286
習題與思考題287第8章大數(shù)據(jù)隱私與安全290
8.1大數(shù)據(jù)面臨的問題290
8.1.1大數(shù)據(jù)面臨的安全問題290
8.1.2使用大數(shù)據(jù)分析安全與隱私的問題295
8.2大數(shù)據(jù)安全與隱私保護關(guān)鍵技術(shù)296
8.2.1基于大數(shù)據(jù)的威脅發(fā)現(xiàn)技術(shù)296
8.2.2基于大數(shù)據(jù)的認證技術(shù)297
8.2.3基于大數(shù)據(jù)的數(shù)據(jù)真實性分析298
8.2.4大數(shù)據(jù)與“安全即服務(wù)”298
8.3大數(shù)據(jù)安全的防護策略298
8.4大數(shù)據(jù)應(yīng)用案例之: 電影《爸爸去哪兒》大賣有前兆么？300
習題與思考題305
第三部分大數(shù)據(jù)分析案例
第9章行業(yè)案例研究——銀行、保險、證券、金融行業(yè)309
9.1銀行業(yè)應(yīng)用309
9.1.1大數(shù)據(jù)時代: 銀行如何玩轉(zhuǎn)數(shù)據(jù)挖掘309
9.1.2工商銀行客戶關(guān)系管理案例311
9.1.3銀行風險管理314
9.2保險業(yè)應(yīng)用318
9.2.1保險產(chǎn)業(yè)擁抱“大數(shù)據(jù)時代” 或帶來顛覆性變革318
9.2.2保險欺詐識別320
9.3證券期貨應(yīng)用322
9.3.1安徽使用大數(shù)據(jù)監(jiān)管證券期貨322
9.3.2“大數(shù)據(jù)”分析挖出基金“老鼠倉”的啟示323
9.4金融行業(yè)應(yīng)用324
9.4.1汽車金融公司怎么實現(xiàn)大數(shù)據(jù)管理324
9.4.2大數(shù)據(jù)決定互聯(lián)網(wǎng)金融未來326
9.4.3移動大數(shù)據(jù)在互聯(lián)網(wǎng)金融反欺詐領(lǐng)域的應(yīng)用329
9.5大數(shù)據(jù)應(yīng)用案例之: 大吃一驚！大數(shù)據(jù)下的中國原來是這樣的331
第四部分大數(shù)據(jù)技術(shù)現(xiàn)狀及發(fā)展展望
第10章大數(shù)據(jù)技術(shù)發(fā)展前景339
10.1大數(shù)據(jù)引發(fā)新一代信息技術(shù)變革浪潮339
10.2大數(shù)據(jù)采集與預處理技術(shù)發(fā)展前景341
10.3大數(shù)據(jù)存儲與管理技術(shù)發(fā)展前景342
10.4大數(shù)據(jù)計算模式與系統(tǒng)技術(shù)發(fā)展前景347
10.5大數(shù)據(jù)分析與挖掘技術(shù)發(fā)展前景351
10.6大數(shù)據(jù)可視化分析技術(shù)發(fā)展前景353
10.7大數(shù)據(jù)隱私與安全技術(shù)發(fā)展前景357
10.8大數(shù)據(jù)應(yīng)用案例之: 數(shù)據(jù)解讀城市: 北京本地人VS外地人360參考文獻366
新書資訊