本書主要介紹了大數據的相關背景、大數據基礎知識、大數據下的相關編程語言、相關工具框架以及大數據下的其他相關技術等，另外，還對機器學習、神經網絡和深度學習等內容進行了介紹，并且對常用的大數據可視化工具進行了闡述。由于大數據、云計算、人工智能有著密不可分的關系，本書既包含了大數據的基礎知識，同時也涵蓋了大數據下的人工智能以及可視化工具等相關內容，方便讀者通過本書了解到大數據以及相關技術的基礎知識。本書可以作為本科院校、高等職業院校各專業學生學習大數據基礎知識的教材，也可以滿足對大數據分析感興趣的廣大讀者的學習需求。
魏苗，愛爾蘭國立梅努斯大學研究型碩士學位，IBM Watson Health認知方案部門軟件工程師、數據科學家，曾任機器學習客座講師，在數據結構和算法、軟件測試等多門課程任教，主要研究領域包括自然語言處理，機器學習和深度學習。
目 錄
1.1 大數據的產生 ............................................................................1
1.1.1.天文學——信息爆炸的起源 ...................................... 3
1.1.2.大數據產生的背景......................................................4
1.2 大數據與可視化 .......................................................................9
1.2.1.數據可視化的概念和意義 .......................................... 9
▲
1.2.2.打造最好的可視化效果 ............................................ 11
1.2.3.數據可視化的運用.................................................... 12
1.3 人工智能和大數據的關系 ......................................................13
1.4 大數據的相關技術 ..................................................................22
1.4.1.數據挖掘 ................................................................... 22
1.4.2.機器學習 ................................................................... 26
▲
1.4.3.神經網絡 ................................................................... 29
第 2章大數據概述 ...................................................... 37
2.1 數據處理與大數據 ..................................................................37
2.1.1.古典數據處理案例.................................................... 38
2.1.2.現代數據處理案例.................................................... 39
2.2 什么是大數據 ..........................................................................40
2.3 大數據工作流程 ......................................................................41
▲
2.3.1.數據收集 ................................................................... 42
2.3.2.數據處理 ................................................................... 43
2.3.3.知識生成 ................................................................... 45
2.3.4.數據存儲 ................................................................... 46
2.4 大數據來源 ..............................................................................47
2.4.1.互聯網以及線上金融數據 ........................................ 48
2.4.2.社交平臺數據............................................................ 49
2.4.3.傳感器數據................................................................ 51
2.4.4.企業管理數據............................................................ 52
2.5 大數據特征 ..............................................................................52
2.5.1.大數據的基本特征：3V............................................ 53
2.5.2.大數據新增特征：4V ............................................... 55
2.5.3.IBM對于大數據的解讀：5V ................................... 56
2.6 大數據基本架構設計原理 ......................................................58
第 3章大數據相關開發語言........................................63
3.1 Python語言 .............................................................................64
3.1.1.Python的歷史 ........................................................... 64
3.1.2.Python的特點 ........................................................... 65
3.1.3.Python的版本與區別................................................ 66
3.1.4.Python的安裝步驟 ................................................... 68
3.1.5.Python的基本用法 ................................................... 70
3.1.6.Python的常用庫 ....................................................... 74
3.1.7.Python實際運用案例 ............................................... 76
3.1.8.Python金融數據分析實例........................................ 81
▲
3.2 R語言 ......................................................................................84
3.2.1.R語言簡介 ............................................................... 84
3.2.2.R語言的特性 ........................................................... 85
3.2.3.R語言的安裝 ........................................................... 86
3.2.4.R語言工具庫的加載................................................ 87
3.2.5.R語言實際運用案例................................................ 88
3.3 分布式計算框架 ......................................................................91
3.3.1.大數據所帶來的挑戰 ................................................ 92
3.3.2.Hadoop概述.............................................................. 92
3.3.3.Hadoop的發展歷史 .................................................. 93
3.3.4.Hadoop框架組件...................................................... 95
第 4章大數據的相關技術 ........................................... 99
4.1 云計算 ......................................................................................99
4.1.1.什么是云計算............................................................ 99
4.1.2.云計算的服務層面.................................................. 100
4.2 人工智能 ................................................................................101
4.3 機器學習 ................................................................................104
4.3.1.機器學習的原因...................................................... 105
4.3.2.機器學習的定義...................................................... 106
4.3.3.機器學習算法的分類 .............................................. 107
4.3.4.機器學習問題領域.................................................. 109
4.3.5.機器學習的一般步驟 .............................................. 110
4.3.6.模型評價指標.......................................................... 113
4.3.7.現實中的分類問題以及 KNN算法........................ 116
4.3.8.機器學習實例.......................................................... 118
4.4 神經網絡和深度學習 ............................................................124
4.4.1.神經網絡 ................................................................. 124
4.4.2.深度學習 ................................................................. 128
4.5 大數據可視化工具 ................................................................133
4.5.1.Matplotlib................................................................. 134
4.5.2.Excel......................................................................... 136
4.5.3.百度 ECharts............................................................ 148
4.5.4.Tableau..................................................................... 149
第 5章大數據分析應用案例：通過社交媒體對市場進行分析........................................................ 151
5.1 社交媒體非結構化大數據的背景 ........................................152
5.2 社交媒體大數據情緒分析 ....................................................156
5.2.1.情緒分析的概念...................................................... 156
5.2.2.情緒分析的步驟...................................................... 157
▲▲
5.2.3.情緒分析實際案例.................................................. 158
5.3 使用社交媒體大數據對市場結構進行分析 ........................160
5.3.1.市場結構及分析...................................................... 160
5.3.2.品牌聯想網絡.......................................................... 163
5.3.3.文本挖掘技術.......................................................... 165
5.3.4.市場結構分析步驟.................................................. 166
參考文獻....................................................................... 171
新書資訊