本書介紹了如何使用 Python 實現企業級的大數據全棧式開發、設計和編程工作，涉及的知識點包括數據架構整體設計、數據源和數據采集、數據同步、消息隊列、關系數據庫、NoSQL 數據庫、批處理、流處理、圖計算、人工智能、數據產品開發。 本書既深入淺出地介紹了不同技術組件的基本原理，又通過詳細對比介紹了如何根據不同場景選擇最佳實踐技術方案，并通過代碼實操幫助讀者快速掌握常用技術的應用過程，最后通過項目案例介紹了如何將所學知識應用于實際業務場景中。
宋天龍，觸脈咨詢副總裁、合伙人。負責創新型業務的架構和方案設計、產品與技術研發、數據團隊建設及管理。張偉松，現就職于埃森哲，擔任數據架構師職位。在大數據、數據分析、云計算等領域有多年的實踐經驗，并擁有阿里云、谷歌云等多項專業認證。
第1章 數據架構整體設計1
1.1 數據架構概述1
1.2 數據架構設計的8個考慮因素1
1.2.1 適用性2
1.2.2 延伸性2
1.2.3 安全性3
1.2.4 易用性3
1.2.5 高性能4
1.2.6 成本限制5
1.2.7 應用需求5
1.2.8 運維管理5
1.3 數據架構設計的4個核心內容6
1.3.1 物理架構6
1.3.2 邏輯架構10
1.3.3 技術架構13
1.3.4 數據流架構15
1.4 常見的6種數據架構17
1.4.1 簡單數據庫支撐的數據架構17
1.4.2 傳統數倉支撐的數據架構18
1.4.3 傳統大數據架構20
1.4.4 流式大數據架構22
1.4.5 流批一體大數據架構23
1.4.6 存算分離的流批一體大數據架構25
1.5 案例：某B2B企業的數據架構選型26
1.5.1 企業背景26
1.5.2 應用預期27
1.5.3 數據現狀27
1.5.4 選型分析27
1.5.5 選型方案28
1.5.6 未來拓展29
1.6 常見問題29
第2章 數據源和數據采集32
2.1 數據源概述32
2.1.1 常見的3種數據類型32
2.1.2 常見的8種數據源33
2.2 企業內部流量數據采集技術選型33
2.2.1 企業內部流量數據采集常用的技術34
2.2.2 內部流量數據采集技術選型的因素37
2.2.3 內部流量數據采集技術選型總結39
2.3 企業外部互聯網數據采集技術選型40
2.3.1 外部互聯網數據采集常用的4種技術40
2.3.2 外部互聯網數據采集技術選型的5個因素44
2.3.3 外部互聯網數據采集技術選型總結44
2.4 使用Requests+BeautifulSoup抓取數據并寫入Sqlite45
2.4.1 安裝配置45
2.4.2 基本示例46
2.4.3 高級用法47
2.4.4 技術要點53
2.5 使用Scrapy+XPath抓取數據并寫入MongoDB54
2.5.1 安裝配置54
2.5.2 基本示例55
2.5.3 高級用法62
2.5.4 技術要點69
2.6 案例：某B2C電商企業的數據源結構69
2.6.1 企業背景69
2.6.2 業務系統69
2.6.3 數據源結構71
2.7 常見問題71
第3章 數據同步74
3.1 數據同步概述74
3.1.1 數據同步的3種模式74
3.1.2 數據同步的5種預處理技術75
3.2 數據同步的技術選型76
3.2.1 數據同步的7種技術76
3.2.2 數據同步選型的9個因素80
3.2.3 數據同步技術選型總結82
3.3 Python操作DataX實現數據同步83
3.3.1 安裝配置84
3.3.2 基本示例84
3.3.3 高級用法89
3.3.4 技術要點95
3.4 Python操作第三方庫實現Google Analytics數據同步96
3.4.1 安裝配置96
3.4.2 基本示例100
3.4.3 高級用法104
3.4.4 技術要點111
3.5 案例：某O2O企業離線數據同步案例112
3.6 常見問題114
第4章 消息隊列117
4.1 消息隊列概述117
4.1.1 消息隊列的核心概念117
4.1.2 選擇消息隊列的3種技術應用場景118
4.2 消息隊列的技術選型119
4.2.1 常見的6種消息隊列技術119
4.2.2 消息隊列技術選型的4個維度121
4.2.3 消息隊列技術選型總結123
4.3 Python操作RabbitMQ處理消息隊列服務124
4.3.1 安裝配置124
4.3.2 基本示例125
4.3.3 高級用法129
4.3.4 技術要點131
4.4 Python操作Kafka處理消息隊列服務132
4.4.1 安裝配置132
4.4.2 基本示例135
4.4.3 高級用法138
4.4.4 技術要點139
4.5 Python操作ZeroMQ處理消息隊列服務140
4.5.1 安裝配置140
4.5.2 基本示例140
4.5.3 高級用法146
4.5.4 技術要點150
4.6 案例：利用消息隊列采集電商用戶行為數據151
4.6.1 案例背景151
4.6.2 主要技術151
4.6.3 案例過程152
4.6.4 案例小結155
4.7 常見問題156
第5章 關系數據庫158
5.1 關系數據庫概述158
5.1.1 關系數據庫的相關概念158
5.1.2 使用關系數據庫的3種場景158
5.2 關系數據庫的技術選型159
5.2.1 常見的5種技術選型159
5.2.2 關系數據庫選型的3個維度161
5.2.3 關系數據庫技術選型總結162
5.3 使用基于DB-API 2.0規范的PyMySQL操作MySQL數據庫162
5.3.1 安裝配置163
5.3.2 基本示例163
5.3.3 高級用法165
5.3.4 技術要點169
5.4 使用基于ORM技術的SQLAlchemy操作PostgreSQL數據庫170
5.4.1 安裝配置170
5.4.2 基本示例171
5.4.3 高級用法175
5.4.4 技術要點180
5.5 案例：某傳統零售企業基于關系數據庫的數據集市181
5.5.1 企業背景181
5.5.2 企業為什么選擇SQL Server作為數據集市181
5.5.3 數據字典181
5.5.4 應用場景183
5.6 常見問題184
第6章 NoSQL數據庫186
6.1 NoSQL數據庫概述186
6.1.1 NoSQL數據庫的相關概念186
6.1.2 使用NoSQL數據庫的5種場景187
6.2 不同類型NoSQL數據庫的技術選型188
6.2.1 常見的3種鍵值數據庫技術選型188
6.2.2 常見的3種文檔型數據庫的技術選型188
6.2.3 常見的兩種列式存儲數據庫的技術選型190
6.2.4 常見的兩種圖數據庫的技術選型190
6.2.5 NoSQL數據庫技術選型的五大維度191
6.2.6 NoSQL數據庫技術選型總結192
6.3 使用Python操作HBase193
6.3.1 安裝配置193
6.3.2 基本示例195
6.3.3 HBase應用過濾器進行復雜查詢199
6.3.4 批量操作201
6.3.5 技術要點201
6.4 使用Python操作Redis202
6.4.1 安裝配置202
6.4.2 基本示例203
6.4.3 使用HyperLogLog實現獨立IP計數器210
6.4.4 Redis數據持久化212
6.4.5 技術要點213
6.5 使用Python操作ES213
6.5.1 安裝配置213
6.5.2 基本示例215
6.5.3 批量加載文檔到ES+使用Kibana進行分析220
6.5.4 技術要點228
6.6 使用Python操作Neo4j230
6.6.1 安裝配置230
6.6.2 基本示例231
6.6.3 APOC234
6.6.4 技術要點236
6.7 使用Python操作MongoDB237
6.7.1 安裝配置237
6.7.2 基本示例237
6.7.3 文檔聚合與管道239
6.7.4 技術要點242
6.8 案例：某菜譜網站基于ES+Redis構建智能搜索推薦引擎243
6.8.1 案例背景243
6.8.2 為什么選擇ES+Redis243
6.8.3 系統架構244
6.8.4 相關要點245
6.8.5 案例延伸246
6.9 常見問題246
第7章 批處理247
7.1 批處理概述247
7.1.1 批處理的基本特征247
7.1.2 批處理的3類應用場景248
7.2 批處理的技術選型248
7.2.1 批處理的5種技術248
7.2.2 批處理選型的8個技術因素250
7.2.3 批處理選型總結251
7.3 Python使用PyHive操作HQL進行批處理252
7.3.1 安裝配置252
7.3.2 基本示例252
7.3.3 數據批量加載及處理256
7.3.4 Hive函數259
7.3.5 窗口268
7.3.6 技術要點272
7.4 PySpark操作DataFrame進行批處理273
7.4.1 安裝配置273
7.4.2 基本示例273
7.4.3 常用Spark DataFrame操作示例277
7.4.4 使用Spark MLlib + DataFrame進行特征工程281
7.4.5 技術要點282
7.5 案例：某B2C企業基于PySpark實現用戶畫像標簽的構建283
7.6 常見問題285
第8章 流處理288
8.1 流處理概述288
8.1.1 流處理的核心概念288
8.1.2 流處理的3個特征289
8.1.3 流處理的適用/不適用場景289
8.2 流處理的依賴條件290
8.2.1 流數據290
8.2.2 流式應用291
8.3 流處理的技術選型291
8.3.1 流處理的3種技術291
8.3.2 流處理選型的7個技術因素295
8.3.3 流處理技術選型總結295
8.4 Python操作Structured Streaming實現流處理296
8.4.1 安裝配置296
8.4.2 基本示例298
8.4.3 高級用法322
8.4.4 技術要點328
8.5 案例：某B2C企業基于Structured Streaming實現實時話題熱榜統計330
8.6 常見問題331
第9章 圖計算333
9.1 圖計算概述333
9.1.1 圖計算的特征333
9.1.2 圖計算的算法和應用場景334
9.2 圖計算引擎的技術選型335
9.2.1 圖計算的8種技術335
9.2.2 圖計算選型的8個技術因素338
9.2.3 圖計算選型總結339
9.3 Python操作GraphFrames實現圖計算341
9.3.1 安裝配置341
9.3.2 構建圖341
9.3.3 視圖分析342
9.3.4 子頂點、子邊和子圖過濾344
9.3.5 度分析345
9.3.6 模體查找346
9.3.7 圖持久化348
9.3.8 廣度優先搜索348
9.3.9 最短路徑搜索349
9.3.10 連通分量和強連通分量351
9.3.11 標簽傳播351
9.3.12 通用網頁排名和個性化網頁排名352
9.3.13 三角形計數354
9.3.14 技術要點355
9.4 案例：基于用戶社交行為的分析355
9.5 常見問題359
第10章 人工智能361
10.1 人工智能概述361
10.1.1 人工智能的4種應用場景361
10.1.2 人工智能的12類常用算法介紹362
10.2 人工智能的技術選型366
10.2.1 常見的3種技術框架366
10.2.2 人工智能選型的6個因素368
10.2.3 人工智能選型總結369
10.3 PySpark ML的應用實踐370
10.3.1 準備數據371
10.3.2 特征工程和處理373
10.3.3 核心算法應用375
10.3.4 Pipeline式應用381
10.3.5 訓練和預測拆分及持久化操作384
10.3.6 超參數優化的
新書資訊