xxxfreesexmoves-haodiaocao这里只有精品视频-欧美性受黑人性爽-欧美性受xxxxxx黑人xyx性爽|www.jsyyzsb.com

本書是一本通過實戰(zhàn)教初學者學習采集數(shù)據(jù)、清洗和組織數(shù)據(jù)進行分析及可視化的 Python 讀物。書中案例均經(jīng)過實戰(zhàn)檢驗，筆者在實踐過程中深感采集數(shù)據(jù)、清洗和組織數(shù)據(jù)的重要性，作為一名數(shù)據(jù)行業(yè)的碼農(nóng)，數(shù)據(jù)就是沃土，沒有數(shù)據(jù)，我們將無田可耕。

本書共分 11 章， 6 個核心主題：其一是 Python 基礎入門，包括環(huán)境配置、基本操作、數(shù)據(jù)類型、語句和函數(shù)；其二是 Python 爬蟲的構建，包括網(wǎng)頁結構解析、爬蟲流程設計、代碼優(yōu)化、效率優(yōu)化、容錯處理、 反防爬蟲、 表單交互和模擬頁面點擊； 其三是 Python 數(shù)據(jù)庫應用， 包括 MongoDB、 MySQL 在 Python中的連接與應用；其四是數(shù)據(jù)清洗和組織，包括 NumPy 數(shù)組知識、 pandas 數(shù)據(jù)的讀寫、分組變形、缺失值異常值處理、時序數(shù)據(jù)處理和正則表達式的使用；其五是綜合應用案例，幫助讀者貫穿爬蟲、數(shù)據(jù)清洗與組織的過程；*后是數(shù)據(jù)可視化，包括 Matplotlib 和 Pyecharts 兩個庫的使用，涉及餅圖、柱形圖、線圖、詞云圖、地圖等圖形，幫助讀者進入可視化的殿堂。

本書以實戰(zhàn)為主，適合 Python 初學者及高等院校的相關專業(yè)學生，也適合 Python 培訓機構作為實驗教材使用。

本書內(nèi)容來自筆者在高校授課的內(nèi)容，主要介紹如何運用 Python 工具獲取電商平臺的頁面數(shù)據(jù)，并對數(shù)據(jù)進行清洗和存儲。本書簡化了 Python 基礎部分，保證有足夠的篇幅來介紹爬蟲和數(shù)據(jù)清洗的內(nèi)容。
本書采用的版本是 Python 3.6.2，是筆者寫書時的*版本，而且筆者習慣用的操作平臺是Windows 系統(tǒng)。

Python 是軍刀型的開源工具，被廣泛應用于 Web 開發(fā)、爬蟲、數(shù)據(jù)清洗、自然語言處理、機器學習和人工智能等方面，而且 Python 的語法簡潔易讀，這讓許多編程入門者不再望而卻步，因此Python 在最近幾年非常受歡迎，各行各業(yè)的技術人員都開始使用 Python。
本書內(nèi)容來自筆者在高校授課的內(nèi)容，主要介紹如何運用 Python 工具獲取電商平臺的頁面數(shù)據(jù)，并對數(shù)據(jù)進行清洗和存儲。本書簡化了 Python 基礎部分，保證有足夠的篇幅來介紹爬蟲和數(shù)據(jù)清洗的內(nèi)容。
本書采用的版本是 Python 3.6.2，是筆者寫書時的最新版本，而且筆者習慣用的操作平臺是Windows 系統(tǒng)。雖然目前一些高校和開發(fā)者在使用 Python 2.7，但是 Python 團隊將在 2020 年停止對Python 2.7 的支持更新， Python 2.X 轉(zhuǎn)向 Python 3.X 是大勢所趨。
本書第 1 章簡單介紹 Python 和相關的 IDE，如果讀者完全沒有 Python 基礎，那么建議選購一本基礎書作為輔助。第 2～6 章介紹爬蟲的實例，實現(xiàn)從最簡單的爬蟲到相對比較復雜的爬蟲。鑒于實例的限制，本書的爬蟲內(nèi)容沒有涉及代理服務器和驗證碼處理等問題。第 7 章介紹在 Python 中如何連接并操作數(shù)據(jù)庫。第 8 章介紹了 NumPy 及其用法。第 9 章詳細介紹 pandas 的功能，pandas 是 Python數(shù)據(jù)清洗和建模中非常重要的庫。第 10 章用兩個完整案例展示了從爬蟲到建模的過程。第 11 章介紹 Python 的可視化，選用的庫是 matplotlib 和 pyecharts，這里詳細介紹了 pyecharts。
鑒于作者的水平有限，不足之處請讀者不吝指教。

零一

原名陳海城，

零一數(shù)據(jù)學院創(chuàng)始人，

電商數(shù)據(jù)專家，數(shù)據(jù)分析師，開發(fā)工程師。

從事培訓教育、數(shù)據(jù)分析和人工智能行業(yè)。

黃園園，具有十年軟件開發(fā)經(jīng)驗，全棧工程師，六西格瑪黑帶，精通Python和機器學習算法，具有豐富的分布式爬蟲開發(fā)經(jīng)驗；曾在蘇州三星電子電腦（SESC）、新加坡電信（NCS）、希捷科技（Seagate Technology）等世界知名企業(yè)研發(fā)部工作，參與過花旗銀行在線支付系統(tǒng)、銀行賬單自動化審核系統(tǒng)等大型軟件開發(fā)，曾任杭州沐垚科技CTO。

韓要賓，杭州沐垚科技有限公司 COO，CDA數(shù)據(jù)分析研究院資深講師；5年電商從業(yè)經(jīng)驗，4年數(shù)據(jù)挖掘?qū)崙?zhàn)經(jīng)驗；專注于數(shù)據(jù)分析與挖掘、機器學習、深度學習，服務客戶包括蘇寧易購、迪卡儂、百草味、浙江師范大學等。

第 1 章 Python 基礎 /1
1.1 安裝 Python 環(huán)境 /1
1.1.1 Python 3.6.2 安裝與配置 /1
1.1.2 使用 IDE 工具PyCharm /4
1.1.3 使用 IDE 工具Anaconda / 4
1.2 Python 操作入門/6
1.2.1 編寫第一個 Python 代碼/6
1.2.2 Python 基本操作/9
1.2.3 變量/10
1.3 Python 數(shù)據(jù)類型/10
1.3.1 數(shù)字/10
1.3.2 字符串/11
1.3.3 列表/13
1.3.4 元組/14
1.3.5 集合/15
1.3.6 字典/15
1.4 Python 語句與函數(shù)/16
1.4.1 條件語句/16
1.4.2 循環(huán)語句/16
1.4.3 函數(shù)/17

第 2 章 寫一個簡單的爬蟲/18
2.1 關于爬蟲的合法性/18
2.2 了解網(wǎng)頁/20
2.2.1 認識網(wǎng)頁結構/ 21
2.2.2 寫一個簡單的 HTML/21
2.3 使用 requests 庫請求網(wǎng)站/23

2.3.1 安裝 requests 庫/23
2.3.2 爬蟲的基本原理/25
2.3.3 使用 GET 方式抓取數(shù)據(jù)/26
2.3.4 使用 POST 方式抓取數(shù)據(jù)/27
2.4 使用 Beautiful Soup 解析網(wǎng)頁/30
2.5 清洗和組織數(shù)據(jù)/34
2.6 爬蟲攻防戰(zhàn)/35

第 3 章 用 API 爬取天氣預報數(shù)據(jù)/38
3.1 注冊免費 API 和閱讀技術文檔/38
3.2 獲取 API 數(shù)據(jù)/40
3.3 存儲數(shù)據(jù)到 MongoDB /45
3.3.1 下載并安裝 MongoDB/ 45
3.3.2 在 PyCharm 中安裝 Mongo Plugin/ 46
3.3.3 將數(shù)據(jù)存入 MongoDB/49
3.4 MongoDB 數(shù)據(jù)庫查詢/52

第 4 章 大型爬蟲案例：抓取某電商網(wǎng)站的商品數(shù)據(jù)/55
4.1 觀察頁面特征和解析數(shù)據(jù)/55
4.2 工作流程分析/64
4.3 構建類目樹/65
4.4 獲取產(chǎn)品列表/ 68
4.5 代碼優(yōu)化/70
4.6 爬蟲效率優(yōu)化/74
4.7 容錯處理/77

第 5 章 Scrapy 爬蟲/78
5.1 Scrapy 簡介/78
5.2 Scrapy 安裝/79
5.3 案例：用 Scrapy 抓取股票行情/ 80

第 6 章 Selenium 爬蟲/88
6.1 Selenium 簡介/88
6.2 案例：用 Selenium 抓取電商網(wǎng)站數(shù)據(jù)/90

第 7 章 數(shù)據(jù)庫連接和查詢/100
7.1 使用 PyMySQL/100
7.1.1 連接數(shù)據(jù)庫/100
7.1.2 案例：某電商網(wǎng)站女裝行業(yè) TOP100 銷量數(shù)據(jù)/102
7.2 使用 SQLAlchemy/104
7.2.1 SQLAlchemy 基本介紹/104
7.2.2 SQLAlchemy 基本語法/105
7.3 MongoDB/107
7.3.1 MongoDB 基本語法/107
7.3.2 案例：在某電商網(wǎng)站搜索連衣裙的商品數(shù)據(jù)/107

第 8 章 NumPy/109
8.1 NumPy 簡介/109
8.2 一維數(shù)組/110
8.2.1 數(shù)組與列表的異同/110
8.2.2 數(shù)組的創(chuàng)建/111
8.3 多維數(shù)組/111
8.3.1 多維數(shù)組的高效性能/112
8.3.2 多維數(shù)組的索引與切片/113
8.3.3 多維數(shù)組的屬性/113
8.4 數(shù)組的運算/115

第 9 章 pandas 數(shù)據(jù)清洗/117
9.1 數(shù)據(jù)讀寫、選擇、整理和描述/117
9.1.1 從 CSV 中讀取數(shù)據(jù)/119
9.1.2 向 CSV 寫入數(shù)據(jù)/120
9.1.3 數(shù)據(jù)選擇/120
9.1.4 數(shù)據(jù)整理/122
9.1.5 數(shù)據(jù)描述/123
9.2 數(shù)據(jù)分組、分割、合并和變形/124
9.2.1 數(shù)據(jù)分組/124
9.2.2 數(shù)據(jù)分割/127
9.2.3 數(shù)據(jù)合并/128
9.2.4 數(shù)據(jù)變形/134
9.2.5 案例：旅游數(shù)據(jù)的分析與變形/136

9.3 缺失值、異常值和重復值處理/140
9.3.1 缺失值處理/140
9.3.2 檢測和過濾異常值/144
9.3.3 移除重復數(shù)據(jù)/147
9.3.4 案例：旅游數(shù)據(jù)的值檢查與處理/149
9.4 時序數(shù)據(jù)處理/152
9.4.1 日期/時間數(shù)據(jù)轉(zhuǎn)換/152
9.4.2 時序數(shù)據(jù)基礎操作/153
9.4.3 案例：天氣數(shù)據(jù)分析與處理/155
9.5 數(shù)據(jù)類型轉(zhuǎn)換/158
9.6 正則表達式/ 160
9.6.1 元字符與限定符/161
9.6.2 案例：用正則表達式提取網(wǎng)頁文本信息/162

第 10 章 綜合應用實例/164
10.1 按性價比給用戶推薦旅游產(chǎn)品/164
10.1.1 數(shù)據(jù)采集/165
10.1.2 數(shù)據(jù)清洗、建模/169
10.2 通過熱力圖分析為用戶提供出行建議/172
10.2.1 某旅游網(wǎng)站熱門景點爬蟲代碼（qunaer_sights.py）/175
10.2.2 提取 CSV 文件中經(jīng)緯度和銷量信息/178
10.2.3 創(chuàng)建景點門票銷量熱力地圖 HTML 文件/179

第 11 章 數(shù)據(jù)可視化/182
11.1 matplotlib/183
11.1.1 畫出各省份平均價格、各省份平均成交量柱狀圖/183
11.1.2 畫出各省份平均成交量折線圖、柱狀圖、箱形圖和餅圖/184
11.1.3 畫出價格與成交量的散點圖/185
11.2 pyecharts/186
11.2.1 Echarts 簡介/186
11.2.2 pyecharts 簡介/187
11.2.3 初識 pyecharts，玫瑰相送/187
11.2.4 pyecharts 基本語法/188
11.2.5 基于商業(yè)分析的 pyecharts 圖表繪制/190
11.2.6 使用 pyecharts 繪制其他圖表/199
11.2.7 pyecharts 和 Jupyter/203