Python 3網絡爬蟲開發實戰
定價 99.00
齣版社 人民郵電齣版社
版次 1
齣版時間 人民郵電齣版社
開本 16
作者 崔慶纔
裝幀 平裝
頁數
字數
ISBN編碼 9787115480347
重量
目錄
第壹章 開發環境配置 1
1.1 Python 3的安裝 1
1.1.1 Windows下的安裝 1
1.1.2 Linux下的安裝 6
1.1.3 Mac下的安裝 8
1.2 請求庫的安裝 10
1.2.1 requests的安裝 10
1.2.2 Selenium的安裝 11
1.2.3 ChromeDriver的安裝 12
1.2.4 GeckoDriver的安裝 15
1.2.5 PhantomJS的安裝 17
1.2.6 aiohttp的安裝 18
1.3 解析庫的安裝 19
1.3.1 lxml的安裝 19
1.3.2 Beautiful Soup的安裝 21
1.3.3 pyquery的安裝 22
1.3.4 tesserocr的安裝 22
1.4 數據庫的安裝 26
1.4.1 MySQL的安裝 27
1.4.2 MongoDB的安裝 29
1.4.3 Redis的安裝 36
1.5 存儲庫的安裝 39
1.5.1 PyMySQL的安裝 39
1.5.2 PyMongo的安裝 39
1.5.3 redis-py的安裝 40
1.5.4 RedisDump的安裝 40
1.6 Web庫的安裝 41
1.6.1 Flask的安裝 41
1.6.2 Tornado的安裝 42
1.7 App爬取相關庫的安裝 43
1.7.1 Charles的安裝 44
1.7.2 mitmproxy的安裝 50
1.7.3 Appium的安裝 55
1.8 爬蟲框架的安裝 59
1.8.1 pyspider的安裝 59
1.8.2 Scrapy的安裝 61
1.8.3 Scrapy-Splash的安裝 65
1.8.4 Scrapy-Redis的安裝 66
1.9 部署相關庫的安裝 67
1.9.1 Docker的安裝 67
1.9.2 Scrapyd的安裝 71
1.9.3 Scrapyd-Client的安裝 74
1.9.4 Scrapyd API的安裝 75
1.9.5 Scrapyrt的安裝 75
1.9.6 Gerapy的安裝 76
第2章 爬蟲基礎 77
2.1 HTTP基本原理 77
2.1.1 URI和URL 77
2.1.2 超文本 78
2.1.3 HTTP和HTTPS 78
2.1.4 HTTP請求過程 80
2.1.5 請求 82
2.1.6 響應 84
2.2 網頁基礎 87
2.2.1 網頁的組成 87
2.2.2 網頁的結構 88
2.2.3 節點樹及節點間的關係 90
2.2.4 選擇器 91
2.3 爬蟲的基本原理 93
2.3.1 爬蟲概述 93
2.3.2 能抓怎樣的數據 94
2.3.3 渲染頁麵 94
2.4 會話和Cookies 95
2.4.1 靜態網頁和動態網頁 95
2.4.2 無狀態HTTP 96
2.4.3 常見誤區 98
2.5 代理的基本原理 99
2.5.1 基本原理 99
2.5.2 代理的作用 99
2.5.3 爬蟲代理 100
2.5.4 代理分類 100
2.5.5 常見代理設置 101
第3章 基本庫的使用 102
3.1 使用urllib 102
3.1.1 發送請求 102
3.1.2 處理異常 112
3.1.3 解析鏈接 114
3.1.4 分析Robots協議 119
3.2 使用requests 122
3.2.1 基本用法 122
3.2.2 高ji用法 130
3.3 正則錶達式 139
3.4 抓取貓眼電影排行 150
第4章 解析庫的使用 158
4.1 使用XPath 158
4.2 使用Beautiful Soup 168
4.3 使用pyquery 184
第5章 數據存儲 197
5.1 文件存儲 197
5.1.1 TXT文本存儲 197
5.1.2 JSON文件存儲 199
5.1.3 CSV文件存儲 203
5.2 關係型數據庫存儲 207
5.2.1 MySQL的存儲 207
5.3 非關係型數據庫存儲 213
5.3.1 MongoDB存儲 214
5.3.2 Redis存儲 221
第6章 Ajax數據爬取 232
6.1 什麼是Ajax 232
6.2 Ajax分析方法 234
6.3 Ajax結果提取 238
6.4 分析Ajax爬取現在頭條街拍美圖 242
第7章 動態渲染頁麵爬取 249
7.1 Selenium的使用 249
7.2 Splash的使用 262
7.3 Splash負載均衡配置 286
7.4 使用Selenium爬取淘寶商品 289
第8章 驗證碼的識彆 298
8.1 圖形驗證碼的識彆 298
8.2 極驗滑動驗證碼的識彆 301
8.3 點觸驗證碼的識彆 311
8.4 微博宮格驗證碼的識彆 318
第9章 代理的使用 326
9.1 代理的設置 326
9.2 代理池的維護 333
9.3 付費代理的使用 347
9.4 ADSL撥號代理 351
9.5 使用代理爬取微信公眾號文章 364
第壹0章 模擬登錄 379
10.1 模擬登錄並爬取GitHub 379
10.2 Cookies池的搭建 385
第壹1章 App的爬取 398
11.1 Charles的使用 398
11.2 mitmproxy的使用 405
11.3 mitmdump爬取“得到”App電子書
信息 417
11.4 Appium的基本使用 423
11.5 Appium爬取微信朋友圈 433
11.6 Appium+mitmdump爬取京東商品 437
第壹2章 pyspider框架的使用 443
12.1 pyspider框架介紹 443
12.2 pyspider的基本使用 445
12.3 pyspider用法詳解 459
第壹3章 Scrapy框架的使用 468
13.1 Scrapy框架介紹 468
13.2 Scrapy入門 470
13.3 Selector的用法 480
13.4 Spider的用法 486
13.5 Downloader Middleware的用法 487
13.6 Spider Middleware的用法 494
13.7 Item Pipeline的用法 496
13.8 Scrapy對接Selenium 506
13.9 Scrapy對接Splash 511
13.10 Scrapy通用爬蟲 516
13.11 Scrapyrt的使用 533
13.12 Scrapy對接Docker 536
13.13 Scrapy爬取新浪微博 541
第壹4章 分布式爬蟲 555
14.1 分布式爬蟲原理 555
14.2 Scrapy-Redis源碼解析 558
14.3 Scrapy分布式實現 564
14.4 Bloom Filter的對接 569
第壹5章 分布式爬蟲的部署 577
15.1 Scrapyd分布式部署 577
15.2 Scrapyd-Client的使用 582
15.3 Scrapyd對接Docker 583
15.4 Scrapyd批量部署 586
15.5 Gerapy分布式管理 590
內容介紹
本書介紹瞭如何利用Python 3開發網絡爬蟲,書中首先介紹瞭環境配置和基礎知識,然後討論瞭urllib、requests、正則錶達式、Beautiful Soup、XPath、pyquery、數據存儲、Ajax數據爬取等內容,接著通過多個案例介紹瞭不同場景下如何實現數據爬取,zui後介紹瞭pyspider框架、Scrapy框架和分布式爬蟲。
本書適閤Python程序員閱讀。
Python網絡數據爬取及分析從入門到精通(分析篇)(內容講解專業但不晦澀,實例分析實際但不枯燥)
作者:楊秀璋,顔娜齣版社:北京航空航天大學齣版社齣版時間:2018年05月
定價 59.8元
版 次:1頁 數:字 數:印刷時間:2018年05月28日開 本:16開紙 張:膠版紙包 裝:平裝-膠訂是否套裝:否國際標準書號ISBN:9787512427136
所屬分類:
圖書>計算機/網絡>程序設計>其他
編輯推薦
這是一套以實例為主、使用Python語言講解網絡數據爬蟲及分析的實戰指南。本套書通俗易懂,涵蓋瞭Python基礎知識、數據爬取、數據分析、數據預處理、數據可視化、數據存儲、算法評估等多方麵知識,每一部分知識都從安裝過程、導入擴展包到算法原理、基礎語法,再結閤實例進行詳細講解。
本套書包括兩本:《Python網絡數據爬取及分析從入門到精通(爬取篇)》和《Python網絡數據爬取及分析從入門到精通(分析篇)》。
看完此書,真正讓你做到從入門到精通。
本書采用通俗易懂的語言、豐富多彩的實例,詳細介紹瞭使用Python語言進行網絡數據分析的知識,主要內容包括Python數據分析常用庫、可視化分析、迴歸分析、聚類分析、分類分析、關聯規則挖掘分析、數據預處理及文本聚類、詞雲熱點與主題分布分析、復雜網絡與基於數據庫技術的分析等。
書中所有知識點都結閤瞭具體的實例進行介紹,涉及的實例都給齣瞭詳細分析流程,程序代碼都給齣瞭具體的注釋,采用圖文結閤的形式講解,讓讀者能更加輕鬆地領會Python網絡數據分析的精髓,快速提高自己的開發能力。
本書既可作為Python開發入門者的自學用書,也可作為高等院校數據分析、數據挖掘、機器學習、大數據等相關專業的教學參考書或實驗指導書,還可供Python數據分析人員查閱、參考。
作者簡介
楊秀璋,畢業於北京理工大學軟件學院,長期從事Web數據挖掘、Python數據分析、網絡數據爬取工作及研究。他現任教於貴州財經大學信息學院,主講“數據挖掘與分析”“大數據技術及應用”課程,並從事大數據分析、數據挖掘、知識圖譜等領域的項目研究與開發;有多年的Python編程、數據分析及知識圖譜研究經驗,實戰經驗較為豐富。
此外,他還積極分享編程知識和開源代碼編寫經驗,先後在CSDN、博客園、阿裏雲棲社區撰寫博客,僅在CSDN就分享瞭300多篇原創文章,開設瞭11個專欄,纍計閱讀量超過250萬人次。
第1章 網絡數據分析概述 1
1.1 數據分析 1
1.2 相關技術 3
1.3 Anaconda開發環境 5
1.4 常用數據集 9
1.4.1 Sklearn數據集 9
1.4.2 UCI數據集 10
1.4.3 自定義爬蟲數據集 11
1.4.4 其他數據集 12
1.5 本章小結 13
參考文獻 14
第2章 Python數據分析常用庫 15
2.1 常用庫 15
2.2 NumPy 17
2.2.1 Array用法 17
2.2.2 二維數組操作 19
2.3 Pandas 21
2.3.1 讀/寫文件 22
2.3.2 Series 24
2.3.3 DataFrame 26
2.4 Matplotlib 26
2.4.1 基礎用法 27
2.4.2 繪圖簡單示例 28
2.5 Sklearn 31
....
Python網絡數據爬取及分析從入門到精通(爬取篇)(內容講解專業但不晦澀,實例分析實際但不枯燥)
作者:楊秀璋,顔娜齣版社:北京航空航天大學齣版社齣版時間:2018年05月
定價 59.8元
版 次:1頁 數:字 數:印刷時間:2018年05月28日開 本:16開紙 張:膠版紙包 裝:平裝-膠訂是否套裝:否國際標準書號ISBN:9787512427129
所屬分類:
圖書>計算機/網絡>程序設計>其他
編輯推薦
這是一套以實例為主、使用Python語言講解網絡數據爬蟲及分析的實戰指南。本套書通俗易懂,涵蓋瞭Python基礎知識、數據爬取、數據分析、數據預處理、數據可視化、數據存儲、算法評估等多方麵知識,每一部分知識都從安裝過程、導入擴展包到算法原理、基礎語法,再結閤實例進行詳細講解。
本套書包括兩本:《Python網絡數據爬取及分析從入門到精通(爬取篇)》和《Python網絡數據爬取及分析從入門到精通(分析篇)》。
看完此書,真正讓你做到從入門到精通。
本書采用通俗易懂的語言、豐富多彩的實例,詳細介紹瞭使用Python語言進行網絡數據爬取的知識,主要內容包括Python語法、正則錶達式、BeautifulSoup技術、Selenium技術、Scrapy框架、數據庫存儲等,同時詳細介紹瞭爬取網站和博客內容、電影數據信息、招聘信息、在綫百科知識、微博內容、農産品信息等實例。
書中所有知識點都結閤經典實例進行介紹,涉及的實例都給齣瞭詳細的分析流程,程序代碼都給齣瞭具體的注釋,同時采用圖文結閤的形式講解,讓讀者能更加輕鬆地領會Python網絡數據爬蟲的精髓,並快速提高自己的開發能力。
本書即可作為Python開發入門者的自學用書,也可作為高等院校數據爬取、數據分析、數據挖掘、大數據等相關專業的教學參考書或實驗指導書,還可供Python開發人員查閱、參考。
作者簡介
楊秀璋,畢業於北京理工大學軟件學院,長期從事Web數據挖掘、Python數據分析、網絡數據爬取工作及研究。他現任教於貴州財經大學信息學院,主講“數據挖掘與分析”“大數據技術及應用”課程,並從事大數據分析、數據挖掘、知識圖譜等領域的項目研究與開發;有多年的Python編程、數據分析及知識圖譜研究經驗,實戰經驗較為豐富。
此外,他還積極分享編程知識和開源代碼編寫經驗,先後在CSDN、博客園、阿裏雲棲社區撰寫博客,僅在CSDN就分享瞭300多篇原創文章,開設瞭11個專欄,纍計閱讀量超過250萬人次。
第1章 網絡數據爬取概述 1
1.1 網絡爬蟲 1
1.2 相關技術 3
1.2.1 HTTP 3
1.2.2 HTML 3
1.2.3 Python 5
1.3 本章小結 5
參考文獻 5
第2章 Python知識初學 6
2.1 Python簡介 6
2.2 基礎語法 11
2.2.1 縮進與注釋 11
2.2.2 變量與常量 12
說實話,我對市麵上很多聲稱“精通”的教材持保留態度的,很多時候都是把基礎知識堆砌起來,真正到瞭解決實際問題時就捉襟見肘瞭。但這本書給我的感覺則不太一樣,它似乎更注重底層邏輯的梳理和工具鏈的整閤。我個人最頭疼的就是數據清洗和後續的分析環節,單純的爬取隻是第一步,如何把那些雜亂無章的HTML標簽和JavaScript動態加載的內容轉化為結構化的、可供分析的洞察,纔是真正的挑戰。我期待這本書能深入探討這些“髒活纍活”的優化技巧,比如如何使用Pandas進行高效的數據轉換,或者如何結閤數據可視化工具來展示爬取到的信息價值。如果它能在這些方麵給齣一些獨到的見解和代碼示例,那它就遠遠超齣瞭普通爬蟲教程的範疇,真正稱得上是一本有深度的參考手冊。
評分購買這本書的另一個重要動機是希望能夠係統性地學習數據采集後的“分析”部分。很多教程在爬取到數據那一刻就戛然而止瞭,但對於我來說,數據的價值在於後續的利用。我正在嘗試構建一個基於網絡公開數據的市場趨勢預測模型,這要求我對爬取來的數據有一定的洞察力。我希望書中關於數據分析篇的內容,能涵蓋從數據預處理到基本統計分析,乃至更進一步的文本挖掘或時間序列分析的初步應用。如果能結閤Python生態中主流的分析庫,如Scikit-learn或Statsmodels,提供一些結閤爬蟲場景的案例,那就太完美瞭。這不僅僅是學一門技術,更是將技術轉化為商業或科研價值的關鍵橋梁。
評分最近在工作項目中遇到瞭一個棘手的需求,涉及到對一個反爬機製相當嚴格的電商網站進行數據監控。我嘗試瞭之前看的一些零散資料,效果都不理想,不是被輕易封IP,就是數據結構頻繁變動導緻解析失敗。因此,我抱著試一試的心態入手瞭這套書,希望它能提供一些“非主流”或者更高級的解決方案。我特彆關注那些關於模擬用戶行為、處理Session管理以及應對深度反爬策略的章節。一個好的爬蟲框架不僅要能爬,更要能“穩健”地爬,在麵對網站的防禦升級時能快速迭代。我希望這本書能提供一套健壯的架構思維,教會我如何構建一個具備高容錯性和可維護性的爬蟲係統,而不是僅僅停留在Requests+BeautifulSoup的基礎組閤上。
評分這本書的封麵設計就相當吸引人,那種深邃的藍色調,配閤著簡潔有力的字體,一下子就能抓住技術讀者的眼球。我當時拿到書的時候,第一感覺是它分量十足,顯然內容不會是那種浮於錶麵的“入門速成”。我主要是在尋找一套能夠係統性梳理Python爬蟲技術棧的資料,畢竟現在數據為王,但缺乏有效獲取數據的手段寸步難行。這本書的結構編排給我的感覺非常紮實,它似乎試圖構建一個從基礎概念到高級實戰的完整知識體係。我尤其看重它在“實戰”二字上的體現,希望它不僅僅停留在理論講解,而是能真正帶我進入真實的數據抓取場景,比如如何應對復雜的反爬機製、如何設計高效的存儲方案等。從目錄的初步瀏覽來看,它對這些技術點的覆蓋度是令人期待的,希望能真正填補我在處理大規模、高復雜度網絡數據采集方麵的經驗空白。
評分從閱讀體驗上來說,我更偏愛那種語言風格直接、代碼示例清晰詳盡的教材。晦澀難懂的理論闡述,對於技術學習來說,效率太低瞭。我關注的是如何將知識點轉化為可執行的代碼塊,並能立刻在我的開發環境中運行起來,看到效果。如果這本書的配圖和流程圖設計能夠幫助理解復雜的網絡請求過程和數據流嚮,那就再好不過瞭。畢竟,爬蟲涉及到網絡協議、HTTP狀態碼、異步IO等多個層麵的知識,如果作者能用非常直觀的方式將這些技術點串聯起來,讓初學者也能快速建立起對整個技術生態的認知,那麼這本書的價值就體現齣來瞭。期待它能減少我調試代碼時摸索時間,直接給我提供高效的解決方案。
本站所有內容均為互聯網搜尋引擎提供的公開搜索信息,本站不存儲任何數據與內容,任何內容與數據均與本站無關,如有需要請聯繫相關搜索引擎包括但不限於百度,google,bing,sogou 等
© 2025 book.coffeedeals.club All Rights Reserved. 靜流書站 版權所有