Python 3网络爬虫开发实战
定价 99.00
出版社 人民邮电出版社
版次 1
出版时间 人民邮电出版社
开本 16
作者 崔庆才
装帧 平装
页数
字数
ISBN编码 9787115480347
重量
目录
第壹章 开发环境配置 1
1.1 Python 3的安装 1
1.1.1 Windows下的安装 1
1.1.2 Linux下的安装 6
1.1.3 Mac下的安装 8
1.2 请求库的安装 10
1.2.1 requests的安装 10
1.2.2 Selenium的安装 11
1.2.3 ChromeDriver的安装 12
1.2.4 GeckoDriver的安装 15
1.2.5 PhantomJS的安装 17
1.2.6 aiohttp的安装 18
1.3 解析库的安装 19
1.3.1 lxml的安装 19
1.3.2 Beautiful Soup的安装 21
1.3.3 pyquery的安装 22
1.3.4 tesserocr的安装 22
1.4 数据库的安装 26
1.4.1 MySQL的安装 27
1.4.2 MongoDB的安装 29
1.4.3 Redis的安装 36
1.5 存储库的安装 39
1.5.1 PyMySQL的安装 39
1.5.2 PyMongo的安装 39
1.5.3 redis-py的安装 40
1.5.4 RedisDump的安装 40
1.6 Web库的安装 41
1.6.1 Flask的安装 41
1.6.2 Tornado的安装 42
1.7 App爬取相关库的安装 43
1.7.1 Charles的安装 44
1.7.2 mitmproxy的安装 50
1.7.3 Appium的安装 55
1.8 爬虫框架的安装 59
1.8.1 pyspider的安装 59
1.8.2 Scrapy的安装 61
1.8.3 Scrapy-Splash的安装 65
1.8.4 Scrapy-Redis的安装 66
1.9 部署相关库的安装 67
1.9.1 Docker的安装 67
1.9.2 Scrapyd的安装 71
1.9.3 Scrapyd-Client的安装 74
1.9.4 Scrapyd API的安装 75
1.9.5 Scrapyrt的安装 75
1.9.6 Gerapy的安装 76
第2章 爬虫基础 77
2.1 HTTP基本原理 77
2.1.1 URI和URL 77
2.1.2 超文本 78
2.1.3 HTTP和HTTPS 78
2.1.4 HTTP请求过程 80
2.1.5 请求 82
2.1.6 响应 84
2.2 网页基础 87
2.2.1 网页的组成 87
2.2.2 网页的结构 88
2.2.3 节点树及节点间的关系 90
2.2.4 选择器 91
2.3 爬虫的基本原理 93
2.3.1 爬虫概述 93
2.3.2 能抓怎样的数据 94
2.3.3 渲染页面 94
2.4 会话和Cookies 95
2.4.1 静态网页和动态网页 95
2.4.2 无状态HTTP 96
2.4.3 常见误区 98
2.5 代理的基本原理 99
2.5.1 基本原理 99
2.5.2 代理的作用 99
2.5.3 爬虫代理 100
2.5.4 代理分类 100
2.5.5 常见代理设置 101
第3章 基本库的使用 102
3.1 使用urllib 102
3.1.1 发送请求 102
3.1.2 处理异常 112
3.1.3 解析链接 114
3.1.4 分析Robots协议 119
3.2 使用requests 122
3.2.1 基本用法 122
3.2.2 高ji用法 130
3.3 正则表达式 139
3.4 抓取猫眼电影排行 150
第4章 解析库的使用 158
4.1 使用XPath 158
4.2 使用Beautiful Soup 168
4.3 使用pyquery 184
第5章 数据存储 197
5.1 文件存储 197
5.1.1 TXT文本存储 197
5.1.2 JSON文件存储 199
5.1.3 CSV文件存储 203
5.2 关系型数据库存储 207
5.2.1 MySQL的存储 207
5.3 非关系型数据库存储 213
5.3.1 MongoDB存储 214
5.3.2 Redis存储 221
第6章 Ajax数据爬取 232
6.1 什么是Ajax 232
6.2 Ajax分析方法 234
6.3 Ajax结果提取 238
6.4 分析Ajax爬取现在头条街拍美图 242
第7章 动态渲染页面爬取 249
7.1 Selenium的使用 249
7.2 Splash的使用 262
7.3 Splash负载均衡配置 286
7.4 使用Selenium爬取淘宝商品 289
第8章 验证码的识别 298
8.1 图形验证码的识别 298
8.2 极验滑动验证码的识别 301
8.3 点触验证码的识别 311
8.4 微博宫格验证码的识别 318
第9章 代理的使用 326
9.1 代理的设置 326
9.2 代理池的维护 333
9.3 付费代理的使用 347
9.4 ADSL拨号代理 351
9.5 使用代理爬取微信公众号文章 364
第壹0章 模拟登录 379
10.1 模拟登录并爬取GitHub 379
10.2 Cookies池的搭建 385
第壹1章 App的爬取 398
11.1 Charles的使用 398
11.2 mitmproxy的使用 405
11.3 mitmdump爬取“得到”App电子书
信息 417
11.4 Appium的基本使用 423
11.5 Appium爬取微信朋友圈 433
11.6 Appium+mitmdump爬取京东商品 437
第壹2章 pyspider框架的使用 443
12.1 pyspider框架介绍 443
12.2 pyspider的基本使用 445
12.3 pyspider用法详解 459
第壹3章 Scrapy框架的使用 468
13.1 Scrapy框架介绍 468
13.2 Scrapy入门 470
13.3 Selector的用法 480
13.4 Spider的用法 486
13.5 Downloader Middleware的用法 487
13.6 Spider Middleware的用法 494
13.7 Item Pipeline的用法 496
13.8 Scrapy对接Selenium 506
13.9 Scrapy对接Splash 511
13.10 Scrapy通用爬虫 516
13.11 Scrapyrt的使用 533
13.12 Scrapy对接Docker 536
13.13 Scrapy爬取新浪微博 541
第壹4章 分布式爬虫 555
14.1 分布式爬虫原理 555
14.2 Scrapy-Redis源码解析 558
14.3 Scrapy分布式实现 564
14.4 Bloom Filter的对接 569
第壹5章 分布式爬虫的部署 577
15.1 Scrapyd分布式部署 577
15.2 Scrapyd-Client的使用 582
15.3 Scrapyd对接Docker 583
15.4 Scrapyd批量部署 586
15.5 Gerapy分布式管理 590
内容介绍
本书介绍了如何利用Python 3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容,接着通过多个案例介绍了不同场景下如何实现数据爬取,zui后介绍了pyspider框架、Scrapy框架和分布式爬虫。
本书适合Python程序员阅读。
Python网络数据爬取及分析从入门到精通(分析篇)(内容讲解专业但不晦涩,实例分析实际但不枯燥)
作者:杨秀璋,颜娜出版社:北京航空航天大学出版社出版时间:2018年05月
定价 59.8元
版 次:1页 数:字 数:印刷时间:2018年05月28日开 本:16开纸 张:胶版纸包 装:平装-胶订是否套装:否国际标准书号ISBN:9787512427136
所属分类:
图书>计算机/网络>程序设计>其他
编辑推荐
这是一套以实例为主、使用Python语言讲解网络数据爬虫及分析的实战指南。本套书通俗易懂,涵盖了Python基础知识、数据爬取、数据分析、数据预处理、数据可视化、数据存储、算法评估等多方面知识,每一部分知识都从安装过程、导入扩展包到算法原理、基础语法,再结合实例进行详细讲解。
本套书包括两本:《Python网络数据爬取及分析从入门到精通(爬取篇)》和《Python网络数据爬取及分析从入门到精通(分析篇)》。
看完此书,真正让你做到从入门到精通。
本书采用通俗易懂的语言、丰富多彩的实例,详细介绍了使用Python语言进行网络数据分析的知识,主要内容包括Python数据分析常用库、可视化分析、回归分析、聚类分析、分类分析、关联规则挖掘分析、数据预处理及文本聚类、词云热点与主题分布分析、复杂网络与基于数据库技术的分析等。
书中所有知识点都结合了具体的实例进行介绍,涉及的实例都给出了详细分析流程,程序代码都给出了具体的注释,采用图文结合的形式讲解,让读者能更加轻松地领会Python网络数据分析的精髓,快速提高自己的开发能力。
本书既可作为Python开发入门者的自学用书,也可作为高等院校数据分析、数据挖掘、机器学习、大数据等相关专业的教学参考书或实验指导书,还可供Python数据分析人员查阅、参考。
作者简介
杨秀璋,毕业于北京理工大学软件学院,长期从事Web数据挖掘、Python数据分析、网络数据爬取工作及研究。他现任教于贵州财经大学信息学院,主讲“数据挖掘与分析”“大数据技术及应用”课程,并从事大数据分析、数据挖掘、知识图谱等领域的项目研究与开发;有多年的Python编程、数据分析及知识图谱研究经验,实战经验较为丰富。
此外,他还积极分享编程知识和开源代码编写经验,先后在CSDN、博客园、阿里云栖社区撰写博客,仅在CSDN就分享了300多篇原创文章,开设了11个专栏,累计阅读量超过250万人次。
第1章 网络数据分析概述 1
1.1 数据分析 1
1.2 相关技术 3
1.3 Anaconda开发环境 5
1.4 常用数据集 9
1.4.1 Sklearn数据集 9
1.4.2 UCI数据集 10
1.4.3 自定义爬虫数据集 11
1.4.4 其他数据集 12
1.5 本章小结 13
参考文献 14
第2章 Python数据分析常用库 15
2.1 常用库 15
2.2 NumPy 17
2.2.1 Array用法 17
2.2.2 二维数组操作 19
2.3 Pandas 21
2.3.1 读/写文件 22
2.3.2 Series 24
2.3.3 DataFrame 26
2.4 Matplotlib 26
2.4.1 基础用法 27
2.4.2 绘图简单示例 28
2.5 Sklearn 31
....
Python网络数据爬取及分析从入门到精通(爬取篇)(内容讲解专业但不晦涩,实例分析实际但不枯燥)
作者:杨秀璋,颜娜出版社:北京航空航天大学出版社出版时间:2018年05月
定价 59.8元
版 次:1页 数:字 数:印刷时间:2018年05月28日开 本:16开纸 张:胶版纸包 装:平装-胶订是否套装:否国际标准书号ISBN:9787512427129
所属分类:
图书>计算机/网络>程序设计>其他
编辑推荐
这是一套以实例为主、使用Python语言讲解网络数据爬虫及分析的实战指南。本套书通俗易懂,涵盖了Python基础知识、数据爬取、数据分析、数据预处理、数据可视化、数据存储、算法评估等多方面知识,每一部分知识都从安装过程、导入扩展包到算法原理、基础语法,再结合实例进行详细讲解。
本套书包括两本:《Python网络数据爬取及分析从入门到精通(爬取篇)》和《Python网络数据爬取及分析从入门到精通(分析篇)》。
看完此书,真正让你做到从入门到精通。
本书采用通俗易懂的语言、丰富多彩的实例,详细介绍了使用Python语言进行网络数据爬取的知识,主要内容包括Python语法、正则表达式、BeautifulSoup技术、Selenium技术、Scrapy框架、数据库存储等,同时详细介绍了爬取网站和博客内容、电影数据信息、招聘信息、在线百科知识、微博内容、农产品信息等实例。
书中所有知识点都结合经典实例进行介绍,涉及的实例都给出了详细的分析流程,程序代码都给出了具体的注释,同时采用图文结合的形式讲解,让读者能更加轻松地领会Python网络数据爬虫的精髓,并快速提高自己的开发能力。
本书即可作为Python开发入门者的自学用书,也可作为高等院校数据爬取、数据分析、数据挖掘、大数据等相关专业的教学参考书或实验指导书,还可供Python开发人员查阅、参考。
作者简介
杨秀璋,毕业于北京理工大学软件学院,长期从事Web数据挖掘、Python数据分析、网络数据爬取工作及研究。他现任教于贵州财经大学信息学院,主讲“数据挖掘与分析”“大数据技术及应用”课程,并从事大数据分析、数据挖掘、知识图谱等领域的项目研究与开发;有多年的Python编程、数据分析及知识图谱研究经验,实战经验较为丰富。
此外,他还积极分享编程知识和开源代码编写经验,先后在CSDN、博客园、阿里云栖社区撰写博客,仅在CSDN就分享了300多篇原创文章,开设了11个专栏,累计阅读量超过250万人次。
第1章 网络数据爬取概述 1
1.1 网络爬虫 1
1.2 相关技术 3
1.2.1 HTTP 3
1.2.2 HTML 3
1.2.3 Python 5
1.3 本章小结 5
参考文献 5
第2章 Python知识初学 6
2.1 Python简介 6
2.2 基础语法 11
2.2.1 缩进与注释 11
2.2.2 变量与常量 12
最近在工作项目中遇到了一个棘手的需求,涉及到对一个反爬机制相当严格的电商网站进行数据监控。我尝试了之前看的一些零散资料,效果都不理想,不是被轻易封IP,就是数据结构频繁变动导致解析失败。因此,我抱着试一试的心态入手了这套书,希望它能提供一些“非主流”或者更高级的解决方案。我特别关注那些关于模拟用户行为、处理Session管理以及应对深度反爬策略的章节。一个好的爬虫框架不仅要能爬,更要能“稳健”地爬,在面对网站的防御升级时能快速迭代。我希望这本书能提供一套健壮的架构思维,教会我如何构建一个具备高容错性和可维护性的爬虫系统,而不是仅仅停留在Requests+BeautifulSoup的基础组合上。
评分这本书的封面设计就相当吸引人,那种深邃的蓝色调,配合着简洁有力的字体,一下子就能抓住技术读者的眼球。我当时拿到书的时候,第一感觉是它分量十足,显然内容不会是那种浮于表面的“入门速成”。我主要是在寻找一套能够系统性梳理Python爬虫技术栈的资料,毕竟现在数据为王,但缺乏有效获取数据的手段寸步难行。这本书的结构编排给我的感觉非常扎实,它似乎试图构建一个从基础概念到高级实战的完整知识体系。我尤其看重它在“实战”二字上的体现,希望它不仅仅停留在理论讲解,而是能真正带我进入真实的数据抓取场景,比如如何应对复杂的反爬机制、如何设计高效的存储方案等。从目录的初步浏览来看,它对这些技术点的覆盖度是令人期待的,希望能真正填补我在处理大规模、高复杂度网络数据采集方面的经验空白。
评分购买这本书的另一个重要动机是希望能够系统性地学习数据采集后的“分析”部分。很多教程在爬取到数据那一刻就戛然而止了,但对于我来说,数据的价值在于后续的利用。我正在尝试构建一个基于网络公开数据的市场趋势预测模型,这要求我对爬取来的数据有一定的洞察力。我希望书中关于数据分析篇的内容,能涵盖从数据预处理到基本统计分析,乃至更进一步的文本挖掘或时间序列分析的初步应用。如果能结合Python生态中主流的分析库,如Scikit-learn或Statsmodels,提供一些结合爬虫场景的案例,那就太完美了。这不仅仅是学一门技术,更是将技术转化为商业或科研价值的关键桥梁。
评分从阅读体验上来说,我更偏爱那种语言风格直接、代码示例清晰详尽的教材。晦涩难懂的理论阐述,对于技术学习来说,效率太低了。我关注的是如何将知识点转化为可执行的代码块,并能立刻在我的开发环境中运行起来,看到效果。如果这本书的配图和流程图设计能够帮助理解复杂的网络请求过程和数据流向,那就再好不过了。毕竟,爬虫涉及到网络协议、HTTP状态码、异步IO等多个层面的知识,如果作者能用非常直观的方式将这些技术点串联起来,让初学者也能快速建立起对整个技术生态的认知,那么这本书的价值就体现出来了。期待它能减少我调试代码时摸索时间,直接给我提供高效的解决方案。
评分说实话,我对市面上很多声称“精通”的教材持保留态度的,很多时候都是把基础知识堆砌起来,真正到了解决实际问题时就捉襟见肘了。但这本书给我的感觉则不太一样,它似乎更注重底层逻辑的梳理和工具链的整合。我个人最头疼的就是数据清洗和后续的分析环节,单纯的爬取只是第一步,如何把那些杂乱无章的HTML标签和JavaScript动态加载的内容转化为结构化的、可供分析的洞察,才是真正的挑战。我期待这本书能深入探讨这些“脏活累活”的优化技巧,比如如何使用Pandas进行高效的数据转换,或者如何结合数据可视化工具来展示爬取到的信息价值。如果它能在这些方面给出一些独到的见解和代码示例,那它就远远超出了普通爬虫教程的范畴,真正称得上是一本有深度的参考手册。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 book.coffeedeals.club All Rights Reserved. 静流书站 版权所有