简体网页||繁体网页

☆☆☆☆☆

图书标签:

• Python
• Scrapy
• 爬虫
• 网络爬虫
• 数据采集
• 数据分析
• 编程
• 技术
• 开发
• 实战

店铺： 旷氏文豪图书专营店

出版社： 人民邮电出版社

ISBN：9787115474209

商品编码：26698602763

YL13954  9787115474209 9787115416292

书名: 精通Python爬虫框架Scrapy

定价: 59.00元

出版社名称: 人民邮电出版社

出版时间: 2018年2月

作者: 迪米特里奥斯 考奇斯-劳卡斯

译者: 李斌

开本: 16开

ISBN: 9787115474209

目录

*1章 Scrapy简介 1 

1.1 初识Scrapy 1 

1.2 喜欢Scrapy的更多理由 2 

1.3 关于本书：目标和用途 3 

1.4 掌握自动化数据爬取的重要性 4 

1.4.1 开发健壮且高质量的应用，并提供合理规划 4 

1.4.2 快速开发高质量*小可行产品 5 

1.4.3 Google不会使用表单，爬取才能扩大规模 6 

1.4.4 发现并融入你的生态系统 7 

1.5 在充满爬虫的世界里做一个好公民 7 

1.6 Scrapy不是什么 8 

1.7 本章小结 9 

*2章 理解HTML和XPath 10 

2.1 HTML、DOM树表示以及XPath 10 

2.1.1 URL 11 

2.1.2 HTML文档 11 

2.1.3 树表示法 13 

2.1.4 你会在屏幕上看到什么 14 

2.2 使用XPath选择HTML元素 15 

2.2.1 有用的XPath表达式 16 

2.2.2 使用Chrome获取XPath表达式 19 

2.2.3 常见任务示例 20 

2.2.4 预见变化 21 

2.3 本章小结 22 

3章 爬虫基础 23 

3.1 安装Scrapy 24 

3.1.1 MacOS 24 

3.1.2 Windows 25 

3.1.3 Linux 25 

3.1.4 *新源码安装 26 

3.1.5 升级Scrapy 26 

3.1.6 Vagrant：本书中运行示例的官方方式 27 

3.2 UR2IM——基本抓取流程 28 

3.2.1 URL 29 

3.2.2 请求和响应 31 

3.2.3 Item 31 

3.3 一个Scrapy项目 37 

3.3.1 声明item 38 

3.3.2 编写爬虫 40 

3.3.3 填充item 43 

3.3.4 保存文件 45 

3.3.5 清理——item装载器与管理字段 47 

3.3.6 创建contract 50 

... ...

Python网络数据采集

基本信息

作者： (美) 米切尔 (Ryan Mitchell)

译者： 陶俊杰 陈小莉

丛书名： 图灵程序设计丛书

出版社：人民邮电出版社

ISBN：9787115416292

上架时间：2016-3-4

出版日期：2016 年3月

开本：16开

页码：200

版次：1-1

目录

译者序 ix

前言 xi

一部分 创建爬虫

1章 初见网络爬虫 2

1.1 网络连接 2

1.2 BeautifulSoup简介 4

1.2.1 安装BeautifulSoup 5

1.2.2 运行BeautifulSoup 7

1.2.3 可靠的网络连接 8

2章 复杂HTML解析 11

2.1 不是一直都要用锤子 11

2.2 再端一碗BeautifulSoup 12

2.2.1 BeautifulSoup的find()和findAll() 13

2.2.2 其他BeautifulSoup对象 15

2.2.3 导航树 16

2.3 正则表达式 19

2.4 正则表达式和BeautifulSoup 23

2.5 获取属性 24

2.6 Lambda表达式 24

2.7 超越BeautifulSoup 25

3章 开始采集 26

3.1 遍历单个域名 26

3.2 采集整个网站 30

3.3 通过互联网采集 34

3.4 用Scrapy采集 38

4章 使用API 42

4.1 API概述 43

4.2 API通用规则 43

4.2.1 方法 44

4.2.2 验证 44

4.3 服务器响应 45

4.4 Echo Nest 46

4.5 Twitter API 48

4.5.1 开始 48

4.5.2 几个示例 50

4.6 Google API 52

4.6.1 开始 52

4.6.2 几个示例 53

4.7 解析JSON数据 55

4.8 回到主题 56

4.9 再说一点API 60

5章 存储数据 61

5.1 媒体文件 61

5.2 把数据存储到CSV 64

5.3 MySQL 65

5.3.1 安装MySQL 66

5.3.2 基本命令 68

5.3.3 与Python整合 71

5.3.4 数据库技术与**实践 74

5.3.5 MySQL里的“六度空间游戏” 75

5.4 Email 77

6章 读取文档 80

6.1 文档编码 80

6.2 纯文本 81

6.3 CSV 85

6.4 PDF 87

6.5 微软Word和.docx 88

二部分 **数据采集

7章 数据清洗 94

7.1 编写代码清洗数据 94

7.2 数据存储后再清洗 98

8章 自然语言处理 103

8.1 概括数据 104

8.2 马尔可夫模型 106

8.3 自然语言工具包 112

8.3.1 安装与设置 112

8.3.2 用NLTK做统计分析 113

8.3.3 用NLTK做词性分析 115

8.4 其他资源 119

9章 穿越网页表单与登录窗口进行采集 120

9.1 Python Requests库 120

9.2 提交一个基本表单 121

9.3 单选按钮、复选框和其他输入 123

9.4 提交文件和图像 124

9.5 处理登录和cookie 125

9.6 其他表单问题 127

深入探索网络世界的宝藏：一本关于数据获取、分析与应用的实践指南 在信息爆炸的时代，掌握从浩瀚的网络海洋中精确、高效地提取有价值数据并将其转化为洞察力的能力，已成为个人和企业不可或缺的核心竞争力。本书并非一本简单的技术手册，而是一场引领你踏入数据采集与分析前沿的深度探索之旅。我们致力于为你揭示隐藏在网络表象之下的数据规律，教授你如何运用强大的工具与创新的思维，将原始的网络信息转化为可指导决策、驱动创新的宝贵财富。 本书的核心目标是为你构建一个扎实的知识体系，让你能够独立、系统地完成从需求分析、技术选型到数据处理、应用落地的全流程工作。我们深知，仅仅掌握某一个孤立的技术点是远远不够的。因此，本书将着重于培养你的全局观和问题解决能力，让你能够理解不同技术之间的联系，并根据实际场景灵活运用。 第一部分：网络数据采集的基石与利器 本部分将为你奠定坚实的网络数据采集基础，让你理解数据是如何在网络中流动的，以及如何安全、合规地获取它们。 理解互联网的数据结构与协议： 我们将从最基础的HTTP/HTTPS协议讲起，深入剖析请求（Request）与响应（Response）的构成，理解URL的解析，以及不同HTTP方法的应用场景（GET, POST等）。你将了解RESTful API的设计理念，以及如何与Web服务进行交互。同时，我们会探讨HTML、XML、JSON等常见的数据格式，理解它们的结构特点，以及在数据提取中的作用。此外，还将触及Web服务器、CDN、负载均衡等概念，帮助你建立完整的网络架构认知，从而更好地理解数据传输的底层逻辑。 掌握网络爬虫的核心原理与架构： 你将学习到爬虫的整个工作流程，包括URL的发现与管理、网页内容的下载、HTML的解析、数据的高效存储以及反爬虫策略的应对。我们将详细讲解爬虫的常见架构模式，如单机爬虫、分布式爬虫，并分析它们的优缺点及适用场景。对于新手而言，我们将从最简单、最直观的爬虫实现开始，逐步过渡到更复杂、更强大的模型，确保你能够理解每一步的设计思路和技术实现。 精通数据抓取的关键技术与工具： 本部分将聚焦于实操，为你介绍业界广泛使用的网络爬虫技术和框架。你将学习到如何使用强大的Scrapy框架。Scrapy以其高效、灵活、可扩展的特点，成为构建大规模、高性能爬虫的利器。我们将从Scrapy的基本概念（Spider, Item, Pipeline, Selector等）入手，逐步深入到高级用法，例如： Spider的编写与优化： 如何编写高效的Spider，实现复杂的页面解析逻辑，处理动态加载的内容（AJAX），以及如何通过中间件（Middleware）扩展Spider的功能。 Item的设计与数据清洗： 如何定义清晰的Item结构来规范抓取的数据，以及如何利用Pipeline进行数据的清洗、格式转换、去重等预处理操作。 Requests与Selectors的精妙运用： 深入理解Scrapy的Request对象，如何处理各种链接，如何利用CSS Selector和XPath Selector精确地定位和提取所需数据。 Scrapy的高级特性： 学习如何利用Scrapy的调度器（Scheduler）管理Request队列，如何通过Downloader Middleware处理代理、User-Agent、Cookies等，以及如何使用Scrapy-Redis等扩展实现分布式爬虫。 反爬虫策略的攻防： 深入分析常见的反爬虫机制，如IP封锁、User-Agent检测、验证码、JavaScript渲染等，并提供行之有效的应对策略，包括使用代理池、模拟浏览器行为（如Selenium）、验证码识别等。 Python语言的进阶应用： 除了Scrapy，我们还将介绍Python在数据采集领域的其他重要库，如Requests（用于发送HTTP请求）、BeautifulSoup（用于解析HTML和XML）、Selenium（用于自动化浏览器操作，处理JavaScript动态内容）等。你将学习如何将这些库与Scrapy结合使用，以应对各种复杂的抓取场景。我们将通过大量实际案例，展示如何利用Python的强大生态系统，快速、准确地获取网络数据。 第二部分：数据处理、分析与价值挖掘 仅仅获取数据是不够的，如何将这些原始数据转化为有价值的信息，并最终应用于实际业务，才是本书的精髓所在。 结构化数据的存储与管理： 抓取到的数据需要被有效地存储和管理。我们将介绍多种数据存储方案，包括： 关系型数据库（如MySQL, PostgreSQL）： 学习如何设计数据库Schema，将结构化数据存储到数据库中，以及如何使用Python的数据库连接库进行数据插入、查询与管理。 NoSQL数据库（如MongoDB）： 探讨MongoDB等文档型数据库在存储非结构化或半结构化数据时的优势，学习如何使用Python驱动与MongoDB进行交互。 文件存储（CSV, JSON, Parquet）： 学习如何将数据导出为各种文件格式，以及它们在不同场景下的适用性。 数据清洗、转换与预处理： 原始数据往往存在噪声、缺失值、格式不一致等问题。本部分将教授你如何利用Python的强大数据处理库，如Pandas，进行高效的数据清洗与预处理。你将学习： 数据框（DataFrame）操作： 掌握Pandas DataFrame的核心操作，如数据加载、筛选、排序、分组、聚合等。 缺失值处理： 学习识别和填充缺失值的方法。 数据类型转换与格式统一： 如何处理字符串、日期、数值等不同类型的数据，并将其统一到标准格式。 数据去重与异常值检测： 识别和处理重复数据，以及检测和处理异常值。 数据分析与洞察发掘： 清洗后的数据是进行分析的基石。我们将介绍数据分析的基本方法和技术： 描述性统计分析： 利用Pandas和NumPy进行数据的统计描述，如均值、中位数、标准差、最大值、最小值等。 数据可视化： 学习使用Matplotlib和Seaborn等库创建各种图表（折线图、柱状图、散点图、饼图等），直观地展示数据特征和规律。 探索性数据分析（EDA）： 引导你如何通过观察、统计和可视化来理解数据，发现数据之间的潜在关系和模式。 应用场景的拓展与实践： 数据采集与分析的最终目的是为了解决实际问题。本书将通过一系列贴近实际的案例，展示如何将所学知识应用于： 舆情监控与分析： 抓取社交媒体、新闻网站的数据，分析公众对某个话题、品牌或事件的看法，为企业决策提供依据。 市场调研与竞品分析： 采集电商平台、行业网站的数据，分析产品价格、销量、用户评价等，了解市场动态和竞争对手情况。 金融数据分析： 抓取股票、期货等金融市场数据，进行价格预测、趋势分析等。 内容推荐与个性化服务： 基于用户行为数据，构建推荐系统，为用户提供个性化的内容。 学术研究与信息挖掘： 抓取学术论文、研究报告等，进行文献计量分析，发现研究热点和趋势。 自动化报告生成： 将数据采集、分析过程自动化，定期生成包含关键指标的报告。 本书的独特价值： 理论与实践的完美结合： 我们不仅仅讲解理论知识，更注重通过大量的代码示例和实际项目案例，让你亲手实践，掌握核心技能。 由浅入深的教学体系： 从入门级概念到高级技术，层层递进，循序渐进，确保不同基础的读者都能轻松上手。 强调“为什么”和“如何做”： 我们不仅告诉你如何实现某个功能，更深入解释背后的原理和设计思路，让你知其然，更知其所以然。 培养独立解决问题的能力： 通过对复杂场景的分析和讲解，提升你的逻辑思维和问题解决能力，让你能够应对各种未知的挑战。 紧跟技术前沿： 涵盖当前网络数据采集领域最主流、最实用的技术与工具，让你具备在实际工作中立足的竞争力。 注重合规与道德： 在讲解数据采集技术的同时，我们也会强调遵守网站robots.txt协议、尊重用户隐私、合法合规地使用数据的重要性，引导读者成为负责任的数据实践者。 阅读本书，你将不仅仅获得一套技能，更将获得一种视角，一种用数据观察世界、理解世界、改造世界的能力。让我们一起，开启这场精彩纷呈的网络数据探索之旅！

评分☆☆☆☆☆

这本《精通Python爬虫框架Scrapy+Python网络数据采集》（共两册）确实如其名，给了我一个从零开始到深入掌握Python网络数据采集的完整旅程。我之所以被它吸引，是因为市面上很多关于爬虫的书籍要么过于基础，要么过于碎片化，很难形成一个系统的学习体系。而这两本组合，恰恰填补了这个空白。第一册聚焦Scrapy框架，我非常喜欢它循序渐进的讲解方式。从Scrapy的安装配置、基本架构，到Item、Spider、Item Pipeline、Downloader Middleware等核心组件的详细解析，都做得非常到位。书中提供了大量的代码示例，而且这些示例都非常贴近实际应用场景，比如抓取商品信息、新闻文章、甚至是动态加载的网页。我尤其赞赏的是，书中并没有止步于讲解API的使用，而是深入剖析了Scrapy的运行原理，让我理解了其背后的逻辑，这对于我独立解决遇到的问题非常有帮助。调试技巧、性能优化、分布式爬虫的初步介绍，也都让我对Scrapy的强大有了更深的认识。读完第一册，我感觉自己已经能够独立构建和部署一个功能相对完善的Scrapy项目了。

评分☆☆☆☆☆

而《Python网络数据采集》这本，则像一本武林秘籍，为我打开了更广阔的数据世界。《精通Python爬虫框架Scrapy+Python网络数据采集》这两本组合，让我感觉自己就像从一个初学者，一步步蜕变成了一个能够应对各种挑战的数据采集者。第二册的亮点在于它不仅仅关注“怎么做”，更关注“为什么这么做”。它深入浅出地讲解了HTTP协议的原理，TCP/IP的基础知识，这些底层知识对于理解网络数据采集的过程至关重要。此外，书中对于如何处理各种反爬虫策略的讲解，更是让我受益匪浅。从简单的User-Agent切换，到复杂的验证码识别、JS加密，书中都给出了非常实用的解决方案和参考思路。我尤其喜欢其中关于如何构建分布式爬虫的部分，这为我将来处理海量数据提供了理论基础和技术指导。整套书的知识体系非常完整，从基础到进阶，从理论到实践，都覆盖得非常全面。

评分☆☆☆☆☆

当我翻开这套书的时候，我期待的是能够快速上手，解决工作中的一些数据收集难题。幸运的是，这两本书完全满足了我的期望，甚至超出了我的预期。《精通Python爬虫框架Scrapy》第一册，就像一个经验丰富的老师傅，手把手地教我如何使用Scrapy这个强大的工具。书中对Scrapy的各个组件的讲解，不是那种干巴巴的API罗列，而是通过生动的案例，让我明白每个组件的作用以及它们是如何协同工作的。比如，在讲解Spider时，书中就展示了如何定义不同的爬虫来处理不同类型的网站，以及如何编写选择器来精确地提取所需信息。Item Pipeline的部分，我学到了如何对抓取到的数据进行清洗、去重，甚至是将数据存储到数据库中，这让我的数据处理流程更加自动化和高效。Downloader Middleware的介绍，更是让我了解了如何处理HTTP请求、设置代理、模拟浏览器行为等，这些都是构建一个稳定可靠爬虫的关键。

评分☆☆☆☆☆

第二册《Python网络数据采集》则将视野拓展到了Scrapy之外，涵盖了更广泛的网络数据采集技术和理念，这对我来说是锦上添花。它不仅仅是Scrapy的补充，更是一本关于整个数据采集生态的百科全书。作者对BeautifulSoup、Requests、Selenium等常用库的讲解，让我能够根据不同的网页结构和需求，选择最合适的工具。我印象最深刻的是，书中不仅讲解了如何解析静态HTML，还花了不少篇幅介绍如何处理JavaScript渲染的动态网页，这在当前互联网环境下是至关重要的。从简单的网页抓取到复杂的反爬机制应对，再到数据存储（如CSV、JSON、数据库）和清洗，这本书都给出了清晰的思路和实用的方法。我特别欣赏的是，作者强调了数据采集的道德和法律规范，这让我意识到作为一名数据采集者，肩负的责任。而且，书中还探讨了如何构建更健壮、更易于维护的采集系统，这对于我未来进行大规模数据采集非常有指导意义。

评分☆☆☆☆☆

我一直对网络数据采集充满好奇，但苦于没有一个好的入门途径。这套《精通Python爬虫框架Scrapy+Python网络数据采集》（两册）的出现，简直就是为我量身打造的学习资料。第一册关于Scrapy框架的讲解，我可以说从一个完全不懂到能够独立开发一个中等规模的爬虫项目。书中对Scrapy的每一个核心概念都进行了细致的阐述，并且配以大量的代码示例。我特别喜欢它在讲解Item Pipeline时，不仅介绍了默认的Pipeline，还指导如何自定义Pipeline来满足特定的数据处理需求，比如数据去重、格式转换等。在处理Ajax请求和动态加载内容方面，书中也提供了非常有效的解决方案，通过分析网络请求，利用Scrapy的Request对象来模拟浏览器行为，这让我能够抓取到那些普通静态网页抓取工具无法触及的数据。