简体网页||繁体网页

☆☆☆☆☆

王雪迎（美）卡普廖洛 著

图书标签:

• Hadoop
• Hive
• 数据仓库
• 大数据
• 数据库
• 编程指南
• 技术书籍
• 数据分析
• 包邮
• 实战

店铺： 旷氏文豪图书专营店

出版社： 清华大学出版社

ISBN：9787302469803

商品编码：12987636800

YL6894  9787302469803 9787115333834

 Hadoop构建数据仓库实践

本书讲述在流行的大数据分布式存储和计算平台Hadoop上设计实现数据仓库，将传统数据仓库建模与SQL开发的简单性与大数据技术相结合，快速、高效地建立可扩展的数据仓库及其应用系统。 本书内容包括数据仓库、Hadoop及其生态圈的相关概念，使用Sqoop从关系数据库全量或增量抽取数据，使用HIVE进行数据转换和装载处理，使用Oozie调度作业周期性执行，使用Impala进行快速联机数据分析，使用Hue将数据可视化，以及数据仓库中的渐变维（SCD）、代理键、角色扮演维度、层次维度、退化维度、无事实的事实表、迟到的事实、累积的度量等常见问题在Hadoop上的处理等。本书适合数据库管理员、大数据技术人员、Hadoop技术人员、数据仓库技术人员，也适合高等院校和培训机构相关**的师生教学参考。

第1章 数据仓库简介

1.1 什么是数据仓库 1

1.1.1 数据仓库的定义 1

1.1.2 建立数据仓库的原因 3

1.2 操作型系统与分析型系统 5

1.2.1 操作型系统 5

1.2.2 分析型系统 8

1.2.3 操作型系统和分析型系统对比 9

1.3 数据仓库架构 10

1.3.1 基本架构 10

1.3.2 主要数据仓库架构 12

1.3.3 操作数据存储 16

1.4 抽取-转换-装载 17

1.4.1 数据抽取 17

1.4.2 数据转换 19

1.4.3 数据装载 20

1.4.4 开发ETL系统的方法 21

1.4.5 常见ETL工具 21

1.5 数据仓库需求 22

1.5.1 基本需求 22

1.5.2 数据需求 23

 1.6 小结 24

第2章 数据仓库设计基础

2.1 关系数据模型 25

2.1.1 关系数据模型中的结构 25

2.1.2 关系完整性 28

2.1.3 规范化 30

2.1.4 关系数据模型与数据仓库 33

2.2 维度数据模型 34

2.2.1 维度数据模型建模过程 35

2.2.2 维度规范化 36

2.2.3 维度数据模型的特点 37

2.2.4 星型模式 38

2.2.5 雪花模式 40

2.3 Data Vault模型 42

2.3.1 Data Vault模型简介 42

2.3.2 Data Vault模型的组成部分 43

2.3.3 Data Vault模型的特点 44

2.3.4 Data Vault模型的构建 44

2.3.5 Data Vault模型实例 46

2.4 数据集市 49

2.4.1 数据集市的概念 50

2.4.2 数据集市与数据仓库的区别 50

2.4.3 数据集市设计 50

2.5 数据仓库实施步骤 51

2.6 小结 54

第3章 Hadoop生态圈与数据仓库

3.1 大数据定义 55

3.2 Hadoop简介 56

3.2.1 Hadoop的构成 57

3.2.2 Hadoop的主要特点 58

3.2.3 Hadoop架构 58

3.3 Hadoop基本组件 59

3.3.1 HDFS 60

3.3.2 MapReduce 65

3.3.3 YARN 72

3.4 Hadoop生态圈的其他组件 77

3.5 Hadoop与数据仓库 81

3.5.1 关系数据库的可扩展性瓶颈 82

3.5.2 CAP理论 84

3.5.3 Hadoop数据仓库工具 85

3.6 小结 88

第4章 安装Hadoop

4.1 Hadoop主要发行版本 89

4.1.1 Cloudera Distribution for Hadoop（CDH） 89

4.1.2 Hortonworks Data Platform（HDP） 90

4.1.3 MapR Hadoop 90

4.2 安装Apache Hadoop 91

4.2.1 安装环境 91

4.2.2 安装前准备 92

4.2.3 安装配置Hadoop 93

4.2.4 安装后配置 97

4.2.5 初始化及运行 97

4.3 配置HDFS Federation 99

4.4 离线安装CDH及其所需的服务 104

4.4.1 CDH安装概述 104

4.4.2 安装环境 106

4.4.3 安装配置 106

4.4.4 Cloudera Manager许可证管理 114

4.5 小结 115.........

Hive编程指南

　　《Hive编程指南》是一本Apache Hive的编程指南，旨在介绍如何使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。全书通过大量的实例，首先介绍如何在用户环境下安装和配置Hive，并对Hadoop和MapReduce进行详尽阐述，*终演示Hive如何在Hadoop生态系统进行工作。

　　《Hive编程指南》适合对大数据感兴趣的爱好者以及正在使用Hadoop系统的数据库管理员阅读使用。

第1章　基础知识　
1.1　Hadoop和MapReduce综述　
1.2　Hadoop生态系统中的Hive　
1.2.1　Pig　
1.2.2　HBase　
1.2.3　Cascading、Crunch及其他　
1.3　Java和Hive：词频统计算法　
1.4　后续事情　

第2章　基础操作　
2.1　安装预先配置好的虚拟机　
2.2　安装详细步骤　
2.2.1　装Java　
2.2.2　安装Hadoop　
2.2.3　本地模式、伪分布式模式和分布式模式　
2.2.4　测试Hadoop　
2.2.5　安装Hive　
2.3　Hive内部是什么　
2.4　启动Hive　
2.5　配置Hadoop环境　
2.5.1　本地模式配置　
2.5.2　分布式模式和伪分布式模式配置　
2.5.3　使用JDBC连接元数据　
2.6　Hive命令　
2.7　命令行界面　
2.7.1　CLI 选项　
2.7.2　变量和属性　
2.7.3　Hive中“一次使用”命令　
2.7.4　从文件中执行Hive查询　
2.7.5　hiverc文件　
2.7.6　使用Hive CLI的更多介绍　
2.7.7　查看操作命令历史　
2.7.8　执行shell命令　
2.7.9　在Hive内使用Hadoop的dfs命令　
2.7.10　Hive脚本中如何进行注释　
2.7.11　显示字段名称　

第3章　数据类型和文件格式　
3.1　基本数据类型　
3.2　集合数据类型　
3.3　文本文件数据编码　
3.4　读时模式　

第4章　HiveQL：数据定义　
4.1　Hive中的数据库　
4.2　修改数据库　
4.3　创建表　
4.3.1　管理表　
4.3.2　外部表　
4.4　分区表、管理表　
4.4.1　外部分区表　
4.4.2　自定义表的存储格式　
4.5　删除表　
4.6　修改表　
4.6.1　表重命名　
4.6.2　增加、修改和删除表分区　
4.6.3　修改列信息　
4.6.4　增加列　
4.6.5　删除或者替换列　
4.6.6　修改表属性　
4.6.7　修改存储属性　
4.6.8　众多的修改表语句　

第5章　HiveQL：数据操作　
5.1　向管理表中装载数据　
5.2　通过查询语句向表中插入数据　
5.3　单个查询语句中创建表并加载数据　
5.4　导出数据　

第6章　HiveQL：查询　
6.1　SELECT…FROM语句　
6.1.1　使用正则表达式来指定列　
6.1.2　使用列值进行计算　
6.1.3　算术运算符　
6.1.4　使用函数　
6.1.5　LIMIT语句　
6.1.6　列别名　
6.1.7　嵌套SELECT语句　
6.1.8　CASE…WHEN…THEN 句式　
6.1.9　什么情况下Hive可以避免进行MapReduce　
6.2　WHERE语句　
6.2.1　谓词操作符　
6.2.2　关于浮点数比较　
6.2.3　LIKE和RLIKE　
6.3　GROUP BY 语句　
6.4　JOIN语句　
6.4.1　INNER JOIN　
6.4.2　JOIN优化　
6.4.3　LEFT OUTER JOIN　
6.4.4　OUTER JOIN　
6.4.5　RIGHT OUTER JOIN　
6.4.6　FULL OUTER JOIN　
6.4.7　LEFT SEMI-JOIN　
6.4.8　笛卡尔积JOIN　
6.4.9　map-side JOIN　
6.5　ORDER BY和SORT BY　
6.6　含有SORT BY 的DISTRIBUTE BY　
6.7　CLUSTER BY　
6.8　类型转换　
6.9　抽样查询　
6.9.1　数据块抽样　
6.9.2　分桶表的输入裁剪　
6.10　UNION ALL　..........

数据驱动的决策时代：深度解析现代数据仓库构建与优化 在当今信息爆炸的时代，数据已成为企业最宝贵的资产。从海量用户行为日志到复杂的金融交易记录，再到物联网设备的实时传感器数据，如何有效地收集、存储、管理、分析和利用这些数据，已成为决定企业能否在激烈市场竞争中脱颖而出的关键。本书旨在为读者提供一个全面而深入的现代数据仓库构建与优化指南，帮助您构建一个能够支撑企业战略决策、驱动业务增长的强大数据分析平台。 第一部分：现代数据仓库架构与设计原理 本书的开篇将带您深入理解现代数据仓库的核心概念与演进历程。我们将从传统数据仓库的局限性出发，探讨为何需要向现代数据仓库转型。 数据仓库的演进： 从OLTP到OLAP，从 Kimball 到 Inmon，再到数据湖、数据湖仓一体等新兴架构，我们将梳理数据仓库技术发展的脉络，帮助您理解不同架构的优势与适用场景。 核心架构模型： 星型模型与雪花模型： 深入剖析这两种经典的数据仓库建模方法，包括维度建模的七大步骤，如何识别事实表和维度表，以及如何设计拉链维度、缓慢变化维度等复杂维度。我们将通过丰富的案例，展示如何根据业务需求选择最合适的模型，并避免常见的建模陷阱。 数据组织与分层： 详细阐述数据仓库的典型分层架构，如操作型数据存储（ODS）、数据明细层、数据汇总层、数据展现层等。我们将探讨每一层的功能定位、数据流转过程，以及如何通过分层实现数据的清洗、转换、整合和服务化。 数据湖与数据湖仓一体： 随着大数据技术的兴起，数据湖概念应运而生。我们将解析数据湖的弹性存储、Schema on Read等特性，并重点介绍如何将数据湖的灵活性与数据仓库的结构化管理相结合，构建数据湖仓一体化架构，实现对结构化、半结构化和非结构化数据的统一管理和分析。 数据治理与质量： 数据仓库的价值在于数据的准确性与可靠性。我们将深入探讨数据治理的重要性，包括元数据管理、数据血缘追踪、数据质量监控与提升等关键环节。您将学习如何建立一套完善的数据质量管理流程，确保进入数据仓库的数据是高质量的，从而避免“垃圾进，垃圾出”的窘境。 数据仓库的技术选型考量： 在实际构建数据仓库时，面临着众多的技术选择。我们将引导您从存储、计算、ETL/ELT工具、BI工具等多个维度，综合考量技术成熟度、性能、成本、生态系统、运维复杂度等因素，做出最适合您企业实际情况的技术选型决策。 第二部分：数据采集与ETL/ELT流程设计 数据采集是数据仓库的起点，而ETL/ELT（Extract, Transform, Load / Extract, Load, Transform）是数据仓库的核心流程。本部分将聚焦于高效、可靠的数据采集与转换策略。 数据源分析与集成： 多样化数据源： 涵盖关系型数据库（MySQL, PostgreSQL, Oracle等）、NoSQL数据库（MongoDB, Cassandra等）、文件系统（CSV, JSON, Parquet, ORC等）、流式数据（Kafka, Pulsar等）、API接口等多种数据源的处理方法。 数据提取策略： 深入讲解全量抽取、增量抽取（基于时间戳、CDC等）等策略，以及如何根据数据源特性选择最优的提取方式，最大程度地降低对源系统的影响。 数据清洗与转换： 数据标准化与规范化： 如何处理缺失值、异常值、重复值，如何进行数据类型转换、编码转换、单位统一等操作。 数据集成与融合： 如何进行不同数据源之间的数据关联、匹配与合并，确保数据的一致性。 数据丰富与衍生： 如何基于现有数据生成新的业务指标、派生属性，为分析提供更深层次的洞察。 ETL/ELT工具解析： 介绍业界主流的ETL/ELT工具，如 Kettle (Pentaho Data Integration), Talend, Informatica, Apache NiFi 等，分析它们的优缺点、适用场景，并提供实际操作的思路和技巧。 ELT（Extract, Load, Transform）模式的兴起： 随着大数据计算引擎（如Spark, Flink）的强大，ELT模式越来越受欢迎。我们将详细解析ELT模式的优势，以及如何在云原生架构下实现高效的ELT流程。 数据质量保障： 在ETL/ELT过程中，如何设置校验规则、异常告警机制，以及如何设计回滚策略，确保数据转换过程的健壮性与可靠性。 第三部分：数据仓库性能优化与扩展性设计 构建起数据仓库只是第一步，如何让它运行高效、能够应对不断增长的数据量和复杂查询，是持续优化的重点。 存储优化： 数据压缩技术： 深入讲解 Snappy, Gzip, LZO, ZSTD 等压缩算法在数据仓库中的应用，以及如何权衡压缩率与解压性能。 列式存储格式： 重点介绍 Parquet 和 ORC 等列式存储格式的优势，包括查询性能提升、存储效率优化，以及它们在大数据生态系统中的重要地位。 分区与分桶： 详细阐述数据分区（按日期、地域等）和分桶（基于哈希值）的技术原理与实践，如何通过合理的分区和分桶策略显著提升查询速度，避免全表扫描。 计算优化： 查询优化技术： 介绍数据库的查询执行计划、索引（B-tree, 位图索引等）、物化视图、统计信息的重要性，以及如何利用这些技术加速数据检索。 并行处理与分布式计算： 探讨如何在分布式环境下实现高效的数据处理，理解 MPP (Massively Parallel Processing) 架构的工作原理，以及如何利用 Spark、Presto/Trino 等分布式查询引擎来加速分析。 缓存策略： 探讨内存缓存、查询结果缓存等技术，如何有效减少重复计算，提升用户体验。 数据仓库扩展性设计： 水平扩展与垂直扩展： 解析这两种扩展模式的优缺点，以及如何根据业务需求选择合适的扩展策略。 云原生数据仓库： 介绍 Snowflake, BigQuery, Redshift 等云原生数据仓库的架构优势，包括计算与存储分离、弹性伸缩、按需付费等，以及它们如何帮助企业降低运维成本，提高灵活性。 数据湖仓一体的扩展性： 探讨 Delta Lake, Apache Hudi, Apache Iceberg 等开源项目如何为数据湖带来ACID事务、Schema演进等数据仓库特性，从而实现更具扩展性的统一数据平台。 第四部分：数据仓库的安全与成本管理 数据安全与成本控制是企业在数据仓库建设过程中必须重视的两个方面。 数据安全保障： 访问控制与权限管理： 详细介绍基于角色的访问控制（RBAC），如何实现精细化的数据访问权限管理，保护敏感数据的安全。 数据加密： 讲解静态数据加密（在存储介质上）和动态数据加密（在传输过程中）的重要性，以及如何实施有效的加密策略。 审计与合规性： 如何建立完善的数据访问审计机制，满足 GDPR, CCPA 等法规的合规性要求。 成本效益分析与优化： 硬件与软件成本估算： 如何根据数据量、查询复杂度、用户数量等因素，合理估算存储、计算、网络等基础设施的成本。 云服务成本管理： 在使用云数据仓库时，如何监控资源使用情况，采取预留实例、按需缩放等策略，有效控制云服务支出。 资源利用率优化： 如何通过性能调优、合理的数据生命周期管理等方式，提高资源利用率，降低整体运营成本。 第五部分：数据仓库的未来趋势与实践案例 展望数据仓库的未来，我们将探讨一些前沿技术和发展方向，并结合实际案例，展示优秀的数据仓库建设经验。 实时数据分析： 探讨如何构建支持实时数据处理和分析的数据仓库，以及流式计算与批处理的结合。 机器学习与人工智能在数据仓库中的应用： 如何利用数据仓库中的数据，赋能机器学习模型训练，进行预测分析、用户画像、推荐系统等。 数据虚拟化技术： 介绍数据虚拟化如何打破数据孤岛，实现数据的统一访问，减少数据复制和ETL的复杂度。 行业最佳实践与案例研究： 分享不同行业（如电商、金融、零售、医疗等）在构建和使用数据仓库时遇到的挑战与成功经验，学习他人的宝贵洞察。 本书将理论与实践相结合，通过大量的图示、代码示例和实战建议，帮助读者建立起扎实的数据仓库理论基础，并掌握构建、优化和管理现代化数据仓库的实用技能。无论您是数据工程师、数据分析师、数据库管理员，还是希望深入了解数据驱动决策的企业管理者，本书都将是您不可或缺的参考指南。掌握本书内容，您将能够构建一个强大、高效、安全的数据分析平台，为您的企业在数据时代赢得先机。

评分☆☆☆☆☆

这本书简直是大数据新手入门的圣经！我之前对Hadoop和Hive的概念一直云里雾里，总觉得它们是高深莫测的技术，离我遥不可及。但自从翻开这本书，我才发现原来大数据并没有那么吓人。作者的语言非常通俗易懂，从Hadoop的基本架构到Hive的数据模型，讲解得循序渐进，就像在给一个完全不懂的小白讲故事一样。 我特别喜欢书中对Hadoop分布式文件系统（HDFS）的解释，它把复杂的分布式存储概念拆解成了易于理解的部分，还配上了生动的图示，让我能够清晰地看到数据是如何被切分、存储和复制的。至于Hive，书中详细介绍了它的SQL-like查询语言，并提供了大量的实战案例，让我可以一边看一边动手操作，很快就掌握了如何使用Hive来分析存储在Hadoop中的数据。 而且，这本书的实践性非常强。它不仅仅是理论的堆砌，而是真正地从“如何构建”这个角度出发，一步步地指导读者完成一个数据仓库的搭建过程。我跟着书中的步骤，不仅搭建了自己的Hadoop集群，还成功地用Hive进行了多次数据分析，这让我非常有成就感。这本书让我真正体验到了大数据带来的便利和力量，也点燃了我进一步深入学习大数据技术的兴趣。

评分☆☆☆☆☆

说实话，刚拿到这本书的时候，我抱着试试看的心态。毕竟，关于Hadoop和Hive的书籍市面上太多了，质量参差不齐。但是，这本书的质量绝对是超出我的预期的。它并没有故弄玄虚，而是以一种非常务实和接地气的方式，讲解了如何利用Hadoop和Hive来构建一个真正可用的大数据仓库。 作者在书中详细介绍了Hadoop生态系统中各个组件的协同工作方式，比如HDFS如何存储海量数据，YARN如何管理计算资源，以及Hive如何提供SQL接口来查询这些数据。我特别喜欢书中关于数据仓库设计的章节，它从数据建模、数据治理到性能优化，提供了非常系统性的指导。这对于我这样想要从零开始搭建数据仓库的人来说，简直是及时雨。 而且，书中的案例非常贴近实际应用场景，比如用户行为分析、日志数据处理等等，这些都是我们在实际工作中经常会遇到的问题。通过跟着书中的案例进行实践，我不仅掌握了Hadoop和Hive的基本用法，更学会了如何将这些技术应用于解决实际的业务问题。这本书的实用性非常强，绝对是大数据初学者和从业者的宝贵参考。

评分☆☆☆☆☆

我一直对数据库管理有着浓厚的兴趣，但对于大数据时代的数据库技术，尤其是Hadoop和Hive，一直感到有些陌生。这本书的出现，让我对这些技术有了全新的认识。它并没有将Hadoop和Hive描绘成高不可攀的“黑科技”，而是将它们置于一个实际的数据仓库构建场景中，让读者能够直观地理解它们的作用和价值。 书中对于数据仓库的概念、架构以及生命周期管理都有详细的阐述，这让我能够将之前学习的传统数据库知识与大数据技术联系起来。从数据采集的ETL流程，到数据存储的HDFS，再到数据处理和查询的Hive，这本书为我构建了一个完整的大数据分析体系图。 最让我印象深刻的是，书中不仅仅讲解了“是什么”，更侧重于“怎么做”。大量的实践操作步骤和代码示例，让我在学习过程中充满了参与感。我跟着书中的指导，一步步搭建起自己的Hadoop集群，并尝试用Hive对数据进行查询和分析。虽然过程中遇到了一些小问题，但书中提供的解决方案和思路，都非常有帮助。这本书让我感觉自己不再是旁观者，而是真正参与到了大数据技术的实践中。

评分☆☆☆☆☆

作为一名已经在大数据领域摸爬滚打了几年的工程师，我一直觉得市面上关于Hadoop和Hive的书籍，要么过于理论化，要么就是零散的教程，很难找到一本能够系统性地讲解如何构建和管理数据仓库的著作。这本《包邮 Hadoop构建数据仓库实践+Hive编程指南》恰好填补了这个空白。 它从数据仓库的视角出发，深入浅出地阐述了Hadoop在构建大规模数据仓库中的核心作用，包括数据采集、存储、处理和分析的整个流程。书中关于HDFS的详细配置和调优建议，以及YARN资源管理器的使用方法，都给了我很多启发。我尤其欣赏书中对MapReduce编程模式的讲解，虽然现在Spark已经很流行，但理解MapReduce的思想对于掌握大数据处理的底层逻辑仍然至关重要。 在Hive方面，这本书的深度也超出了我的预期。它不仅仅是讲解HiveQL的语法，更重要的是，它深入探讨了Hive的数据仓库建模、分区、分桶、索引等优化策略，以及如何与HDFS、YARN等组件协同工作，以达到最佳的性能。书中提供的各种性能调优案例和实战技巧，让我能够更有效地处理海量数据，解决实际工作中遇到的性能瓶颈。这本书无疑是我书架上不可或缺的一本参考书。

评分☆☆☆☆☆

我是一位对数据库和数据分析领域充满好奇的学习者，一直想了解大数据技术是如何改变数据处理和分析的方式的。这本书《包邮 Hadoop构建数据仓库实践+Hive编程指南》简直是为我量身定做的。它不仅仅是一本技术手册，更像是一个经验丰富的向导，引领我一步步深入大数据技术的殿堂。 书中对于Hadoop分布式文件系统的底层原理以及其在数据存储中的优势讲解得非常透彻，让我理解了为什么它能够处理PB级别的数据。接着，它循序渐进地引入了Hive，并将其定位为构建数据仓库的关键工具。书中的Hive编程指南非常详细，从基础的SQL语法扩展到复杂的数据处理逻辑，都提供了清晰的示例和解释。 我尤其喜欢的是，这本书将Hadoop和Hive的知识点串联起来，展现了它们在大数据仓库构建中的整体作用。书中关于数据仓库设计的最佳实践，例如如何进行数据分区、分桶以及如何优化查询性能，都给我留下了深刻的印象。跟随书中的实践章节，我尝试搭建了一个小型的Hadoop集群，并用Hive对导入的数据进行了一系列分析，这让我深刻体会到了大数据分析的魅力。这本书的易读性和实践性都非常高，是我想深入了解大数据技术的绝佳选择。