這是一本適閤教學和零基礎自學的Hadoop與大數據挖掘的教程,即便你完全沒有Hadoop編程基礎和大數據挖掘基礎,根據本書中的理論知識和上機實踐,也能迅速掌握如何使用Hadoop進行大數據挖掘。全書主要分為兩篇:基礎篇(1-7章),首先從宏觀上介紹瞭大數據相關概念和技術,然後逐一對Hadoop、Hive、HBase、Pig、Spark、Oozie等一係列大數據技術的概念、原理、架構,以及企業應用方法進行瞭詳細介紹,同時配有大量的案例。掌握瞭這些內容,就具備瞭大數據技術的基礎;挖掘實戰篇(8章),主要是一個企業級大數據應用項目——電子商務智能推薦係統。通過分析應用背景、構建係統,使讀者瞭解針對係統的每一層應用使用什麼大數據技術來解決問題。涉及的流程有數據采集、數據預處理、模型構建等,在每一個流程中會進行大數據相關技術實踐,運用實際數據來進行分析,使讀者切身感受到利用大數據技術解決問題的魅力。
前言
第一篇 基礎篇
第1章 淺談大數據2
1.1 大數據概述3
1.2 大數據平颱4
1.3 本章小結5
第2章 大數據存儲與運算利器—Hadoop6
2.1 Hadoop概述6
2.1.1 Hadoop簡介6
2.1.2 Hadoop存儲—HDFS8
2.1.3 Hadoop計算—MapReduce11
2.1.4 Hadoop資源管理—YARN13
2.1.5 Hadoop生態係統14
2.2 Hadoop配置及IDE配置17
2.2.1 準備工作17
2.2.2 環境配置18
2.2.3 集群啓動關閉與監控24
2.2.4 動手實踐:一鍵式Hadoop集群啓動關閉25
2.2.5 動手實踐:Hadoop IDE配置26
2.3 Hadoop集群命令28
2.3.1 HDFS常用命令hdfs dfs30
2.3.2 動手實踐:hdfs dfs命令實戰31
2.3.3 MapReduce常用命令mapred job32
2.3.4 YARN常用命令yarn jar32
2.3.5 動手實踐:運行MapReduce任務33
2.4 Hadoop編程開發33
2.4.1 HDFS Java API操作33
2.4.2 MapReduce原理35
2.4.3 動手實踐:編寫Word Count程序並打包運行44
2.4.4 MapReduce組件分析與編程實踐46
2.5 K-Means算法原理及HadoopMapReduce實現53
2.5.1 K-Means算法原理53
2.5.2 動手實踐:K-Means算法實現55
2.5.3 Hadoop K-Means算法實現思路55
2.5.4 Hadoop K-Means編程實現57
2.6 TF-IDF算法原理及HadoopMapReduce實現67
2.6.1 TF-IDF算法原理67
2.6.2 Hadoop TF-IDF編程思路67
2.6.3 Hadoop TF-IDF編程實現68
2.7 本章小結79
第3章 大數據查詢—Hive81
3.1 Hive概述81
3.1.1 Hive體係架構82
3.1.2 Hive數據類型86
3.1.3 Hive安裝87
3.1.4 動手實踐:Hive安裝配置91
3.1.5 動手實踐:HiveQL基礎—SQL91
3.2 HiveQL語句93
3.2.1 數據庫操作94
3.2.2 Hive錶定義94
3.2.3 數據導入100
3.2.4 數據導齣103
3.2.5 HiveQL查詢104
3.3 動手實踐:基於Hive的學生信息查詢108
3.4 基於Hive的航空公司客戶價值數據預處理及分析109
3.4.1 背景與挖掘目標109
3.4.2 分析方法與過程111
3.5 本章小結115
第4章 大數據快速讀寫—HBase116
4.1 HBase概述116
4.2 配置HBase集群118
4.2.1 Zookeeper簡介及配置118
4.2.2 配置HBase121
4.2.3 動手實踐:HBase安裝及運行122
4.2.4 動手實踐:ZooKeeper獲取HBase狀態122
4.3 HBase原理與架構組件123
4.3.1 HBase架構與組件123
4.3.2 HBase數據模型127
4.3.3 讀取/寫入HBase數據128
4.3.4 RowKey設計原則129
4.3.5 動手實踐:HBase數據模型驗證131
4.4 HBase Shell操作132
4.4.1 HBase常用Shell命令132
4.4.2 動手實踐:HBase Shell操作136
4.5 Java API &MapReduce;與HBase交互137
4.5.1 搭建HBase開發環境137
4.5.2 使用Java API操作HBase錶144
4.5.3 動手實踐:HBase Java API使用147
4.5.4 MapReduce與HBase交互147
4.5.5 動手實踐:HBase錶導入導齣150
4.6 基於HBase的冠字號查詢係統151
4.6.1 案例背景151
4.6.2 功能指標151
4.6.3 係統設計152
4.6.4 動手實踐:構建基於HBase的冠字號查詢係統162
4.7 本章小結175
第5章 大數據處理—Pig176
5.1 Pig概述176
5.1.1 Pig Latin簡介177
5.1.2 Pig數據類型179
5.1.3 Pig與Hive比較179
5.2 配置運行Pig180
5.2.1 Pig配置181
5.2.2 Pig運行模式181
5.3 常用Pig Latin操作182
5.3.1 數據加載182
5.3.2 數據存儲184
5.3.3 Pig參數替換185
5.3.4 數據轉換186
5.4 綜閤實踐194
5.4.1 動手實踐:訪問統計信息數據處理194
5.4.2 動手實踐:股票交易數據處理195
5.5 本章小結196
第6章 大數據快速運算與挖掘—Spark197
6.1 Spark概述197
6.2 Spark安裝集群199
6.2.1 3種運行模式199
6.2.2 動手實踐:配置Spark獨立集群199
6.2.3 3種運行模式實例201
6.2.4 動手實踐:Spark Streaming實時日誌統計205
6.2.5 動手實踐:Spark開發環境—Intellij IDEA配置207
6.3 Spark架構與核心原理212
6.3.1 Spark架構212
6.3.2 RDD原理213
6.3.3 深入理解Spark核心原理215
6.4 Spark編程技巧218
6.4.1 Scala基礎218
6.4.2 Spark基礎編程218
6.5 如何學習Spark MLlib225
6.5.1 確定應用227
6.5.2 ALS算法直觀描述228
6.5.3 編程實現229
6.5.4 問題解決及模型調優233
6.6 動手實踐:基於Spark ALS電影推薦係統234
6.6.1 動手實踐:生成算法包235
6.6.2 動手實踐:完善推薦係統239
6.7 本章小結250
第7章 大數據工作流—Oozie252
7.1 Oozie簡介252
7.2 編譯配置並運行Oozie253
7.2.1 動手實踐:編譯Oozie253
7.2.2 動手實踐:Oozie Server/client配置254
7.3 Oozie WorkFlow實踐257
7.3.1 定義及提交工作流257
7.3.2 動手實踐:MapReduce Work-Flow定義及調度260
7.3.3 動手實踐:Pig WorkFlow定義及調度263
7.3.4 動手實踐:Hive WorkFlow定義及調度265
7.3.5 動手實踐:Spark WorkFlow定義及調度267
7.3.6 動手實踐:Spark On Yarn定義及調度268
7.4 Oozie Coordinator實踐270
7.4.1 動手實踐:基於時間調度270
7.4
為什麼要寫這本書最早提齣“大數據”時代到來的是全球知名谘詢公司麥肯锡,麥肯锡稱:“數據,已經滲透到當今每一個行業和業務職能領域,成為重要的生産因素。人們對於海量數據的挖掘和運用,預示著新一波生産率增長和消費者盈餘浪潮的到來。”
早在2012年,大數據(bigdata)一詞已經被廣泛提起,人們用它來描述和定義信息爆炸時代産生的海量數據,並命名與之相關的技術發展與創新。那時就有人預計,從2013年至2020年,全球數據規模將增長10倍,每年産生的數據量將由當時的4.4萬億GB,增長至44萬億GB,每兩年翻一番。
既然“大數據”浪潮已經來臨,那麼與之對應的大數據人纔呢?在國外,大數據技術發展正如火如荼,各種方便大傢學習的資料、教程應有盡有。但是,在國內,這種資料卻是有“門檻”的。其一,這類資料是英文的,對於部分人員來說,閱讀是有難度的;其二,這些資料對於初學者或在校生來說,在理論理解上也有一些難度,沒有充分的動手實踐來協助理解大數據相關技術的原理、架構等;其三,在如何應用大數據技術來解決企業實實在在遇到的大數據相關問題方麵,沒有很好的資料;其四,對於企業用戶來說,如何將大數據技術和數據挖掘技術相結閤,對企業大量數據進行挖掘,以挖掘齣有價值的信息,也是難點。
作為大數據相關技術,Hadoop無疑應用很廣泛。Hadoop具有以下優勢:高可靠性、高擴展性、高效性、高容錯性、低成本、生態係統完善。
一般來說,使用Hadoop相關技術可以解決企業相關大數據應用,特彆是結閤諸如Mahout、SparkMLlib等技術,不僅可以對企業相關大數據進行基礎分析,還能構建挖掘模型,挖掘企業大數據中有價值的信息。
對於學習大數據相關技術的高校師生來說,本書不僅提供瞭大數據相關技術的基礎講解及原理、架構分析,還針對這些原理,配備有對應的動手實踐章節,幫助讀者加深對原理、架構的認識。同時,在每個模塊結束後,書中會有一個相對獨立的企業應用案例,幫助讀者鞏固學到的大數據技術相關知識。
對於企業用戶或大數據挖掘開發者來說,特彆是對想要瞭解如何將大數據技術應用到企業大數據項目中的企業用戶或者開發者來說,本書也是一份優秀的參考資料。
本書特色本書提供瞭大數據相關技術的簡介、原理、實踐、企業應用等,針對大數據相關技術,如Hadoop、HBase、Hive、Spark等,都有專業章節進行介紹,並且針對每一模塊都有相應的動手實踐,能有效加深讀者對大數據相關技術原理、技術實踐的理解。書中的挖掘實踐篇涉及企業在大數據應用中的所有環節,如數據采集、數據預處理、數據挖掘等,通過案例對整個係統的架構進行瞭詳細分析,對讀者有一定實踐指導作用。
讀者可以從“泰迪杯”全國大學生數據挖掘挑戰賽網站(http://www.tipdm.org/tj/865.jhtml)免費下載本書配套的全部數據文件及源程序。另外,為方便教師授課,本書還特意提供瞭建模階段的過程數據文件、PPT課件,有需要的教師可通過熱綫電話(40068-40020)、企業QQ(40068-40020)或以下微信公眾號谘詢獲取。
本書適用對象開設大數據、大數據挖掘相關課程的高校教師和學生目前國內不少高校將大數據、大數據挖掘引入本科教學中,在計算機、數學、自動化、電子信息、金融等專業開設瞭大數據技術相關的課程,但目前針對這一課程的相關教材沒有統一,或者使用的教材不利於課堂教學。本書提供瞭大數據相關技術的簡介、原理、實踐、企業應用等,能有效幫助高校教師教學;幫助學生學習大數據相關技術原理,進行技術實踐,為以後工作打下良好基礎。
大數據開發人員書中針對大數據相關技術,如Hadoop、HBase、Hive、Spark等,都有專業章節進行介紹,並且針對每一模塊有相應的動手實踐,對初級開發人員有較強指導作用。
大數據架構師挖掘實踐篇涉及企業在大數據應用中的所有環節,包括數據采集、數據預處理、數據挖掘等方麵,通過案例對整個係統的架構進行瞭詳細分析,對大數據架構師有一定的實踐指導作用。
關注大數據挖掘技術的人員本書不僅包括大數據相關技術的簡介及原理分析,還包括大數據相關技術和大數據挖掘相結閤的案例分析。對於大數據挖掘技術人員來說,如何應用大數據技術來對大數據進行挖掘是重點和難點,通過學習本書中案例的分析方法,可以將其融入自己的實際工作中。
如何閱讀本書本書主要分為兩篇:基礎篇和挖掘實戰篇。基礎篇介紹瞭大數據相關技術:Hadoop、Hive、HBase、Pig、Spark、Oozie等。針對每個技術都有相應模塊與之對應,首先對該技術的概念、內部原理等進行介紹,使讀者對該技術有一個由淺入深的理解;其次在對原理的介紹中會配閤相應的動手實踐,加深對原理的理解。在每個模塊的最後,會有1~2個企業案例,主要講解使用當前模塊的技術來解決其中的1~2個問題,這樣讀者不僅對技術的原理、架構有瞭較深入的瞭解,同時,對於如何應用該技術也有瞭一定認識,從而為以後的工作、學習打下良好基礎。挖掘實戰篇通過對一個大型的企業應用案例的介紹,充分應用基礎篇講解的大數據技術來解決企業應用中遇到的各
這套書我斷斷續續看瞭有一段時間瞭,最開始是被它宏大的主題吸引,想著大數據時代,Hadoop這麼重要的基礎技術,不瞭解一下實在說不過去。拿到書之後,我立刻被它嚴謹的結構和清晰的邏輯徵服瞭。作者仿佛一位經驗豐富的嚮導,帶領我一步步深入Hadoop的世界。從HDFS的分布式存儲原理,到MapReduce的計算模型,再到YARN的資源管理,每一個概念都被拆解得細緻入微,配閤大量的圖示和代碼示例,即使是對分布式係統不太熟悉的讀者,也能迅速建立起完整的認知體係。書中的案例分析尤其令人印象深刻,它不僅僅是技術點的堆砌,更是將理論知識與實際應用緊密結閤,讓我看到瞭Hadoop在真實世界中的強大能力。比如,書中對一個電商平颱海量用戶行為數據分析的案例,從數據采集、存儲到最終的個性化推薦,整個流程都講解得頭頭是道,讓我對大數據挖掘的應用場景有瞭更直觀的理解。而且,作者在講解過程中,並沒有止步於基本原理,還深入探討瞭Hadoop生態係統中其他重要組件,如Hive、HBase、Spark等,並闡述瞭它們與Hadoop之間的聯動關係,這為我後續的學習打下瞭堅實的基礎。讀完之後,我感覺自己對大數據處理的整體脈絡有瞭清晰的把握,不再是被動的知識接收者,而是能夠主動思考如何利用這些工具解決實際問題。
評分坦白說,我一直覺得大數據領域的技術門檻很高,尤其是Hadoop這種分布式係統,光是聽名字就有點讓人望而卻步。但拿到這本《Hadoop與大數據挖掘》之後,我的看法徹底改變瞭。作者的敘事方式非常獨特,他用一種娓娓道來的方式,將復雜的概念變得生動有趣。我尤其喜歡書中對於Hadoop集群搭建和故障排查的詳細描述,這些內容對於初學者來說簡直是及時雨,能夠幫助我們少走很多彎路。而且,書中關於MapReduce編程模型的設計思路,也講得非常透徹,讓我理解瞭為什麼它能夠成為處理海量數據的利器。更讓我驚喜的是,在Hadoop的基礎之上,作者還深入淺齣地介紹瞭大數據挖掘的相關知識。他並沒有簡單羅列算法,而是從實際的數據挖掘流程齣發,講解瞭如何利用Hadoop來支持數據預處理、特徵提取、模型訓練和評估等各個環節。比如,書中對如何在大數據集中進行用戶畫像的講解,讓我對如何從海量數據中提取有價值的信息有瞭更深刻的理解。整本書讀下來,感覺既有理論的高度,又有實踐的深度,讓我對大數據和Hadoop不再感到畏懼,反而充滿學習的動力。
評分老實說,剛開始拿到這本《Hadoop與大數據挖掘》,我有點擔心它會不會過於理論化,讀起來枯燥乏味。畢竟,大數據和Hadoop聽起來就不是那麼容易“啃”的硬骨頭。然而,事實證明我的顧慮完全是多餘的。作者的寫作風格非常接地氣,他善於用通俗易懂的語言解釋復雜的技術概念,而且非常注重實際操作的指導。書中大量的代碼片段和配置示例,讓我這個動手能力不強的讀者也能照著一步步來。特彆是關於Hadoop集群的搭建和部署部分,那些詳細的步驟和注意事項,簡直就是救命稻草,讓我避免瞭不少踩坑的麻煩。而且,作者在講解完Hadoop的核心技術之後,立刻就切入瞭“大數據挖掘”的主題,將Hadoop作為強大的數據處理引擎,來支撐各種挖掘算法的應用。書中對一些常見的數據挖掘算法,如聚類、分類、關聯規則等的介紹,也十分清晰,並且重點強調瞭如何利用Hadoop來處理大規模數據集,以提高挖掘的效率和精度。我特彆喜歡書中關於特徵工程和模型評估的部分,這些都是數據挖掘過程中至關重要的環節,作者的處理方式既科學又實用。讀完這本書,我不僅學會瞭Hadoop的基本使用,更對如何將Hadoop應用於實際的數據挖掘項目有瞭全新的認識,感覺收獲滿滿。
評分這是一本真正意義上能夠引領我入門Hadoop和大數據挖掘的寶典。作者的專業性和對技術的深刻理解在字裏行間得到瞭充分體現。我最欣賞的是書中對於Hadoop架構設計理念的剖析,不僅僅是講解“是什麼”,更深入地解釋瞭“為什麼”是這樣設計的,比如HDFS的副本機製如何保證數據的高可用性,MapReduce的分布式並行處理如何實現海量數據的快速計算。這些底層原理的講解,讓我對Hadoop産生瞭更深的敬畏感,也為我理解更高層的應用打下瞭堅實的基礎。而大數據挖掘的部分,更是錦上添花。書中對不同類型的數據挖掘任務,以及對應的算法選擇和應用場景進行瞭詳細的闡述。特彆是作者在講解過程中,始終將Hadoop作為處理大規模數據的工具,來展示挖掘過程是如何在分布式環境下進行的,這讓我體會到瞭“大數據”的真正含義。例如,在講解文本挖掘時,作者展示瞭如何利用Hadoop來處理TB級彆的文本數據,進行詞頻統計、主題建模等操作,這在我之前的認知中是難以想象的。而且,書中還穿插瞭一些行業案例,讓我看到瞭Hadoop和大數據挖掘在金融、醫療、零售等領域的實際應用,極大地拓展瞭我的視野。
評分這本書給我的感覺,就像是在茫茫的大數據海洋中,找到瞭一座燈塔。作為一個對Hadoop和大數據挖掘領域充滿好奇的讀者,我之前也嘗試過閱讀一些相關的技術文檔和文章,但總感覺碎片化,缺乏係統性。而這本《Hadoop與大數據挖掘》則恰恰彌補瞭我的這一需求。作者在書中構建瞭一個非常清晰的學習路徑,從Hadoop的基礎概念,如分布式文件係統(HDFS)和分布式計算框架(MapReduce),到更高級的YARN資源管理,再到生態係統中其他重要組件的介紹,層層遞進,邏輯嚴謹。讓我印象深刻的是,作者並沒有停留在理論的講解,而是通過大量的代碼示例和實際操作指導,讓讀者能夠親手實踐。特彆是關於數據清洗、數據轉換、特徵工程等大數據挖掘的前期準備工作,在書中都得到瞭詳細的闡述,並且如何利用Hadoop來高效地完成這些任務,也給齣瞭具體的實現思路。我還特彆關注瞭書中關於模型選擇和評估的部分,它指導讀者如何根據不同的挖掘目標,選擇閤適的算法,並對模型的性能進行科學的評估。整本書讀下來,感覺受益匪淺,不僅對Hadoop有瞭更全麵的認識,也對如何利用它來進行大數據挖掘有瞭更深入的理解,為我未來的學習和工作打下瞭堅實的基礎。
評分圖書無購物清單,在綫客服無法解決,轉人工坐席慢,我是鑽石會員嗎?+++++
評分書不錯,挺好的,比較滿意。
評分好書,慢慢看,看懂瞭書的錢就迴來瞭,沒看就虧瞭
評分商品符閤描述,會繼續購買!
評分周五選擇下單,周一送到,物流必須贊一個。為瞭學習新技能,先充知識武裝起來!!!
評分買瞭三韆多的書,慢慢看吧
評分非常不錯的入門書記,知識覆蓋比較全麵,作為初步認識大數據有較全麵的講解。非常好。
評分東西很好,價格也很優惠,贊一個。
評分書還沒收到,訂單顯示已經完成,快遞員態度很差,第一次對京東快遞這麼失望!
本站所有內容均為互聯網搜尋引擎提供的公開搜索信息,本站不存儲任何數據與內容,任何內容與數據均與本站無關,如有需要請聯繫相關搜索引擎包括但不限於百度,google,bing,sogou 等
© 2025 book.coffeedeals.club All Rights Reserved. 靜流書站 版權所有