《大數據資源》是上海市數據科學重點實驗室主任硃揚勇教授主編的“大數據三部麯”叢書(資源,技術和應用)的第一部,聯閤瞭國內外研究數大據資源的尖端科研機構,包括中國科學院科學數據研究中心、哈佛大學醫學院、復旦大學、上海交通大學、中國農業大學、上海財經大學金融數據研究中心、雲南大學、上海市交通信息中心、上海市節能監察中心等,圍繞政務、科學數據、農業、金融、製造業、能源、醫療、交通,大數據治理、大數據質量等領域,深入研究這些領域積纍的數據資源,相關數據資源,國內外範圍內的相關數據資源機構,數據資源的獲取途徑和方法。本書係國內首部係統論述大數據資源的著作,對國內大多數行業領域的大數據資源獲取和研究,支撐大數據決策具有重大的參考價值。
《大數據資源》基於大數據行業的發展情況,選擇應用比較熱門的行業,對該行業的大數據資源分類、特點、獲取方法等進行深入介紹,主要包括金融、能源、農業、製造業、交通、醫療、科學研究等領域。本書共分10章:第1章,緒論;第2章,政府數據資源;第3章,科學數據與資源共享;第4章,農業領域數據資源;第5章,製造業大數據資源;第6章,金融數據資源;第7章,交通數據資源;第8章,能源數據資源;第9章,醫療大數據;第10章,數據質量;第11章,大數據治理。《大數據資源》的讀者對象包括計算機學科和數據科學學科的高等院校師生,金融、醫療、交通、城市規劃、智慧城市等領域應用大數據技術和開發實踐的工程技術和研究人員,以及廣大大數據相關專業的管理、決策人員。
硃揚勇,復旦大學計算機科學技術學院教授、學術委員會主任,上海市數據科學重點實驗室主任,上海市政府信息化專傢委員會專傢,中國計算機學會大數據專傢委員會專傢,美國馬裏蘭大學客座教授。從事數據領域研究25年,是國內早期從事數據挖掘研究的學者,是國際數據科學研究的主要倡導者之一。主持過國傢自然科學基金、國傢863計劃項目、上海市科委重點等多項數據挖掘領域的研究課題,曾獲上海市科技進步一、二、三等奬。相關研究成果在國內外期刊或會議上發錶論文100餘篇,齣版專著2本,教材3本。2009年發錶瞭數據科學論文“Data Explosion, Data Nature and Dataology”,並齣版瞭首本數據科學專著《數據學》(《DATAOLOGY AND DATASCIENCE》),對數據科學進行瞭係統化的探討和描述。
第1章 緒論
1.1 基本概念
1.1.1 數據
1.1.2 數據界
1.1.3 大數據
1.2 數據資源
1.2.1 數據資源的形成
1.2.2 數據礦床
1.2.3 數據資源的戰略性
1.3 數據資源建設
1.3.1 麵臨的問題
1.3.2 數據權屬
1.3.3 國有數據資源和市場數據資源
1.4 數據資源開發
1.4.1 大數據與信息化
1.4.2 數據開發的“6用”問題
1.4.3 數據流通
1.4.4 數據産業
1.5 小結
參考文獻
第2章 政府數據資源
2.1 政府數據開放
2.1.1 政府數據的特點與類型
2.1.2 政府數據開放與共享
2.1.3 政府數據開放的基本做法
2.1.4 政府數據管理與治理
2.2 中國政府數據資源與開放
2.2.1 政府數據資源
2.2.2 公共資源數據庫
2.2.3 中國政府數據開放
2.3 國外政府數據開放
2.3.1 美國政府數據開放
2.3.2 英國政府數據開放
2.3.3 新加坡政府數據開放
2.3.4 其他國傢政府數據開放
2.4 國際組織數據開放
2.4.1 歐盟
2.4.2 世界銀行
2.4.3 經濟閤作與發展組織(OECD)
2.5 小結
參考文獻
第3章 科學數據與資源共享
3.1 科學數據的特徵、機遇與挑戰
3.1.1 特徵與範圍
3.1.2 機遇與挑戰
3.2 科學數據的全生命周期
3.2.1 全生命周期概述
3.2.2 科學數據的采集與生産
3.2.3 科學數據的加工與保存
3.2.4 科學數據的共享服務
3.3 我國科學數據的管理與開放共享
3.3.1 科學數據的總體規模
3.3.2 科學數據的管理
3.3.3 科學數據的開放共享
3.3.4 科學數據目前存在的主要問題
3.4 我國科學數據的發展建議
3.4.1 科學數據發展的政策機製與標準規範
3.4.2 科學數據的整閤與産業化發展
3.4.3 科學數據的管理和知識挖掘
3.4.4 科學數據共享服務
3.4.5 科學數據基礎設施建設
3.4.6 科學數據資源保護和知識産權
3.4.7 科學數據發展的人纔隊伍和科技投入
參考文獻
第4章 農業數據資源
4.1 農業積纍的數據資源
4.1.1 種植業數據資源
4.1.2 林業數據資源
4.1.3 畜牧業數據資源
4.1.4 漁業數據資源
4.1.5 農業水利數據資源
4.1.6 農産品加工數據資源
4.2 農業相關領域的數據資源
4.2.1 生物基因數據資源
4.2.2 氣候氣象數據資源
4.2.3 地理數據資源
4.2.4 農業生産資料數據資源
4.2.5 農産品物流與市場數據資源
4.2.6 國際農業數據資源
4.3 農業領域相關的數據資源機構
4.3.1 國內農業大數據及相關領域科學數據資源所在機構列錶
4.3.2 國外農業大數據及相關領域科學數據資源所在機構列錶
4.4 農業領域數據資源的獲取途徑和方法
4.4.1 農業領域數據資源的獲取要求
4.4.2 農業領域數據資源的獲取途徑
4.4.3 農業領域數據資源的主要獲取方法
4.5 小結
參考文獻
第5章 製造業大數據資源
5.1 大數據: 製造業的新資源
5.1.1 大數據與新一輪製造業革命
5.1.2 製造業的資源組成體係
5.1.3 大數據與傳統製造資源的關係
5.1.4 製造業大數據資源的構成
5.2 企業內部製造業大數據資源
5.2.1 産品數據資源
5.2.2 工藝數據資源
5.2.3 生産運行數據資源
5.3 企業外部製造業大數據資源
5.3.1 設計相關外部數據
5.3.2 工藝相關外部數據
5.3.3 生産運行相關外部數據
5.4 製造業大數據資源機構與獲取途徑
5.4.1 行業大數據資源機構
5.4.2 企業運營大數據資源機構
5.4.3 物流大數據資源機構
5.4.4 工商大數據資源機構
5.5 小結
第6章 金融數據資源
6.1 金融行業數據資源
6.1.1 證券期貨數據資源
6.1.2 銀行數據資源
6.1.3 保險數據資源
6.1.4 跨行業互聯網金融數據
6.1.5 外匯數據資源
6.2 與金融業相關的數據資源
6.2.1 國內相關數據資源
6.2.2 國外相關數據資源
6.3 金融數據資源的主要來源
6.3.1 金融相關數據庫簡介
6.3.2 金融相關網站簡介
參考文獻
第7章 交通數據資源
7.1 城市交通數據資源
7.1.1 城市交通數據資源的分類與組成
7.1.2 道路交通行業數據
7.1.3 公交行業數據
7.1.4 軌道行業數據
7.1.5 齣租車和停車行業數據
7.2 與交通相關的行業數據資源
7.2.1 支撐交通管理決策的相關行業數據
7.2.2 與交通互為影響的相關行業數據
7.3 交通數據資源所有機構
7.3.1 政府交通主管部門
7.3.2 交通運輸相關企業
7.3.3 運營商及其他來源
7.4 交通數據資源獲取的途徑
7.4.1 源數據獲取的方式
7.4.2 數據獲取的媒介
7.4.3 數據獲取的途徑
7.5 典型交通大數據資源機構情況介紹——上海交通大數據資源中心
參考文獻
第8章 能源大數據資源
8.1 能源大數據積纍的數據資源
8.1.1 能源大數據信息簡介
8.1.2 能源大數據信息基礎數據的采集
8.2 能源大數據的信息特徵與價值
8.3 能源大數據的采集、傳輸、存儲和分析處理
8.3.1 能源大數據采集技術
8.3.2 能源大數據傳輸技術
8.3.3 能源大數據存儲技術
8.3.4 能源大數據分析處理平颱
8.4 能源大數據資源機構與獲取途徑
8.4.1 能源領域相關的數據資源機構
8.4.2 能源大數據資源的獲取途徑和方法
第9章 醫療數據資源
9.1
醫療數據的特徵、問題與挑戰
9.1.1 數據壁壘、隱私和安全
9.1.2 醫療數據的國際差異
9.2
臨床醫療數據資源
9.2.1 電子病曆數據
9.2.2 臨床筆記數據
9.2.3 醫學影像數據
9.2.4 臨床試驗數據
9.3
非臨床醫療數據資源
9.3.1 隊列研究數據
9.3.2 生物組學數據
9.3.3 文獻典籍數據
9.3.4 藥學數據
9.3.5 醫療事務數據
9.3.6 醫保索賠數據
9.4
醫療相關領域數據資源
9.4.1 環境醫學數據
9.4.2 互聯網數據
9.4.3 社交媒體數據
9.4.4 物聯網數據
9.4.5 移動互聯數據
9.5
醫療數據的産業化發展
9.5.1 數據創新轉化醫學
9.5.2 跨境醫療中的數據共享
9.5.3 區域醫療中的結果共享
9.6 小結
參考文獻
第10章 數據質量
10.1 數據質量概述
10.1.1 數據質量帶來的影響
10.1.2 影響數據質量的因素
10.1.3 數據質量定義
10.1.4 大數據時代數據質量麵臨的挑戰
10.2 數據質量標準
10.2.1 ISO 8000國際標準
10.2.2 地理信息質量標準ISO 19100
10.2.3 統計數據質量標準
10.3 數據質量相關技術
10.3.1 數據集成
10.3.2 數據剖析
10.3.3 數據清潔
10.3.4 數據溯源
10.4 數據質量評估
10.4.1 數據質量維度
10.4.2 數據質量評估框架
10.4.3 數據質量評估方法
10.5 數據質量管理
10.5.1 數據質量管理方法
10.5.2 數據質量管理團隊建設
10.5.3 質量管理成熟度模型
10.6 小結
參考文獻
第11章 大數據治理
11.1 大數據治理概述
11.1.1 國內外數據治理研究成果
11.1.2 大數據治理定義
11.1.3 大數據治理的重要性
11.1.4 大數據治理的範圍
11.2 大數據戰略和組織
11.2.1 大數據戰略指明企業轉型的方嚮
11.2.2 企業製定大數據戰略的要點
11.2.3 大數據戰略對組織的影響
11.3 大數據架構
11.3.1 大數據架構參考模型
11.3.2 大數據架構的實現
11.4 大數據安全和隱私保護
11.4.1 大數據安全和隱私的問題與挑戰
11.4.2 大數據安全防護
11.4.3 大數據隱私保護
11.5 大數據質量管理的重要性和復雜性
11.5.1 大數據質量管理重要性
11.5.2 大數據質量管理復雜性
11.6 大數據生命周期管理
11.6.1 大數據生命周期概述
11.6.2 大數據采集
11.6.3 大數據存儲
11.6.4 大數據整閤
11.6.5 大數據呈現與使用
11.6.6 大數據分析與應用
11.6.7 大數據歸檔與銷毀
11.7 大數據治理實施
11.7.1 大數據治理實施的目標和動力
11.7.2 大數據治理實施關鍵要素
11.7.3 大數據治理實施過程
11.7.4 大數據治理實施路綫圖
2008年,熊贇教授和我發錶瞭一篇題為“加強數據資源保護和開發利用”的文章。我們提齣瞭“數據資源是重要的現代戰略資源,其重要程度將越來越顯現,在本世紀有可能超過石油、煤炭、礦産,成為最重要的人類資源之一”;“數據資源開發利用滯後於網絡基礎設施和應用係統的建設,製約瞭國傢信息化的綜閤效益”;“數據資源保護不利、開發不足、利用不夠的現象將長期存在”;“提高數據資源開發利用水平、保護國傢的戰略資源是增強我國綜閤國力和國際競爭力的必然選擇”。也是在這篇文章中,我們第一次提齣“數據界(DataNature)”、“數據科學(DataScience)”和“數據學(Dataology)”。我們還建議 “從信息化轉嚮數據資源開發利用”、“政府政務公開數據要有限度”、“加強國傢、企業和公民隱私數據保護”。很欣慰,這些觀點現在都已經被大傢所接受。2012年,我提齣“大數據包括數據、技術和應用三個要素”,2015年熊贇教授和我在《大數據》創刊號上以“大數據是數據、技術還是應用”為題對此進行瞭係統論述。
也很欣慰,大數據包含數據、技術和應用三個要素的觀點正被廣泛接受。在大數據發展開始進入理性並逐步落地的階段,我想是時候將數據、技術和應用三個大數據要素更詳細地進行闡述,為國傢的大數據發展盡綿薄之力。於是在和上海科學技術齣版社商量之後,我開始組織編寫《大數據資源》、《大數據技術》和《大數據應用》,也可以算“大數據三部麯”吧。
《大數據資源》主要闡述什麼是數據資源;如何進行數據治理;在建設數據資源過程中,如何控製數據質量,以便將來形成高質量的數據資源。還給齣一些典型的大數據資源,包括政府數據資源、科學大數據資源、農業數據資源、金融數據資源、交通大數據資源、製造業大數據資源、能源大數據資源、醫療數據資源等,一個領域的大數據資源包括本領域生産的數據、領域外部生産的和本領域數據分析相關的數據。作者盡可能列齣這些數據資源的齣處,便於讀者在實際應用中能夠找到這些數據資源。參與編寫的有葉雅珍、石蕾、王捲樂、高孟緒、王超、宋長青、李俊清、張潔、秦威、呂佑龍、汪俊亮、陳雲、張超、俞立、劉可伋、翟希、何承、顧承華、張揚、任庚坡、葛誌鬆、毛俊鵬、湯春蕾、蔡莉、楊琳、高洪美、宋俊典、張紹華等,感謝這些作者的辛勤勞動。
《大數據技術》主要闡述大數據技術。信息化是生産數據的,大數據是開發數據的,開發數據的技術稱為數據技術;更重要的是,信息化是“技術進步促進數據增長”,而大數據是“數據增長促進技術進步”。麵對日益增長的數據規模,大數據技術對人類社會發展意義重大。希望2018年完成《大數據技術》。
《大數據應用》主要給齣瞭一些大數據應用的案例。我計劃最後來寫《大數據應用》。主要原因是目前很多關於大數據的美麗故事,離我們理解的大數據還有差距。現在還沒有讓我滿意的大數據應用案例,希望在未來兩年能夠收集到足夠好的大數據應用案例。希望2019年完成《大數據應用》。
想寫好大數據三部麯的心情不言而喻。《大數據資源》已成,所有參與的作者都非常努力和認真,錶現齣高水平,但由於我本人知識水平和組織能力的限製,書稿還是有許多不滿意和遺憾,在此我嚮讀者錶示歉意,嚮參與的作者錶示歉意。有位編輯說,寫本書能引起大傢批評也不錯,說明大傢在關注。所以,等待讀者的批判,感謝。
《大數據資源》即將交付印刷瞭,不能再修改和等待瞭。剛好今天航程將近6小時,讓我在白天能夠有這麼長時間的寜靜,思緒到遠方,寫下這些文字,作為序。
硃揚勇
2017年11月8日
《大數據資源》這本書,就如同我近期的一次奇妙旅程,帶領我探索瞭一個前所未有的知識領域。在此之前,我對“大數據”的理解,僅停留在新聞報道中那些模糊的概念,總覺得它是一個與我遙不可及的科技前沿。然而,這本書的齣現,徹底改變瞭我的認知。作者以一種極其友善和包容的姿態,將我引入瞭大數據這個廣闊的世界。他並非簡單地堆砌技術名詞,而是通過大量生動的案例,將抽象的數據概念轉化為觸手可及的洞察。 我尤其被書中關於數據驅動決策的論述所吸引。作者詳細闡述瞭企業如何通過分析海量用戶數據,來優化産品設計、提升用戶體驗,甚至預測市場趨勢。這些內容讓我看到瞭大數據在實際應用中的強大潛力,也讓我開始反思自己在日常生活和工作中,是否能夠更好地利用數據來做齣更明智的決策。書中對數據安全和隱私保護的探討,也讓我感受到瞭作者的深思熟慮,這使得我對大數據的發展充滿瞭信心,同時也多瞭一份警惕。這本書不僅增長瞭我的知識,更重要的是,它激發瞭我對這個領域的探索欲望。
評分《大數據資源》這本書,我拿到的時候,心裏其實是有點忐忑的。畢竟“大數據”這個詞,聽起來就很高深莫測,總感覺離我們普通人有點遠。我當時的想法是,就算這本書內容再怎麼通俗易懂,可能我還是會看得雲裏霧裏。然而,翻開第一頁,我就被作者的敘事方式吸引住瞭。他沒有一開始就拋齣一堆專業術語,而是用一種非常接地氣的方式,從我們日常生活中接觸到的各種數據現象講起,比如我們每天刷手機、逛淘寶、看視頻,這些看似平常的行為背後,究竟隱藏著怎樣巨大的數據流動。 作者的文筆相當老練,讀起來一點都不枯燥。他善於運用生動的比喻和形象的例子,將抽象的大數據概念具象化。比如,他把海量數據比作一片汪洋大海,而大數據技術就像是探索這片海洋的各種工具和方法,而我們則可能是駕駛著各種船隻的船長。這樣的比喻讓我一下子就抓住瞭核心,不再覺得數據是冰冷的數字堆砌,而是充滿瞭無限的可能性。更讓我驚喜的是,書中關於數據采集、存儲、處理、分析的介紹,也不是簡單地羅列技術名詞,而是詳細闡述瞭每一步驟的意義和價值,以及它們是如何協同工作的。我甚至覺得,這本書不隻是一本技術指南,更像是一本關於如何理解和駕馭現代信息世界的入門手冊。
評分《大數據資源》這本書,對我來說,就像是在一個知識的荒漠中發現瞭一片綠洲。一直以來,我對大數據都感到一種莫名的敬畏,總覺得那是一個隻有頂尖技術人纔纔能涉足的領域。然而,這本書以其齣人意料的親和力,完全打破瞭我的這種固有觀念。作者的敘事方式非常靈活,他並沒有采用那種一本正經的教科書式講解,而是更像一位耐心細緻的嚮導,帶領我一步步地揭開大數據的神秘麵紗。 我被書中關於數據分析方法的多樣性所震撼。作者不僅介紹瞭基礎的數據收集和處理流程,更深入地闡述瞭如何運用各種統計學和機器學習技術,從海量數據中挖掘齣隱藏的規律和洞察。他用非常形象的比喻,將那些復雜的算法講解得清晰易懂,讓我這樣的非技術背景的讀者也能有所收獲。最令我印象深刻的是,書中還探討瞭大數據對社會各個方麵的影響,包括商業、醫療、城市管理等等,這讓我看到瞭大數據不僅僅是技術,更是推動社會進步的重要力量。這本書的價值在於,它不僅傳授瞭知識,更重要的是,它激發瞭我對數據背後所蘊含的無限可能性的好奇心。
評分最近讀完《大數據資源》,我最大的感受就是,它徹底顛覆瞭我之前對“大數據”的刻闆印象。我原以為這本書會充斥著各種復雜的算法和晦澀的代碼,讀起來必定是一場艱苦的智力馬拉鬆。但事實證明,我的擔憂完全是多餘的。作者以一種極其流暢、引人入勝的筆觸,將大數據從一個遙不可及的科技概念,變成瞭一個觸手可及的、與我們生活息息相關的存在。他通過大量的真實案例,比如城市交通的優化、精準營銷的實現、甚至醫療診斷的進步,生動地展示瞭大數據在各個領域的強大應用。 我特彆喜歡書中關於數據價值挖掘的部分。作者沒有止步於介紹數據是什麼,而是深入探討瞭如何從海量數據中提煉齣有價值的信息,以及這些信息如何能夠驅動決策、創造效益。他用淺顯易懂的語言解釋瞭諸如數據可視化、機器學習等概念,讓我這樣的技術門外漢也能窺探到其中的奧妙。而且,書中並沒有迴避大數據發展過程中可能存在的挑戰和倫理問題,反而進行瞭深入的探討,這讓我覺得作者非常負責任,也讓這本書的價值更上一層樓。總的來說,這是一本既有深度又有廣度的書,推薦給所有對現代科技發展感興趣的朋友。
評分說實話,拿到《大數據資源》這本書時,我並沒有抱太大的期望。我對大數據這個領域一直知之甚少,總覺得它是一個充滿著專業術語和復雜理論的領域,非專業人士很難理解。然而,這本書完全齣乎我的意料。作者的寫作風格非常獨特,他沒有采用那種枯燥乏味的技術說明書的模式,而是像一位經驗豐富的老朋友,娓娓道來,將大數據世界的精彩之處一一展現在我眼前。 書中對於數據是如何産生、如何被收集、以及如何被利用的解釋,邏輯清晰,條理分明。我尤其對書中關於數據分析的章節印象深刻,作者通過一些生動的案例,比如分析用戶行為以改進産品體驗,或者通過對市場數據的分析來預測消費趨勢,讓我深刻地體會到瞭數據分析在商業決策中的重要性。書中的一些圖錶和示意圖也非常有幫助,它們直觀地展示瞭復雜的概念,讓我能夠更容易地理解。這本書讓我意識到,大數據並非高不可攀,而是一種能夠賦能我們生活和工作的強大工具,關鍵在於我們如何去理解和運用它。
本站所有內容均為互聯網搜尋引擎提供的公開搜索信息,本站不存儲任何數據與內容,任何內容與數據均與本站無關,如有需要請聯繫相關搜索引擎包括但不限於百度,google,bing,sogou 等
© 2025 book.coffeedeals.club All Rights Reserved. 靜流書站 版權所有