《大数据资源》是上海市数据科学重点实验室主任朱扬勇教授主编的“大数据三部曲”丛书(资源,技术和应用)的第一部,联合了国内外研究数大据资源的尖端科研机构,包括中国科学院科学数据研究中心、哈佛大学医学院、复旦大学、上海交通大学、中国农业大学、上海财经大学金融数据研究中心、云南大学、上海市交通信息中心、上海市节能监察中心等,围绕政务、科学数据、农业、金融、制造业、能源、医疗、交通,大数据治理、大数据质量等领域,深入研究这些领域积累的数据资源,相关数据资源,国内外范围内的相关数据资源机构,数据资源的获取途径和方法。本书系国内首部系统论述大数据资源的著作,对国内大多数行业领域的大数据资源获取和研究,支撑大数据决策具有重大的参考价值。
《大数据资源》基于大数据行业的发展情况,选择应用比较热门的行业,对该行业的大数据资源分类、特点、获取方法等进行深入介绍,主要包括金融、能源、农业、制造业、交通、医疗、科学研究等领域。本书共分10章:第1章,绪论;第2章,政府数据资源;第3章,科学数据与资源共享;第4章,农业领域数据资源;第5章,制造业大数据资源;第6章,金融数据资源;第7章,交通数据资源;第8章,能源数据资源;第9章,医疗大数据;第10章,数据质量;第11章,大数据治理。《大数据资源》的读者对象包括计算机学科和数据科学学科的高等院校师生,金融、医疗、交通、城市规划、智慧城市等领域应用大数据技术和开发实践的工程技术和研究人员,以及广大大数据相关专业的管理、决策人员。
朱扬勇,复旦大学计算机科学技术学院教授、学术委员会主任,上海市数据科学重点实验室主任,上海市政府信息化专家委员会专家,中国计算机学会大数据专家委员会专家,美国马里兰大学客座教授。从事数据领域研究25年,是国内早期从事数据挖掘研究的学者,是国际数据科学研究的主要倡导者之一。主持过国家自然科学基金、国家863计划项目、上海市科委重点等多项数据挖掘领域的研究课题,曾获上海市科技进步一、二、三等奖。相关研究成果在国内外期刊或会议上发表论文100余篇,出版专著2本,教材3本。2009年发表了数据科学论文“Data Explosion, Data Nature and Dataology”,并出版了首本数据科学专著《数据学》(《DATAOLOGY AND DATASCIENCE》),对数据科学进行了系统化的探讨和描述。
第1章 绪论
1.1 基本概念
1.1.1 数据
1.1.2 数据界
1.1.3 大数据
1.2 数据资源
1.2.1 数据资源的形成
1.2.2 数据矿床
1.2.3 数据资源的战略性
1.3 数据资源建设
1.3.1 面临的问题
1.3.2 数据权属
1.3.3 国有数据资源和市场数据资源
1.4 数据资源开发
1.4.1 大数据与信息化
1.4.2 数据开发的“6用”问题
1.4.3 数据流通
1.4.4 数据产业
1.5 小结
参考文献
第2章 政府数据资源
2.1 政府数据开放
2.1.1 政府数据的特点与类型
2.1.2 政府数据开放与共享
2.1.3 政府数据开放的基本做法
2.1.4 政府数据管理与治理
2.2 中国政府数据资源与开放
2.2.1 政府数据资源
2.2.2 公共资源数据库
2.2.3 中国政府数据开放
2.3 国外政府数据开放
2.3.1 美国政府数据开放
2.3.2 英国政府数据开放
2.3.3 新加坡政府数据开放
2.3.4 其他国家政府数据开放
2.4 国际组织数据开放
2.4.1 欧盟
2.4.2 世界银行
2.4.3 经济合作与发展组织(OECD)
2.5 小结
参考文献
第3章 科学数据与资源共享
3.1 科学数据的特征、机遇与挑战
3.1.1 特征与范围
3.1.2 机遇与挑战
3.2 科学数据的全生命周期
3.2.1 全生命周期概述
3.2.2 科学数据的采集与生产
3.2.3 科学数据的加工与保存
3.2.4 科学数据的共享服务
3.3 我国科学数据的管理与开放共享
3.3.1 科学数据的总体规模
3.3.2 科学数据的管理
3.3.3 科学数据的开放共享
3.3.4 科学数据目前存在的主要问题
3.4 我国科学数据的发展建议
3.4.1 科学数据发展的政策机制与标准规范
3.4.2 科学数据的整合与产业化发展
3.4.3 科学数据的管理和知识挖掘
3.4.4 科学数据共享服务
3.4.5 科学数据基础设施建设
3.4.6 科学数据资源保护和知识产权
3.4.7 科学数据发展的人才队伍和科技投入
参考文献
第4章 农业数据资源
4.1 农业积累的数据资源
4.1.1 种植业数据资源
4.1.2 林业数据资源
4.1.3 畜牧业数据资源
4.1.4 渔业数据资源
4.1.5 农业水利数据资源
4.1.6 农产品加工数据资源
4.2 农业相关领域的数据资源
4.2.1 生物基因数据资源
4.2.2 气候气象数据资源
4.2.3 地理数据资源
4.2.4 农业生产资料数据资源
4.2.5 农产品物流与市场数据资源
4.2.6 国际农业数据资源
4.3 农业领域相关的数据资源机构
4.3.1 国内农业大数据及相关领域科学数据资源所在机构列表
4.3.2 国外农业大数据及相关领域科学数据资源所在机构列表
4.4 农业领域数据资源的获取途径和方法
4.4.1 农业领域数据资源的获取要求
4.4.2 农业领域数据资源的获取途径
4.4.3 农业领域数据资源的主要获取方法
4.5 小结
参考文献
第5章 制造业大数据资源
5.1 大数据: 制造业的新资源
5.1.1 大数据与新一轮制造业革命
5.1.2 制造业的资源组成体系
5.1.3 大数据与传统制造资源的关系
5.1.4 制造业大数据资源的构成
5.2 企业内部制造业大数据资源
5.2.1 产品数据资源
5.2.2 工艺数据资源
5.2.3 生产运行数据资源
5.3 企业外部制造业大数据资源
5.3.1 设计相关外部数据
5.3.2 工艺相关外部数据
5.3.3 生产运行相关外部数据
5.4 制造业大数据资源机构与获取途径
5.4.1 行业大数据资源机构
5.4.2 企业运营大数据资源机构
5.4.3 物流大数据资源机构
5.4.4 工商大数据资源机构
5.5 小结
第6章 金融数据资源
6.1 金融行业数据资源
6.1.1 证券期货数据资源
6.1.2 银行数据资源
6.1.3 保险数据资源
6.1.4 跨行业互联网金融数据
6.1.5 外汇数据资源
6.2 与金融业相关的数据资源
6.2.1 国内相关数据资源
6.2.2 国外相关数据资源
6.3 金融数据资源的主要来源
6.3.1 金融相关数据库简介
6.3.2 金融相关网站简介
参考文献
第7章 交通数据资源
7.1 城市交通数据资源
7.1.1 城市交通数据资源的分类与组成
7.1.2 道路交通行业数据
7.1.3 公交行业数据
7.1.4 轨道行业数据
7.1.5 出租车和停车行业数据
7.2 与交通相关的行业数据资源
7.2.1 支撑交通管理决策的相关行业数据
7.2.2 与交通互为影响的相关行业数据
7.3 交通数据资源所有机构
7.3.1 政府交通主管部门
7.3.2 交通运输相关企业
7.3.3 运营商及其他来源
7.4 交通数据资源获取的途径
7.4.1 源数据获取的方式
7.4.2 数据获取的媒介
7.4.3 数据获取的途径
7.5 典型交通大数据资源机构情况介绍——上海交通大数据资源中心
参考文献
第8章 能源大数据资源
8.1 能源大数据积累的数据资源
8.1.1 能源大数据信息简介
8.1.2 能源大数据信息基础数据的采集
8.2 能源大数据的信息特征与价值
8.3 能源大数据的采集、传输、存储和分析处理
8.3.1 能源大数据采集技术
8.3.2 能源大数据传输技术
8.3.3 能源大数据存储技术
8.3.4 能源大数据分析处理平台
8.4 能源大数据资源机构与获取途径
8.4.1 能源领域相关的数据资源机构
8.4.2 能源大数据资源的获取途径和方法
第9章 医疗数据资源
9.1
医疗数据的特征、问题与挑战
9.1.1 数据壁垒、隐私和安全
9.1.2 医疗数据的国际差异
9.2
临床医疗数据资源
9.2.1 电子病历数据
9.2.2 临床笔记数据
9.2.3 医学影像数据
9.2.4 临床试验数据
9.3
非临床医疗数据资源
9.3.1 队列研究数据
9.3.2 生物组学数据
9.3.3 文献典籍数据
9.3.4 药学数据
9.3.5 医疗事务数据
9.3.6 医保索赔数据
9.4
医疗相关领域数据资源
9.4.1 环境医学数据
9.4.2 互联网数据
9.4.3 社交媒体数据
9.4.4 物联网数据
9.4.5 移动互联数据
9.5
医疗数据的产业化发展
9.5.1 数据创新转化医学
9.5.2 跨境医疗中的数据共享
9.5.3 区域医疗中的结果共享
9.6 小结
参考文献
第10章 数据质量
10.1 数据质量概述
10.1.1 数据质量带来的影响
10.1.2 影响数据质量的因素
10.1.3 数据质量定义
10.1.4 大数据时代数据质量面临的挑战
10.2 数据质量标准
10.2.1 ISO 8000国际标准
10.2.2 地理信息质量标准ISO 19100
10.2.3 统计数据质量标准
10.3 数据质量相关技术
10.3.1 数据集成
10.3.2 数据剖析
10.3.3 数据清洁
10.3.4 数据溯源
10.4 数据质量评估
10.4.1 数据质量维度
10.4.2 数据质量评估框架
10.4.3 数据质量评估方法
10.5 数据质量管理
10.5.1 数据质量管理方法
10.5.2 数据质量管理团队建设
10.5.3 质量管理成熟度模型
10.6 小结
参考文献
第11章 大数据治理
11.1 大数据治理概述
11.1.1 国内外数据治理研究成果
11.1.2 大数据治理定义
11.1.3 大数据治理的重要性
11.1.4 大数据治理的范围
11.2 大数据战略和组织
11.2.1 大数据战略指明企业转型的方向
11.2.2 企业制定大数据战略的要点
11.2.3 大数据战略对组织的影响
11.3 大数据架构
11.3.1 大数据架构参考模型
11.3.2 大数据架构的实现
11.4 大数据安全和隐私保护
11.4.1 大数据安全和隐私的问题与挑战
11.4.2 大数据安全防护
11.4.3 大数据隐私保护
11.5 大数据质量管理的重要性和复杂性
11.5.1 大数据质量管理重要性
11.5.2 大数据质量管理复杂性
11.6 大数据生命周期管理
11.6.1 大数据生命周期概述
11.6.2 大数据采集
11.6.3 大数据存储
11.6.4 大数据整合
11.6.5 大数据呈现与使用
11.6.6 大数据分析与应用
11.6.7 大数据归档与销毁
11.7 大数据治理实施
11.7.1 大数据治理实施的目标和动力
11.7.2 大数据治理实施关键要素
11.7.3 大数据治理实施过程
11.7.4 大数据治理实施路线图
2008年,熊赟教授和我发表了一篇题为“加强数据资源保护和开发利用”的文章。我们提出了“数据资源是重要的现代战略资源,其重要程度将越来越显现,在本世纪有可能超过石油、煤炭、矿产,成为最重要的人类资源之一”;“数据资源开发利用滞后于网络基础设施和应用系统的建设,制约了国家信息化的综合效益”;“数据资源保护不利、开发不足、利用不够的现象将长期存在”;“提高数据资源开发利用水平、保护国家的战略资源是增强我国综合国力和国际竞争力的必然选择”。也是在这篇文章中,我们第一次提出“数据界(DataNature)”、“数据科学(DataScience)”和“数据学(Dataology)”。我们还建议 “从信息化转向数据资源开发利用”、“政府政务公开数据要有限度”、“加强国家、企业和公民隐私数据保护”。很欣慰,这些观点现在都已经被大家所接受。2012年,我提出“大数据包括数据、技术和应用三个要素”,2015年熊赟教授和我在《大数据》创刊号上以“大数据是数据、技术还是应用”为题对此进行了系统论述。
也很欣慰,大数据包含数据、技术和应用三个要素的观点正被广泛接受。在大数据发展开始进入理性并逐步落地的阶段,我想是时候将数据、技术和应用三个大数据要素更详细地进行阐述,为国家的大数据发展尽绵薄之力。于是在和上海科学技术出版社商量之后,我开始组织编写《大数据资源》、《大数据技术》和《大数据应用》,也可以算“大数据三部曲”吧。
《大数据资源》主要阐述什么是数据资源;如何进行数据治理;在建设数据资源过程中,如何控制数据质量,以便将来形成高质量的数据资源。还给出一些典型的大数据资源,包括政府数据资源、科学大数据资源、农业数据资源、金融数据资源、交通大数据资源、制造业大数据资源、能源大数据资源、医疗数据资源等,一个领域的大数据资源包括本领域生产的数据、领域外部生产的和本领域数据分析相关的数据。作者尽可能列出这些数据资源的出处,便于读者在实际应用中能够找到这些数据资源。参与编写的有叶雅珍、石蕾、王卷乐、高孟绪、王超、宋长青、李俊清、张洁、秦威、吕佑龙、汪俊亮、陈云、张超、俞立、刘可伋、翟希、何承、顾承华、张扬、任庚坡、葛志松、毛俊鹏、汤春蕾、蔡莉、杨琳、高洪美、宋俊典、张绍华等,感谢这些作者的辛勤劳动。
《大数据技术》主要阐述大数据技术。信息化是生产数据的,大数据是开发数据的,开发数据的技术称为数据技术;更重要的是,信息化是“技术进步促进数据增长”,而大数据是“数据增长促进技术进步”。面对日益增长的数据规模,大数据技术对人类社会发展意义重大。希望2018年完成《大数据技术》。
《大数据应用》主要给出了一些大数据应用的案例。我计划最后来写《大数据应用》。主要原因是目前很多关于大数据的美丽故事,离我们理解的大数据还有差距。现在还没有让我满意的大数据应用案例,希望在未来两年能够收集到足够好的大数据应用案例。希望2019年完成《大数据应用》。
想写好大数据三部曲的心情不言而喻。《大数据资源》已成,所有参与的作者都非常努力和认真,表现出高水平,但由于我本人知识水平和组织能力的限制,书稿还是有许多不满意和遗憾,在此我向读者表示歉意,向参与的作者表示歉意。有位编辑说,写本书能引起大家批评也不错,说明大家在关注。所以,等待读者的批判,感谢。
《大数据资源》即将交付印刷了,不能再修改和等待了。刚好今天航程将近6小时,让我在白天能够有这么长时间的宁静,思绪到远方,写下这些文字,作为序。
朱扬勇
2017年11月8日
《大数据资源》这本书,就如同我近期的一次奇妙旅程,带领我探索了一个前所未有的知识领域。在此之前,我对“大数据”的理解,仅停留在新闻报道中那些模糊的概念,总觉得它是一个与我遥不可及的科技前沿。然而,这本书的出现,彻底改变了我的认知。作者以一种极其友善和包容的姿态,将我引入了大数据这个广阔的世界。他并非简单地堆砌技术名词,而是通过大量生动的案例,将抽象的数据概念转化为触手可及的洞察。 我尤其被书中关于数据驱动决策的论述所吸引。作者详细阐述了企业如何通过分析海量用户数据,来优化产品设计、提升用户体验,甚至预测市场趋势。这些内容让我看到了大数据在实际应用中的强大潜力,也让我开始反思自己在日常生活和工作中,是否能够更好地利用数据来做出更明智的决策。书中对数据安全和隐私保护的探讨,也让我感受到了作者的深思熟虑,这使得我对大数据的发展充满了信心,同时也多了一份警惕。这本书不仅增长了我的知识,更重要的是,它激发了我对这个领域的探索欲望。
评分《大数据资源》这本书,对我来说,就像是在一个知识的荒漠中发现了一片绿洲。一直以来,我对大数据都感到一种莫名的敬畏,总觉得那是一个只有顶尖技术人才才能涉足的领域。然而,这本书以其出人意料的亲和力,完全打破了我的这种固有观念。作者的叙事方式非常灵活,他并没有采用那种一本正经的教科书式讲解,而是更像一位耐心细致的向导,带领我一步步地揭开大数据的神秘面纱。 我被书中关于数据分析方法的多样性所震撼。作者不仅介绍了基础的数据收集和处理流程,更深入地阐述了如何运用各种统计学和机器学习技术,从海量数据中挖掘出隐藏的规律和洞察。他用非常形象的比喻,将那些复杂的算法讲解得清晰易懂,让我这样的非技术背景的读者也能有所收获。最令我印象深刻的是,书中还探讨了大数据对社会各个方面的影响,包括商业、医疗、城市管理等等,这让我看到了大数据不仅仅是技术,更是推动社会进步的重要力量。这本书的价值在于,它不仅传授了知识,更重要的是,它激发了我对数据背后所蕴含的无限可能性的好奇心。
评分最近读完《大数据资源》,我最大的感受就是,它彻底颠覆了我之前对“大数据”的刻板印象。我原以为这本书会充斥着各种复杂的算法和晦涩的代码,读起来必定是一场艰苦的智力马拉松。但事实证明,我的担忧完全是多余的。作者以一种极其流畅、引人入胜的笔触,将大数据从一个遥不可及的科技概念,变成了一个触手可及的、与我们生活息息相关的存在。他通过大量的真实案例,比如城市交通的优化、精准营销的实现、甚至医疗诊断的进步,生动地展示了大数据在各个领域的强大应用。 我特别喜欢书中关于数据价值挖掘的部分。作者没有止步于介绍数据是什么,而是深入探讨了如何从海量数据中提炼出有价值的信息,以及这些信息如何能够驱动决策、创造效益。他用浅显易懂的语言解释了诸如数据可视化、机器学习等概念,让我这样的技术门外汉也能窥探到其中的奥妙。而且,书中并没有回避大数据发展过程中可能存在的挑战和伦理问题,反而进行了深入的探讨,这让我觉得作者非常负责任,也让这本书的价值更上一层楼。总的来说,这是一本既有深度又有广度的书,推荐给所有对现代科技发展感兴趣的朋友。
评分说实话,拿到《大数据资源》这本书时,我并没有抱太大的期望。我对大数据这个领域一直知之甚少,总觉得它是一个充满着专业术语和复杂理论的领域,非专业人士很难理解。然而,这本书完全出乎我的意料。作者的写作风格非常独特,他没有采用那种枯燥乏味的技术说明书的模式,而是像一位经验丰富的老朋友,娓娓道来,将大数据世界的精彩之处一一展现在我眼前。 书中对于数据是如何产生、如何被收集、以及如何被利用的解释,逻辑清晰,条理分明。我尤其对书中关于数据分析的章节印象深刻,作者通过一些生动的案例,比如分析用户行为以改进产品体验,或者通过对市场数据的分析来预测消费趋势,让我深刻地体会到了数据分析在商业决策中的重要性。书中的一些图表和示意图也非常有帮助,它们直观地展示了复杂的概念,让我能够更容易地理解。这本书让我意识到,大数据并非高不可攀,而是一种能够赋能我们生活和工作的强大工具,关键在于我们如何去理解和运用它。
评分《大数据资源》这本书,我拿到的时候,心里其实是有点忐忑的。毕竟“大数据”这个词,听起来就很高深莫测,总感觉离我们普通人有点远。我当时的想法是,就算这本书内容再怎么通俗易懂,可能我还是会看得云里雾里。然而,翻开第一页,我就被作者的叙事方式吸引住了。他没有一开始就抛出一堆专业术语,而是用一种非常接地气的方式,从我们日常生活中接触到的各种数据现象讲起,比如我们每天刷手机、逛淘宝、看视频,这些看似平常的行为背后,究竟隐藏着怎样巨大的数据流动。 作者的文笔相当老练,读起来一点都不枯燥。他善于运用生动的比喻和形象的例子,将抽象的大数据概念具象化。比如,他把海量数据比作一片汪洋大海,而大数据技术就像是探索这片海洋的各种工具和方法,而我们则可能是驾驶着各种船只的船长。这样的比喻让我一下子就抓住了核心,不再觉得数据是冰冷的数字堆砌,而是充满了无限的可能性。更让我惊喜的是,书中关于数据采集、存储、处理、分析的介绍,也不是简单地罗列技术名词,而是详细阐述了每一步骤的意义和价值,以及它们是如何协同工作的。我甚至觉得,这本书不只是一本技术指南,更像是一本关于如何理解和驾驭现代信息世界的入门手册。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 book.coffeedeals.club All Rights Reserved. 静流书站 版权所有