编辑推荐
《预测性文本挖掘基础》主要特点:1.对文本挖掘做出了全面、实用、易于理解的介绍。
2.每个章节给出了小结、历史和文献评述以及课堂练习。
3.对书中提到的每个方法都进行了应用和用途介绍,同时给出了针对某个具体问题的优技术方法。
4.给出了几个描述性案例的研究情况,帮助读者了解现实世界中从问题描述到系统配置的过程。
5.介绍了可以运行在任何计算机上的企业级增强型文本挖掘软件。
描述了一些依赖于基本统计技术的方法,这样就顾及到了所有的语言(不仅仅是英语)。
6.包含了一些可以免费下载的软件的链接,以及一些补充的介绍材料。
《预测性文本挖掘基础》可作为IT专业人员和管理人员必备的参考资料,也可以作为计算机专业本科高年级和研究生的关键教材使用。
内容简介
电脑普及带来的一个结果是文档以数字形式呈现出来,加之Internet的广泛使用,这些文档就变得唾手可得。文本挖掘,即对非结构化的自然语言文本的分析过程,主要针对的是如何从这些文档中提取信息。
《预测性文本挖掘基础》是一本入门级的教科书,是在修订施普林格已经成功出版的文本挖掘领域的参考书基础上得到的,旨在能够帮助读者了解这个快速发展的领域。同时,该书也整合了包括数据挖掘、机器学习、数据库以及计算语言学方面很多的理论,因此这本的书也提供了一些文本挖掘方面比较实用的建议。书中深层次地讨论了文档分类、信息检索、聚类和组织文档、信息提取、基于web的数据源的预测和评价问题。要学习《预测性文本挖掘基础》,如果读者有数据挖掘方面的知识自然很好,但这并不是必须的。书中有些地方涉及到一些高级概念,这些需要读者有一定的数学功底,当然我们也提供了一些直观上的解释来帮助那些非专业读者。
作者简介
绍洛姆·韦斯,是美国纽约州约克镇的IBM预测模型小组的研究成员,同时也是美国新泽西州罗格斯大学计算机科学专业的荣誉教授。
霓廷·因杜尔亚,是澳大利亚新南威尔士大学计算机科学工程学院的讲师,同时也是数据挖掘公司Data-Miner有限公司的创始人和总裁。
张潼,在美国斯坦福大学获得计算机科学博士学位,现在是美国新泽西州罗格斯大学统计系的教授。
内页插图
目录
推荐序
译者序
前言
第1章 文本挖掘概述
1.1 文本挖掘有什么特别之处?
1.1.1 结构化或非结构化数据?
1.1.2 文本数据是否不同于数值数据?
1.2 文本挖掘可以解决什么类型的问题?
1.3 文本分类
1.4 信息检索
1.5 文档聚类与组织
1.6 信息提取
1.7 预测与评估
1.8 下章内容
1.9 小结
1.10 历史与文献评述
1.11 问题与练习
第2章 从文本信息到数值向量
2.1 文档收集
2.2 文档标准化
2.3 标记化
2.4 词形转化
2.4.1 词干变形
2.4.2 化词干为词根
2.5 预测向量生成
2.5.1 多词特征
2.5.2 正确答案的标签
2.5.3 通过属性分级选择特征
2.6 语句边界确定
2.7 词性标签化
2.8 词义消歧
2.9 短语识别
2.10 命名实体识别
2.11 语法分析
2.12 特征生成
2.13 小结
2.14 历史与文献评述
2.15 课后练习
第3章 用文本进行预测
3.1 识别文档符合模式
3.2 需要多少文档才可以满足预测需求?
3.3 文档分类
3.4 从文本中学习预测
3.4.1 相似性与最近邻法
3.4.2 文档相似性
3.4.3 决策规则
3.4.4 决策树
3.4.5 概率估计
3.4.6 线性评分方法
3.5 性能评估
3.5.1 当前与未来的性能估计
3.5.2 从学习方法中获取最大收益
3.6 应用
3.7 小结
3.8 历史与文献评述
3.9 问题与练习
第4章 信息检索和文本挖掘
第5章 文档集的结构发现
第6章 在文档中查询信息
第7章 面向预测的数据源:数据库、混杂数据与Web
第8章 实例分析
第9章 新研究方向
附录A 软件说明
参考文献
作者索引
主题索引
精彩书摘
通过观察性能较差的分类有时能让我们发现新闻本身属性是如何影响性能的,比如新文章似乎不太会进入低频分类。一种可能的解释是新闻主题更倾向于涌现出来,所以某个边缘分类可能不会常出现。这点听起来似乎有理,但还需深入研究加以验证。
还有一个问题,就是有些主题似乎具有固有的聚合性,好像应该很容易对其建立起高效的分类器,但事实却不尽如人意。举路透社数据中的一个例子:我们观察决策树为宗教主题生成的规则,做分类时出现了40个左右的错误,总结如下:
1.新闻中通常有这种情形,即大致相同的文章有很多篇。而这些文章中有些仅仅是主题的总结。若其中一篇简略提及了宗教,分类器也许找不到它,但因为出现次数过多,就会形成累积错误。
2.有些文章中宗教只是作为某个大主题的子类被提及。比如,宗教可能出现在关于中国的人权问题文章中,仅仅因为宗教也是一种权利。那么当这类文章重复出现时,也会导致分类器的错误判断。
3.还有时候分类器并没有规则提及文章中重复出现某个词的问题。比如,分类器并没有文章中多次出现宗教这个词时的相关规定,而在我们人工看来这非常寻常。显然,很多包含了与宗教相关单词的文章并未分类到宗教主题中。事实上测试集中的宗教字眼只有一半出现在宗教主题的文章中,其他的被分到若干不同的主题中,最常见的有国际关系和国内政治。
这也说明了要提高基于人的直觉预测分类性能是很难的,最好让数据告诉我们一切。
在所有这些实验中,有三个值用于评价分类性能:准确率(precision)、查全率(recall)以及F值。F值可以用来做粗略比较,当F值相近时,则比较准确率和查全率。当评价一个包含大量分类器的系统时,通常计算出每个分类器的性能,然后得出它们的微平均值。
……
前言/序言
《文本之秘:洞悉语言数据背后的隐藏价值》 在信息爆炸的时代,海量的文本数据如同未经雕琢的璞玉,蕴藏着巨大的潜能。从社交媒体上的用户评论,到企业内部的报告文档,再到科研领域的学术论文,它们共同构成了我们理解世界、驱动决策的重要资源。然而,这些非结构化的文本信息,往往因为其庞杂、零散和缺乏明确的模式而难以被直接利用。我们迫切需要一种方法,能够穿透文字的表象,挖掘其深层含义,从中提炼出有价值的洞见,并将其转化为 actionable intelligence。 《文本之秘:洞悉语言数据背后的隐藏价值》并非一本关于某种特定技术或算法的教学手册,也不是对某个孤立领域应用的详尽罗列。相反,它是一次深刻的探险,一次关于如何“听懂”文字语言的全面考察,一次关于如何从看似混沌的文本信息中构建秩序、发现规律、预测趋势的系统性思考。本书旨在为读者构建一个宏观的视角,理解文本数据分析的本质、价值、挑战以及核心理念,为他们开启认识、理解和利用文本数据世界的钥匙。 第一部分:文本数据的价值与挑战 本书的开篇,我们将深入探讨文本数据为何如此重要,以及为何处理它如此具有挑战性。 无处不在的文本,无限的可能性: 我们将首先审视文本数据在当今社会各个角落的广泛存在。从个人生活中的社交互动、在线购物评价,到商业领域的客户反馈、市场情报、舆情监控,再到学术研究中的文献分析、科学发现,文本数据无时无刻不在生成,并以惊人的速度增长。理解这些数据的规模和多样性,是认识其价值的第一步。我们将通过生动的案例,展现文本数据如何成为洞察消费者心理、预测市场走向、优化产品设计、提升服务质量、推动科学研究的关键驱动力。 理解的鸿沟:结构化与非结构化: 计算机擅长处理结构化的数据,例如数据库中的表格,拥有清晰的字段和明确的关系。然而,人类的交流和知识的记录,很大程度上依赖于非结构化的文本。文本的灵活性、歧义性、上下文依赖性以及蕴含的丰富情感和主观信息,都使得计算机在直接理解和处理它们时面临巨大的困难。本书将剖析非结构化文本的特性,例如同义词、多义词、俚语、隐喻、讽刺等,以及它们给传统数据处理方法带来的根本性挑战。 信息过载的漩涡: 面对海量涌入的文本信息,人类的注意力资源显得尤为宝贵。如何从这片信息的汪洋大海中筛选出真正有价值的“珍珠”,避免被噪音淹没,是信息时代的核心难题之一。我们将探讨信息过载的现象,以及为何需要有效的文本分析工具来帮助我们驾驭信息洪流,提取关键洞察。 第二部分:文本分析的核心理念与思维框架 在理解了文本数据的价值和挑战后,本书将转向构建一个强大的思维框架,帮助读者理解文本分析的底层逻辑。 从词语到意义:语言的计算化之路: 文本分析的根本在于将人类语言的抽象概念,通过计算的方式进行理解和操作。本书将介绍一些基础的语言学和信息论的概念,但侧重点在于它们如何转化为计算模型。例如,词语的出现频率、词语之间的共现关系,如何反映其重要性和关联性。我们将探讨“词袋模型”(Bag-of-Words)等早期但重要的概念,理解它们如何将文本转化为数值向量,为后续分析奠定基础。 理解上下文:语言的深度探索: 仅仅关注词语的出现是不够的,语言的意义很大程度上依赖于上下文。我们将探讨“分布式表示”(Distributed Representation)的理念,即词语的意义可以通过其在大量文本中与其他词语的搭配关系来捕捉。这为理解同义词、近义词以及词语的细微差别提供了新的视角。 模式的发现:从数据到洞见: 文本分析的最终目标是发现隐藏在文本数据中的模式。这些模式可以是关于用户情绪的总体趋势,可以是关于某个主题的热门话题,也可以是关于产品优缺点的集中反馈。本书将强调“模式发现”作为文本分析的核心任务,并介绍一些通用的思维方式,比如归纳、演绎、聚类、分类等,如何应用于文本数据的分析。 量化与可解释性:平衡的艺术: 文本分析既需要强大的量化能力,也需要保持分析结果的可解释性。过于抽象的模型可能会难以理解其决策过程,而过于简单的模型则可能丢失重要的信息。本书将探讨如何在追求模型性能的同时,保持对结果的清晰理解,使得分析结果能够真正指导实际决策。 第三部分:文本数据分析的关键视角与方法论 在搭建了基础的思维框架后,本书将深入探讨文本数据分析的不同视角和通用的方法论,这些视角和方法论是进行具体文本分析工作的基础。 理解用户:情感与态度分析: 用户的声音是产品和服务改进的宝贵财富。我们将探讨如何通过分析文本数据来理解用户的情感倾向(正面、负面、中性)、他们的满意度、他们对特定产品特性或服务环节的态度。这包括对评论、评价、社交媒体帖子等进行细致的分析,捕捉用户的情绪信号。 主题的提取与追踪:话题发现与演变: 在海量的文本数据中,识别出关键的主题和话题,并追踪它们如何随着时间的推移而演变,是了解社群关注点、市场趋势的重要手段。我们将介绍一些用于识别和概括文本主题的通用方法,例如如何从大量文档中归纳出核心讨论点。 关联与链接:实体识别与关系抽取: 文本中往往包含着对人、地点、组织、事件等各种实体的描述,以及它们之间的关系。准确地识别出这些实体,并理解它们之间的关联,能够构建出更丰富的知识图谱,为信息检索、关系分析等提供基础。 文本的生成与演变:语言模型的视角: 现代的语言模型能够理解并生成自然语言,这为文本分析提供了前所未有的能力。本书将从一个更广阔的视角,探讨语言模型如何改变我们理解和运用文本数据的方式,以及它们在分析过程中扮演的角色。这并非聚焦于具体的模型构建,而是强调其在理解文本、提取信息、甚至预测文本走向方面的潜力。 数据驱动的决策:从分析到行动: 最终,文本分析的价值体现在它能够驱动实际的决策和行动。本书将强调分析结果如何转化为商业策略、产品改进方案、用户服务优化建议,以及在其他领域的具体应用。我们将探讨如何有效地沟通分析结果,并确保它们能够被有效地转化为行动。 第四部分:面向未来的思考 本书的结尾,我们将进行一些面向未来的思考,展望文本数据分析的未来发展趋势。 多模态数据的融合: 文本数据并非孤立存在,它常常与其他类型的数据(如图像、音频、视频)相结合。未来,如何有效地融合多模态数据,将是文本分析领域的重要发展方向。 伦理与责任: 随着文本分析能力的不断增强,数据隐私、信息偏见、算法的滥用等伦理问题也日益凸显。本书将简要探讨这些问题,并强调在文本分析过程中,始终需要将伦理考量置于重要位置。 持续的学习与适应: 语言本身在不断发展,新的词汇、新的表达方式层出不穷。文本分析工具和方法也需要不断学习和适应,以保持其有效性。 《文本之秘:洞悉语言数据背后的隐藏价值》是一本邀请您参与一次思维之旅的书。它不提供现成的答案,而是激发您提问、探索和构建自己的理解。通过阅读本书,您将获得一套全新的视角来审视您周围的文本信息,理解它们潜在的价值,并为 harnessing 这种价值奠定坚实的理论基础和方法论的认知。无论您是产品经理、市场分析师、研究学者,还是对信息时代充满好奇的探索者,本书都将为您打开一扇通往文本数据深度理解的大门。