在线文本处理工具,文本挖掘

文本挖掘的方法主要有哪些？

文本挖掘一直是十分重要的信息处理领域，因为不论是推荐系统、搜索系统还是其它广泛性应用，我们都需要借助文本挖掘的力量。每天所产生的信息量正在迅猛增加，而这些信息基本都是非结构化的海量文本，它们无法轻易由计算机处理与感知。因此，我们需要一些高效的技术和算法来发现有用的模式。文本挖掘近年来颇受大众关注，是一项从文本文件中提取有效信息的任务。

由于以各种形式（如社交网络、病历、医疗保障数据、新闻出版等）出现的文本数据数量惊人，文本挖掘（TM）近年来颇受关注。IDC在一份报告中预测道：截至到2020年，数据量将会增长至400亿TB（4*(10^22) 字节），即从2010年初开始增长了50倍[50]。文本数据是典型的非结构化信息，它是在大多数情况下可产生的最简单的数据形式之一。

人类可以轻松处理与感知非结构化文本，但机器显然很难理解。不用说，这些文本定然是信息和知识的一个宝贵来源。因此，设计出能有效处理各类应用中非结构化文本的方法就显得便迫在眉睫。目前现在的文本挖掘方法主要有：1.信息检索（Information Retrieval，IR）：信息检索是从满足信息需求的非结构化数据集合中查找信息资源（通常指文档）的行为。

2.自然语言处理（Natural Language Processing ，NLP）：自然语言处理是计算机科学、人工智能和语言学的子领域，旨在通过运用计算机理解自然语言。3.文本信息提取（Information Extraction from text ，IE）：信息提取是从非结构化或半结构化文档中自动提取信息或事实的任务。

4.文本摘要：许多文本挖掘应用程序需要总结文本文档，以便对大型文档或某一主题的文档集合做出简要概述。5.无监督学习方法（文本）：无监督学习方法是尝试从未标注文本中获取隐藏数据结构的技术，例如使用聚类方法将相似文本分为同一类。6.监督学习方法（文本）：监督学习方法从标注训练数据中学习分类器或推断功能，以对未知数据执行预测的机器学习技术。

7.文本挖掘的概率方法：有许多种概率技术，包括无监督主题模型（如概率潜在语义分析模型（pLSA） [64] 与文档主题生成模型（LDA）[16]）和监督学习方法（如可在文本挖掘语境中使用的条件随机场）[83]。8.文本流与社交媒体挖掘：网络上存在许多不同的应用程序，它们可以生成大量的文本数据流。9.观点挖掘与情感分析：随着电子商务和网络购物的问世，产生了大量的文本，并在不同的产品评论或用户意见上不断增长。