一种基于特征加权的KNN文本分类算法
- 格式:pdf
- 大小:160.92 KB
- 文档页数:3


国内当前流行的文本分类算法有最大熵(MaximumEntropy,ME),K近邻法(KNN),朴素贝叶斯法(NB),支持向量机法(SVM),线性最小平分拟合法(LLSF),神经网络法(Nnet)等,其中KNN、NB和SVM的分类效果相对较好。
文本分类由文本表示,特征降维和分类器训练组成,分类算法只是其中的一个环节,另外两个环节也非常重要。
目前普遍采用向量空间模型来表示文本,常见的特征词加权方法有:布尔权重、词频权重、TF—IDF权重等,常见的特征选择方法有文档频率,互信息和统计等。
基于机器学习文本分类的基础技术由文本的表示(representation) 、分类方法及效果(effectiveness)评估3 部分组成。
Sebastiani对文本分类发展历程及当时的技术进行了总结,主要内容包括:(1)文本关于项(term)或特征的向量空间表示模型(VSM)及特征选择(selection)与特征提取(extraction)两种表示空间降维(dimensionality reduction)策略,讨论了χ2,IG,MI,OR 等用于特征过滤的显著性统计量及项聚类和隐含语义索引(LSI)等特征提取方法;(2) 当时较成熟的分类模型方法,即分类器的归纳构造(inductiveconstruction)或模型的挖掘学习过程;(3) 分类效果评估指标,如正确率(precision) 召回率(recall) 均衡点(BEP) Fβ(常用F1)和精度(accuracy)等,以及之前报道的在Reuters 等基准语料上的效果参考比较。
1、中文评论语料的采集利用DOM 构建网页结构树,对结构树的分析实现了中文评论的自动采集的方法。
以及对情感语料进行情感标注,利用中文分词技术对情感语料进行分词等基础性研究。
2、情感词典的构建利用PMI 算法,在基础情感词典和中文宾馆评论语料库的基础上构建宾馆评论领域情感词典的方法。
3、文本处理中的特征选择、特征权值和向量表示CHI 统计方法和采用情感词典作为情感特征选择的方法,以及降维的维度选择等相关问题。
文本分类算法研究作者:赵岩周斌陈儒华来源:《软件导刊》2013年第10期摘要摘要:文本分类是文本数据挖掘领域的重要技术之一。
从分类算法对文本语义信息的利用程度这一角度出发,将文本分类划分为基于词形的算法和基于语义的算法两类,对每类算法进行了描述,并对当今文本数据的多样性及文本分类算法改进的可选方向进行了研究。
关键词关键词:文本分类;机器学习;语义信息;数据挖掘中图分类号:TP301.6文献标识码:A文章编号文章编号:16727800(2013)0010005403基金项目:国家重点基础研究发展计划(973计划)项目(SQ2012CB03747);国家自然科学基金重点课题(60933005)作者简介:赵岩(1986-),男,国防科学技术大学计算机学院硕士研究生,研究方向为数据挖掘;周斌(1971-),男,博士,国防科学技术大学计算机学院研究员,研究方向为数据挖掘、海量数据处理;陈儒华(1987-),男,国防科学技术大学计算机学院硕士研究生,研究方向为数据挖掘、社交网络分析。
0引言文本分类是指在带有类别标签的文本集合中,根据每个类别的文本子集合的共同特点,找出一个分类模型,以便在后续过程中将未标识文本映射到已有类别的过程。
文本分类是一种文本处理手段,能较好地解决大量文档信息归类的问题进而应用到很多场景中,如基于受控词典的文档自动索引、文档过滤、元数据的自动生成、词义辨别、资源层次分类等,同时,它也是很多信息管理任务的重要组成部分[1]。
自动分类的研究可以追溯到上世纪50年代;上世纪80年代末之前,自动分类问题大多采用知识工程的方法,即利用专家规则来进行分类;上世纪90年代以后,统计方法和机器学习的方法被引入到文本自动分类中,取得了丰硕的成果并逐渐取代了知识工程方法。
文本分类的一般流程为文本预处理、特征抽取、构建分类器和分类结果评价。
目前,针对文本分类的算法主要集中在特征抽取和分类器构建这两个方面。
本文主要介绍文本分类中的几种常用算法。
17个机器学习的常用算法!1. 监督式学习:在监督式学习下,输入数据被称为“训练数据”,每组训练数据有一个明确的标识或结果,如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”,对手写数字识别中的“1“,”2“,”3“,”4“等。
在建立预测模型的时候,监督式学习建立一个学习过程,将预测结果与“训练数据”的实际结果进行比较,不断的调整预测模型,直到模型的预测结果达到一个预期的准确率。
监督式学习的常见应用场景如分类问题和回归问题。
常见算法有逻辑回归(Logistic Regression)和反向传递神经网络(Back Propagation Neural Network)2. 非监督式学习:在非监督式学习中,数据并不被特别标识,学习模型是为了推断出数据的一些内在结构。
常见的应用场景包括关联规则的学习以及聚类等。
常见算法包括Apriori算法以及k-Means算法。
3. 半监督式学习:在此学习方式下,输入数据部分被标识,部分没有被标识,这种学习模型可以用来进行预测,但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。
应用场景包括分类和回归,算法包括一些对常用监督式学习算法的延伸,这些算法首先试图对未标识数据进行建模,在此基础上再对标识的数据进行预测。
如图论推理算法(Graph Inference)或者拉普拉斯支持向量机(Laplacian SVM.)等。
4. 强化学习:在这种学习模式下,输入数据作为对模型的反馈,不像监督模型那样,输入数据仅仅是作为一个检查模型对错的方式,在强化学习下,输入数据直接反馈到模型,模型必须对此立刻作出调整。
常见的应用场景包括动态系统以及机器人控制等。
常见算法包括Q-Learning以及时间差学习(Temporal difference learning)在企业数据应用的场景下,人们最常用的可能就是监督式学习和非监督式学习的模型。
在图像识别等领域,由于存在大量的非标识的数据和少量的可标识数据,目前半监督式学习是一个很热的话题。