山西大学研究生学位课程论文（2014 ---- 2015 学年第 2 学期） 学院（中心、所）：计算机与信息技术学院 专业名称：计算机应用技术 课程名称：自然语言处理技术 论文题目：文本分类综述 授课教师（职称）：王素格（教授） 研究生姓名：刘杰飞 年级：2014级 学号：201422403003 成绩： 评阅日期： 山西大学研究生学院 2015年 6 月2日
文本分类综述 摘要文本分类就是在给定的分类体系下,让计算机根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程。文本分类在冗余过滤、组织管理、智能检索、信息过滤、元数据提取、构建索引、歧义消解、文本过滤等方面有很重要的应用。本文主要介绍文本分类的研究背景,跟踪国内外文本分类技术研究动态。介绍目前文本分类过程中的一些关键技术，以及流形学习在文本分类中降维的一些应用。并且讨论目前文本分类研究面临的一些问题,及对未来发展方向的一些展望。 关键词文本分类；特征选择；分类器；中文信息处理 1.引言 上世纪九十年代以来，因特网以惊人的速度发展起来，到现在我们进入大数据时代互联网容纳了海量的各种类型的数据和信息，包括文本、声音、图像等。这里所指的文本可以是媒体新闻、科技、报告、电子邮件、技术专利、网页、书籍或其中的一部分。文本数据与声音和图像数据相比，占用网络资源少，更容易上传和下载，这使得网络资源中的大部分是以文本（超文本）形式出现的。如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学和技术领域面临的一大挑战。基于机器学习的文本分类系统作为处理和组织大量文本数据的关键技术,能够在给定的分类模型下，根据文本的内容自动对文本分门别类，从而更好地帮助人们组织文本、挖掘文本信息，方便用户准确地定位所需的信息和分流信息。 利用文本分类技术可以把数量巨大但缺乏结构的文本数据组织成规范的文本数据,帮助人们提高信息检索的效率。通过对文本信息进行基于内容的分类,自动生成便于用户使用的文本分类系统,从而可以大大降低组织整理文档耗费的人力资源,帮助用户快速找到所需信息。因此文本分类技术得到日益广泛的关注，成为信息处理领域最重要的研究方向之一。 2.文本分类技术的发展历史及现状 2.1文本分类技术发展历史 国外自动分类研究始于1950年代末，早期文本分类主要是基于知识工程，通过手工定义一些规则来对文本进行分类，这种方法费时费力，还需要对某一领域有足够的了解，才能提炼出合适的规则。H.P.Luhn在这一领域进行了开创性的研究，他将词频统计的思想用于文本分类中。这一时期，主要是分类理论的研究，并将文本分类应用用于信息检索。在这一段时期，提出了很多经典文本分类的数学模型。比如1960年Maron在Journal of ASM上发表了有关自动分类的第一篇论文“On relevance Probabilitic indexing and informarion retriral”，这是Maron和Kuhns提出概的率标引(Probabilitic indexing )模型在信息检
作业二 F i s h e r 线性判别分类器 一 实验目的 本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher 准则方法确定最佳线性分界面方法的原理，以及Lagrande 乘子求解的原理。 二 实验条件 Matlab 软件 三 实验原理 线性判别函数的一般形式可表示成 0)(w X W X g T += 其中 根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W 的函数为： )(211*m m S W W -=- 上面的公式是使用Fisher 准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中21m m -式一个向量，1 -W S 是W S 的逆矩阵，如21m m -是d 维，W S 和 1-W S 都是d ×d 维，得到的*W 也是一个d 维的向量。 向量* W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量*W 的各分量值是对原d 维特征向量求加权和的权值。 以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量* W 的计算方法，但是判别函数中的另一项0W 尚未确定，一般可采用以下几种方法确定0W 如 或者 m N N m N m N W ~~~2 122110=++-= 或当1)(ωp 与2)(ωp 已知时可用 当W 0确定之后，则可按以下规则分类， 201 0ωω∈→-<∈→->X w X W X w X W T T
龙源期刊网 https://www.doczj.com/doc/6b2888334.html, 基于BP神经网络和SVM的分类方法研究作者：王宏涛孙剑伟 来源：《软件》2015年第11期 摘要：介绍了BP神经网络和SVM算法的分类原理。附加动量因子和随机梯度下降法是对BP神经网络进行优化的重要方法，利用Google实验室的MNIST手写数字库研究了动量因子和随机数以及SVM不同核函数对分类性能影响，为实际应用中模型的选择提供一定依据。同时也研究了两个算法在不同样本数下的性能表现，实验表明样本数较少时SVM比BP具有更高的泛化能力。最后结合两个算法特点，给出层次分类法并做为今后研究方向。 关键词：MNIST数字库；BP神经网络；支持向量机；分类性能 中图分类号：TP391.41 文献标识码：A DOI：10.3969/j.issn.1003-6970.2015.11.024 0 引言 很多实际应用问题都可归为分类问题，如故障诊断、模式识别等，分类过程包括分类器构造和运用模型进行分类两个步骤。神经网络和支持向量机（SVM）是分类领域中两种重要方法。神经网络是模拟人脑神经系统的数学模型，具有高度并行性、较强的自学习自适应和联想记忆功能特点。Vapnik在20世纪90年代基于统计学习理论提出支持向量机，它是借助最优化方法解决问题的，求解支持向量转化为解凸二次优化问题，它能够获得全局最优解，是结构风险最小化的算法。经过多年发展神经网络和支持向量机在很多领域取得成功，但是神经网络和支持向量机参数选择没有理论上支撑，参数选择优化是算法应用成功的关键，挖掘模型参数对算法性能影响具有重要意义。本文在Google的手写数字库上研究了BP（Back Propagation）神经网络和支持向量机的附加动量因子、随机数和不同核函数等变量对准确率、计算时间以及收敛曲线的影响，比较两个算法在不同训练样本数时性能表现。最后结合BP神经网络算法和SVM的各自特点提出分层分类模型，该方法适用于具有结构分解、功能分解特点的对象，为复杂对象分类提供了一种思路。 1 BP神经网络和SVM算法 1.1 BP神经网络技术 神经网络是对人脑的抽象、模拟和简化的信息处理模型，其中神经元数学模型、网络连接方式以及神经网络学习方式是神经网络的三个关键。神经网络原理是利用网络的学习和记忆功能，让神经网络学习各个类别中的样本特征，在遇到待识别样本时神经网络利用记住的特征信
基于机器学习算法的文本分类方法综述 摘要：文本分类是机器学习领域新的研究热点。基于机器学习算法的文本分类方法比传统的文本分类方法优势明显。本文综述了现有的基于机器学习的文本分类方法，讨论了各种方法的优缺点，并指出了文本分类方法未来可能的发展趋势。 1.引言 随着计算机技术、数据库技术，网络技术的飞速发展，Internet的广泛应用，信息交换越来越方便，各个领域都不断产生海量数据，使得互联网数据及资源呈现海量特征，尤其是海量的文本数据。如何利用海量数据挖掘出有用的信息和知识，方便人们的查阅和应用，已经成为一个日趋重要的问题。因此，基于文本内容的信息检索和数据挖掘逐渐成为备受关注的领域。文本分类(text categorization，TC)技术是信息检索和文本挖掘的重要基础技术，其作用是根据文本的某些特征，在预先给定的类别标记(label)集合下，根据文本内容判定它的类别。传统的文本分类模式是基于知识工程和专家系统的，在灵活性和分类效果上都有很大的缺陷。例如卡内基集团为路透社开发的Construe专家系统就是采用知识工程方法构造的一个著名的文本分类系统，但该系统的开发工作量达到了10个人年，当需要进行信息更新时，维护非常困难。因此，知识工程方法已不适用于日益复杂的海量数据文本分类系统需求[1]。20世纪90年代以来，机器学习的分类算法有了日新月异的发展，很多分类器模型逐步被应用到文本分类之中，比如支持向量机(SVM，Support Vector Machine)[2-4]、最近邻法(Nearest Neighbor)[5]、决策树(Decision tree)[6]、朴素贝叶斯(Naive Bayes)[7]等。逐渐成熟的基于机器学习的文本分类方法，更注重分类器的模型自动挖掘和生成及动态优化能力，在分类效果和灵活性上都比之前基于知识工程和专家系统的文本分类模式有所突破，取得了很好的分类效果。 本文主要综述基于机器学习算法的文本分类方法。首先对文本分类问题进行概述，阐述文本分类的一般流程以及文本表述、特征选择方面的方法，然后具体研究基于及其学习的文本分类的典型方法，最后指出该领域的研究发展趋势。 2．文本自动分类概述 文本自动分类可简单定义为：给定分类体系后，根据文本内容自动确定文本关联的类别。从数学角度来看，文本分类是一个映射过程，该映射可以是一一映射，也可以是一对多映射过程。文本分类的映射规则是，系统根据已知类别中若干样本的数据信息总结出分类的规律性，建立类别判别公式或判别规则。当遇到新文本时，根据总结出的类别判别规则确定文本所属的类别。也就是说自动文本分类通过监督学习自动构建出分类器，从而实现对新的给定文本的自动归类。文本自动分类一般包括文本表达、特征选取、分类器的选择与训练、分类等几个步骤，其中文本表达和特征选取是文本分类的基础技术，而分类器的选择与训练则是文本自动分类技术的重点，基于机器学习的文本分来就是通过将机器学习领域的分类算法用于文本分类中来[8]。图1是文本自动分类的一般流程。
Fisher分类器设计 班级：自092 姓名：刘昌元学号：099064370 一、实验目的： 1：根据fisher准则设计线性分类器 2：由fisher分类器训练样本数据 3：由fisher分类器测试样本观察出错率并与贝叶斯分类器的出错率比较判断两种分类器的性能优劣 4：将测试数据和决策面画在一张图上直观显示
三、实验所用函数： 类均值向量：∑=∈i xj j i x N M χ1 类内离散度矩阵：T i j i i xj j i M x M x S ))((--∑ ∈=χ 总类内离散度矩阵：21S S S w += 类间离散度矩阵：T b M M M M S ))((2121--= 最有投影方向：)(211 * M M S W w -=- 决策函数：0) (w x w x G T += 阈值：)(2 1210M w M w w T T +-= 四、实验结果： 1：得到参数:最有投影向量和阈值 2：利用分类器输入身高和体重数据得到性别分类（实验结果如下） w=[ 0.0012; 0.0003] threshold =0.2318
classify(165,56) 结果为“女” classify(178,70) 结果为“男”3：fisher准则分类器的出错率统计： 测试test1： 测试test2: 4:bayes分类器测试出错统计： 测试test1:
测试test2: 结论：很显然bayes分类器比fisher分类器准确率高的多。4：分类面决策图：
五、程序： 程序1：求最有投影方向和阈值 %程序功能：应用fisher分类方法，使用训练数据获得阈值和最佳变换向量(投影方向）% function fisher(boys,girls) %调用男生和女生的训练样本数据% A=boys.'; B=girls.'; [k1,l1]=size(A); [k2,l2]=size(B); M1=sum(boys); M1=M1.'; M1=M1/l1; %求男生身高与体重的均值% M2=sum(girls); M2=M2.'; M2=M2/l2; %求女生身高与体重的均值% S1=zeros(k1,k1); S2=zeros(k2,k2); for i=1:l1 S1=S1+(A(:,i)-M1)*((A(:,i)-M1).'); %求类内离散度矩阵S1% end for i=1:l2 S2=S2+(B(:,i)-M2)*((B(:,i)-M2).'); %求类内离散度矩阵S2% end for i=1:2 for j=1:2 Sw(i,j)=S1(i,j)+S2(i,j); %求总类内离散度矩阵Sw% end end w=inv(Sw)*(M1-M2) %求最有投影方向% wT=w.'; for i=1:l1 Y1(i)=wT(1,1)*A(1,i)+wT(1,2)*A(2,i); %由分类函数g(x)=wT*x求男生身高和体重的阈值% end for i=1:l2 Y2(i)=wT(1,1)*B(1,i)+wT(1,2)*B(2,i); %由分类函数g(x)=wT*x求女生身高和体重的阈值% end m1=sum(Y1)/l1; %阈值平均% m2=sum(Y2)/l2; %阈值平均% threshold=(l1*m1+l2*m2)/(l1+l2) %求fisher决策面的阈值%
2012.1 53 基于TAN 结构的贝叶斯 文本分类器研究 王景中 易路杰 北方工业大学信息工程学院 北京 100144 摘要：朴素贝叶斯分类器是一种简单且有效实现的文本自动类方法，但其独立性假设在实际中是不存在的。在TAN 结构贝叶斯分类算法中，考虑了两两属性间的关联性，对属性间的独立性假设有了一定程度的降低。 关键词：文本分类；贝叶斯；TAN 0 引言 朴素贝叶斯分类器是贝叶斯分类中一种最常见且原理简单，实际应用很成功的方法。朴素贝叶斯分类器中的“朴素”主要是指假设各属性间相互独立。在文本分类中，假设不同的特征项在确定的类别下的条件概率分布相互独立，这样在计算特征项之间的联合分布概率时可以大大提高分类器的速度。目前，很多文本分类系统都采用贝叶斯分类算法，在邮件分类、电子会议、信息过滤等方面都有了广泛的应用。 1 朴素贝叶斯分类器 1.1 贝叶斯公式介绍 贝叶斯定理为：设S 为试验E 的样本空间，A 为E 的事件，1B ，2B ，…n B 为S 的一个划分，且有P(A)>0，P(i B )>0 (i=1，2，…n)，则有： 1 (/)() (/)(/)() i i i n j j j P A B P B P B A P A B P B ==∑ ，i=1，2，…n 。 1.2 贝叶斯文本分类 贝叶斯文本分类模型是一种基于统计方法的分类模型，是现有文本分类算法中最有效的方法之一。其基本原理是：通过样本数据的先验概率信息计算确定事件的后验概率。在文本分类中的应用为：通过计算给定文本的特征值在样本库中某一确定类i C 中的先验概率， 得出给定文本的特征值属于 i C 类的后验概率，再通过比较，得出后验概率最大的即为给 定文本最可能属于的类别。因此，贝叶斯类别判别式为： 12arg max (/,,)NB i n C P C w w w = (1) 本文采用布尔表示法描述文本，每个文本表示为特征矢 量(1w ，2w ， …V w )，V 为特征词表，V 为特征词表总词数，V=(1B ，2B ，…V B )。特征矢量中的i w ={0，1}，1表示特 征词表中的第i 个词出现，0表示没有出现。 根据贝叶斯公式： 121212(,,/)() (/,,)(,,) n i i i n n P w w w C P C P C w w w P w w w = (2) 式中()i P C 为样本集中属于i C 类的概率，12(,,/)n i P w w w C …为i C 类中给定文本特征词的概率。 要求12max (/,,)i n P C w w w …，(2)式中分母12(,,)n P w w w …在给定的所有类别中为固定值，即为常量。因此，只需求： 12arg max (,,/)()NB n i i C P w w w C P C = (3) 式中()i P C 的值为每个类别在样本集中的频率，即为样本集中属于i C 类的文本数与样本集中的总的文本数的比率。12(,,/)n i P w w w C …的值计算比较困难，理论上只有建立一个 足够大的样本集才能准确得到。如何得出12(,,/)n i P w w w C …的值也是贝叶斯算法的关键，直接影响分类的性能。目前只能通过估算得出。 由于贝叶斯分类模型的假设，文本特征属性之间独立同分布，因此各属性联合概率等于各属性概率的乘积，即：
毕业设计（论文）任务书 毕业设计（论文） 题目中文文本分类算法的设计及其实现 电信学院计算机系84班设计所在单位西安交通大学计算机系
西安交通大学本科毕业设计（论文） 毕业设计(论文)任务书 电信学院计算机系84 班学生丰成平 毕业设计(论文)工作自2013 年 2 月21 日起至2013 年 6 月20 日止毕业设计(论文)进行地点：西安交通大学 课题的背景、意义及培养目标 随着文本文件的增多，对其自动进行分门别类尤为重要。文本分类是指采用计算机程序对文本集按照一定的分类体系进行自动分类标记。文本分类器的设计通常包括文本的特征向量表示、文本特征向量的降维、以及文本分类器的设计与测试三个方面。本毕设论文研究文本分类器的设计与实现。通过该毕业设计，可使学生掌握文本分类器设计的基本原理及相关方法，并通过具体文本分类算法的设计与编程实现，提高学生的实际编程能力。 设计(论文)的原始数据与资料 1、文本语料库（分为训练集与测试集语料库）。 2、关于文本分类的各种文献（包括特征表示、特征降维、以及分类器设计）以及资料。 3、中科院文本分词工具(nlpir)。 4、文本分类中需要用到的各种分类方法的资料描述。 课题的主要任务 1．学习文本特征向量的构建方法及常用的降维方法。 2．学习各种分类器的基本原理及其训练与测试方法。 3．设计并编程实现文本分类器。
毕业设计（论文）任务书 4、对试验结果进行分析，得出各种结论。 5、撰写毕业论文。 6、翻译一篇关于文本分类的英文文献。 课题的基本要求(工程设计类题应有技术经济分析要求) 1、程序可演示。 2、对源代码进行注释。 3、给出完整的设计文档及测试文档。 完成任务后提交的书面材料要求(图纸规格、数量，论文字数，外文翻译字数等) 1、提交毕业论文 2、提交设计和实现的系统软件源程序及有关数据 3、提交外文资料翻译的中文和原文资料 主要参考文献： 自然语言处理与信息检索共享平台：https://www.doczj.com/doc/6b2888334.html,/?action-viewnews-itemid-103 Svm(支持向量机)算法：https://www.doczj.com/doc/6b2888334.html,/zhenandaci/archive/2009/03/06/258288.html 基于神经网络的中文文本分析（赵中原）：https://www.doczj.com/doc/6b2888334.html,/p-030716713857.html TF-IDF的线性图解：https://www.doczj.com/doc/6b2888334.html,/blog-170225-6014.html 东南大学向量降维文献：https://www.doczj.com/doc/6b2888334.html,/p-690306037446.html 指导教师相明 接受设计(论文)任务日期2013-02-21~2013-06-20 学生签名：
从文本分类系统的处理流程来看，无论待分类的文本是中文还是英文，在训练阶段之前都要经过一个预处理的步骤，去除无用的信息，减少后续步骤的复杂度和计算负担。 对中文文本来说，首先要经历一个分词的过程，就是把连续的文字流切分成一个一个单独的词汇（因为词汇将作为训练阶段“特征”的最基本单位），例如原文是“中华人民共和国今天成立了”的文本就要被切分成“中华／人民／共和国／今天／成立／了”这样的形式。而对英文来说，没有这个步骤（更严格的说，并不是没有这个步骤，而是英文只需要通过空格和标点便很容易将一个一个独立的词从原文中区分出来）。中文分词的效果对文本分类系统的表现影响很大，因为在后面的流程中，全都使用预处理之后的文本信息，不再参考原始文本，因此分词的效果不好，等同于引入了错误的训练数据。分词本身也是一个值得大书特书的问题，目前比较常用的方法有词典法，隐马尔科夫模型和新兴的CRF方法。 预处理中在分词之后的“去停止词”一步对两者来说是相同的，都是要把语言中一些表意能力很差的辅助性文字从原始文本中去除，对中文文本来说，类似“我们”，“在”，“了”，“的”这样的词汇都会被去除，英文中的“ an”，“in”，“the”等也一样。这一步骤会参照一个被称为“停止词表”的数据（里面记录了应该被去除的词，有可能是以文件形式存储在硬盘上，也有可能是以数据结构形式放在内存中）来进行。 对中文文本来说，到此就已初审合格，可以参加训练了（笑）。而英文文本还有进一步简化和压缩的空间。我们都知道，英文中同一个词有所谓词形的变化（相对的，词义本身却并没有变），例如名词有单复数的变化，动词有时态的变化，形容词有比较级的变化等等，还包括这些变化形式的某种组合。而正因为词义本身没有变化，仅仅词形不同的词就不应该作为独立的词来存储和和参与分类计算。去除这些词形不同，但词义相同的词，仅保留一个副本的步骤就称为“词根还原”，例如在一篇英文文档中，经过词根还原后，“computer”，“compute”，“computing”，“computational”这些词全都被处理成“compute”（大小写转换也在这一步完成，当然，还要记下这些词的数目作为compute的词频信息）。 经过预处理步骤之后，原始文档转换成了非常节省资源，也便于计算的形式，后面的训练阶段大同小异（仅仅抽取出的特征不同而已，毕竟，一个是中文词汇的集合，一个是英文词汇的集合嘛）。 下一章节侃侃分类问题本身的分类。
实验一 Bayes 分类器设计 【实验目的】 对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。 【实验条件】 Matlab 软件 【实验原理】 根据贝叶斯公式，给出在类条件概率密度为正态分布时具体的判别函数表达式，用此判别函数设计分类器。数据随机生成，比如生成两类样本（如鲈鱼和鲑鱼），每个样本有两个特征（如长度和亮度），每类有若干个（比如50个）样本点，假设每类样本点服从二维正态分布，随机生成具体数据，然后估计每类的均值与协方差，在下列各种情况下求出分类边界。先验概率自己给定，比如都为0.5。如果可能，画出在两类协方差不相同的情况下的分类边界。 若第一类的样本为{}12,,n x x x ，则第一类均值的估计为1 1?n k k x n μ==∑，协方差的估计为1 1???()()n T k k k x x n μμ=∑=--∑。则在两类协方差不相同的情况下的判别函数为： 判别边界为g1(x)-g2(x)=0，是一条一般二次曲线（可能是椭圆、双曲线、抛物线等）。 【实验内容】 1、 自动随机生成两类服从二维正态分布的样本点 2、 计算两类样本的均值和协方差矩阵 3、 按照两类协方差不相同情况下的判别函数，求出判别方程曲线。 4、 通过修改不同的参数（均值、方差、协方差矩阵），观察判别方程曲线的变化。 【实验程序】 clear all; close all;
samplenum = 50;%样本的个数 n1(:,1) = normrnd(8,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差 n1(:,2) = normrnd(6,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差 n2(:,1) = normrnd(14,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差 n2(:,2) = normrnd(16,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差 scatter(n1(1:samplenum,1),n1(1:samplenum,2),'ro');%画出样本 hold on scatter(n2(1:samplenum,1),n2(1:samplenum,2),'g*');%画出样本 u1 = mean(n1);%计算第一类样本的均值 e1=0; for i=1:20 e1 = e1+(n1(i,:)-u1)'*(n1(i,:)-u1);%计算协方差矩阵 end; u2 = mean(n2);%计算第二类样本的均值 e2=0; for i=1:20 e2 = e2+(n2(i,:)-u2)'*(n2(i,:)-u2);%计算协方差矩阵 end; e2=e2/20;%计算协方差矩阵 e1=e1/20;%计算协方差矩阵 %-------------通过改变条件来完成不同的曲线--------- % e2 = e1; %-------------------------------------------------- u1 = u1'; u2 = u2'; scatter(u1(1,1),u1(2,1),'b+');%画出样本中心 scatter(u2(1,1),u2(2,1),'b+');%画出样本中心 line([u1(1,1),u2(1,1)],[u1(2,1),u2(2,1)]); %画出样本中心连线 %求解分类方程 W1=-1/2*inv(e1); w1=inv(e1)*u1; w10=-1/2*u1'*inv(e1)*u1-1/2*log(det(inv(e1)))+log(0.5);%假设w1的先验概率为0.5 W2=-1/2*inv(e2); w2=inv(e2)*u2; w20=-1/2*u2'*inv(e2)*u2-1/2*log(det(inv(e2)))+log(0.5);% 假设w2的先验概率为0.5 syms x y; fn = [x,y]*(W1-W2)*[x,y]'+(w1-w2)'*[x,y]'+w10-w20; ezplot(fn,[0,30]);
中文文本分类语料 文本自动分类就是用电脑对文本按照一定的分类体系或标准进行自动分类标记。 文本分类问题与其它分类问题没有本质上的区别，其方法可以归结为根据待分类数据的某些特征来进行匹配，当然完全的匹配是不太可能的，因此必须（根据某种评价标准）选择最优的匹配结果，从而完成分类。现如今，统计学习方法已经成为了文本分类领域绝对的主流。 统计学习方法需要一批由人工进行了准确分类的文档作为学习的材料（称为训练集，注意由人分类一批文档比从这些文档中总结出准确的规则成本要低得多），计算机从这些文档中挖掘出一些能够有效分类的规则，这个过程被形象的称为训练，而总结出的规则集合常常被称为分类器。训练完成之后，需要对计算机从来没有见过的文档进行分类时，便使用这些分类器来进行。 下面提供一些网上能下载到的中文的好语料，供研究人员学习使用。 1.中科院自动化所的中英文新闻语料库https://www.doczj.com/doc/6b2888334.html,/data/13484 中文新闻分类语料库从凤凰、新浪、网易、腾讯等版面搜集。英语新闻分类语料库为Reuters-21578的ModApte版本。 2.搜狗的中文新闻语料库https://www.doczj.com/doc/6b2888334.html,/labs/dl/c.html 包括搜狐的大量新闻语料与对应的分类信息。有不同大小的版本可以下载。 3.李荣陆老师的中文语料库 https://www.doczj.com/doc/6b2888334.html,/data/11968 压缩后有240M大小 4.谭松波老师的中文文本分类语料https://www.doczj.com/doc/6b2888334.html,/data/11970 不仅包含大的分类，例如经济、运动等等，每个大类下面还包含具体的小类，例如运动包含篮球、足球等等。能够作为层次分类的语料库，非常实用。 5.网易分类文本数据https://www.doczj.com/doc/6b2888334.html,/data/11965 包含运动、汽车等六大类的4000条文本数据。 6.中文文本分类语料https://www.doczj.com/doc/6b2888334.html,/data/11963 包含Arts、Literature等类别的语料文本。 7.更全的搜狗文本分类语料 https://www.doczj.com/doc/6b2888334.html,/labs/dl/c.html 搜狗实验室发布的文本分类语料，有不同大小的数据版本供免费下载 8.2002年中文网页分类训练集https://www.doczj.com/doc/6b2888334.html,/data/15021 2002年秋天北京大学网络与分布式实验室天网小组通过动员不同专业的几十个学生，人工选取形成了一个全新的基于层次模型的大规模中文网页样本集。它包括11678个训练网页实例和3630个测试网页实例，分布在11个大类别中。
线性分类器设计 1 问题描述 对“data1.m ”数据，分别采用感知机算法、最小平方误差算法、线性SVM 算法设计分类器，分别画出决策面，并比较性能。（注意讨论算法中参数设置的影响。） 2 方法描述 2.1 感知机算法 线性分类器的第一个迭代算法是1956年由Frank Rosenblatt 提出的，即具有自学习能力的感知器（Perceptron ）神经网络模型，用来模拟动物或者人脑的感知和学习能力。这个算法被提出后，受到了很大的关注。感知器在神经网络发展的历史上占据着特殊的位置：它是第一个从算法上完整描述的神经网络，是一种具有分层神经网络结构、神经元之间有自适应权相连接的神经网络的一个基本网络。 感知器的学习过程是不断改变权向量的输入，更新结构中的可变参数，最后实现在有限次迭代之后的收敛。感知器的基本模型结构如图1所示： 图1 感知器基本模型 其中，X 输入，Xi 表示的是第i 个输入；Y 表示输出；W 表示权向量；w0是阈值，f 是一个阶跃函数。 感知器实现样本的线性分类主要过程是：特征向量的元素x1，x2，……，xk 是网络的输入元素，每一个元素与相应的权wi 相乘。，乘积相加后再与阈值w0相加，结果通过f 函数执行激活功能，f 为系统的激活函数。因为f 是一个阶跃函数，故当自变量小于0时，f= -1；当自变量大于0时，f= 1。这样，根据输出信号Y ，把相应的特征向量分到为两类。 然而，权向量w 并不是一个已知的参数，故感知器算法很重要的一个步骤即是寻找一个合理的决策超平面。故设这个超平面为w ，满足： 12 *0,*0,T T w x x w x x ωω>?∈
神经网络分类器的应用 ——关于感知器的认识 人工神经网络既是一种基本的人工智能研究途径，也是一种非常重要的机器学习方法。人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式建立起来的网络系统。人脑是在人工神经网络的原型，人工神经网络是对人脑神经系统的模拟。 人工神经网络是借鉴于生物神经网络而发展起来的新型智能信息处理系统，由于其结构上“仿造”了人脑的生物神经系统，因而其功能上也具有了某种智能特点。由于神经网络具有分布储存信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。这种能力是通过神经元之间的协同结构以及信息处理的集体行为而实现的。设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射，可以作为多维非线性函数的通用数学模型。神经网络对外界输入样本具有很强的识别和分类能力，可以很好的解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。 生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。据估计，人脑神经系统的神经细胞约为1011－1013个。它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。神经细胞是构成神经系统的基本单元，称之为生物神经元，或者简称为神经元。神经元主要由三个部分组成：细胞体、轴突、树突（如下图所示）。 感知器模型由美国学者罗森布莱特（F.Rosenblatt ）于1957年提出，是一种早期的神经网络模型，也是最简单的一种神经网络模型。感知器模型中第一次引入了学习的概念。 感知器模型可以分为简单感知器和多层感知器两种。 简单感知器模型实际上仍然是MP 模型的结构。但是，它是通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。感知器处理单元对n 个输入进行加权和操作以后，通过非线性函数输出，即： 其中，w i 为第i 个输入到处理单元的连接权值,θ为阈值, f 取阶跃函数。 感知器在形式上与MP 模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。利用简单感知器可以实现逻辑代数中的一些运算。 1() n i i i i y f w x θ==-∑
文本分类的常见方法
文本分类的过程： （1）选择训练文本。好的训练文本对分类器的最终结果起到至关重要的作用。 （2）选择文本特征。对训练样本和测试样本进行数据预处理，包括分词、去停用词、消除噪音等。目前的文本分类研究，主要选取一些具有代表性的词、词组、短语来表示文本。（3）建立文本表示模型。为了便于计算机理解和计算相关的文本属性，需要对文本进行表示，其中向量空间模型(Vector Space Model VSM)运用最为广泛。 （4）选择分类方法。文本分类的核心部分，不同的分类方法原理不同需要处理的数 据也不同。经典分类算法有朴素贝叶斯(Naive Bayes NB)、K-近邻(K-Nearest Neighbor KNN)、决策树(Decision Tree DTree)、算数平均质心(Arithmetical Average Centroid AAC)、支持向量机(Support Vector Machine SVM)。 （5）分类结果的评估。目前主流的评估标准准确率、召回率和F1值。
选择文本特征 我们需要将文档转换为计算机可以衡量、运算的形式。现在运用最广泛的形式：将文档映射入向量空间。具体流程如图1。 张三说的确实在理。李四买了一张三角桌子。 张三/说/的/确实/在理。 李四/买/了/一张/三角/桌子。 对中文文档进行分词 中文分词系统：盘古、Lucene 张三、在理 李四、三角、桌子 去除停顿词 在理、三角、桌子 特征项提取 评判的标准：信息增益、期望交叉熵 互信息、开放检验 这样就将一篇文章映射成了为了向量空间中的一个向量。在把文章都映射完成后，我们可以根据自己不同的需求，在向量空间中进行运算。比如计算两篇文章的相似度：我们把向量的起点都映射到原点，则我们可以比较向量的长度、向量的夹角、向量两个终点的距离等等；我们还可以宏观的观察大量的向量在向量空间中的分布情况，对大量聚集在一起的向量抽取它们的共性：计算他们的中心、他们整体的方向等。其实数学模型很好，只不过限于计算机的存储、运算水平，向量空间的维度过高、文档数量过大、计算复杂度过高会使得模型的计算机实现变得困
基于Fisher准则线性分类器设计 专业：电子信息工程 学生：子龙 学号：201316040117
一、实验类型 设计型：线性分类器设计（Fisher 准则） 二、实验目的 本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher 准则方法确定最佳线性分界面方法的原理，以及Lagrande 乘子求解的原理。 三、实验条件 matlab 软件 四、实验原理 线性判别函数的一般形式可表示成 0)(w X W X g T += 其中 ????? ??=d x x X Λ1?????? ? ??=d w w w W Λ21 根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类样本投影尽可能密集的要求，用以评价投影方向W 的函数为： 2 2 2122 1~~)~~()(S S m m W J F +-= )(211 *m m S W W -=- 上面的公式是使用Fisher 准则求最佳法线向量的解，该式比较重要。另外，该式这种
形式的运算，我们称为线性变换，其中21m m -式一个向量，1 -W S 是W S 的逆矩阵，如21m m -是d 维，W S 和1-W S 都是d ×d 维，得到的* W 也是一个d 维的向量。 向量* W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量* W 的各分量值是对原d 维特征向量求加权和的权值。 以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量* W 的计算方法，但是判别函数中的另一项0W 尚未确定，一般可采用以下几种方法确定0W 如 2 ~~2 10m m W +-= 或者 m N N m N m N W ~~~2 12 2110=++- = 或当1)(ωp 与2)(ωp 已知时可用 []??????-+-+=2)(/)(ln 2 ~~212 1210N N p p m m W ωω …… 当W 0确定之后，则可按以下规则分类， 2 010ωω∈→->∈→->X w X W X w X W T T 使用Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。 五、实验容 已知有两类数据1ω和2ω二者的概率已知1)(ωp =0.6，2)(ωp =0.4。 1ω中数据点的坐标对应一一如下：
用神经网络训练一个文本分类器 理解聊天机器人的工作原理是非常重要的。聊天机器人内部一个非常重要的组件就是文本分类器。我们看一下文本分类器的神经网络（ANN）的内部工作原理。 多层神经网络 我们将会使用2层网络（1个隐层）和一个“词包”的方法来组织我们的训练数据。文本分类有3个特点：模式匹配、算法、神经网络。虽然使用多项朴素贝叶斯算法的方法非常有效，但是它有3个致命的缺陷： ?这个算法输出一个分数而不是一个概率。我们可以使用概率来忽略特定阈值以下的预测结果。这类似于忽略收音机中的噪声。 ?这个算法从一个样本中学习一个分类中包含什么，而不是一个分类中不包含什么。 一个分类中不包含什么的的学习模式往往也很重要。
不成比例的大训练集的分类将会导致扭曲的分类分数，迫使算法相对于分类规模来调整输出分数，这并不理想。 和它“天真”的对手一样，这种分类器并不试图去理解句子的含义，而仅仅对它进行分类。事实上，所谓的“人工智能聊天机器人”并不理解语言，但那是另一个故事。 如果你刚接触人工神经网络，这是它的工作原理。 理解分类算法，请看这里。 我们来逐个分析文本分类器的每个部分。我们将按照以下顺序： 1.引用需要的库 2.提供训练集 3.整理数据 4.迭代：编写代码+测试预测结果+调整模型 5.抽象 代码在这里，我们使用ipython notebook这个在数据科学项目上非常高效的工具。代码语法是python。 我们首先导入自然语言工具包。我们需要一个可靠的方法将句子切分成词并且将单词词干化处理。 1 2 3 4 # use natural language toolkit import nltk from https://www.doczj.com/doc/6b2888334.html,ncaster import LancasterStemmer import os
SVM分类器设计 1.引言 支撑矢量机（SVM）是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。SVM分类器在推广性和经验误差两方面能达到平衡，是目前比较盛行的分类器。 1.1 什么是SVM分类器 所谓支持向量机，顾名思义，分为两个部分了解，一什么是支持向量，简单来说，就是支持或者是支撑平面上把两类类别划分开来的超平面的向量点；二这里的“机”是什么意思。“机（machine,机器）”便是一个算法。在机器学习领域，常把一些算法看做是一个机器，如分类机(当然，也叫做分类器)，而支持向量机本身便是一种监督式学习的方法它广泛的应用于统计分类以及回归分析中。 SVM的主要思想可以概括为两点：⑴它是针对线性可分情况进行分析；(2)对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。 1.2 SVM分类器的优点和缺点 优点： (1)由于核函数隐含一个复杂映射，经验误差小，因此针对小样本数据利用支持向量能够完成线性或非线性规划问题；推广性和经验误差平衡。 (2)SVM 的最终决策函数只由靠近边界的少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。 (3)少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在:①增、删非支持向量样本对模型没有影响;②支持向量样本集具有一定的鲁棒性; ③有些成功的应用中,SVM 方法对核的选取不敏感 缺点： (1)在训练分类器时 ,SVM的着眼点在于两类的交界部分 ,那些混杂在另一类中的点往往无助于提高分类器的性能 ,反而会大大增加训练器的计算负担 ,同时它们的存在还可能造成过学习 ,使泛化能力减弱 .为了改善支持向量机的泛化能力。 (2)SVM算法对大规模训练样本难以实施。由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。 (3)用SVM解决多分类问题存在困难。经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。如：与粗集理论结合，形成一种优势互补的多类问题的组合分类器1.3 SVM分类器当前研究热点 (1)针对大样本数据训练难度问题，对SVM算法的改进。例如J.Platt的SMO算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR算法。 (2)如何降低边界混杂点(即所谓统计误差导致的“不干净”点)导致的不必要的训练计算负担，增强泛化能力。这种思路聚焦于样本数据预处理的探索，例如NN-SVM。 (3)分类器设计思想之间的融合以及取长补短。例如[2]采样支撑矢量机和最近邻分类相