具有重要用途的研究课题。而在这些数据中，文本数据又是数量最大的一类。“文本分类是指在给定分类体系下，根据文本内容自动确定文本类别的过程”（达观数据科技联合创始人，张健）。文本分类有着广泛的应用场景，例如：
?新闻网站包含大量报道文章，基于文章内容，需要将这些文章按题材进行自动分类（例如自动划分成政治、经济、军事、体育、娱乐等。
?在电子商务网站，用户进行了交易行为后对商品进行评价分类，商家需要对用户的评价划分为正面评价和负面评价，来获取各个商品的用户反馈统计情况。
?电子邮箱频繁接收到垃圾广告信息，通过文本分类技术从众多的邮件中识别垃圾邮件并过滤，提高了邮箱用户的使用效率。
?媒体每日有大量投稿，依靠文本分类技术能够对文章进行自动审核，标记投稿中的色情、暴力、政治、垃圾广告等违规内容。
20世纪90年代以前，占主导地位的文本分类方法一直是基于知识工程的方法：借助专业人员的帮助，为每个类别定义大量的推理规则，如果一篇文档能满足这些推理规则，则可以判定属于该类别。但是这种方法有明显的缺点：分类的质量依赖于规则的好坏；需要大量的专业人员进行规则的制定；不具备可推广性，不同的领域需要构建完全不同的分类系统，造成开发资源和资金资源的巨大浪费。
而机器学习技术能很好地解决上述问题，以统计理论为基础，利用算法让机器具有类似人类般的自动“学习”能力——对已知的训练数据做统计分析从而获得规律，再运用规律对未知数据做预测分析。机器学习方法运用在文本分类上的基本过程就是：标注——利用人工对一批文档进行了准确分类，以作为训练集（进行机器学习的材料）；训练——计算机从这些文档中挖掘出一些能够有效分类的规则，生成分类器（总结出的规则集合）；分类——将生成的分类器应用在有待分类的文档集合中，获取文档的分类结果。由于机器学习方法在文本分类领域有着良好的实际表现，已经成为了该领域的主流。
达观数据团队在处理海量数据方面具有丰富的经验，在文本分类技术方面有深入的实践，并将文本分类技术成功运用到了线上服务中，取得了良好的效果。本文整理了文本分类的基本方法和处理流程，进行了综述性介绍。
（一）：文本预处理
1.文本分类流程
文本分类的流程如图 1所示，包括训练、特征抽取、训练模型、分类预测等几个主要环节。
图 1 文本分类流程图
2.文本预处理
2.1文档建模
机器学习方法让计算机自己去学习已经分类好的训练集，然而计算机是很难按人类理解文章那样来学习文章，因此，要使计算机能够高效地处理真实文本，就必须找到一种理想的形式化表示方法，这个过程就是文档建模。文档建模一方面要能够真实地反映文档的内容，另一方面又要对不同文档具有区分能力。文档建模比较通用的方法包括布尔模型、向量空间模型（VSM）和概率模型。其中最为广泛使用的是向量空间模型。
经典的向量空间模型(VSM： Vector Space Model)由Salton等人于60年代提出，并成功地应用于著名的SMART文本检索系统。VSM概念非常直观——把对文
本内容的处理简化为向量空间中的向量运算，并且它以空间上的相似度表达语义的相似度，直观易懂。当文档被表示为文档空间的向量时，就可以通过计算向量之间的相似性来度量文档间的相似性。文本处理中最常用的相似性度量方式是余弦距离。文本挖掘系统采用向量空间模型，用特征词条(T1，T2，…Tn)及其权值Wi代表目标信息，在进行信息匹配时，使用这些特征项评价未知文本与目标样本的相关程度。特征词条及其权值的选取称为目标样本的特征提取，特征提取算法的优劣将直接影响到系统的运行效果。
设D为一个包含m个文档的文档集合Di为第i个文档的特征向量，则有D={D1，D2，…，Dm}，Di=(di1di2…dij)，i=12，…，m j=1，2，…，n。其中dij(i=1，2，…，m； j=1，2，…，n)为文档Di中第j个词条tj的权值它一般被定义为tj在Di中出现的频率tij的函数，例如采用TF-IDF函数，即dij=tij*log(N/nj)。其中N是文档数据库中文档总数，nj是文档数据库含有词条tj的文档数目。假设用户给定的文档向量为D2，未知的文档向量为q，两者的相似程度可用两向量的夹角余弦来度量，夹角越小说明相似度越高。相似度的计算公式如下
图 2 向量空间模型
通过上述的向量空间模型，文本数据就转换成了计算机可以处理的结构化数据，两个文档之间的相似性问题转变成了两个向量之间的相似性问题。
2.2 中文分词技术
在使用向量模型表示文档时，首先要对文档进行词汇化处理。对于英语或者法语等语言来说，将文档转化成词的集合比较简单，但是对于汉语来说，不像英文文本的单词那样有空格来区分，这个处理过程要依赖于分词技术。从简单的查词典的方法，到后来的基于统计语言模型的分词方法，中文分词的技术已趋于成熟。但是，尽管现在分词软件的准确率已经比较高了，它对专业术语（称为未登录词识别）的识别率还不是很好。例如“来自星星的你”，分词可以成功切分为“来自\星星\的\你”，但是怎样把“来自星星的你”作为一个完整的专有名词（电视剧名称）识别出来，还有很多技术要解决。为了进一步提高关键词抽取的准确率，通常需要在词库中添加专名词表来保证分词的质量。
在完成分词之后，我们对词语的位置信息做进一步的发掘，需要确定记录位置信息的方式以及各个位置的词在反映主题时的相对重要性。标题、摘要和结论、正文等文章各个部分的位置权重是各不相同的，当软件逐词扫描统计词频时，记录每个词的位置信息。
在计算文档的特征向量的值时，还需要对文本集进行一些处理，过滤掉无用的信息。滤除这些没有作用的词语可以减少文本特征向量的维数，减少不必要的运算。常见做法包括：
?去掉一些低频词，比如某些单词只在一两个文本中出现过，这样词留在集合中会导致大部分文本样本的该属性值为0。
?去掉停止词，一般这种词几乎不携带任何信息。例如：“的”、“地”、“得”之类的助词，以及像“然而”、“因此”等只能反映句子语法结构的词语，它们不但不能反映文献的
主题，而且还会对关键词的抽取造成干扰，有必要将其滤除。应该去掉的停止词为
所有虚词以及标点符号。
?去掉一些标记信息，这主要针对网页文本或其他的标记语言文本。
（二）：特征抽取
1.文本特征抽取
目前大多数中文文本分类系统都采用词作为特征项，作为特征项的词称作特征词。这些特征词作为文档的中间表示形式，用来实现文档与文档、文档与用户目标之间的相似度计算。如果把所有的词都作为特征项，那么特征向量的维数将过于巨大，会对分类系统的运算性能造成极大的压力。在这样的情况下，要完成文本分类几乎是不可能的。寻求一种有效的特征降维方法，不仅能降低运算复杂度，还能提高分类的效率和精度，是文本自动分类中一项重要技术。
特征抽取的主要功能就是在不损伤核心信息的情况下降低向量空间维数，简化计算，提高文本处理的速度和效率。相对于其他分类问题，文本特征抽取的方式常见的有4种：
?用映射或变换的方法把原始特征变换为较少的新特征；
?从原始特征中挑选出一些最具代表性的特征；
?根据专家的知识挑选最有影响的特征；
?基于数学方法进行选取，找出最具分类信息的特征。
其中基于数学方法进行特征选择比较精确，人为因素干扰少，尤其适合于文本应用。这种方法通过构造评估函数，对特征集合中的每个特征进行评估，并对每个特征打分，这样每个词语都获得一个评估值，又称为权值，然后将所有特征按权值大小排序，提取预定数目的最优特征作为提取结果的特征子集。
2.评估函数
对用数学方法进行特征选择的算法，决定文本特征提取效果的主要因素是评估函数的质量，常用评估函数包括：
(1) TF-IDF
单词权重最为有效的实现方法就是TF-IDF它是由Salton在1988 年提出的。其中TF 称为词频，用于计算该词描述文档内容的能力。IDF 称为反文档频率，用于计算该词区分文档的能力。TF*IDF 的指导思想建立在这样一条基本假设之上：在一个文本中出现很多次的单词，在另一个同类文本中出现次数也会很多，反之亦然。所以如果特征空间坐标系取TF词频作为测度，就可以体现同类文本的特点。另外还要考虑单词区别不同类别的能力，TF*IDF法认为一个单词出现的文本频率越小，它区别不同类别的能力就越大，所以引入了逆文本频度IDF的概念：以TF和IDF的乘积作为特征空间坐标系的取值测度。TF-IDF法是以特征词在文档d中出现的次数与包含该特征词的文档数之比作为该词的权重，即其中，Wi 表示第i个特征词的权重，TFi(t，d)表示词t在文档d中的出现频率，N表示总的文档数，DF(t)表示包含t的文档数。用TF-IDF算法来计算特征词的权重值是表示当一个词在这篇文档中出现的频率越高，同时在其他文档中出现的次数越少，则表明该词对于表示这篇文档的区分能力越强，所以其权重值就应该越大。将所有词的权值排序，根据需要可以有两种选择方式：
?选择权值最大的某一固定数n个关键词
?选择权值大于某一阈值的关键词
达观数据的实践经验是，计算机选择的关键词数量在10∽15个，人工选择的关键词数量在4∽6个比较合适，通常具有最好的覆盖度和专指度。TFIDF算法是建立在这样一个假设之上的：对区别文档最有意义的词语应该是那些在文档中出现频率高，而在整个文档集合的其他文档中出现频率少的词语，所以如果特征空间坐标系取TF词频作为测度，就可以体现同类文本的特点。另外考虑到单词区别不同类别的能力，TFIDF法认为一个单词出现的文本频数越小，它区别不同类
别文本的能力就越大。因此引入了逆文本频度IDF的概念，以TF和IDF的乘积作为特征空间坐标系的取值测度，并用它完成对权值TF的调整，调整权值的目的在于突出重要单词，抑制次要单词。但是在本质上IDF是一种试图抑制噪音的加权，并且单纯地认为文本频数小的单词就越重要，文本频数大的单词就越无用，显然这并不是完全正确的。IDF的简单结构并不能有效地反映单词的重要程度和特征词的分布情况，使其无法很好地完成对权值调整的功能，所以TF*IDF法的精度并不是很高。此外，在TFIDF算法中并没有体现出单词的位置信息，对于Web文档而言，权重的计算方法应该体现出HTML的结构特征。特征词在不同的
标记符中对文章内容的反映程度不同，其权重的计算方法也应不同。因此应该对于处于网页不同位置的特征词分别赋予不同的系数，然后乘以特征词的词频，以提高文本表示的效果。
(2) 词频法
词频是一个词在文档中出现的次数。通过词频进行特征选择就是将词频小于某一阈值的词删除，从而降低特征空间的维数。这个方法是基于这样一个假设，即出现频率小的词对过滤的影响也较小。但是在信息检索的研究中认为，有时频率小的词含有更多的信息。因此，在特征选择的过程中不宜简单地根据词频大幅度删词。
(3) 文档频次法
文档频数(Document Frequency， DF)是最为简单的一种特征选择算法，它指的是在整个数据集中有多少个文本包含这个单词。在训练文本集中对每个特征计一算它的文档频次，并且根据预先设定的阑值去除那些文档频次特别低和特别高的特征。文档频次通过在训练文档数量中计算线性近似复杂度来衡量巨大的文档集，计算复杂度较低，能够适用于任何语料，因此是特征降维的常用方法。在训练文本集中对每个特征计算它的文档频数，若该项的DF值小于某个阈值则将其删除，若其DF值大于某个阈值也将其去掉。因为他们分别代表了“没有代表性”和“没有区分度”两种极端的情况。DF特征选取使稀有词要么不含有用信息，要
么太少而不足以对分类产生影响，要么是噪音，所以可删去。DF的优点在于计
算量小，速度快，它的时间复杂度和文本数量成线性关系，所以非常适合于超大规模文本数据集的特征选择。不仅如此，文档频数还非常地高效，在有监督的特征选择应用中当删除90%单词的时候其性能与信息增益和X2统计的性能还不相
上下。但如果某一稀有词条主要出现在某类训练集中，却能很好地反映类别的特征，而因低于某个设定的阈值而滤除掉，包含着重要的判断信息被舍弃，这样就会对分类精度有一定的影响。
(4) 互信息方法
互信息（Mutual Information）衡量的是某个词和类别之间的统计独立关系，某个词t和某个类别Ci传统的互信息定义如下：互信息是计算语言学模型分析的常用方法，它度量两个对象之间的相互性。在过滤问题中用于度量特征对于主题的区分度。
互信息的定义与交叉嫡近似。互信息本来是信息论中的一个概念，用于表示信息之间的关系，是两个随机变量统计相关性的测度，使用互信息理论进行特征抽取是基于如下假设：在某个特定类别出现频率高，但在其他类别出现频率比较低的词条与该类的互信息比较大。通常用互信息作为特征词和类别之问的测度，如果特征词属于该类的话，它们的互信息量最大。由于该方法不需要对特征词和类别之间关系的性质作任何假设，因此非常适合于文本分类的特征和类别的配准工作。特征项和类别的互信息体现了特征项与类别的相关程度，是一种广泛用于建立词关联统计模型的标准。
互信息与期望交叉熵的不同在于没有考虑特征出现的频率，这样导致互信息评估函数不选择高频的有用词而有可能选择稀有词作为文本的最佳特征。因为对于每一主题来讲，特征t的互信息越大，说明它与该主题的共现概率越大，因此，以互信息作为提取特征的评价时应选互信息最大的若干个特征。互信息计算的时间复杂度类似于信息增益，互信息的平均值就是信息增益。互信息的不足之处在于得分非常受词条边缘概率的影响。达观的实验数据显示，互信息分类效果通常比较差，其次是文档频率、CC 统计，CHI 统计分类效果最好。
对互信息而言，提高分类精度的方法有：1) 可以增加特征空间的维数，以提取足够多的特征信息，这样就会带来了时间和空间上的额外开销；2) 根据互信息函数的定义，认为这些低频词携带着较为强烈的类别信息，从而对它们有不同程度的倚重。当训练语料库没有达到一定规模的时候，特征空间中必然会存在大量的出现文档频率很低(比如低于3 次) 的词条，他们较低的文档频率导致了他们必然只属于少数类别。但是从抽取出来的特征词观察发现，大多数为生僻词，很少一部分确实带有较强的类别信息，多数词携带少量的类别信息，甚至是噪音词。
(5) 期望交叉熵(Expected Cross Entropy)
交叉嫡与信息量的定义近似，其公式为：交叉嫡，也称KL距离。它反映了文本主题类的概率分布和在出现了某特定词汇的条件下文本主题类的概率分布之间
的距离，词汇w的交叉嫡越大，对文本主题类分布的影响也越大。它与信息增益唯一的不同之处在于没有考虑单词未发生的情况，只计算出现在文本中的特征项。如果特征项和类别强相关，P(Ci|w)就大，若P(Ci) 又很小的话，则说明该特征对分类的影响大。交叉熵反映了文本类别的概率分布和在出现了某个特定词的条件下文本类别的概率分布之间的距离，特征词t的交叉熵越大，对文本类别分布的影响也越大。熵的特征选择效果都要优于信息增益。
(6) 二次信息熵(QEMI)
将二次熵函数应用于互信息评估方法中，取代互信息中的Shannon熵，就形成了基于二次熵的互信息评估函数。基于二次熵的互信息克服了互信息的随机性，是一个确定的量，因此可以作为信息的整体测度，另外它还比互信息最大化的计算复杂度要小，所以可以比较高效地用在基于分类的特征选取上。
(7) 信息增益方法(Information Gain)
信息增益方法是机器学习的常用方法，在过滤问题中用于度量已知一个特征是否出现于某主题相关文本中对于该主题预测有多少信息。通过计算信息增益可以得到那些在正例样本中出现频率高而在反例样本中出现频率低的特征，以及那些在反例样本中出现频率高而在正例样本中出现频率低的特征。信息增益G(w)的训算公式如下：其中P(w)是词w出现的概率，P(Ci)是取第i个目录时的概率，
P(Ci|w) 是假定w出现时取第i个目录的概率。
信息增益是一种基于熵的评估方法，涉及较多的数学理论和复杂的熵理论公式，定义为某特征项为整个分类所能提供的信息量，不考虑任何特征的熵与考虑该特征后的熵的差值。他根据训练数据，计算出各个特征项的信息增益，删除信息增益很小的项，其余的按照信息增益从大到小排序。信息增益是信息论中的一个重要概念，它表示了某一个特征项的存在与否对类别预测的影响，定义为考虑某一特征项在文本中出现前后的信息熵之差。某个特征项的信息增益值越大，贡献越大，对分类也越重要。信息增益方法的不足之处在于它考虑了特征未发生的情况。特别是在类分布和特征值分布高度不平衡的情况下，绝大多数类都是负类，绝大多数特征都不出现。此时的函数值由不出现的特征决定，因此，信息增益的效果就会大大降低。信息增益表现出的分类性能偏低。因为信息增益考虑了文本特征未发生的情况，虽然特征不出现的情况肿可能对文本类别具有贡献，但这种贡献往往小于考虑这种情况时对特征分值带来的干扰。
(8) 统计量方法
X2统计量用于度量特征W和主题类C之间的独立性。而表示除W以外的其他特征，C表示除C以外的其他主题类，那么特征W和主题类C的关系有以下四种情况：用A、B、C、D表示这四种情况的文档频次，总的文档数N=A+B+C+D，扩统计量的计算公式如下：当特征W和主题类C之间完全独立的时候，X2统计量为0。X2统计量和互信息的差别在于它是归一化的统计量，但是它对低频特征的区分效果也不好。X2 统计得分的计算有二次复杂度，相似于互信息和信息增益。在 X2 统计和互信息之间主要的不同在于 X2 是规格化评价，因而 X2 评估分值对在同类中的词是可比的，但是 X2 统计对于低频词来说是不可靠的。
利用X2 统计方法来进行特征抽取是基于如下假设：在指定类别文本中出现频率高的词条与在其他类别文本中出现频率比较高的词条，对判定文档是否属于该类别都是很有帮助的.采用X2估计特征选择算法的准确率在实验中最高，其分类效果受训练集影响较小，比较稳定。而且在对文教类和政治类存在类别交叉现象的文本进行分类时，采用X2估计的分类系统表现出了优于其它方法的分类性能。X2估计的可靠性较好，便于对程序的控制，无需因训练集的改变而人为的调节特征阀值的大小。
(9) 文本证据权(The Weight of Evidence for Text)
文本证据权衡量类的概率和给定特征时类的条件概率之间的差别。
(10) 优势率(Odds Ratio)
优势率只适用于二元分类的情况，其特点是只关心文本特征对于目标类的分值。Pos表示目标类，neg表示非目标类。
(11) 遗传算法(Genetic Algorithm， GA)：
遗传算法(Genetic Algorithm， GA)是一种通用型的优化搜索方法，它利用结构化的随机信息交换技术组合群体中各个结构中最好的生存因素，复制出最佳代码串，并使之一代一代地进化，最终获得满意的优化结果。
文本实际上可以看作是由众多的特征词条构成的多维空间，而特征向量的选择就是多维空间中的寻优过程，因此在文本特征提取研究中可以使用高效寻优算法。在将文本特征提取问题转化为文本空间的寻优过程中，首先对Web文本空间进行遗传编码，以文本向量构成染色体，通过选择、交叉、变异等遗传操作，不断搜索问题域空间，使其不断得到进化，逐步得到Web文本的最优特征向量。基于协同演化的遗传算法不是使用固定的环境来评价个体，而是使用其他的个体来评价特定个体。基于协同演化的遗传算法不仅能反映其母体的特征，还能反映其他同类文本的共性，这样可以有效地解决同一主题众多文本的集体特征向量的提取问题，获得反映整个文本集合某些特征的最佳个体。
(12) 主成分分析法(Principal Component Analysis，PCA)
PCA是非常常用的一种通用特征降维方法，也同样大规模用于文本特征抽取中，基于其处理方式的不同又分为数据方法和矩阵方法。
矩阵方法中，所有的数据通过计算方差一协方差结构在矩阵中表示出来，矩阵的实现目标是确定协方差矩阵的特征向量，它们和原始数据的主要成分相对应。在主成分方法中，由于矩阵方法的复杂度在n很大的情况以二次方增长，因此人们又开发了主要使用Hebbian学习规则的PCA神经网络方法。主成分分析法是特征选取常用的方法之一，它能够揭示更多有关变量-丰要方向的信息。但它的问题在于矩阵方法中要使用奇异值分解对角化矩阵求解方差一协方差。
(13) 模拟退火算法(Simulating Anneal，SA)
特征选取可以看成是一个组合优化问题，因而可以使用解决优化问题的方法来解决特征选取的问题。模拟退火算法(Simulating Anneal，SA)就是其中一种方法。模拟退火算法是一个很好的解决优化问题的方法，将这个方法运用到特征选取中，理论上能够找到全局最优解，但在初始温度的选取和邻域的选取t要恰当，必须要找到一个比较折中的办法，综合考虑解的性能和算法的速度。
(14) N-Gram算法
它的基本思想是将文本内容按字节流进行大小为N的滑动窗口操作，形成长度为N的字节片段序列。每个字节片段称为gram，对全部gram的出现频度进行统计，并按照事先设定的阈值进行过滤，形成关键gram列表，即为该文本的特征向量空间，每一种gram则为特征向量维度。
由于N-Gram算法可以避免中文分词的障碍，所以对中文分类有较高的实用性。中文文本处理大多采用双字节进行分解，称之为bi-gram。但是bi-gram切分方法在处理20%左右的中文多字词时，往往产生语义和语序方面的偏差。而对于专业研究领域，多字词常常是文本的核心特征，处理错误会导致较大的负面影响。基于N-Gram改进的文本特征提取算法，在进行bi-gram切分时，不仅统计gram 的出现频度，而且还统计某个gram与其前邻gram的情况，并将其记录在gram 关联矩阵中。对于那些连续出现频率大于事先设定阈值的，就将其合并成为多字特征词。这样通过统计与合并双字特征词，自动产生多字特征词，可以较好地弥补N-Gram算法在处理多字词方面的缺陷。
3. 评估函数对比分析
上述罗列的几种文档特征评估函数的特点如何呢？信息增益的定义过于复杂，因此应用较多的是交叉嫡和互信息。其中互信息的效果要好于交叉嫡，这是因为互信息是对不同的主题类分别抽取特征词，而交叉嫡跟特征在全部主题类内的分布有关，是对全部主题类来抽取特征词。这些方法，在英文特征提取方面都有各自的优势，但用于中文文本，并没有很高的效率。主要有2个方面的原因：
?特征提取的计算量太大，特征提取效率太低，而特征提取的效率直接影响到整个文本分类系统的效率；
?经过特征提取后生成的特征向量维数太高，而且不能直接计算出特征向量中各个特征词的权重。
目前使用评估函数进行特征选取越来越普遍，特征选取算法通过构造一个评估函数的方法，选取预定数目的最佳特征作为特征子集的结果。在几种评估方法中，每一种方法都有一个选词标准，遵从这个标准，从文本集的所有词汇中选取出有某个限定范围的特征词集。因为评估函数的构造不是特别复杂，适用范围又很广泛，所以越来越多的人们喜欢使用构造评估函数来进行特征的选取，这些评估函数在Web文本挖掘中被广泛使用，特征选择精度普遍达到70%~80%，但也各自存在缺点和不足。例如，“信息增益”考虑了单词未发生的情况，对判断文本类别贡献不大，而且引入不必要的干扰，特别是在处理类分布和特征值分布高度不平衡的数据时选择精度下降。“期望交叉熵”与“信息增益”的唯一不同就是没有考虑单词未发生的情况，因此不论处理哪种数据集，它的特征选择精度都优于“信息增益”。与“期望交叉熵”相比，“互信息”没有考虑单词发生的频度，这是一个很大的缺点，造成“互信息”评估函数经常倾向于选择稀有单词。“文本证据权”是一种构造比较新颖的评估函数，它衡量一般类的概率和给定特征类的条件概率之间的差别，这样在文本处理中，就不需要计算W的所有可能值，而仅考虑W在文本中出现的情况。“优势率”不像前面所述的其他评估函数将所有类同等对待，它只关心目标类值，所以特别适用于二元分类器，可以尽可能多地识别正类，而不关心识别出负类。从考虑文本类间相关性的角度，可以把常用的评估函数分为两类，即类间不相关的和类间相关的。
“文档频数”(DF)是典型的类间不相关评估函数，DF的排序标准是依据特征词在文档中出现篇数的百分比，或称为篇章覆盖率。这种类型的评估函数，为了提高区分度，要尽量寻找篇章覆盖率较高的特征词，但又要避免选择在各类文本中
都多次出现的无意义高频词，因此类间不相关评估函数对停用词表的要求很高。但是很难建立适用于多个类的停用词表，停用词不能选择太多，也不能选择太少，否则都将会影响特征词的选择。同时，类间不相关评估函数还存在一个明显的缺点，就是对于特征词有交叉的类别或特征相近的类别，选择的特征词会出现很多相似或相同的词条，造成在特定类别间的区分度下降。类间相关的评估函数，例如期望交叉熵、互信息、文本证据权等，综合考虑了词条在已定义的所有类别中的出现情况，可以通过调整特征词的权重，选择出区分度更好的特征，在一定程度上提高了相近类别的区分度。但是，该区分度的提高仅体现在已定义的类别间，而对于尚未定义的域外类别，类间相关评估函数的选择效果也不理想。因此，在评估函数选择问题上，提高对域外类别文本的区分度是十分重要的研究课题。
传统的特征选择方法大多采用以上各评估函数进行特征权重的计算，由于这些评估函数是基于统计学的，其中一个主要缺陷就是需要用一个很庞大的训练集才能获得几乎所有的对分类起关键作用的特征．这需要消耗大量的时间和空间资源，况且构建这样一个庞大的训练集也是一项十分艰巨的工作。然而在现实应用中，考虑到工作效率，不会也没有足够的资源去构建一个庞大的训练集，这样的结果就是：被选中的甚至是权重比较高的特征，可能对分类没有什么用处，反而会干涉到正确的分类；而真正有用的特征却因为出现的频率低而获得较低的权重，甚至在降低特征空间维数的时候被删除掉了。基于评估函数的特征提取方法是建立在特征独立的假设基础上，但在实际中这个假设是很难成立的，因此需要考虑特征相关条件下的文本特征提取方法。
4. 词向量的应用
特征选择也可以通过用映射或变换的方法把原始特征变换为较少的新特征。上面提到的特征选择模块，在实际情况会碰到这样的问题：无论是采用文档频率、信息增益法、互信息法等得降维方法，都会损失了部分的文档信息。以文档频率为例，在特征选择过程中由于某些关键的词语低于了人为设定的阈值，所以会被直接忽视掉，而很多情况这部分词汇能包含较多的信息，对于分类的重要性比较大。怎么能够进一步理解这部分的信息，是急需要解决的问题。一个想法是找到这些使用频率比较低的词语相似的高频词，譬如在讨论“月亮”的古诗词中，包含了很多低频的同义词，如“玉兔”，“婵娟”等，如果我们能把这些低频的词语合并到一个维度，无疑是能够增强分类系统对文档的理解深度的。词向量这一概念能够有效地表示词语之间的相似性，适用于这种方法。
先介绍一下词向量的定义。一种最简单的词向量是one-hot representation，就是用一个很长的向量来表示一个词，向量的长度是词典D的大小N，向量的分量只有一个为1，其他全为0，1的位置对应该词在词典中的索引。这种词向量表示有一些缺点：容易受维数灾难的困扰。另一种词向量是Distributed Representation，它最早是Hinton于1986年提出来的，可以克服one-hot representation的上述缺点。其基本想法是：通过训练将某种语言中的每个词映射成一个固定长度的短向量。所有这些向量构成一个词向量空间，每个向量是该空间中的一个点，在这个空间上引入距离，就可以根据词之间的距离来判断它们之间的（词法、语义上的）相似性了。如何获取Distributed Representation 的词向量呢？有很多不同的模型可以用来估计词向量，包括有名的LSA、LDA和
神经网络算法。Word2Vec就是使用度比较广的一个神经网络算法实现的词向量计算工具。
现在介绍词向量在分类系统上的具体实践。Word2Vec能够将词映射成一个固定长度的短向量，所以生成了文档集合词语的向量表示。由于向量的距离代表了词语之间的相似性，我们可以通过聚类的方法（譬如K-Means）把相似的词语合并到一个维度，重新计算该维度的特征向量权值。相比于原来的方法，使用词向量能在一定程度保留了文档的信息。此外，Word2Vec作为无监督学习方法的一个实现，能够允许它从无标注的文本进行训练，能进一步提升系统的性能。
另外，基于向量空间模型的文本分类方法是没有考虑到词的顺序的。基于卷积神经网络（CNN）来做文本分类，可以利用到词的顺序包含的信息。CNN模型把原始文本作为输入，不需要太多的人工特征。下图是CNN模型的一个实现，共分四层，第一层是词向量层，doc中的每个词，都将其映射到词向量空间，假设词向量为k维，则n个词映射后，相当于生成一张n*k维的图像；第二层是卷积层，多个滤波器作用于词向量层，不同滤波器生成不同的feature map；第三层是pooling层，取每个feature map的最大值，这样操作可以处理变长文档，因为第三层输出只依赖于滤波器的个数；第四层是一个全连接的softmax层，输出是每个类目的概率。除此之外，输入层可以有两个channel，其中一个channel采用预先利用word2vec训练好的词向量，另一个channel的词向量可以通过backpropagation在训练过程中调整。
图 3 基于卷积神经网络的文本分类算法
别把垃圾浪费掉 你知道吗？我国每年都有价值250亿元的资源被白白浪费了！这些资源 既不是石油也不是天然气，更不是高科技产品，而是我们每个家庭每天都在产生的生活垃圾。由于我们没有将垃圾进行适当的分类，不仅使那些可利用而没有得到利用的废弃物成为二次污染的源头，而且还造成巨大的资源浪费，实在是太可惜了！ 让我们先来看一看生活垃圾全部混在一起都会带来哪些后果吧！首先，会增加填埋或焚烧的垃圾量。焚烧垃圾越多，释放的有毒气体也就越多，同时还会产生有害炉渣和灰尘呢，这些都对我们的健康构成了极大威胁。 我们再来算算垃圾不分类会造成多大的资源浪费吧。据有关部门统计，我国每年约有300万吨废钢铁，600万吨废纸没得到利用。而我们经常随手丢弃的废干电池，每年就有60多亿只，里面总共含有7万多吨锌，10万吨二氧化锰呢。这些资源如果都能被重新利用，将会成为多大的社会财富啊。 既然垃圾分类这么重要，为什么大家总是做不好呢？我们调查后发现，很多人怕麻烦、环保意识不够，还有一个重要的原因是，大街上和社区里方便分类垃圾箱特别少，让人们很难养成垃圾分类的好习惯。 哎，难道说，就继续让这些垃圾混在一起，又污染环境又浪费资源吗？那可不行，必须想办法解决。如果政府加大垃圾分类的推行力度，当然最好还能制定奖惩制度，效果可能就明显得多。除此之外，最好能够设计出更为方便分类，同时外观又醒目的垃圾箱，让它的标识就像交通红绿灯一样深入人心，时刻提醒大家要做到垃圾分类。这样一来，不但可以减少污染，保护 环境，而且还能给国家节约不少能源呢。 厨房油烟有什么危害? 相信大多数人都会不假思索地回答：“当然有害！”但是你不一定知道油烟会造成怎样的危害。看我用实验来揭示这个问题的答案。 我们买来两条模样相同的金鱼，就像一对“双胞胎”，把它们分别养在两个鱼缸里，一个鱼缸放在阳台上，另一个摆在厨房里。 第一天，分居两处的金鱼生活得都挺愉快，只是放在厨房里的鱼缸水面
工业机器人分类、本体结构和技术指标 “工业机器人”专项技能培训——杜宇 英属哥伦比亚大学（UBC）博士 大连大华中天科技有限公司CEO 主要内容 一、常用运动学构型 二、机器人的主要技术参数 三、机器人常用材料 四、机器人主要结构 五、机器人的控制系统 一、常用运动学构形 1、笛卡尔操作臂 优点：很容易通过计算机控制实现，容易达到高精度。 缺点：妨碍工作, 且占地面积大, 运动速度低, 密封性不好。 ①焊接、搬运、上下料、包装、码垛、拆垛、检测、探伤、 分类、装配、贴标、喷码、打码、（软仿型）喷涂、目标跟 随、排爆等一系列工作。 ②特别适用于多品种，便批量的柔性化作业，对于稳定，提 高产品质量，提高劳动生产率，改善劳动条件和产品的快速 更新换代有着十分重要的作用。 2、铰链型操作臂（关节型） 关节机器人的关节全都是旋转的, 类似于人的手臂,工业机器人中最 常见的结构。它的工作范围较为复杂。 ①汽车零配件、模具、钣金件、塑料制品、运动器材、玻璃制品、陶 瓷、航空等的快速检测及产品开发。 ②车身装配、通用机械装配等制造质量控制等的三坐标测量及误差检 测。 ③古董、艺术品、雕塑、卡通人物造型、人像制品等的快速原型制作。 ④汽车整车现场测量和检测。 ⑤人体形状测量、骨骼等医疗器材制作、人体外形制作、医学整容等。 3、SCARA操作臂 SCARA机器人常用于装配作业, 最显著的特点是它们 在x-y平面上的运动具有较大的柔性, 而沿z轴具有 很强的刚性, 所以, 它具有选择性的柔性。这种机器 人在装配作业中获得了较好的应用。 ①大量用于装配印刷电路板和电子零部件 ②搬动和取放物件，如集成电路板等 ③广泛应用于塑料工业、汽车工业、电子产品工业、 药品工业和食品工业等领域. ④搬取零件和装配工作。
山西大学研究生学位课程论文（2014 ---- 2015 学年第 2 学期） 学院（中心、所）：计算机与信息技术学院 专业名称：计算机应用技术 课程名称：自然语言处理技术 论文题目：文本分类综述 授课教师（职称）：王素格（教授） 研究生姓名：刘杰飞 年级：2014级 学号：201422403003 成绩： 评阅日期： 山西大学研究生学院 2015年 6 月2日
文本分类综述 摘要文本分类就是在给定的分类体系下,让计算机根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程。文本分类在冗余过滤、组织管理、智能检索、信息过滤、元数据提取、构建索引、歧义消解、文本过滤等方面有很重要的应用。本文主要介绍文本分类的研究背景,跟踪国内外文本分类技术研究动态。介绍目前文本分类过程中的一些关键技术，以及流形学习在文本分类中降维的一些应用。并且讨论目前文本分类研究面临的一些问题,及对未来发展方向的一些展望。 关键词文本分类；特征选择；分类器；中文信息处理 1.引言 上世纪九十年代以来，因特网以惊人的速度发展起来，到现在我们进入大数据时代互联网容纳了海量的各种类型的数据和信息，包括文本、声音、图像等。这里所指的文本可以是媒体新闻、科技、报告、电子邮件、技术专利、网页、书籍或其中的一部分。文本数据与声音和图像数据相比，占用网络资源少，更容易上传和下载，这使得网络资源中的大部分是以文本（超文本）形式出现的。如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学和技术领域面临的一大挑战。基于机器学习的文本分类系统作为处理和组织大量文本数据的关键技术,能够在给定的分类模型下，根据文本的内容自动对文本分门别类，从而更好地帮助人们组织文本、挖掘文本信息，方便用户准确地定位所需的信息和分流信息。 利用文本分类技术可以把数量巨大但缺乏结构的文本数据组织成规范的文本数据,帮助人们提高信息检索的效率。通过对文本信息进行基于内容的分类,自动生成便于用户使用的文本分类系统,从而可以大大降低组织整理文档耗费的人力资源,帮助用户快速找到所需信息。因此文本分类技术得到日益广泛的关注，成为信息处理领域最重要的研究方向之一。 2.文本分类技术的发展历史及现状 2.1文本分类技术发展历史 国外自动分类研究始于1950年代末，早期文本分类主要是基于知识工程，通过手工定义一些规则来对文本进行分类，这种方法费时费力，还需要对某一领域有足够的了解，才能提炼出合适的规则。H.P.Luhn在这一领域进行了开创性的研究，他将词频统计的思想用于文本分类中。这一时期，主要是分类理论的研究，并将文本分类应用用于信息检索。在这一段时期，提出了很多经典文本分类的数学模型。比如1960年Maron在Journal of ASM上发表了有关自动分类的第一篇论文“On relevance Probabilitic indexing and informarion retriral”，这是Maron和Kuhns提出概的率标引(Probabilitic indexing )模型在信息检
机器学习算法分类与趋势分析
机器学习算法的分类是棘手的，有几种合理的分类，他们可以分为生成/识别，参数/非参数，监督/无监督等。 例如，Scikit-Learn的文档页面通过学习机制对算法进行分组。这产生类别如：1，广义线性模型，2，支持向量机，3，最近邻居法，4，决策树，5，神经网络等 但从我们的经验来看，这并不总是算法分组最为实用的方法。那是因为对于应用机器学习，你通常不会想，“今天我要训练一个支持向量机！”相反，你心里通常有一个最终目标，如利用它来预测结果或分类观察。 所以在机器学习中，有一种叫做“没有免费的午餐”的定理。简而言之，它的意思就是说没有任何一种算法可以完美地解决每个问题，这对于监督式学习（即预测性建模）尤其重要。 例如，你不能说神经网络总是比决策树好，反之亦然。有很多因素在起作用，比如数据集的大小和结构。因此，您应该为您的问题尝试许多不同的算法，同时使用数据的“测试集”来评估性能并选择优胜者。 当然，你尝试的算法必须适合你的问题，这就是选择正确的机器学习算法的重要性之所在。打个比方，如果你需要清理你的房子，你可以使用真空吸尘器，扫帚或拖把，但是你不会拿出一把铲子然后开始挖掘。
因此，我们想要介绍另一种分类算法的方法，即通过机器学习所负责的任务来分类。 机器学习的任务 1.回归 回归是一种用于建模和预测连续数值变量的监督学习任务。例如预测房地产价格，股价变动或学生考试分数。 回归任务的特征是具有数字目标变量的标记数据集。换句话说，对于每个可用于监督算法的观察结果，您都有一些“基于事实”的数值。
1.1。（正则化）线性回归 线性回归是回归任务中最常用的算法之一。它最简单的形式是试图将一个直的超平面整合到你的数据集中（即当你只有两个变量的时候，你只能得到一条直线）。正如您可能猜到的那样，当数据集的变量之间存在线性关系时，它的效果是非常好的。 实际上，简单的线性回归经常被正则化的同类算法（LASSO，Ridge和Elastic-Net）所忽略。正则化是一种惩罚大系数的技术，以避免过度拟合，它应该调整其惩罚的力度。
什么是省级以上期刊、核心刊、普刊、专业刊期、综合期刊、国家一级刊物、双效期刊、双高期刊、方阵期刊、省级期刊、国家级期刊、增刊、学术版刊？他们的区别在哪里,具体请看下面介绍。 1 、什么是核心期刊? 简单地说，核心期刊是学术界通过一整套科学的方法，对于期刊质量进行跟踪评价，并以情报学理论为基础，将期刊进行分类定级，把最为重要的一级称之为核心期刊。 2、什么是中文核心期刊? 对中国(不含港、澳、台)出版的期刊中核心期刊的认定，目前国内比较权威的有两种版本。一是中国科技信息研究所(简称中信所)每年出一次的《中国科技期刊引证报告》(以下简称《引证报告》);另一种是北京大学图书馆与北京高校图书馆期刊工作研究会联合编辑出版的《中文核心期刊要目总览》(以下简称《要目总览》)。《要目总览》不定期出版，1996 年出版了第二版，2000 版，2004年版。2008年版暂未出版。《要目总览》收编包括社会科学和自然科学等各种学科类别的中文期刊。其中对核心期刊的认定通过五项指标综合评估。《引证报告》统计源期刊的选取原则和《要目总览》核心期刊的认定各依据了不同的方法体系，所以二者界定的核心期刊(指科技类)不完全一致。3、什么是国家级期刊?
一般说来，“国家级” 期刊，即由党中央、国务院及所属各部门，或中国科学院、中国社会科学院、各民主党派和全国性人民团体主办的期刊及国家一级专业学会主办的会刊。另外，刊物上明确标有“全国性期刊”，“核心期刊”字样的刊物也可视为国家级刊物。 4.什么是“省级”期刊? 即由各省、自治区、直辖市及其所属部、委办、厅、局主办的期刊以及由各本、专科院校主办的学报(刊)。 5、什么是学术期刊? 学术期刊刊发的文献以学术论文为主，而非学术期刊刊发的文献则以文件、报道、讲话、体会、知识等只能作为学术研究的资料而不是论文的文章为主。由于《总览》选刊的依据是载文量多、收录量大和被引次数多，并不强调学术期刊与非学术期刊的界线，对此自然也就没有进行严格区分。具体说来，《总览》学术与非学术不分，主要表现在两个方面，一是期刊的定性，二是期刊的宗旨。 6、什么是CN类刊物? 所谓CN 类刊物是指在我国境内注册、国内公开发行的刊物。该类刊物的刊号均标注有CN字母，人们习惯称之为CN类刊物。7、什么是ISSN类刊?
工业机器人种类介绍 关键词：机器人,种类介绍移动机器人 （AGV） 移动机器人（AGV）是工业机器人的一种类型，它由计算机控制，具有移动、自动导航、多传感器控制、网络交互等功能，它可广泛应用于机械、电子、纺织、卷烟、医疗、食品、造纸等行业的柔性搬运、传输等功能，也用于自动化立体仓库、柔性加工系统、柔性装配系统（以AGV作为活动装配平台）；同时可在车站、机场、邮局的物品分捡中作为运输工具。 国际物流技术发展的新趋势之一，而移动机器人是其中的核心技术和设备，是用现代物流技术配合、支撑、改造、提升传统生产线，实现点对点自动存取的高架箱储、作业和搬运相结合，实现精细化、柔性化、信息化，缩短物流流程，降低物料损耗，减少占地面积，降低建设投资等的高新技术和装备。 点焊机器人 焊接机器人具有性能稳定、工作空间大、运动速度快和负荷能力强等 焊接机器人 特点，焊接质量明显优于人工焊接，大大提高了点焊作业的生产率。 点焊机器人主要用于汽车整车的焊接工作，生产过程由各大汽车主机厂负责完成。国际工业机器人企业凭借与各大汽车企业的长期合作关系，向各大型汽车生产企业提供各类点焊机器人单元产品并以焊接机器人与整车生产线配套形式进入中国，在该领域占据市场主导地位。 随着汽车工业的发展，焊接生产线要求焊钳一体化，重量越来越大，165公斤点焊机器人是当前汽车焊接中最常用的一种机器人。2008年9月，机器人研究所研制完成国内首台165公斤级点焊机器人，并成功应用于奇瑞汽车焊接车间。2009年9月，经过优化和性能提升的第二台机器人完成并顺利通过验收，该机器人整体技术指标已经达到国外同类机器人水平。 弧焊机器人 弧焊机器人主要应用于各类汽车零部件的焊接生产。在该领域，国际大 弧焊机器人 型工业机器人生产企业主要以向成套装备供应商提供单元产品为主。
一种基于潜在语义结构的文本分类模型 摘要：潜在语义索引（LSI）模型，是一种已经成功地应用于文本分类等很多领域的算法。LSI模型能在一定程度上解决一词多义和多词一义问题，并能过滤一部分文档噪音。然而在LSI模型中，对稀有类别很重要的分类特征，可能因为在整个文档集中不重要而被滤掉。针对这一问题，本文提出了一种新颖的扩展LSI模型的文本分类模型。新模型在尽量保留文档信息的同时，增加考虑了文档的类别信息。这样，新模型将能比LSI模型更好地表示原始文档空间中的潜在语义结构。在实验中，本分类模型也表现出了非常好的分类性能。 关键词：文本分类潜在语义索引偏最小二乘分析 中图分类号：TP18 文献标识码: A 1 引言 自动文本分类就是在给定的分类体系下，根据文本的内容自动地确定文本关联的类别。如今，已经有很多基于统计和机器学习的文本分类算法，如：回归模型、K近邻、决策树、朴素贝叶斯和支持向量机等[1]。其中，很多现有的分类算法都是基于从文本中抽取关键词（经常是单独的词）的方法。在这种方法中，假定一个关键词唯一地代表一个概念或语义单元；然而实际的情况是：一个词往往有多个不同的含义，多个不同的词也可以表示同一个语义。这就是所谓的一词多义和多词一义。比如：“马上”可以有“立刻”的意思，也可以理解为“马的上面”；“感冒”、“伤风”和“着凉”却代表着同一种疾病。像这样的情况是很难由计算机自动判别的。 一词多义和多词一义，是所有基于语义的算法必须解决的两个主要问题。潜在语义索引（LSI: Latent Semantic Indexing）[2]，是近年来比较有效的算法之一。LSI 把原始的向量空间转换成潜在语义空间，文档和查询就在转换后的语义空间上进行表示和比较。实验表明这种方法可以在一定程度上解决一词多义和多词一义问题：新的语义空间是原始“文档向量矩阵”的线性组合变换得到的，一般认为这个空间能捕捉文档集中的潜在语义结构。 由于LSI在信息检索中的优异表现[2]，就有人开始尝试将其应用于文本分类领域。其中，Wiener的工作[3]是很有代表性的。Wiener的实验中以两种方式使用了LSI。 （1）利用LSI对原始向量空间降维。把潜在语义空间中权重较低的维滤掉，这样就可以得到原始空间的一个子集，并滤掉一些噪音； （2）将整个文档集按类别进行划分，为每个类别建立一个LSI表示。 为每个类别构建一个单独的LSI表示，很重要的一个原因是：有一些对特定类很重要的词，由于词义不确定的问题，在整体考虑所有类的时候，反而会变的不重要。如bank这个词可能对财经类很重要，但如果把所有类放在一起考虑，这个词就有可能因为它的多义性在语义空间中被滤掉（或变得不重要）。 实际上，我们发现这种分立的LSI表示，确实可以分别为每个类找到重要的词（或特征）。但在考虑整个文档集的时候，情形就会有所不同：对单个类重要的词并不一定就对分类有大的贡献。文本分类的关键是在整体考虑下，在所有的类别中，为文档找到它最有可能属于的类。这种类别之间的舍取，在每个类别都是单独考虑情况下肯定不可能做到完全公平。 在本文中，我们提出了一种对LSI扩展的算法。我们提取的语义特征不仅反映了文档和词的信息，也考虑了文档的类别信息。不同于为每个类建立单独的LSI表示，我们把所有的信息整合在一个LSI表示里。 本文组织如下：第一部分是引言，第二部分介绍一些相关的基本概念，第三部分详细阐作者介绍：曾雪强(1978-)，男，硕士研究生，助教，研究方向为文本分类和信息检索。Email: zxq@https://www.doczj.com/doc/892015582.html,
机器学习常见算法分类汇总 ?作者：王萌 ?星期三, 六月25, 2014 ?Big Data, 大数据, 应用, 热点, 计算 ?10条评论 机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法，以供您在工作和学习中参考。 机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。 学习方式 根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。 监督式学习：
在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题。常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network） 非监督式学习： 在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法。 半监督式学习：
科技论文的分类 科技论文是在科学研究、科学实验的基础上，对自然科学和专业技术领域里的某些现象或问题进行专题研究，运用概念、判断、推理、证明或是反驳等逻辑思维手段，分析和阐述，揭示出这些现象和问题的本质及其规律性而撰写成的文章。 科技论文的分类 从不同的角度对科技论文进行分类会有不同的结果。从目前期刊所刊登的论文来看主要涉及以下5类： 第一类是论证型——对基础性科学命题的论述与证明，或对提出的新的设想原理、模型、材料、工艺等进行理论分析，使其完善、补充或修正。如何维持河流健康生命具体指标的确定，流域初始水权的分配等都属于这一类型。从事专题研究的人员写这方面的论文多些。 第二类是科技报告型——科技报告是描述一项科学技术研究的结果或进展或一项技术研究试验和评价的结果；或者论述某项科学技术问题的现状和发展的条件。记述型文章是它的一种特例。许多专业技术、工程方案和研究计划的可行性论证文章，科技报告型论文占现代科技文献的多数。从事工程设计、规划的人员写这方面的论文多些。 第三类是发现、发明型——记述被发现事物或事件的背景、现象、本质、特征及其运动变化规律和人类使用这种发现前景的文章。阐述被发明的装备、系统、工具、材料、工艺、配方形式或方法的功效、性能、特点、原理及使用条件等的文章。从事工程施工方面的人员写这方面的稿件多些。 第四类是设计、计算机型——为解决某些工程问题、技术问题和管理问题而进行的计算机程序设计，某些系统、工程方案、产品的计算机辅助设计和优化设计以及某些过程的计算机模拟，某些产品或材料的设计或调制和配制等。从事设计和计算机等软件开发的人员写这方面的论文多些。 第五类是综述型——这是一种比较特殊的科技论文，与一般科技论文的主要区别在于它不要求在研究内容上具有首创性，尽管一篇好的综述文章也常常包括有某些先前未曾发表过的新资料和新思维，但是它要求撰稿人在综合分析和评价已有资料基础上，提出在特定时期内有关专业课题的发展演变规律和趋势。它的写法通常有两类：一类以汇集文献资料为主，辅以注释，客观而少评述。另一类则重评述。通过回顾、观察和展望，提出合乎逻辑的、具有启迪性的看法和建议。从事管理方面的人员写这方面的论文较多。
毕业设计（论文）任务书 毕业设计（论文） 题目中文文本分类算法的设计及其实现 电信学院计算机系84班设计所在单位西安交通大学计算机系
西安交通大学本科毕业设计（论文） 毕业设计(论文)任务书 电信学院计算机系84 班学生丰成平 毕业设计(论文)工作自2013 年 2 月21 日起至2013 年 6 月20 日止毕业设计(论文)进行地点：西安交通大学 课题的背景、意义及培养目标 随着文本文件的增多，对其自动进行分门别类尤为重要。文本分类是指采用计算机程序对文本集按照一定的分类体系进行自动分类标记。文本分类器的设计通常包括文本的特征向量表示、文本特征向量的降维、以及文本分类器的设计与测试三个方面。本毕设论文研究文本分类器的设计与实现。通过该毕业设计，可使学生掌握文本分类器设计的基本原理及相关方法，并通过具体文本分类算法的设计与编程实现，提高学生的实际编程能力。 设计(论文)的原始数据与资料 1、文本语料库（分为训练集与测试集语料库）。 2、关于文本分类的各种文献（包括特征表示、特征降维、以及分类器设计）以及资料。 3、中科院文本分词工具(nlpir)。 4、文本分类中需要用到的各种分类方法的资料描述。 课题的主要任务 1．学习文本特征向量的构建方法及常用的降维方法。 2．学习各种分类器的基本原理及其训练与测试方法。 3．设计并编程实现文本分类器。
毕业设计（论文）任务书 4、对试验结果进行分析，得出各种结论。 5、撰写毕业论文。 6、翻译一篇关于文本分类的英文文献。 课题的基本要求(工程设计类题应有技术经济分析要求) 1、程序可演示。 2、对源代码进行注释。 3、给出完整的设计文档及测试文档。 完成任务后提交的书面材料要求(图纸规格、数量，论文字数，外文翻译字数等) 1、提交毕业论文 2、提交设计和实现的系统软件源程序及有关数据 3、提交外文资料翻译的中文和原文资料 主要参考文献： 自然语言处理与信息检索共享平台：https://www.doczj.com/doc/892015582.html,/?action-viewnews-itemid-103 Svm(支持向量机)算法：https://www.doczj.com/doc/892015582.html,/zhenandaci/archive/2009/03/06/258288.html 基于神经网络的中文文本分析（赵中原）：https://www.doczj.com/doc/892015582.html,/p-030716713857.html TF-IDF的线性图解：https://www.doczj.com/doc/892015582.html,/blog-170225-6014.html 东南大学向量降维文献：https://www.doczj.com/doc/892015582.html,/p-690306037446.html 指导教师相明 接受设计(论文)任务日期2013-02-21~2013-06-20 学生签名：
基于机器学习算法的文本分类方法综述 摘要：文本分类是机器学习领域新的研究热点。基于机器学习算法的文本分类方法比传统的文本分类方法优势明显。本文综述了现有的基于机器学习的文本分类方法，讨论了各种方法的优缺点，并指出了文本分类方法未来可能的发展趋势。 1.引言 随着计算机技术、数据库技术，网络技术的飞速发展，Internet的广泛应用，信息交换越来越方便，各个领域都不断产生海量数据，使得互联网数据及资源呈现海量特征，尤其是海量的文本数据。如何利用海量数据挖掘出有用的信息和知识，方便人们的查阅和应用，已经成为一个日趋重要的问题。因此，基于文本内容的信息检索和数据挖掘逐渐成为备受关注的领域。文本分类(text categorization，TC)技术是信息检索和文本挖掘的重要基础技术，其作用是根据文本的某些特征，在预先给定的类别标记(label)集合下，根据文本内容判定它的类别。传统的文本分类模式是基于知识工程和专家系统的，在灵活性和分类效果上都有很大的缺陷。例如卡内基集团为路透社开发的Construe专家系统就是采用知识工程方法构造的一个著名的文本分类系统，但该系统的开发工作量达到了10个人年，当需要进行信息更新时，维护非常困难。因此，知识工程方法已不适用于日益复杂的海量数据文本分类系统需求[1]。20世纪90年代以来，机器学习的分类算法有了日新月异的发展，很多分类器模型逐步被应用到文本分类之中，比如支持向量机(SVM，Support Vector Machine)[2-4]、最近邻法(Nearest Neighbor)[5]、决策树(Decision tree)[6]、朴素贝叶斯(Naive Bayes)[7]等。逐渐成熟的基于机器学习的文本分类方法，更注重分类器的模型自动挖掘和生成及动态优化能力，在分类效果和灵活性上都比之前基于知识工程和专家系统的文本分类模式有所突破，取得了很好的分类效果。 本文主要综述基于机器学习算法的文本分类方法。首先对文本分类问题进行概述，阐述文本分类的一般流程以及文本表述、特征选择方面的方法，然后具体研究基于及其学习的文本分类的典型方法，最后指出该领域的研究发展趋势。 2．文本自动分类概述 文本自动分类可简单定义为：给定分类体系后，根据文本内容自动确定文本关联的类别。从数学角度来看，文本分类是一个映射过程，该映射可以是一一映射，也可以是一对多映射过程。文本分类的映射规则是，系统根据已知类别中若干样本的数据信息总结出分类的规律性，建立类别判别公式或判别规则。当遇到新文本时，根据总结出的类别判别规则确定文本所属的类别。也就是说自动文本分类通过监督学习自动构建出分类器，从而实现对新的给定文本的自动归类。文本自动分类一般包括文本表达、特征选取、分类器的选择与训练、分类等几个步骤，其中文本表达和特征选取是文本分类的基础技术，而分类器的选择与训练则是文本自动分类技术的重点，基于机器学习的文本分来就是通过将机器学习领域的分类算法用于文本分类中来[8]。图1是文本自动分类的一般流程。
硕士学位论文 基于内容和情感的文本分类方法研究
A Thesis Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering Research on Text Classification Methods Based on Content and Emotion Candidate : Zhang Chaoyang Major :Industrial Engineering Supervisor :Associate Professor Huang Jinguo Huazhong University of Science &Technology Wuhan 430074, P.R. China January 2013
独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□, 在_____年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名：指导教师签名： 日期：年月日日期：年月日
1、科技论文是科技发展，从而也是工农业生产发展的重要科技信息源，是记录人类科技进步的历史性文件。当今全世界每年发表科技论文300万~400万篇，其中约75%发表在期刊上。 2、科技论文：在认识和改造客观世界的过程中，通过足够的，可以重复其实验（或存在某种类似做法的潜力），使他人得以评价和信服的素材论证，首先揭示出事物及其真谛，并发表于正式科技期刊或其他得到学术界正式认可形式的叙述文件。 3、科技论文的特性： （1）科学性——科技论文在方法论上的特征，使它与一切文学的、美学的、神学的等文章区别开来。 科技论文必须根据足够的和可靠的实验数据或现象观察作为立论基础。 （2）首创性——科技论文的灵魂，是有别于其他文献的特征所在。 它要求文章所揭示的事物现象、属性、特点及事物运动时所遵循的规律。或者这些规律的孕育必须是前所未见的、首创的或部分首创的，必须有所发展，有所发明，有所创造，有所前进而不是对前人工作的复述、模仿或解释。 （3）逻辑性——文章的结构特点。 它要求论文脉络清晰、结构严谨、前提完备、演算正确、符号规范、文字通顺、图表精致、推断合理、前呼后应、自成系统。 （4）有效性——文章的发表方式。 只有经过相关专业的同行专家的审阅，并在一定规格的学术评议会上答辩通过、存档归案；或在正式的科技刊物上发表的科技论文才被承认为完备的和有效的。 4、科技论文的分类： （1）论证型——对基础性科学命题的论述与证明的文件。 （2）科技报告型 此类文章应该提供所研究项目的充分信息，原始资料的准确与齐备，包括正反两方面的结果和经验，往往使它成为进一步研究的依据与基础。 （3）发现、发明型——记述被发现事物或事件的背景、现象、本质、特性及其运动变化规律和人类使用这种发现前景的文件。 （4）计算型——提出或讨论不同类型数学物理方程的数值计算方法，其他数列或数字运算，计算机辅助设计及计算机在不同领域的应用原理、数据结构、操作方法和收敛性、稳定性、精度分析等。 （5）综述型——特殊的科技论文，不要求在研究内容上具有首创性。我们毕业设计的文献综述属于这类。
毕业论文 题目：文本分类方法研究 姓名：贾云璠 院系：理学院物理系 专业：物理学 年级： 2013级 学号： 201341021 指导教师：郑伟 二〇一七年六月
摘要 近些年来，随着信息技术的发展与应用，互联网上的数据错综复杂，面对如此纷繁复杂的数据，需要借助数据挖掘对数据进行处理来实现对数据的分类，以便查询和搜索，实现数据的最大利用价值。 文本分类在信息处理方面占有重要的作用，到目前为止，有很多种方法：KNN SVM 决策树，以及贝叶斯等算法可以帮助我们快速的对文本进行自动分类，本文主要研究KNN SVM两种方法，在比较这两种分类对中文文本分类的基础之上，分析了K 临近算法和支持向量机的优缺点，因SVM和KNN具有互补的可能性，提出了SVM和KNN组合[1]的算法。实验表明：SVM和KNN有很好的分类效果。 关键词：文本分类，SVM、KNN，线性组合
Abstract In recent years, with the development of information technology and application, the complexity of the data on the Internet in the face of so complicated data, need with the help of data mining, data processing to implement the data classification, in order to query and search, and realize the maximum utilization of the data value. Chinese text classification plays an important role in Chinese information processing, for example, Chinese information retrieval and search engine, KNN SVM decision tree, and the bayesian algorithm can be applied to Chinese text classification, based on the research analysis compares the two kinds of KNN and SVM classification method, and the experimental comparison of the two algorithms of Chinese text classification effect, on the basis of analyzing the K near the advantages and disadvantages of the algorithm and support vector machine (SVM), found that the SVM and KNN has the possibility of complementary, SVM and KNN algorithm of linear combination is presented. Key words: Text classification, SVM, KNN, linear combination
机器学习实战之分类算法 第一章机器学习概论 (4) 机器学习基本概念 (4) 机器学习的主要任务以及相应的算法 (4) 如何选择合适的算法？ (4) 机器学习应用的步骤 (5) 第二章 K近邻算法(KNN) (5) 工作原理 (5) 实现步骤 (6) K近邻算法的优缺点 (6) 第三章决策树 (7) 基本思路 (7) 集合无序程度测量 (7) 应用场景 (7) 优缺点 (7) 第四章朴素贝叶斯分类 (8) 基本思路 (8) 基本假设 (8) 条件概率 (8) 词袋模型和词集模型 (9) 优缺点 (10) 标称型和数值型数据的区别 (10)
主要应用及步骤 (10) 第五章逻辑回归 (12) 基本思想 (12) 使用场景 (12) 优缺点 (12) Sigmoid函数 (13) 回归系数 (13) 梯度上升法 (14) 特征缺失处理 (14) 标签缺失处理 (14) 第六章支持向量机SVM (14) 基本思想 (14) SVM第一层理解 (15) 超平面的确定 (15) 函数间隔和几何间隔 (15) 最大间隔分类器 (16) SMO优化算法 (16) 核函数 (19) 应用场景 (19) 第七章 AdaBoost分类 (19) Bagging (20) Boosting (20) Adaboost (20) Adaboost的优点 (20)
Adaboost实现步骤 (21) 第八章非均衡分类问题 (23) 分类性能指标 (23) 混淆矩阵 (23) ROC曲线 (24) 处理非均衡问题的数据抽样 (24)
第一章机器学习概论 机器学习基本概念 机器学习就是将无序的数据转化为有用的信息。一个实例有n个特征，由n列组成。机器学习最主要的任务就是分类，另一个就是回归，回归中比较典型的就是线性拟合。分类和回归都属于监督学习，因为这类算法必须知道要预测什么，即已知目标变量的分类信息。与监督学习对应的是无监督学习，此时数据没有类别信息，也不会给定目标值，将数据集合分成由类似的对象组成的多个类的过程叫做聚类。将描述数据统计值的过程称之为密度估计。分类首先要进行训练，训练样本集必须确定目标变量的值，以便发现特征与目标变量之间的关系。特征或者属性通常是训练样本集的列，他们是独立测量得到的结果，多个特征联系在一起共同组成一个训练样本。 机器学习的主要任务以及相应的算法 如何选择合适的算法？ 如果要预测目标变量的值：
不同角度下科技论文的分类情况科技论文是以科技新成果为对象，采用科技语言、科学逻辑思维方式，并按照一定的写作格式撰写，经过正规严格的审查后公开发表的论文。一般来说，按照不同的角度，科技论文有不同的分类。下面，赛恩斯从科技论文发挥的作用和论述的内容两个角度说明其分类情况。 一、按科技论文发挥的作用，一般可以分为三类，一是学术性论文；二是技术性论文；三是学位论文。 学术性论文：是指研究人员提供给学术性期刊发表或向学术会议提交的论文，它以报道学术研究成果为主要内容。学术性论文反映了该学科领域最新的、最前沿的科学技术水平和发展动向，对科学技术事业的发展起着重要的推动作用。 技术性论文：是指工程技术人员为报道工程技术研究成果而提交的论文，这种研究成果主要是应用国内外已有的理论来解决设计、技术、工艺、设备、材料等具体技术而取得的。技术性论文对技术进步和提高生产力起着直接的推动作用。 学位论文：是指学位申请者为申请学位而提交的论文，这类论文依学位的高低又分为三种。一是学士论文，指大学本科毕业生申请学士学位要提交的论文；二是硕士论文，指硕士研究生申请硕士学位要提交的论文；三是博士论文，指博士研究生申请博士学位要提交的论文。 二、按科技论文论述的内容，一般可以分为五类，一是研究报告
类；二是理论论证类；三是设计计算类；四是专题论述类；五是综合评述类。 研究报告：一般要求具有可靠的理论依据、先进的试验设计方案、适用的测试手段、合理准确的数据处理及科学严密的分析论证。 理论论证：一般要求对提出的新的假说通过数学推导和逻辑推理，得到新的理论。其数学推导要科学准确，逻辑推理要认真严密，力求做到无懈可击。 设计计算：一般是指为解决某些工程问题、技术问题和管理问题而进行的计算机程序设计。总的要求是“新”。数学模型的建立和参数的选择要合理，编制的程序要能够正常运行，计算结果要合理准确，设计的产品或调制配制的物质要经试验证实或经生产使用考核。 专题论述：是指对某些产业、某一领域、某一学科、某项工作发表议论。通过分析论证，对它们的发展战略决策、发展方向和道路，以及方针政策等提出新的独到的见解。 综合评述：是作者在参阅大量科技文献的基础上，综合介绍、分析、评述该学科领域里国内外研究的新成果、发展新趋势，并表明作者自己的观点，作出发展的科学预测，提出比较中肯的建设性意见和建议。 当然，除了以上两种分类方法，还可以从其他角度对科技论文进行的分类。
科技论文可按不同的方法分类。 按其学科分类，如物理学论文、化学论文、医学论文、数学论文等。 按其写作的目的，可分为学术性论文和学位论文等。 按其写作时使用的表述方法，可分为论证型论文，描述型论文、设计型论文、评述性论文等。 通常是按写作目的来进行分类，即一类叫学位论文，一类叫学术性论文。 科技论文的分类就像它的定义一样，有很多种不同的分法。下面从2个不同的角度对科技论文进行分类，并说明各类论文的概念及写作要求。 科技论文就其发挥的作用来看可分为3类：一是学术性论文，二是技术性论文，三是学位论文。 1)学术性论文。指研究人员提供给学术性期刊发表或向学术会议提交的论文，它以报道学术研究成果为主要内容。学术性论文反映了该学科领域最新的、最前沿的科学水平和发展动向，对科学技术事业的发展起着重要的推动作用。这类论文应具有新的观点、新的分析方法和新的数据或结论，并具有科学性。 2)技术性论文。指工程技术人员为报道工程技术研究成果而提交的论文，这种研究成果主要是应用已有的理论来解决设计、技术、工艺、设备、材料等具体技术问题而取得的。技术性论文对技术进步和提高生产力起着直接的推动作用。这类论文应具有技术的先进性、实用性和科学性。 3)学位论文。指学位申请者提交的论文。这类论文依学位的高低又分为以下3种： a.学士论文。指大学本科毕业生申请学士学位要提交的论文。工科大学生有的作毕业设计，毕业设计与科技论文有某些相同之处。论文或设计应反映出作者具有专门的知识和技能，具有从事科学技术研究或担负专门技术工作的初步能力。这种论文一般只涉及不太复杂的课题，论述的范围较窄，深度也较浅，因此，严格地说，学士论文一般还不能作为科技论文发表。 b.硕士论文。指硕士研究生申请硕士学位要提交的论文。它是在导师指导下完成的，但必须具有一定程度的创新性，强调作者的独立思考作用。通过答辩的硕士论文，应该说基本上达到了发表水平。
1.2 Industrial robots - definition and classification 1.2.1 Definition (ISO 8373:2012) and delimitation The annual surveys carried out by IFR focus on the collection of yearly statistics on the production, imports, exports and domestic installations/shipments of industrial robots (at least three or more axes) as described in the ISO definition given below. Figures 1.1 shows examples of robot types which are covered by this definition and hence included in the surveys. A robot which has its own control system and is not controlled by the machine should be included in the statistics, although it may be dedicated for a special machine. Other dedicated industrial robots should not be included in the statistics. If countries declare that they included dedicated industrial robots, or are suspected of doing so, this will be clearly indicated in the statistical tables. It will imply that data for those countries is not directly comparable with those of countries that strictly adhere to the definition of multipurpose industrial robots. ?Wafer handlers have their own control system and should be included in the statistics of industrial robots. Wafers handlers can be articulated, cartesian, cylindrical or SCARA robots. Irrespective from the type of robots they are reported in the application “cleanroom for semiconductors”. ?Flat panel handlers also should be included. Mainly they are articulated robots. Irrespective from the type of robots they are reported in the application “cleanroom for FPD”. Examples of dedicated industrial robots that should not be included in the international survey are: ?Equipment dedicated for loading/unloading of machine tools (see figure 1.3). ?Dedicated assembly equipment, e.g. for assembly on printed circuit boards (see figure 1.3). ?Integrated Circuit Handlers (pick and place) ?Automated storage and retrieval systems ?Automated guided vehicles (AGVs) (see “World Robotics Service Robots”) The submission of statistics on industrial robots is mandatory for IFR member associations. In some countries, however, data is also collected on all types of manipulating industrial robots, that is, both multipurpose and dedicated manipulating industrial robots. Optionally, national robot associations may therefore also submit statistics on all types of manipulating industrial robots, which will be included in the publication World Robotics under the respective country chapter. Industrial robot as defined by ISO 8373:2012: An automatically controlled, reprogrammable, multipurpose manipulator programmable in three or more axes, which can be either fixed in place or mobile for use in industrial automation applications