文本分类过程ppt课件

支持向量机（Support Vector Machine，SVM），其分类思想是给定给一个包含正例和反例的样 本集合，svm算法的目的是寻找一个超平面来对样本根据正例和反例进行分割。它在解决小样本、 非线性及高维模式识别中表现出许多特有的优势。
2019/12/30
17
中文文本分类过程中涉及许多 过程及参数，都会在不同程度 上影响分类器的分类效率。
特征个数越多，分析特征、训练模型所需的时间就越长。
特征个数越多，容易引起“维度灾难”，模型也会越复杂，其推广能力会下降。
特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数 ，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化了 模型，使研究人员易于理解数据产生的过程。
文本可以是媒体新闻、科技、报告、电子邮件、网页、书籍或像微博 一样的一段语料。由于类别时事先定义好的，因此分类是有监督的。
2019/12/30
5
01 文本分类应用领域
信息过滤
对获取的信息进行二分类的处理，即将用户需求的信息过滤出来，发送给 用户；将用户不感兴趣、不需要的不良信息、反动信息等过滤掉。垃圾邮 件过滤、新闻选择以及手机信息过滤等都是信息过滤的典型应用。
当前的知识信息主要以文本作为载体，大部分文本信息以非结 构化或半结构化的形式存在，如电子邮件、电子文档以及电子 档案等，它们不易被机器理解也不可能完全依靠人工进行管理。 因此，采用信息化手段通过机器学习方法对这些文本信息进行 处理显得尤为重要。
2019/12/30
4
01 文本分类概述
文本分类技术（Text Categorization，TC）作为组织和管理文本信 息的有效手段，主要任务是自动分类无标签文档到预定的类别集合中。

每一个GB2312汉字使用16位(2个字节)表示
每个字节的最高位均为“1”
在16位代码空间中的码位分布：
00 00
第 2字节
7E A1
FE
16位的代 码空间共 有216 ＝ 65536个 码位
第 1 81 字 节 A1
FE
22
GB2312 图形符号
B0
汉字代码空间
（6763个汉字）
F7
5.1 文本与文本处理
6
5.1 文本与文本处理
汉字的键盘输入
汉字与键盘上的键无法一一对应，因此必须使用 几个键来表示一个汉字，这就称为汉字的“键盘输 入编码” 优秀的汉字键盘输入编码应具有的特点：
➢易学习、易记忆 ➢效率高(平均击键次数较少) ➢重码少 ➢容量大(可输入的汉字字数多)
7
5.1 文本与文本处理
汉字键盘输入方法的比较
类型
原理
举例
数字 编码
使用一串数字来表示汉 电报码
字
区位码
字音 编码
把汉语的拼音作为汉字 智能ABC
的输入编码
紫光
微软拼音输入
字形 编码
把汉字的部件或笔画作 五笔字形 为码元，按照汉字结构 表形码
及其切分规则作为编码 郑码
依据，确定每个汉字的
输入代码
音形 编码 (或形音 编码)
采用字音及字形两种属 粤音输入法 性作为码元的汉字编码 输入方法
GB2312汉字编码的不足之处
GB2312-80汉字字数太少，无法满足一些特殊应用的需要： ➢ 人名、地名； ➢ 古籍整理、古典文献研究。 ➢ 没有繁体字(1990年制定了繁体字的编码标准GB12345-90 《信息交换用汉字编码字符集第一辅助集》)

3.仅为高中文凭的钱穆担任燕京大学国文系讲 师。
4.1931年又被顾颉刚极力推荐到北大。
5.抗战爆发后，钱穆在西南联大继续讲授中国 通史。
h
9
（3）筛选概括题学生答案示例
1.爱史学 2.喜欢把自己的主张讲给学生让学生领悟 3.想在这方面为后人做贡献，想为学子做出一 点贡献 4.满腔的爱国热情 5.周围环境的激励 6.完成自己未能进入大学读书之憾
第一步：审读题干，确定区间。
确定是全文是某个段落还是某几个段落
第二步：提取信息，整合要点。
要逐句逐段提取关键词句，以防遗漏； 相同的合并同类项，不同的另列一条。
第三步：据分分点，工整书写。
h
7
（3）请结合全文，简要分析促成钱穆毕生精力致力 于史学的原因。(6分)
【参考答案】
①钱第伯一圭步的：教审诲读给题了干钱，穆确极定大区的间震。动，
需要说明的是：要明确常见的陷阱设置，可以参考
论述类文本阅读，有以偏概全、无中生有、颠倒语序、
混淆时间、交叉人事、强加因果、主次不分、夸大缩小、
曲意解读、说法过于绝对化等。
切忌凭印象做题，一定要和原文仔细比对。
尽管有错误选项，还是可以利用选择题的选项加深
对文章的理解，解答主观题。h
21
（于1）文下无列据对，传原记文有引关用内钱容穆的的分话析意和思概是括钱，伯最圭恰的当话的促两使项他是一生
【2010年】……请就你对“同行”“尊严”“友谊”三个方面 的理解，任选一个方面，结合全文，谈谈你的看法。
【2011年】……这给你什么样的启示？请结合全文，谈谈你的 看法。
【2012年】谢希德的“诚”体现在很多方面，请结合全文，谈 谈你的理解。
【2013年】为什么陈纳德说自己是“半个中国人”?请结合材料， 谈谈你的看法。

一种认识活动，即提干常表述的“作者这样的 写的好处（作用）”
10
作用类试题考查的范围比较广泛，有修辞手法 （比喻、夸张、比拟、排比、对偶、反复、拟 人等修辞手法方面的作用）；有表现手法（想 象、联想、象征、渲染、衬托等方面的作用）； 有表达方式（叙述、描写、说明、议论、抒情） 方面的作用；有材料安排的主次、详略、繁简 的作用；有段落结构开头、结尾、过渡、铺垫、 衔接、伏笔、照应等的作用
（4）纵横式结构，即将纵式和横式结构结合起来 的形式。
分析结构的目的
2
1、分清层次 2、弄清各部分之间的关系
1、分清层次
3
分清层次，既包括分清全文的层次，也包括 某一部分的层次（或说段内层次），前者通常 称为划分成几个部分，后者通常称为分析小层 次。
段内层次的分析与全文层次分析的原理是相 同的。
段内层次分析的途径主要是：
(1)分辨段的类型：段的类型从表达方式上说，分为叙述段、 4 描写段、说明段和议论段这四类。一般说，说明段、议论
段往往有中心句，主体句则围绕中心句展开，有时还有小 结句。叙述段和描写段往往没有中心句，各句围绕客观存 在的中心意思按时空或逻辑顺序展开。懂得这一点，有助 于段内层次的分析。
11
答案步骤： 1、确定是否运用了某种表达技巧 2、明确这一种表达技巧的常规作用 3、把这种表达技巧的常规作用和文本的内容结合
起来具体作答。 从结构上、内容上、表达上的作用入手作答
我所认识的梁漱溟
12
内容上：表明梁漱溟关心国事是有家 庭传统的；是梁漱溟格外关注文化问 题的原因；
表达上的作用：使读者对人物认识更 全面。
第六段，点明如果没有朱启钤，就不可能在上个世纪30 年代出现像梁思成这样的建筑学领军人物，直接突出 朱启钤的贡献。