北京邮电大学学期实验报告29p
- 格式：docx
- 大小：483.68 KB
- 文档页数：29
LDA特征提取：
LDA是主题模型的一种。假设一篇文章可以由不同的主题组成，把每篇文章中的主题分布概率来当作这篇文章的特征，从而形成了特征向量。主题的数量可以由人工根据情况指定或者通过其他方法科学的得到合理也就是概率最大的主题数量，再对其进行人工指定。
经过LDA主题模型分析之后，在通过简单的处理，变换成SVM可以接受的输入格式，会得到如下的特征向量：
(1)Java version 1.7
(2)开发环境:eclipse
Python代码运行环境：
(1)python 3.2
4.
4.1实验工具介绍
Web Crawler:由实验室集体开发的网络爬虫，不对外公开。可以方便的通过正则表达式的配置，轻松的完成对网络数据的提取，并且可以根据需求完成过滤老新闻、不合适的网址格式等功能。最终的爬取结果文件已经经过程序处理，可以直接得到最需要得到的内容。例如：在此实验中，最终的爬取结果即为已经从网站中提取出的新闻标题和正文。
图2
此外，SVM与logistic regression非常相似。Logistic regression虽然其名字当中是regression也就是回归，但是实际上此算法是一个分类算法。为了达到性能和效率兼备，对不同情况运用不同算法的场景进行了描述：
n为特征的数量，m为训练样本的数量
（1）如果n相对m大很多，可以使用logistic regression或者使用SVM，核函数选择线性核函数
JGibbLDA:使用JAVA实现了Latent Dirichlet Allocation(LDA)，使用了Gibbs采样来进行参数估计。
4.2特征提取与表达方法的设计
在此次实验中，我们采用了两种特征提取的方法。针对不同的方法提取的特征分别作了文本分类实验。所有的特征提取与特征表达的详细步骤会在5.3种进行描述。
熟悉特征提取方法，包括CHI-square和LDA特征提取
了解SVM机器学习方法，可以运用开源工具完成文本分类过程
2.
XXX：
(1)运用爬虫对语料库新闻的收集
(2)对数据的预处理工作
(3)后期的不同对比试验的测试
XXX:
(1)特征的提取
(2)训练集和测试集的生成
(3)后期的不同对比试验的测试
3.
中文分词与LDA特征提取运行环境:
（2）如果n很小，m的大小适中，使用SVM，核函数选择Gaussian函数
（3）如果n很小，m很大,需要添加更多的特征，然后使用logistic regression或者使用SVM，不使用核函数。
神经网络的算法的效果会优于上面的算法，但是训练的时间非常长，这也是为什么很多人选择SVM的原因之一。
4.4性能评估方法
图1
如图中所示，SVM分类算法可以根据最边界的样本点，也就是支持向量，达到二分类的目的。当数据的样本线性不可分时，会通过核函数的映射，把样本转换到线性可分的向量空间。所以核函数的选择也会影响最终的效果。
如果遇到了多分类的问题，如下图所示，可以通过多个SVM训练模型完成多分类的任务。现在的SVM工具包都提供了自动的多分类接口。
图中的第一列为文本的所属类别。后面的为topic_id:probability。Topic_id为相应的主题id，probability为这篇文档此主题的分布情况。
两种特征提取的方法，都将会在5.3中进行详细描述。
4.3分类算法的选择
我们使用的SVM（Support Vector Machine）分类算法，是最大margin分类算法中的一种。SVM是一种可训练的机器学习方法，在小样本中可以得到优秀的训练模型。
CHI特征提取：
根据上面的公式，最终建立成了数据字典。
经过CHI特征提取建立成数据字典，数据字典如图所示（已经经过了按照字母排序处理）：
在每个词的前面是数据字典中，每个词对应的id。
最终的特征向量表达方法为：
Class_id word_id:tf-idf ……
第一列class_id为此文本所属的新闻类别，word_id为数据字典中每个词对应的word_id，tf-idf为每篇文档中，对应的tf-idf值。
ICTCLAS：全称为汉语词法分析系统。具有简易的图形演示界面，和不同语言的API接口，开发者可以根据自己的需求选择不同的接口。主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典；在今年的12月中下旬会发布ICTCLAS2014版本。
Lib svm:是由台湾大学林智仁副教授等开发的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包。除了主体训练，测试的程序，还提供了一些使用的工具，例如子集的选择，参数的选择与归一化的操作等实用的方法。
5.
基于CHI特征提取的实验流程图：
基于LDA特征提取的实验流程图：
5.1文本分类语料库的采集
通过网络爬虫在爬取新闻语料。
爬取的类别有：
北京邮电大学
2013-2014学年第1学期实验报告
课程名称：数据仓库与数据挖掘
实验名称：SVM文本分类
实验完成人：
姓：学号：
姓名：学号：
姓名：学号：
日 期：2013年11月
实验一：SVM文本分类
1.
熟悉爬虫的使用，可以利用网络爬虫抓取所需的网络语料
熟悉中文分词软件，可以熟练使用接口完成分词任务
熟悉文本分类必要的预处理步骤，并运用到实验实践中
True negative
表1
P = True positive / (True positive + False positive)
R = True positive /(True positive + False negative)
F1-Score = (2 * P * R)/(P + R)
在此实验中，我们分析了每种特征提取方法最终在每类与总体的准确率、召回率和F1-Score的结果。关于结果分析的详细描述见5.6。
最终性能的评价使用了准确率（P），回召率（R）和F1-Score来评价分类效果。为了解释每种评价标准的计算方法，先看如下表格：
实际情况1代表真实情况此类，0代表不属于
预测结果
1代表预测属于此类
0代表预测不属于此类
1
0
1
True positive
False positive
0
Falsenegative
LDA是主题模型的一种。假设一篇文章可以由不同的主题组成，把每篇文章中的主题分布概率来当作这篇文章的特征，从而形成了特征向量。主题的数量可以由人工根据情况指定或者通过其他方法科学的得到合理也就是概率最大的主题数量，再对其进行人工指定。
经过LDA主题模型分析之后，在通过简单的处理，变换成SVM可以接受的输入格式，会得到如下的特征向量：
(1)Java version 1.7
(2)开发环境:eclipse
Python代码运行环境：
(1)python 3.2
4.
4.1实验工具介绍
Web Crawler:由实验室集体开发的网络爬虫，不对外公开。可以方便的通过正则表达式的配置，轻松的完成对网络数据的提取，并且可以根据需求完成过滤老新闻、不合适的网址格式等功能。最终的爬取结果文件已经经过程序处理，可以直接得到最需要得到的内容。例如：在此实验中，最终的爬取结果即为已经从网站中提取出的新闻标题和正文。
图2
此外，SVM与logistic regression非常相似。Logistic regression虽然其名字当中是regression也就是回归，但是实际上此算法是一个分类算法。为了达到性能和效率兼备，对不同情况运用不同算法的场景进行了描述：
n为特征的数量，m为训练样本的数量
（1）如果n相对m大很多，可以使用logistic regression或者使用SVM，核函数选择线性核函数
JGibbLDA:使用JAVA实现了Latent Dirichlet Allocation(LDA)，使用了Gibbs采样来进行参数估计。
4.2特征提取与表达方法的设计
在此次实验中，我们采用了两种特征提取的方法。针对不同的方法提取的特征分别作了文本分类实验。所有的特征提取与特征表达的详细步骤会在5.3种进行描述。
熟悉特征提取方法，包括CHI-square和LDA特征提取
了解SVM机器学习方法，可以运用开源工具完成文本分类过程
2.
XXX：
(1)运用爬虫对语料库新闻的收集
(2)对数据的预处理工作
(3)后期的不同对比试验的测试
XXX:
(1)特征的提取
(2)训练集和测试集的生成
(3)后期的不同对比试验的测试
3.
中文分词与LDA特征提取运行环境:
（2）如果n很小，m的大小适中，使用SVM，核函数选择Gaussian函数
（3）如果n很小，m很大,需要添加更多的特征，然后使用logistic regression或者使用SVM，不使用核函数。
神经网络的算法的效果会优于上面的算法，但是训练的时间非常长，这也是为什么很多人选择SVM的原因之一。
4.4性能评估方法
图1
如图中所示，SVM分类算法可以根据最边界的样本点，也就是支持向量，达到二分类的目的。当数据的样本线性不可分时，会通过核函数的映射，把样本转换到线性可分的向量空间。所以核函数的选择也会影响最终的效果。
如果遇到了多分类的问题，如下图所示，可以通过多个SVM训练模型完成多分类的任务。现在的SVM工具包都提供了自动的多分类接口。
图中的第一列为文本的所属类别。后面的为topic_id:probability。Topic_id为相应的主题id，probability为这篇文档此主题的分布情况。
两种特征提取的方法，都将会在5.3中进行详细描述。
4.3分类算法的选择
我们使用的SVM（Support Vector Machine）分类算法，是最大margin分类算法中的一种。SVM是一种可训练的机器学习方法，在小样本中可以得到优秀的训练模型。
CHI特征提取：
根据上面的公式，最终建立成了数据字典。
经过CHI特征提取建立成数据字典，数据字典如图所示（已经经过了按照字母排序处理）：
在每个词的前面是数据字典中，每个词对应的id。
最终的特征向量表达方法为：
Class_id word_id:tf-idf ……
第一列class_id为此文本所属的新闻类别，word_id为数据字典中每个词对应的word_id，tf-idf为每篇文档中，对应的tf-idf值。
ICTCLAS：全称为汉语词法分析系统。具有简易的图形演示界面，和不同语言的API接口，开发者可以根据自己的需求选择不同的接口。主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典；在今年的12月中下旬会发布ICTCLAS2014版本。
Lib svm:是由台湾大学林智仁副教授等开发的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包。除了主体训练，测试的程序，还提供了一些使用的工具，例如子集的选择，参数的选择与归一化的操作等实用的方法。
5.
基于CHI特征提取的实验流程图：
基于LDA特征提取的实验流程图：
5.1文本分类语料库的采集
通过网络爬虫在爬取新闻语料。
爬取的类别有：
北京邮电大学
2013-2014学年第1学期实验报告
课程名称：数据仓库与数据挖掘
实验名称：SVM文本分类
实验完成人：
姓：学号：
姓名：学号：
姓名：学号：
日 期：2013年11月
实验一：SVM文本分类
1.
熟悉爬虫的使用，可以利用网络爬虫抓取所需的网络语料
熟悉中文分词软件，可以熟练使用接口完成分词任务
熟悉文本分类必要的预处理步骤，并运用到实验实践中
True negative
表1
P = True positive / (True positive + False positive)
R = True positive /(True positive + False negative)
F1-Score = (2 * P * R)/(P + R)
在此实验中，我们分析了每种特征提取方法最终在每类与总体的准确率、召回率和F1-Score的结果。关于结果分析的详细描述见5.6。
最终性能的评价使用了准确率（P），回召率（R）和F1-Score来评价分类效果。为了解释每种评价标准的计算方法，先看如下表格：
实际情况1代表真实情况此类，0代表不属于
预测结果
1代表预测属于此类
0代表预测不属于此类
1
0
1
True positive
False positive
0
Falsenegative
