【原创】R语言文本挖掘tf-idf,主题建模,情感分析,n-gram建模研究分析案例报告(附代码数据)
- 格式：docx
- 大小：507.83 KB
- 文档页数：26
下载文档原格式
合集下载
基于TF—IDF算法的研究与应用
基于TF—IDF算法的研究与应用TF-IDF（Term Frequency-Inverse Document Frequency）算法是一种用于信息检索和文本挖掘的常用算法，它能够帮助我们分析文本中关键词的重要性，并用于文本相似度计算、关键词提取、文本分类等领域。
本文将对TF-IDF算法的原理以及在实际应用中的研究和应用进行介绍。
一、TF-IDF算法原理TF-IDF算法是一种用于衡量一个词在文本中的重要性的指标，其计算公式如下所示：TF（词频）= 某个词在文本中出现的次数 / 该文本的总词数IDF（逆文档频率）= log（语料库中文档总数 / 含有该词的文档数+1）TF-IDF = TF * IDF在这个公式中，TF用于衡量某个词在文本中的重要程度，而IDF用于衡量该词在整个语料库中的重要程度。
通过这个公式，我们可以得到一个词在文本中的TF-IDF值，从而确定其在文本中的重要性。
1. 文本相似度计算TF-IDF算法可以用于计算两个文本之间的相似度，通过比较它们的关键词的TF-IDF 值，我们可以得出它们之间的相似程度。
这对于文本匹配、信息检索等领域非常有用，可以帮助我们快速找到相关的文档。
2. 关键词提取在文本挖掘和自然语言处理领域，我们经常需要从大量的文本中提取关键词。
TF-IDF 算法可以帮助我们确定文本中的关键词，通过计算每个词的TF-IDF值，我们可以找到在文本中最重要的词语，从而实现关键词提取的目的。
3. 文本分类1. 搜索引擎搜索引擎是TF-IDF算法最典型的应用场景之一，它通过分析用户输入的关键词，并在文档集合中计算每个词的TF-IDF值，从而找到最相关的文档并呈现给用户。
通过TF-IDF 算法，搜索引擎可以实现准确的文本匹配和相关性排序，提高搜索结果的质量。
2. 新闻推荐系统在新闻推荐系统中，我们需要根据用户的兴趣推荐相关的新闻文章。
TF-IDF算法可以用于分析用户的浏览历史和新闻文章的内容，通过计算关键词的TF-IDF值来确定用户的兴趣，从而实现个性化的新闻推荐。
R语言-文本挖掘主题模型文本分类
R语⾔-⽂本挖掘主题模型⽂本分类####需要先安装⼏个R包，如果有这些包，可省略安装包的步骤。
#install.packages("Rwordseg")#install.packages("tm");#install.packages("wordcloud");#install.packages("topicmodels")例⼦中所⽤数据数据来源于sougou实验室数据。
数据⽹址：/dl/sogoulabdown/SogouC.mini.20061102.tar.gz⽂件结构└─Sample├─C000007 汽车├─C000008 财经├─C000010 IT├─C000013 健康├─C000014 体育├─C000016 旅游├─C000020 教育├─C000022 招聘├─C000023└─C000024 军事采⽤Python对数据进⾏预处理为train.csv⽂件，并把每个⽂件⽂本数据处理为1⾏。
预处理python脚本<ignore_js_op> (720 Bytes, 下载次数: 96)所需数据<ignore_js_op> (130.2 KB, 下载次数: 164)⼤家也可以⽤R直接将原始数据转变成train.csv中的数据⽂章所需stopwords<ignore_js_op> (2.96 KB, 下载次数: 114)1. 读取资料库1. csv <- read.csv("d://wb//train.csv",header=T, stringsAsFactors=F)2. mystopwords<- unlist (read.table("d://wb//StopWords.txt",stringsAsFactors=F))复制代码2.数据预处理（中⽂分词、stopwords处理）1.2. library(tm);3.4. #移除数字5. removeNumbers = function(x) { ret = gsub("[0-9０１２３４５６７８９]","",x) }6. sample.words <- lapply(csvtext, removeNumbers)复制代码1.2. #处理中⽂分词,此处⽤到Rwordseg包3.4. wordsegment<- function(x) {5. library(Rwordseg)6. segmentCN(x)7. }8.9. sample.words <- lapply(sample.words, wordsegment)复制代码1.2. ###stopwords处理3. ###先处理中⽂分词，再处理stopwords，防⽌全局替换丢失信息4.5. removeStopWords = function(x,words) {6. ret = character(0)7. index <- 18. it_max <- length(x)9. while (index <= it_max) {10. if (length(words[words==x[index]]) <1) ret <- c(ret,x[index])11. index <- index +112. }13. ret14. }15.16.17. sample.words <- lapply(sample.words, removeStopWords, mystopwords)复制代码3. wordcloud展⽰1. #构建语料库2. corpus = Corpus(VectorSource(sample.words))3. meta(corpus,"cluster") <- csvtype4. unique_type <- unique(csvtype)5. #建⽴⽂档-词条矩阵6. (sample.dtm <- DocumentTermMatrix(corpus, control = list(wordLengths = c(2, Inf))))复制代码1.2. #install.packages("wordcloud"); ##需要wordcloud包的⽀持3. library(wordcloud);4. #不同⽂档wordcloud对⽐图5. sample.tdm <- TermDocumentMatrix(corpus, control = list(wordLengths = c(2, Inf)));6.7. tdm_matrix <- as.matrix(sample.tdm);8.9. png(paste("d://wb//sample_comparison",".png", sep = ""), width = 1500, height = 1500 );10. comparison.cloud(tdm_matrix,colors=rainbow(ncol(tdm_matrix)));####由于颜⾊问题，稍作修改11. title(main = "sample comparision");12. dev.off();13.复制代码1.2. #按分类汇总wordcloud对⽐图3. n <- nrow(csv)4. zz1 = 1:n5. cluster_matrix<-sapply(unique_type,function(type){apply(tdm_matrix[,zz1[csvtype==type]],1,sum)})6. png(paste("d://wb//sample_ cluster_comparison",".png", sep = ""), width = 800, height = 800 )7. comparison.cloud(cluster_matrix,colors=brewer.pal(ncol(cluster_matrix),"Paired")) ##由于颜⾊分类过少，此处稍作修改8. title(main = "sample cluster comparision")9. dev.off()10.复制代码<ignore_js_op>可以看出数据分布不均匀，culture、auto等数据很少。
【原创附代码】R语言用之进行文本挖掘与分析
论文题目：R语言用之进行文本挖掘与分析摘要：要分析文本内容，最常见的分析方法是提取文本中的词语，并统计频率。
频率能反映词语在文本中的重要性，一般越重要的词语，在文本中出现的次数就会越多。
词语提取后，还可以做成词云，让词语的频率属性可视化，更加直观清晰。
本文利用R语言对2016年政府工作报告进行文本挖掘与分析并使用词云是该报告可视化，统计词频，用图片方式短时间看透文章的重点。
关键词：文本挖掘；R语言；2016政府工作报告；词云；可视化Abstract：To analyze text content, the most common method of analysis is to extract the words in the text and to count the frequency. After extraction, can also be made word cloud, so that the frequency of the word attribute visualization, more intuitive and clear. This paper uses the R language to carry on the text mining and analysis to the government work report in 2016 and use the word cloud to visualize the report, to count word frequency, and to see the focus of the article in a short time.Key words：Text mining; R language; 2016 government work report; word cloud; visualization引言我们从新华网上可以找到2016年的政府工作报告（附录1），将其整理下来，并转换为TXT格式，去掉空格与分段，最后变为TXT格式的文件，可见附件1（2016政府工作报告）。
R语言做文本挖掘Part5情感分析
R语⾔做⽂本挖掘Part5情感分析Part5情感分析这是本系列的最后⼀篇⽂章，该。
事实上这种单⼀⽂本挖掘的每⼀个部分进⾏全部值获取⽔落⽯出细致的研究，0基础研究阶段。
⽤R⾥⾯现成的算法，来实现⾃⼰的需求，当然还參考了众多⽹友的智慧结晶，所以也想把我的收获总结出来分享给⼤家，希望也能像我⼀样在看⼤家的分享时得到⾃⼰的启⽰。
⽹上翻了下中⽂⽂本情感分析的⼀些⽂章，再回忆了⼀下我⾃⼰做情感分析的⽅法，认为我的想法真的是简单粗暴直接。
这是⼀篇介绍中⽂⽂本情感分析倾向的论⽂。
，中间讲到做情感分析眼下主要有三种⽅法。
第⼀种由已有的电⼦词典或词语知识库扩展⽣成情感倾向词典；另外⼀种，⽆监督机器学习的⽅法。
第三种基于⼈⼯标注语料库的学习⽅法。
上⾯三种⽅法不细致⼀⼀说明了，它们都有⼀个共同的特点，须要⼀个情感倾向的语料库。
我在R中的实现⽅案与第⼀种⽅法类似。
整理⼀个褒义词词库⼀个贬义词词库（这个万能的互联⽹上有⾃⼰稍加整理就OK）。
给⽂本做分词，并提取出中间的情感词。
给每条⽂本定情感倾向评分初始值为1。
跟褒义贬义词词库做匹配，褒义词+1。
贬义词-1，计算出每条⽂本的终于情感倾向评分，为正值则是正⾯评价，为负值则是负⾯评价。
⽅法能够基本实现情感倾向推断。
但还能够改进。
像前⾯參考论⽂中讲到的，还能够依据词语的词性强弱来评定感情的强，不仅仅是+1和-1之分；还有考虑⼀些词语在不同语境下情感倾向可能会不同，⽐⽅论⽂中讲到的“骄傲”，这个我在想可能须要整理出有这样特殊情况的词语；还有负负得正的情况，⽐⽅“不喜欢是不可能的事情！”，照我的评分标准它的结果就是负⾯评价了；反问的情况。
“哪⾥廉价了？”，评出来结果变成了正。
“廉价”这个词我把它放在褒义词表下，事实上细致考虑假设是说“廉价实惠”肯定是褒义。
假设说“廉价没好货”，也会是褒义，这就不正确了，还是第⼆个问题不同语境下情感倾向会不同。
R中的实现过程：1. 数据输⼊处理数据还是某品牌官微，取它微博中的1376条评论，情感褒义词库和贬义词库。
数据分析-基于R语言课件第十八章 文本挖掘
首先，本节运行英文文本分析，关于英文文本分析的进阶使用，读者 可以参考Julia Silge 和 David Robinson (2017)的书籍，按照先前步 骤一一进行R语言程序操作。
R语言商业数据分析
9.2英文词频与词云图
步骤一：取得文档 安装及加载分析所需的R包并从计算机C根目录读取18S.txt，程序如下：
data(stop_words)#载入停用词 text_df <- text_df %>% unnest_tokens(word, text) text_df <- text_df %>% anti_join(stop_words)#去掉停用词 text_df %>% count(word, sort = TRUE)#排序最常用分词
运行结果如下：
Joining, by = "word" > text_df # A tibble：16 x 2
line word <int> <chr> 1 1 april 2 1 hath 3 1 spirit 4 1 youth 5 2 optimist 6 2 human 7 2 personification 8 2 spring 9 3 spring 10 3 feel 11 3 whistling 12 3 shoe 13 3 slush 14 4 spring 15 4 life's 16 4 alive
R语言商业数据分析
9.1 R语言文本挖掘简介
步骤一：取得文档 这四首和春天相关的英文诗句是我们取得的文本档，接下来我们尝试一 下进行简单的词频分析。透过R语言进行词频分析，必须先下载以及加载 以下安装包，程序如下：
install.packages("dplyr") install.packages("tidytext") library(dplyr) library(tidytext)
R语言商业数据分析
9.2英文词频与词云图
步骤一：取得文档 安装及加载分析所需的R包并从计算机C根目录读取18S.txt，程序如下：
data(stop_words)#载入停用词 text_df <- text_df %>% unnest_tokens(word, text) text_df <- text_df %>% anti_join(stop_words)#去掉停用词 text_df %>% count(word, sort = TRUE)#排序最常用分词
运行结果如下：
Joining, by = "word" > text_df # A tibble：16 x 2
line word <int> <chr> 1 1 april 2 1 hath 3 1 spirit 4 1 youth 5 2 optimist 6 2 human 7 2 personification 8 2 spring 9 3 spring 10 3 feel 11 3 whistling 12 3 shoe 13 3 slush 14 4 spring 15 4 life's 16 4 alive
R语言商业数据分析
9.1 R语言文本挖掘简介
步骤一：取得文档 这四首和春天相关的英文诗句是我们取得的文本档，接下来我们尝试一 下进行简单的词频分析。透过R语言进行词频分析，必须先下载以及加载 以下安装包，程序如下：
install.packages("dplyr") install.packages("tidytext") library(dplyr) library(tidytext)
文本挖掘实验报告
文本挖掘实验报告一、实验目的本文旨在介绍文本挖掘的基本概念和应用，并通过实验验证其在自然语言处理中的有效性。
二、实验流程1. 数据收集我们选择了一份包含2000篇新闻文章的数据集，在数据预处理环节中，我们使用了Python中的pandas库对数据进行了清洗和去重。
2. 数据预处理在数据预处理阶段，我们首先对原始数据进行了分词处理，然后使用停用词表去除了常见的无意义词汇。
接着，我们对文本进行了词干化和词形还原等操作，将单词转换为其基本形式以便于后续分析。
最后，我们使用TF-IDF算法计算每个单词在整个语料库中的重要性，并将其作为特征向量。
3. 模型训练我们采用朴素贝叶斯算法和支持向量机算法分别对数据进行分类。
其中朴素贝叶斯算法是一种基于贝叶斯定理和特征条件独立假设的分类方法；而支持向量机则是一种基于间隔最大化思想构建超平面分类器的方法。
4. 模型评估为了评估模型效果，我们采用了准确率、精确率、召回率和F1值等指标。
其中准确率是指分类器正确分类的样本占总样本数的比例，精确率是指分类器正确分类的正样本占所有预测为正样本的样本数的比例，召回率是指分类器正确分类的正样本占所有实际为正样本的样本数的比例，而F1值则是综合考虑了精确率和召回率。
三、实验结果我们将数据集按照8:2的比例分为训练集和测试集，并使用朴素贝叶斯算法和支持向量机算法进行了模型训练。
在测试集上，朴素贝叶斯算法取得了87.5%的准确率、90.4%的精确率、85.3%的召回率和87.8%的F1值；而支持向量机算法则取得了88.2%的准确率、90.9%的精确率、86.0%的召回率和88.4%的F1值。
四、实验结论通过对比两种算法在测试集上表现，我们可以发现支持向量机算法略优于朴素贝叶斯算法。
此外，在数据预处理环节中，使用停用词表可以有效地去除无意义词汇，从而提高模型效果。
最后，我们可以得出结论：文本挖掘技术在自然语言处理中具有重要的应用价值，可以为文本分类、情感分析等任务提供有效的解决方案。
文本特征提取以及分类结果分析
文本特征提取以及分类结果分析文本特征提取是文本挖掘领域的重要任务，通过对文本中的特征进行提取和表示，能够实现对文本的分类、聚类、情感分析等任务。
本文将介绍文本特征提取的常见方法，并利用这些特征进行文本分类，并对分类结果进行分析。
一、文本特征提取方法1.词袋模型（Bag of Words）词袋模型是文本特征提取的基本方法，它将一篇文本表示为一个词频向量。
首先对文本进行分词处理，然后统计每个词在文本中出现的频率，最后将每个词的频率作为特征，构成一个向量。
2.TF-IDFTF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的文本特征提取方法，对于每个词，它结合了在文本中出现的频率和在整个语料库中出现的频率。
TF（词频）表示词在文本中的频率，而IDF （逆文档频率）表示词在整个语料库中的频率。
TF-IDF的计算公式为：TF-IDF = TF * log(N / IDF)，其中N表示语料库中的文档数。
3. Word2VecWord2Vec是一种通过训练神经网络从文本中学习词的向量表示的方法。
它能够将每个词映射到一个固定维度的实数向量，使得具有相似语义的词在向量空间中距离较近。
Word2Vec的训练方法有两种：CBOW （Continuous Bag of Words）和Skip-gram。
4. GloVeGloVe（Global Vectors for Word Representation）是一种利用全局语料统计信息来进行词向量训练的方法。
与Word2Vec类似，GloVe也能够将词转化为固定维度的实数向量，但是在计算上更加高效。
二、文本分类1.特征表示上述介绍的文本特征提取方法可以用于构建文本的特征表示。
通过选择合适的特征提取方法，可以有效地提取文本中的关键信息，帮助模型区分不同的类别。
2.模型训练常见的文本分类方法有朴素贝叶斯、支持向量机（SVM）、随机森林、神经网络等。
r语言文本数据聚类方法
r语言文本数据聚类方法
R语言中有多种文本数据聚类方法，其中一些常见的包括基于词频的方法、基于词向量的方法和基于主题模型的方法。
首先，基于词频的方法包括使用词袋模型（Bag of Words）和TF-IDF（词频-逆文档频率）来表示文本数据，然后可以使用K均值聚类（K-means clustering）或层次聚类（Hierarchical clustering）等算法来对文本进行聚类。
这些方法适用于较短的文本数据，对于长文本数据可能会失去一些语义信息。
其次，基于词向量的方法使用词嵌入（Word Embedding）技术将文本数据映射到低维向量空间，然后可以使用聚类算法如K均值聚类或DBSCAN（基于密度的聚类）来进行文本聚类。
这些方法可以更好地捕捉词语之间的语义关系，适用于较长的文本数据。
另外，基于主题模型的方法如Latent Dirichlet Allocation （LDA）可以将文本数据表示为主题分布，然后进行聚类分析。
这些方法可以帮助发现文本数据中潜在的主题结构，对于主题相关的文本聚类效果较好。
除了上述方法，还有一些其他文本数据聚类方法，如基于图的聚类方法和基于密度的聚类方法等，可以根据具体的文本数据特点和需求选择合适的方法进行聚类分析。
总的来说，在R语言中进行文本数据聚类可以通过使用各种文本表示方法和聚类算法来实现，需要根据具体的数据特点和分析目的选择合适的方法进行实践。
希望以上信息能够帮助到你。
文本情感分析的特征提取方法与情感极性判断模型构建
文本情感分析的特征提取方法与情感极性判断模型构建人类的情感对于我们的日常交流和决策过程起着至关重要的作用。
而在数十亿条文本数据被产生和共享的今天，通过计算机自动化地分析文本情感变得愈发重要。
文本情感分析作为一种文本挖掘技术，旨在从大规模文本数据中自动提取情感信息，并对文本的情感极性进行判断。
本文将从特征提取方法和情感极性判断模型构建两个方面探讨文本情感分析的相关技术。
一、特征提取方法特征提取是文本情感分析的核心环节，通过将文本转换为可计算的特征向量，可以更好地进行情感极性判断。
以下是几种常用的特征提取方法：1. 词袋模型 (Bag-of-Words model)词袋模型是最简单且最常用的特征提取方法之一。
它将文本看作是一个无序的词集合，提取文本中的关键词作为特征。
将每个词视为特征向量的一个维度，并统计每个词在文本中的出现频率，从而得到一个由词频组成的向量表示。
然而，词袋模型忽略了词的顺序和上下文信息，因此无法捕捉到一些重要的语义特征。
2. TF-IDF (Term Frequency-Inverse Document Frequency)TF-IDF是一种常用的权重计算方法，用于衡量某个词在文本中的重要性。
通过计算词频 (TF) 和逆文档频率 (IDF) 的乘积，可以得到每个词的权重。
TF-IDF在特征提取过程中更加关注词的信息量，较好地解决了词袋模型的问题，但仍然忽略了词的顺序和上下文信息。
3. Word2VecWord2Vec是一种基于神经网络的词向量表示方法，可以将词表示为低维的实值向量。
Word2Vec通过学习大量文本数据中词语的分布式表示，使得具有相似分布的词在向量空间中距离较近。
该方法在较大规模的语料库上具有很好的效果，并能够捕捉到词之间的语义关系，并且保留了词的顺序和上下文信息。
二、情感极性判断模型构建情感极性判断模型是用于判断文本情感极性的核心模型，其构建过程需要结合特征提取方法和机器学习算法。
【原创】R语言中对文本数据进行主题模型topic modeling分析数据分析报告论文(代码数据)
咨询QQ：3025393450欢迎登陆官网：/datablogR语言中对文本数据进行主题模型topic modeling分析数据分析报告原文链接：/?p=4333主题建模在文本挖掘中，我们经常收集一些文档集合，例如博客文章或新闻文章，我们希望将其分成自然组，以便我们可以分别理解它们。
主题建模是对这些文档进行无监督分类的一种方法，类似于对数字数据进行聚类，即使我们不确定要查找什么，也可以找到自然的项目组。
潜在狄利克雷分配（LDA）是拟合主题模型特别流行的方法。
它将每个文档视为主题的混合体，并将每个主题看作是单词的混合体。
这允许文档在内容方面相互“重叠”，而不是分离成离散的组，以反映自然语言的典型用法。
咨询QQ：3025393450欢迎登陆官网：/datablog结合主题建模的文本分析流程图。
topicmodels包采用Document-Term Matrix 作为输入，并生成一个可以通过tidytext进行处理的模型，以便可以使用dplyr 和ggplot2对其进行处理和可视化。
潜在狄利克雷分配潜在Dirichlet分配是主题建模中最常用的算法之一。
没有深入模型背后的数学，我们可以理解它是由两个原则指导的。
每个文档都是主题的混合体。
我们设想每个文档可能包含来自几个主题的文字，特别是比例。
例如，在双主题模型中，我们可以说“文档1是90％的主题A和10％的主题B，而文档2是30％的主题A和70％的主题B.”每个主题都是词汇的混合。
例如，我们可以想象一个美国新闻的两个主题模型，一个话题是“政治”，一个是“娱乐”。
政治话题中最常见的词语可能是“总统”，“国会”和“政府“，而娱乐主题可以由诸如”电影“，”电视“和”演员“之类的词组成。
重要的是，话题可以在话题之间共享; 像“预算”这样的词可能同时出现在两者中。
咨询QQ：3025393450欢迎登陆官网：/datablogLDA是一种同时估计这两种情况的数学方法：查找与每个主题相关的单词混合，同时确定描述每个文档的主题混合。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
务（附代码数据）,咨询QQ：3025393450有问题到百度搜索“大数据部落”就可以了欢迎登陆官网：/datablogR语言挖掘公告板数据文本挖掘研究分析## Registered S3 methods overwritten by 'ggplot2':## method from## [.quosures rlang## c.quosures rlang## print.quosures rlang我们对1993年发送到20个Usenet公告板的20,000条消息进行从头到尾的分析。
此数据集中的Usenet公告板包括新闻组用于政治，宗教，汽车，体育和密码学等主题，并提供由许多用户编写的丰富文本。
该数据集可在/~jason/20Newsgroups/（该20news-bydate.tar.gz文件）上公开获取，并已成为文本分析和机器学习练习的热门。
1预处理我们首先阅读20news-bydate文件夹中的所有消息，这些消息组织在子文件夹中，每个消息都有一个文件。
我们可以看到在这样的文件用的组合read_lines()，map()和unnest()。
请注意，此步骤可能需要几分钟才能读取所有文档。
library(dplyr)library(tidyr)library(purrr)务（附代码数据）,咨询QQ：3025393450有问题到百度搜索“大数据部落”就可以了欢迎登陆官网：/databloglibrary(readr)training_folder <- "data/20news-bydate/20news-bydate-train/"# Define a function to read all files from a folder into a data frameread_folder <-function(infolder) {tibble(file =dir(infolder, s =TRUE)) %>%mutate(text =map(file, read_lines)) %>%transmute(id =basename(file), text) %>%unnest(text)}# Use unnest() and map() to apply read_folder to each subfolderraw_text <-tibble(folder =dir(training_folder, s =TRUE)) %>%unnest(map(folder, read_folder)) %>%transmute(newsgroup =basename(folder), id, text)raw_text## # A tibble: 511,655 x 3## newsgroup id text## <chr> <chr> <chr>## 1 alt.atheism 49960 From: mathew <mathew@>## 2 alt.atheism 49960 Subject: Alt.Atheism FAQ: Atheist Resources## 3 alt.atheism 49960 Summary: Books, addresses, music -- anything related to atheism## 4 alt.atheism 49960 Keywords: FAQ, atheism, books, music, fiction, addresses, contacts## 5 alt.atheism 49960 Expires: Thu, 29 Apr 1993 11:57:19 GMT## 6 alt.atheism 49960 Distribution: world## 7 alt.atheism 49960 Organization: Mantis Consultants, Cambridge. UK.## 8 alt.atheism 49960 Supersedes: <19930301143317@>## 9 alt.atheism 49960 Lines: 290## 10 alt.atheism 49960 ""## # … with 511,645 more rows请注意该newsgroup列描述了每条消息来自哪20个新闻组，以及id列，用于标识该新闻组中的唯一消息。
包含哪些新闻组，以及每个新闻组中发布的消息数量（图1）？务（附代码数据）,咨询QQ：3025393450有问题到百度搜索“大数据部落”就可以了欢迎登陆官网：/databloglibrary(ggplot2)raw_text %>%group_by(newsgroup) %>%summarize(messages =n_distinct(id)) %>%ggplot(aes(newsgroup, messages)) +geom_col() +coord_flip()图1：来自每个新闻组的消息数我们可以看到Usenet新闻组名称是按层次命名的，从主题如“talk”，“sci”或“rec”开始，然后是进一步的规范。
务（附代码数据）,咨询QQ：3025393450有问题到百度搜索“大数据部落”就可以了欢迎登陆官网：/datablog1.1预处理文本我们在本书中检查过的大多数数据集都经过了预处理，这意味着我们不必删除Jane Austen小说中的版权声明。
但是，在这里，每条消息都有一些我们不想在分析中包含的结构和额外文本。
例如，每条消息都有一个标题，其中包含描述消息的字段，例如“from：”或“in_reply_to：”。
有些还有自动电子邮件签名，这些签名发生在类似的行之后--。
这种预处理可以在dplyr包中使用cumsum()（累积和）和str_detect()来自stringr 的组合来完成。
library(stringr)# must occur after the first occurrence of an empty line,# and before the first occurrence of a line starting with --cleaned_text <-raw_text %>%group_by(newsgroup, id) %>%filter(cumsum(text == "") >0,cumsum(str_detect(text, "^--")) ==0) %>%ungroup()许多行也有嵌套文本代表来自其他用户的引号，通常以“某某写入...”之类的行开头。
这些可以通过一些正则表达式删除。
我们也可以选择手动删除两条消息，9704并9985包含了大量的非文本内容。
cleaned_text <-cleaned_text %>%filter(str_detect(text, "^[^>]+[A-Za-z\\d]") |text == "",!str_detect(text, "writes(:|\\.\\.\\.)$"),!str_detect(text, "^In article <"),!id %in%c(9704, 9985))此时，我们已准备好使用unnest_tokens()将数据集拆分为标记，同时删除停用词。
library(tidytext)务（附代码数据）,咨询QQ：3025393450有问题到百度搜索“大数据部落”就可以了欢迎登陆官网：/datablogusenet_words <-cleaned_text %>%unnest_tokens(word, text) %>%filter(str_detect(word, "[a-z']$"),!word %in%stop_words$word)每个原始文本数据集都需要不同的数据清理步骤，这通常涉及一些反复试验和探索数据集中的异常情况。
重要的是要注意这种清洁可以使用整洁的工具，如dplyr和tidyr来实现。
2新闻组中的单词现在我们已经删除了标题，签名和格式，我们可以开始探索常用词。
首先，我们可以在整个数据集或特定新闻组中找到最常用的单词。
usenet_words %>%count(word, sort =TRUE)## # A tibble: 68,137 x 2## word n## <chr> <int>## 1 people 3655## 2 time 2705## 3 god 1626## 4 system 1595## 5 program 1103## 6 bit 1097## 7 information 1094## 8 windows 1088## 9 government 1084## 10 space 1072## # … with 68,127 more rowswords_by_newsgroup <-usenet_words %>%务（附代码数据）,咨询QQ：3025393450有问题到百度搜索“大数据部落”就可以了欢迎登陆官网：/datablogcount(newsgroup, word, sort =TRUE) %>%ungroup()words_by_newsgroup## # A tibble: 173,913 x 3## newsgroup word n## <chr> <chr> <int>## 1 soc.religion.christian god 917## 2 sci.space space 840## 3 talk.politics.mideast people 728## 4 sci.crypt key 704## 5 comp.os.ms-windows.misc windows 625## 6 talk.politics.mideast armenian 582## 7 sci.crypt db 549## 8 talk.politics.mideast turkish 514## 9 rec.autos car 509## 10 talk.politics.mideast armenians 509## # … with 173,903 more rows2.1在新闻组中查找tf-idf我们希望新闻组在主题和内容方面有所不同，因此，它们之间的词语频率也不同。