一种提高文本聚类算法质量的方法
冯少荣
【期刊名称】《同济大学学报（自然科学版）》
【年(卷),期】2008(036)012
【摘要】针对基于VSM(vector space model)的文本聚类算法存在的主要问题,即忽略了词之间的语义信息、忽略了各维度之间的联系而导致文本的相似度计算不够精确,提出基于语义距离计算文档间相似度及两阶段聚类方案来提高文本聚类算法的质量.首先,从语义上分析文档,采用最近邻算法进行第一次聚类;其次,根据相似度权重,对类特征词进行优胜劣汰;然后进行类合并;最后,进行第二次聚类,解决最近邻算法对输入次序敏感的问题.实验结果表明,提出的方法在聚类精度和召回率上均有显著的提高,较好解决了基于VSM的文本聚类算法存在的问题.
【总页数】7页(P1712-1718)
【作者】冯少荣
【作者单位】厦门大学信息科学与技术学院,福建,厦门,361005
【正文语种】中文
【中图分类】TP312
【相关文献】
1.一种基于源网页质量的锚文本相似度计算方法--LAAT [J], 陆一鸣;胡健;马范援
2.一种提高DBSCAN聚类算法质量的新方法 [J], 冯少荣;肖文俊
3.一种提高文本检索准确性的关联方法 [J], 施侃晟;刘海涛;舒平达
4.主题特征格分析:一种用户生成文本质量评估方法 [J], 钟将;张淑芳;郭卫丽;李雪
5.一种结合TF-IDF方法和词向量的短文本聚类算法 [J], 赵晓平;黄祖源;黄世锋;王永和
因版权原因，仅展示原文概要，查看原文内容请购买。
文本相似度的设计与实现 在自然语言处理和文本挖掘领域中，文本相似度是指度量两个文本之间相似程度的指标。文本相似度的设计和实现一直是该领域的研究热点之一、本文将对文本相似度的设计和实现进行详细介绍，并探讨其中的关键问题和常用方法。
一、设计思路 文本相似度的设计首先需要考虑哪些因素会影响文本的相似度，常见的因素包括词语的重要性、词语的顺序、上下文信息、句法结构等。因此，在设计文本相似度算法时，需要综合考虑这些因素，并使用合适的方法将其转化为相似度指标。
其次，设计文本相似度算法时需要选择合适的特征表示方法。常用的特征表示方法包括基于词频的向量空间模型（TF-IDF）、基于词向量的Word2Vec模型、基于句法树的句法结构特征等。这些特征表示方法能够将文本转化为计算机可处理的向量，为后续的相似度计算提供基础。
二、关键问题 在设计文本相似度算法时，需要解决以下几个关键问题： 1.文本预处理：文本预处理是文本相似度算法的前置步骤，包括去除停用词、分词、词性标注等。合理的文本预处理可以降低噪音干扰，提高计算效果。
2.特征选择：特征选择是指从文本中抽取重要的特征信息，用于后续的相似度计算。在选择特征时需要综合考虑文本的语义信息、词语的重要性等因素。 三、常用方法 1.基于词频的向量空间模型（TF-IDF）：TF-IDF模型通过统计词频和文档频率来衡量词语的重要性，然后将文本表示为向量，最后使用余弦相似度计算文本之间的相似度。
2. 基于词向量的Word2Vec模型：Word2Vec模型将每个词语映射为一个高维向量，使得具有相似语义的词语在向量空间中距离较近，然后将文本表示为向量，使用余弦相似度计算相似度。
3.基于句法树的句法结构特征：句法结构特征可以捕捉到文本的句法信息，例如句法距离、共同父节点等，然后通过特定的计算方法计算文本之间的相似度。
四、实现步骤 1.文本预处理：对文本进行分词、去除停用词、词性标注等操作，去除噪音干扰，提高计算效果。
基于VSM的文本分类挖掘算法综述
夏火松;刘建
【期刊名称】《情报探索》
【年(卷),期】2010(000)009
【摘要】简要介绍了VSM和文本分类挖掘的流程,分析了基于统计方法和基于机器学习的6种常用构造文本分类挖掘分类器的算法,指出了利用各种算法构造的分类器的特点,同时给出了这些算法的优化方向,为使用者选择、学习、改进算法提供依据.
【总页数】4页(P18-21)
【作者】夏火松;刘建
【作者单位】武汉科技学院经济管理学院,湖北,430073;武汉科技学院经济管理学院,湖北,430073
【正文语种】中文
【中图分类】G350
【相关文献】
1.基于改进VSM的Web文本分类方法 [J], 胡晓;王理;潘守慧
2.基于隶属度限幅特征VSM的文本分类模型 [J], 周菁;戴冠中;周婷婷
3.基于HowNet的VSM模型扩展在文本分类中的应用研究 [J], 孙宏纲;陆余良;刘金红;龚笔宏
4.基于VSM和LDA模型相结合的新闻文本分类研究 [J], 彭雨龙
5.一种基于模糊VSM和神经网络的文本分类方法 [J], 潘俊辉;王辉
因版权原因，仅展示原文概要，查看原文内容请购买。
基于知识图及 VSM的儿童学习者行为特征相似度计算刘建炜;郑健成;陈璟【期刊名称】《安庆师范学院学报（自然科学版）》【年(卷),期】2016(022)002【摘要】在学习社区中，学习者之间的相似度计算是进行分组的重要技术依据。
本文介绍了一种基于知识图及VSM（ Vector Space Model）的儿童学习者行为特征相似度计算算法，对网络儿童学习者进行分组。
通过实验验证该算法能够较为高效、准确地计算出儿童学习者之间学习行为特征的相似性，并以此为依据进行有效的分组。
%In the learning community , the similarity calculation between learners is an important technical basis for grouping . This paper introduces a computational algorithm for the similarity of children learners ’ behavior characteristics which is based on knowledge m ap and Vector Space Model( VSM) , by using it we group children learners of the network .The experiment results show that the algorithm can be more efficient and accurate in calculating the similarity of study behavior between children learners , which thus can be as a basis for us to carry out an effective grouping .【总页数】6页(P54-59)【作者】刘建炜;郑健成;陈璟【作者单位】福建幼儿师范高等专科学校人文科学系，福建福州 350013;福建幼儿师范高等专科学校人文科学系，福建福州 350013;福建幼儿师范高等专科学校人文科学系，福建福州 350013【正文语种】中文【中图分类】G40;057【相关文献】1.SPOC学习者在线学习行为特征分析——基于互动视角 [J], 刘冰;李彦敏2.基于大数据的学习者在线行为特征分析 [J], 范为群;周勇3.基于LDA主题模型和学习者行为特征的协同过滤个性化学习资源推荐方法 [J], 董露露; 马宁4.基于在线学习行为数据的学习者群体特征挖掘研究 [J], 王蒙蒙;徐久成5.1989-2020年中国互动行为研究特征与演进趋势—基于CiteSpace知识图谱分析 [J], 张競文;汪俊因版权原因，仅展示原文概要，查看原文内容请购买。
