文本相似度的设计与实现
摘要：本文主要设计并实现了一个文本相似度系统，该系统主要功能计算文档之间的相似度，通过使用向量空间模型(VSM, Vector Space Model)及余弦相似度计算公式计算文档之间的相似度，数据预处理过程中加入word2vec模型进行语义扩充，从而能够匹配到更多相关文档。
1.向量空间模型
向量空间模型(VSM, Vector Space Model)由Salton等人于20世纪70年代年提出[1,2]。向量空间模型的主要思想是将文本内容的处理简化为向量空间中的向量运算，这样将空间上的相似度转化为语义上的相似度。当文档被表示为文档空间的向量时，便可通过计算向量之间的相似性来度量文档间的相似性。文本处理中最常用的相似性度量方式是余弦距离。
向量空间模型的基本思想：
给定一篇文档D=D(T1,T2,…T i,…,T n)，若T i在文档中既可以重复出现又存在先后次序，因此分析起来会较为困难。针对上述情况，暂不考虑T i的顺序，并要求T i互异，此时可将T1,T2,…T i,…,T n看作n维坐标，每一维对应相应值W i，因此D(W1,W2,…,W i,…,W n)便可以看作一个n维向量。
例如：有一篇文档D={大家好，才是真的好}，首先进行分词后转换为D={大家/好/才是/真的/好}，之后提取出公因词D={大家，好，才是，真的}，最后通过向量空间模型将文档转换为对应的向量D={1，2，1，1}。
向量空间模型只是将文档转换为方便计算的格式，若进行相似度计算，还需使用相似度计算公式进行计算。本文使用余弦相似度计算公式。
2.余弦相似度
余弦相似度计算公式广泛应用于文本数据之间的相似度计算过程中。其数学表达如下：
计算过程如下：
例如，有2个文档D1={大家好}，D2={才是真的好}，首先将D1、D2分词后，D1={大家/好}，D2={才是/真的/好}，其次提取出公因词D={大家，好，才是，真的}，然后通过向量空间模型转换成向量表达，D1={1，1，0，0}，D2={0，1，1，1}，最后进行相似度计算
Score==
3.文本相似度系统
本文主要使用向量空间模型及余弦相似度距离公式进行文本相似度计算任务，系统的基本架构如下图1所示：
图1 系统架构
其基本思想为：将文档输入系统，对文档进行数据预处理操作，数据预处理完成后使用向量空间模型将词组转化为向量，之后使用余弦相似度计算公式求解文档之间的相似度，最终将计算后的结果展示出来。
数据预处理阶段，包括分词、取停用词、word2vec语义扩展，其流程如下图2所示：
图2数据预处理
在word2vec语义扩展阶段，Word2vec是Google于2013年发布的一款基于深度学习的开源工具包，主要用于将单词以向量形式表示[3]。Word2vec首先使用语料训练模型，待模型训练结束后，将新的单词输入模型进行预测，模型可按相关度排序将最相近的预测单词展现给用户，通常而言，会将top30展示给用户。
针对文档语义扩充，系统会先使用搜狗新闻语料训练CBOW模型，待模型训练结束后，将本档中的单词输入CBOW模型进行预测，最终将预测结果扩充回文档中，用于向量空间模型。
同样以之前的2篇文档为例，D 1={大家/好}，D 2={才是/真的/好}，通过word2vec 模型后，D 1={大家/好/很好/不错}，D 2={才是/真的/好/很好/不错}，提取出公因词D={大家，好，很好，不错，才是，真的}，然后通过向量空间模型转换成向量表达，D 1={1，1，1，1，0，0}，D 2={0，1，1，1，1，1}，最后进行相似度计算
Score =
=
通过比较两次的Score 值可得出，通过word2vec 能够提高文本相似度的计算分值。
另外系统会计算文档中每一句话所对应的最大匹配及其相似度值，针对文档与文档的相似度计算，本文提出一种平均相似度计算公式，即：
(1)
()1
maxSi (1)n dicList i i
avgSimilar milar n dicList =?∑
其中n(dicList1)是所求文档中包含的句子个数，公式的主要思路即将每句话的最大匹配相似度叠加后求取平均值。
4. 系统设计
相应代码如下：
数据预处理阶段如下：
模型计算阶段如下：
参考文献：
[1] Salton G, Lesk M E. Computer Evaluation of Indexing and Text Processing[J]. Journal of the
Acm, 1968, 15(1):8-36.
[2] Salton. The SMART Retrieval System—Experiments in Automatic Document Processing[C]//
Prentice-hall, Inc Upper Saddle River. Prentice-Hall, Inc. 1971.
[3]苏增才.基于word2vec和SVMperf的网络中文文本评论信息情感分类研究［D］.河北科
技大学,2015.
相关代码下载地址：
https://www.doczj.com/doc/7c9921016.html,/detail/u013473512/9742055
https://https://www.doczj.com/doc/7c9921016.html,/Emmitte/DocDistance
1.信息检索中的重要发明TF-IDF 1.1TF Term frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N个该关键词，则 （公式1.1-1） 为该关键词在这篇文章中的词频。 1.2IDF Inverse document frequency指逆向文本频率，是用于衡量关键词权重的指数，由公式 （公式1.2-1） 计算而得，其中D为文章总数，Dw为关键词出现过的文章数。2.基于空间向量的余弦算法 2.1算法步骤 预处理→文本特征项选择→加权→生成向量空间模型后计算余弦。 2.2步骤简介 2.2.1预处理 预处理主要是进行中文分词和去停用词，分词的开源代码有：ICTCLAS。 然后按照停用词表中的词语将语料中对文本内容识别意义不大但出
现频率很高的词、符号、标点及乱码等去掉。如“这，的，和，会，为”等词几乎出现在任何一篇中文文本中，但是它们对这个文本所表达的意思几乎没有任何贡献。使用停用词列表来剔除停用词的过程很简单，就是一个查询过程：对每一个词条，看其是否位于停用词列表中，如果是则将其从词条串中删除。 图2.2.1-1中文文本相似度算法预处理流程 2.2.2文本特征项选择与加权 过滤掉常用副词、助词等频度高的词之后，根据剩下词的频度确定若干关键词。频度计算参照TF公式。 加权是针对每个关键词对文本特征的体现效果大小不同而设置的机制，权值计算参照IDF公式。 2.2.3向量空间模型VSM及余弦计算 向量空间模型的基本思想是把文档简化为以特征项（关键词）的权重为分量的N维向量表示。
这个模型假设词与词间不相关（这个前提造成这个模型无法进行语义相关的判断，向量空间模型的缺点在于关键词之间的线性无关的假说前提），用向量来表示文本，从而简化了文本中的关键词之间的复杂关系，文档用十分简单的向量表示，使得模型具备了可计算性。 在向量空间模型中，文本泛指各种机器可读的记录。 用D（Document）表示文本，特征项（Term，用t表示）指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D（T1，T2，…，Tn），其中Tk是特征项，要求满足1<=k<=N。 下面是向量空间模型（特指权值向量空间）的解释。 假设一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为 D（a，b，c，d） 对于其它要与之比较的文本，也将遵从这个特征项顺序。对含有n 个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度，即 D＝D（T1，W1；T2，W2；…，Tn，Wn） 简记为 D＝D（W1，W2，…，Wn） 我们把它叫做文本D的权值向量表示，其中Wk是Tk的权重，
扣词阅读感悟，品味人物精神 ——《阅读大地的徐霞客》教学设计 上佳市小学张伶俐 <一>教学设计 教材：北师大版五年级下册 设计理念： 新课标的基本理念是“以学生为本，以学生的发展为本”，同时，新课标中还指出，在教学中，学生应以“合作学习、探究学习、自主学习”，阅读是以学生个体为本，老师的分析不能代替学生的阅读实践，因此在教学，老师引导学生学习，“授之以鱼”，最后达到“授之以渔”的教学目的。同时，也通过本课文的学习，使学生明白道理，在学习和生活中要有锲而不舍、求真求实的的学习态度，只有这样，才能实现自己的理想 设计意图： 一、注重文章的整体性 在本节语文阅读教学中，我突出篇章教学，重在整体感知，没有条分缕析的讲解，不使文章支离破碎，抓住关键语句统说全文。因此我在进行课文分析时，引导学生抓住文章的主要线索“人奇”、“事奇”、“书奇”，按照从“整体”到“部分”再到“整体”的教学思路。由浅入深，引导学生阅读，寻找反映这些品质的词、句。在个体寻找的基础上，互相交流对人物品质的理解。先从文章的整体入手，自主阅读整体感知。再抓住关键部分的重点理解内容，再回到全文，遵循了语文教学有由“整体”到“局部”再到’整体”的规律，体现了大语文的教育观。 二、注重培养学生的自主学习能力 本课的教学由教师的思路转向学生的的思路，贯穿“以学生为主”的思想，尊重学生的认知规律和和独特体验，我在抓住文章的重点内容引导学生学习，采用先“扶”后“放”，的教学方法，由引导到探究，对学生进行了学习方法的指导，培养了学生的自学能力。使学生在实践中学会了阅读的重点词语理解内容。 三、注重培养学生的阅读理解能力 以读为本，读中感悟，从阅读中去理解课文本身传达的感情和思想，在教学中，至始至终以“读”贯穿整个教学之中，先整体读，再分段读，最后整体读，多层次地读，让学生对文本的诵读，感悟人物的精神，通过阅读，与人物、作者之间感情的碰撞与交融。在积极的思维和情感活动中，对文本的加深理解和体验。 四、注重语文知识的训练 语文具有“文人性”，也具有“工具性”，在教学中，不仅要体会人物的精神，学习这种精神，也要让学生学到语文知识，本篇课文里有大量的四字词语如“卓然不群”“锲而不舍”“求真求实”“不避艰险”“千辛万苦”“醉心”，修辞手法引用、排比等在学生品读文字的的同时，在理解文章的基础上，也要让学生积累运用文中所学过的语文知识。教学目标：1、把握文章的主要内容，知道徐霞客“人奇”、“事奇”并最终完成“奇书” 的壮举 2、知道徐霞客的一生为中国的旅游考察事业做出巨大贡献，学习他求真求实 锲而不舍的科学研究精神 3、理解词语卓然不群锲而不舍求真求实不避艰险千辛万苦醉心， 学习修辞手法的运用如引用、排比、夸张 4、学习根据重点词语、句子理解文中的主要内容的学习方法，培养学生合作、
计算文本相似度几种最常用的方法，并比较它们之间的性能 编者按：本文作者为Yves Peirsman，是NLP领域的专家。在这篇博文中，作者比较了各种计算句子相似度的方法，并了解它们是如何操作的。词嵌入（word embeddings）已经在自然语言处理领域广泛使用，它可以让我们轻易地计算两个词语之间的语义相似性，或者找出与目标词语最相似的词语。然而，人们关注更多的是两个句子或者短文之间的相似度。如果你对代码感兴趣，文中附有讲解细节的Jupyter Notebook地址。以下是论智的编译。 许多NLP应用需要计算两段短文之间的相似性。例如，搜索引擎需要建模，估计一份文本与提问问题之间的关联度，其中涉及到的并不只是看文字是否有重叠。与之相似的，类似Quora之类的问答网站也有这项需求，他们需要判断某一问题是否之前已出现过。要判断这类的文本相似性，首先要对两个短文本进行embedding，然后计算二者之间的余弦相似度（cosine similarity）。尽管word2vec和GloVe等词嵌入已经成为寻找单词间语义相似度的标准方法，但是对于句子嵌入应如何被计算仍存在不同的声音。接下来，我们将回顾一下几种最常用的方法，并比较它们之间的性能。 数据 我们将在两个被广泛使用的数据集上测试所有相似度计算方法，同时还与人类的判断作对比。两个数据集分别是： STS基准收集了2012年至2017年国际语义评测SemEval中所有的英语数据 SICK数据库包含了10000对英语句子，其中的标签说明了它们之间的语义关联和逻辑关系 下面的表格是STS数据集中的几个例子。可以看到，两句话之间的语义关系通常非常微小。例如第四个例子： A man is playing a harp. A man is playing a keyboard.
浅谈“文本解读”与“教学设计”的关系 剑斗中心小学吴圣记 近几年来，语文界对文本解读的研讨正如火如荼，涉及到宏观理论层面与微观的策略、路径与方法的层面。但是，具备文本解读能力仅仅是上好一堂语文课的基础和前提，这只是教师专业性构成的核心元素之一。文本解读可以也应该是多元而独特、丰富而深刻的，但教师是否需要把自己解读的丰厚内容都要纳入到实际的教学设计之中呢？文本解读与教学设计有什么区别和内在关系？ 首先，文本解读不等于教材解读，不等于文本的教学解读，文本解读不会自动生成为教学设计。考察“解读”一词，有“分析、研究、理解、体会”等意义。文本解读其实就是教师对文本人文性和工具性两个维度展开的分析理解与体会揣摩。文本解读能力的高低优劣，考量的是教师本体性知识的丰厚与肤浅，凸显的是教师文学鉴赏能力水平。它是语文教师必备的基本能力，是教师进行创造性教学设计的前提，也是引领学生展开深入对话，灵活应对驾驭课堂的基础。 然而，解读有深度与创见并不能保证你的教学设计就一定是高效的。虽说教学的深度取决于教师个人对课文理解的深度，可不要忘了，教学的创造性与有效性更要取决于教师研读课文的一双慧眼。因此，文本解读还必须还原为文本的教学解读，对文本价值进行二度开发与创生，或者说把文本的“原生价值”转换、生成为“教学价值”。这是一个课程价值、教材价值与教学价值相融合的过程。这一过程涉及到对教学内容的选择，重难点的确定，教学流程的整体考虑与设计，教学策略与方法的运用等问题。总之，要求教师把解读之所得----意义的理解、生命的感悟、审美的体验、语言的品味等还原为教材解读，转化为适宜的教学内容，体现出文本解读的教学价值，实现文本解读与教学设计的对接。这才是教师更重要的专业的不可替代性，也是新时期对教师基本功提出的更高要求。教师要把解读文本所感所悟有效地转化、生成为符合学生实际需要的问题与语文训练活动，设计以学生的“学”为基点的教学活动，充分考虑文本的教学价值，它对于学生情感熏染、人格提升和语文能力培养的独特作用。 因此，文本解读应转化为有效的教学设计。其实，在文本的教学解读过程中就已经隐藏着教学设计的元素，或者说已经对教学设计有一个粗略的考虑。这里强调的是，把教师粗糙的、不成型的设想定格、细化，上升到一定的理性认识并使之具有可操作性。教学设计时应聚焦以下几个方面： 第一、取舍与鉴选。 面对解读所得的深刻而丰厚的内容，哪些是应该纳入到教学设计之中，这需要取舍与鉴别、比较与选择，需要教师对文本解读作教材化、教学化处理，对其进行梳理、重构、整合，在通过恰当的方式加以呈现。取舍与鉴选实际上就是对课文教学内容的把握与教学目标的设定，这是确保阅读教学的针对性与有效性的首要条件。取舍与鉴选的标准是学生的现实起点与实际需要、文本的特点与核心教学价值。具体说来就是要充分考虑学生已有的知识背景和
文本相似度算法 1.信息检索中的重要发明TF-IDF 1.1TF Term frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N 个该关键词，则 （公式1.1-1） 为该关键词在这篇文章中的词频。 1.2IDF Inverse document frequency指逆向文本频率，是用于衡量关键词权重的指数，由公式 （公式1.2-1） 计算而得，其中D为文章总数，Dw为关键词出现过的文章数。 2.基于空间向量的余弦算法 2.1算法步骤 预处理→文本特征项选择→加权→生成向量空间模型后计算余弦。 2.2步骤简介 2.2.1预处理 预处理主要是进行中文分词和去停用词，分词的开源代码有：ICTCLAS。 然后按照停用词表中的词语将语料中对文本内容识别意义不大但出现频率很高的词、符号、标点及乱码等去掉。如“这，的，和，会，为”等词几乎出现在任何一篇中文文本中，但是它们对这个文本所表达的意思几乎没有任何贡献。使用停用词列表来剔除停用词的过程很简单，就是一个查询过程：对每一个词条，看其是否位于停用词列表中，如果是则将其从词条串中删除。
图2.2.1-1中文文本相似度算法预处理流程 2.2.2文本特征项选择与加权 过滤掉常用副词、助词等频度高的词之后，根据剩下词的频度确定若干关键词。频度计算参照TF公式。 加权是针对每个关键词对文本特征的体现效果大小不同而设置的机制，权值计算参照IDF公式。 2.2.3向量空间模型VSM及余弦计算 向量空间模型的基本思想是把文档简化为以特征项（关键词）的权重为分量的N维向量表示。 这个模型假设词与词间不相关（这个前提造成这个模型无法进行语义相关的判断，向量空间模型的缺点在于关键词之间的线性无关的假说前提），用向量来表示文本，从而简化了文本中的关键词之间的复杂关系，文档用十分简单的向量表示，使得模型具备了可计算性。 在向量空间模型中，文本泛指各种机器可读的记录。 用D（Document）表示文本，特征项（Term，用t表示）指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D（T1，T2，…，Tn），其中Tk 是特征项，要求满足1<=k<=N。 下面是向量空间模型（特指权值向量空间）的解释。 假设一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为 D（a，b，c，d） 对于其它要与之比较的文本，也将遵从这个特征项顺序。对含有n个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度，即 D＝D（T1，W1；T2，W2；…，Tn，Wn）
《饮酒》（其五）文本解读（修改稿） 广东省惠州市仲恺高新区沥林中学李尧天 一、原文： 《饮酒》（其五） 【东晋】陶渊明 结庐在人境，而无车马喧。 问君何能尔？心远地自偏。 采菊东篱下，悠然见南山。 山气日夕佳，飞鸟相与还。 此中有真意，欲辨已忘言。 二、解读： 《饮酒》诗一组二十首，是陶渊明归隐之初写的，大多是写诗人醉中的乐趣和对人生的感想。陶渊明被称为隐逸诗人之宗”，开创了田园诗一体。这首诗写心远世俗、欣赏自然、自得其乐的兴致和领悟。全诗以平静朴素的语言写景抒情，富有生活情趣，又颇有理趣，诗人独特的人生志趣影响深远。 “结庐在人境，而无车马喧。”写诗人远离官场，再也不用过往日迎来送往的日子，不用再见不喜欢的人，不用再说不喜欢的虚伪的官场套话，心情非常轻松快乐；“问君何能尔？心远地自偏。”写诗人因为心已远离官场名利的诱惑，即使身处闹市也心静如水；采菊东篱下，悠然见南山。山气日夕佳，飞鸟相与还。”写诗人以悠然自得的心态过心仪的田园生活，欣赏居处周围的美景，似乎信手拈来，
实则千锤百炼至返璞归真的语言运用的最高境界，妙不可言，景、情、理交融于一体，真是“此诗有真味，如说已忘言”；此中有真意， 欲辨已忘言”写出了千百年来人们共同的心理感受：很多美妙的的东西，只可意会不可言传。这句诗有“道可道，非常道”的道家思想的韵味，寄情深长，耐人寻味，有无穷的理趣和情趣。 这首诗的意境可分为两层，前四句为一层，写诗人摆脱世俗烦恼后的感受，表现了诗人鄙弃官场，不与统治者同流合污的思想感情。后六句为一层，写南山的美好晚景和诗人从中获得的无限乐趣。表现了诗人热爱田园生活的真情和高洁人格。 三、文本教学策略 策略一：反复诵读，诵读成诵。陶渊明的诗，大多在字面上写得很浅，好象很容易懂；内蕴却很深，需要反复体会。通过各种形式的诵读，如听范读、全班齐读、小组齐读、个人自由读、背诵比赛等形式，引导学生反复体会诗的韵味。 策略二：开展探究式学习，引导学生明白做真人说真话的快乐。 当前社会造假的东西太多，为了利益，各种阶层的人在不同的场合说假话造假货，所以引导学生做真人的教育为当前教育的重点，而陶渊明的为人和诗是很好的教育资源。 陶渊明晋宋时期诗人、辞赋家、散文家。又名潜，字元亮，号五 柳先生。陶渊明的时代有许多人为了做官而假惺惺地做隐士，心里急 着做官发财却装着淡漠名利安贫乐道的样子，因为中国的文化传统中 （不仅是道家甚至是儒家）都给予洁身自好、隐遁避世以极崇高的文
1文本相似度算法基本原理 1.1文本相似度含义 文本相似度来自于相似度概念，相似度问题是一个最基本的问题，是信息科学中绕不过去的概念，在不同的应用方向其含义有所不同，但基本的内涵表示了一个信息结构与另外一个信息结构的一致程度，从某个角度研究时特征量之间的距离大小[10]。比如，在机器翻译方面是指词这个基本单位的可替代性，在信息检索方面是指检索结果与检索内容的一致性，在自动问答方面是指搜索的结果与输入的问题的匹配程度。这充分表明文本相似度研究和应用领域十分广泛，所表达的含义也十分不同。从本文研究的角度来看，文本相似度可以描述为：有A、B两个对象，二者之间的公共区域越多、共性越大，则相似程度越高；若二者没有关联关系，则相似程度低。在文本相似度研究方面，一个层次是研究文档中以篇章、句子、词语衡量相似程度，这不同层次衡量算法也不同，研究的标准和依据也不同，算法的复杂程度也不同。从这个意义上，可以运用在新闻领域对新闻稿件进行归档，按照新闻的领域分门别类的存放在一起；也可以运用在信息检索进行信息查询，作为一个文本与另一个文本之间相似程度测量的基本方法。 1.2文本相似度计算方法分类 当前研究文本相似度都是以计算机作为计算工具，即利用计算机算法对文本进行分类，在各个领域应用十分广泛，比如包括网页文本分类、数据智能挖掘、信息识别检索、自动问答系统、论文查重分析和机器自主学习等领域，其中起最关键作用的是文本相似度计算算法，在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用。 特别是随着智能算法、深度学习的发展，文本相似度计算方法已经逐渐不再是基于关键词匹配的传统方法，而转向深度学习，目前结合向量表示的深度学习使用较多，因此度量文本相似度从方法论和算法设计全局的角度看，一是基于关键词匹配的传统方法，如N-gram相似度；二是将文本映射到向量空间，再利用余弦相似度等方法，三是运用机器学习算法的深度学习的方法，如基于用户点击数据的深度学习语义匹配模型DSSM，基于卷积神经网络的ConvNet和LSTM 等方法。 本文研究的重点是对电子作业检查等各类电子文档对比，在对两个电子文档是否相同，相似比例为多少这一问题探究中需要比较文档的相似度，而文档的相似度又可分成段落相似度、句子相似度来进行考虑，所以课题的关键是如何定义
《登岳阳楼》（其一）的文本解读与教学设计(人教版八年级必修) 教案教学设计 一、文本解读： 由语入文：怎一个“悲”字了得 全诗紧紧围绕“悲”字展开。 首联第一句“洞庭之东江水西”，横空出世，从大处着笔，将岳阳楼的地理位置直接点出：在烟波浩淼的洞庭湖的东边，在奔腾浩荡的长江之西。不由得让人想起范仲淹《岳阳楼记》中的“衔远山，吞长江，浩浩荡荡，横无际涯”，看到这气势非凡的语句，让人不由得心驰神往，但第二句却笔锋一转，不再是空阔无边的壮景，而是描绘出一副宁静的画面，“帘旌不动夕阳迟”，举目所见的是苍茫的暮色，帘旌一动不动，夕阳缓缓西沉，残阳如血，铺于水面，湖面一般冷绿一半红，看上去风平浪静，有些惨淡，有些寂寞，有些苍凉。景之凄迷衬托人之悲愁。此句乃以景传情也。 颔联由上句平静的景物描写转而进行强烈的抒情。“登临吴蜀横分地”，既说登临的地理位置，也在回顾历史，当年吴蜀争夺荆州的历史似乎再度重现，吴蜀两军相争，互相厮杀，尸横遍野，血流成河，人声，马蹄声，兵器撞击声……声声不绝于耳。历史的辽远、战场的血腥似乎又出现在眼前，战争，战争，战争给人们带来了什么？思及此，“徙倚湖山欲暮时”，面对满眼的湖光山色，诗人却无心欣
赏，独自徘徊，是因为有满怀的愁绪，有满腹的心事啊，而 在这苍茫的湖山暮色之下，徘徊的身影拉长，拉长，正如作 者理不清、剪不断的愁情，更增添了几许怅惘、落寞之感。 忆历史，思往事，感时世，心悲切。 颈联“万里来游还望远，三年多难更凭危”，诗人发出 了痛苦的呐喊，为什么偏偏会忆起吴蜀之战，那是因为诗人 在历靖康之变后饱尝战争之苦：万里逃难，南奔襄汉，颠沛 湘湖，流离失所。这正是诗人悲之所在啊。“万里”、“三年”分别从时空的跨度来叙其遭遇之悲，读之让人感慨万千。登高望远不但不能减轻心中的悲苦，反而更添几许愁绪。这 无边无际的愁绪当“望远”“凭危”时更如一江秋水滚滚而出。如李煜“独自莫凭栏，无限江山，别时容易见时难”， 如崔颢“日暮乡关何处是？烟波江上使人愁”，登高望远怀 乡思家，乃人之常情也，更何况饱尝无限家国之痛的诗人呢？国破家亡的切肤之痛早已深入骨髓了啊？此句将诗人的悲、伤、哀、痛推向了极致。 尾联“白头吊古风霜里，老木沧波无限悲”，似乎是诗 人顾影自怜的喃喃自语，未老先衰头已白，为国事，为家事，为自己，为那些与自己一样国破家亡的同乡们焦虑、忧愁， 吊古伤今，感怀伤时，在秋霜的季节里，更觉时世如风霜相逼，冷峭之极。那衰老的枯木、那苍凉的湖面，何尝不像自 己呢？沦落天涯无尽的凄凉，国破家亡的无限悲痛，一切尽
文本相似度的设计与实现 摘要：本文主要设计并实现了一个文本相似度系统，该系统主要功能计算文档之间的相似度，通过使用向量空间模型(VSM, Vector Space Model)及余弦相似度计算公式计算文档之间的相似度，数据预处理过程中加入word2vec模型进行语义扩充，从而能够匹配到更多相关文档。 1.向量空间模型 向量空间模型(VSM, Vector Space Model)由Salton等人于20世纪70年代年提出[1,2]。向量空间模型的主要思想是将文本内容的处理简化为向量空间中的向量运算，这样将空间上的相似度转化为语义上的相似度。当文档被表示为文档空间的向量时，便可通过计算向量之间的相似性来度量文档间的相似性。文本处理中最常用的相似性度量方式是余弦距离。 向量空间模型的基本思想： 给定一篇文档D=D(T1,T2,…T i,…,T n)，若T i在文档中既可以重复出现又存在先后次序，因此分析起来会较为困难。针对上述情况，暂不考虑T i的顺序，并要求T i互异，此时可将T1,T2,…T i,…,T n看作n维坐标，每一维对应相应值W i，因此D(W1,W2,…,W i,…,W n)便可以看作一个n维向量。 例如：有一篇文档D={大家好，才是真的好}，首先进行分词后转换为D={大家/好/才是/真的/好}，之后提取出公因词D={大家，好，才是，真的}，最后通过向量空间模型将文档转换为对应的向量D={1，2，1，1}。 向量空间模型只是将文档转换为方便计算的格式，若进行相似度计算，还需使用相似度计算公式进行计算。本文使用余弦相似度计算公式。 2.余弦相似度 余弦相似度计算公式广泛应用于文本数据之间的相似度计算过程中。其数学表达如下： 计算过程如下： 例如，有2个文档D1={大家好}，D2={才是真的好}，首先将D1、D2分词后，D1={大家/好}，D2={才是/真的/好}，其次提取出公因词D={大家，好，才是，真的}，然后通过向量空间模型转换成向量表达，D1={1，1，0，0}，D2={0，1，1，1}，最后进行相似度计算 Score== 3.文本相似度系统 本文主要使用向量空间模型及余弦相似度距离公式进行文本相似度计算任务，系统的基本架构如下图1所示：
几种相似度计算方法作对比 句子相似度的计算在自然语言处理具有很重要的地位,如基于实例的机器翻译(Example Based Ma-chine Translation,EBMT)、自动问答技术、句子模糊匹配等.通过对术语之间的语义相似度计算,能够为术语语义识别[1]、术语聚类[2]、文本聚类[3]、本体自动匹配[4]等多项任务的开展提供重要支持。在已有的术语相似度计算方法中,基于搜索引擎的术语相似度算法以其计算 简便、计算性能较高、不受特定领域语料库规模和质量制约等优点而越来越受到重视[1]。 相似度计算方法总述： 1 《向量空间模型信息检索技术讨论》，刘斌，陈桦发表于计算机学报，2007 相似度S(Similarity)：指两个文档内容相关程度的大小，当文档以向量来表示时，可 以使用向量文档向量间的距离来衡量，一般使用内积或夹角0的余弦来计算，两者夹角越小说明似度越高。由于查询也可以在同一空间里表示为一个查询向量(见图1)，可以通过相似度计算公式计算出每个档向量与查询向量的相似度，排序这个结果后与设立的阈值进行比较。如果大于阈值则页面与查询相关，保留该页面查询结果；如果小于则不相关，过滤此页。这 样就可以控制查询结果的数量，加快查询速度。 2 《相似度计算方法综述》 相似度计算用于衡量对象之间的相似程度，在数据挖掘、自然语言处理中是一个基础性计算。其中的关键技术主要是两个部分，对象的特征表示，特征集合之间的相似关系。在信息检索、网页判重、推荐系统等，都涉及到对象之间或者对象和对象集合的相似性的计算。而针对不同的应用场景，受限于数据规模、时空开销等的限制，相似度计算方法的选择又会有所区别和不同。下面章节会针对不同特点的应用，进行一些常用的相似度计算方法进行介绍。 内积表示法： 1 《基于语义理解的文本相似度算法》，金博，史彦君发表于大连理工大学学报，2007 在中文信息处理中,文本相似度的计算广泛应用于信息检索、机器翻译、自动问答系统、文本挖掘等领域,是一个非常基础而关键的问题,长期以来一直是人们研究的热点和难点。计算机对于中文的处理相对于对于西文的处理存在更大的难度,集中体现在对文本分词的处理上。分词是中文文本相似度计算的基础和前提,采用高效的分词算法能够极大地提高文本相似度计算结果的准确性。本文在对常用的中文分词算法分析比较的基础上,提出了一种改进的正向最大匹配切分(MM)算法及歧义消除策略,对分词词典的建立方式、分词步骤及歧义字段的处理提出了新的改进方法,提高了分词的完整性和准确性。随后分析比较了现有的文本相似度计算方法,利用基于向量空间模型的TF-IDF方法结合前面提出的分词算法,给出了中文文本分词及相似度计算的计算机系统实现过程,并以科技文本为例进行了测试,对所用方
文本相似度计算系统 摘要 在中文信息处理中，文本相似度的计算广泛应用于信息检索、机器翻译、自动问答系统、文本挖掘等领域，是一个非常基础而关键的问题，长期以来一直是人们研究的热点和难点。本次毕设的设计目标就是用两种方法来实现文本相似度的计算。 本文采用传统的设计方法，第一种是余弦算法。余弦算法是一种易于理解且结果易于观察的算法。通过余弦算法可以快捷的计算出文本间相似度，并通过余弦算法的结果（0、1之间）判断出相似度的大小。由于余弦计算是在空间向量模型的基础上，所以说要想用余弦算法来完成本次系统，那么必须要将文本转化成空间向量模型。而完成空间向量模型的转换则要用到加权。在空间向量模型实现之前，必须要进行文本的去停用词处理和特征选择的处理。第二种算法是BM25算法，本文将采用最基础的循环来完成，目的是观察余弦算法中使用倒排索引效率是否提高有多大提高。 本次文本相似度计算系统的主要工作是去除停用词、文本特征选择、加权，在加权之后用余弦算法计算文本的相似度。在文本特征选择之后用BM25计算相似度。由于为了使系统的效率提高，在程序设计中应用了大量的容器知识以及内积、倒排算法。 关键词：文本相似度；余弦；BM25；容器
Text Similarity Algorithm Research Abstract In Chinese information processing，text similarity computation is widely used in the area of information retrieval，machine translation,automatic question—answering，text mining and etc．It is a very essential and important issue that people study as a hotspot and difficulty for a long time．Currently，most text similarity algorithms are based on vector space model(VSM)．However,these methods will cause problems of high dimension and sparseness．Moreover，these methods do not effectively solve natural language problems existed in text data．These natural language problems are synonym and polyseme．These problems sidturb the efficiency and accuracy of text similarity algorithms and make the performance of text similarity computation decline． This paper uses a new thought which gets semantic simirality computation into traditional text similarity computation to prove the performance of text similarity algorithms．This paper deeply discusses the existing text similarity algorithms and samentic text computation and gives a Chinese text similarity algorithm which is based on semantic similarity．There is an online information management system which is used to manage students’graduate design papers．Those papers ale used to calculate similarity by that the algorithm to validate that algorithm． This text similarity computing system's main job is to stop word removal, text feature selection, weighting, after weighting using cosine algorithm to calculate the
相似度计算方面 Jaccard相似度：集合之间的Jaccard相似度等于交集大小与并集大小的比例。适合的应用包括文档文本相似度以及顾客购物习惯的相似度计算等。 Shingling：k-shingle是指文档中连续出现的任意k个字符。如果将文档表示成其k-shingle集合，那么就可以基于集合之间的Jaccard相似度来计算文档之间的文本相似度。有时，将shingle哈希成更短的位串非常有用，可以基于这些哈希值的集合来表示文档。 最小哈希：集合上的最小哈希函数基于全集上的排序转换来定义。给定任意一个排列转换，集合的最小哈希值为在排列转换次序下出现的第一个集合元素。 最小哈希签名：可以选出多个排列转换，然后在每个排列转换下计算集合的最小哈希值，这些最小哈希值序列构成集合的最小哈希签名。给定两个集合，产生相同哈希值的排列转换所占的期望比率正好等于集合之间的Jaccard相似度。 高效最小哈希：由于实际不可能产生随机的排列转换，因此通常会通过下列方法模拟一个排列转换：选择一个随机哈希函数，利用该函数对集合中所有的元素进行哈希操作，其中得到的最小值看成是集合的最小哈希值。 签名的局部敏感哈希：该技术可以允许我们避免计算所有集合对或其最小哈希签名对之间的相似度。给定集合的签名，我们可以将它们划分成行条，然后仅仅计算至少有一个行条相等的集合对之间的相似度。通过合理选择行条大小，可以消除不满足相似度阈值的大部分集合对之间的比较。 向量空间距离方面 欧式距离：n维空间下的欧式距离，是两个点在各维上差值的平方和的算数平方根。适合欧式空间的另一个距离是曼哈顿距离，指两个点各维度的差的绝对值之和。 Jaccard距离：1减去Jaccard相似度也是一个距离测度。 余弦距离：向量空间下两个向量的夹角大小。 编辑距离：该距离测度应用于字符串，指的是通过需要的插入、删除操作将一个字符串处理成另一个字符串的操作次数。编辑距离还可以通过两个字符串长度之和减去两者最长公共子序列长度的两倍来计算。 海明距离：应用于向量空间。两个向量之间的海明距离计算的是它们之间不相同的位置个数。 索引辅助方面 字符索引：如果将集合表示成字符串，且需要达到的相似度阈值接近1。那么就可以将每个字符串按照其头部的一小部分字母建立索引。需要索引的前缀的长度大概等于整个字符串的长度乘以给定的最大的Jaccard距离。 位置索引：我们不仅可以给出索引字符串前缀中的字符，也可以索引其在前缀中的位置。如果两个字符串共有的一个字符并不出现在双方的第一个位置，那么我们就知道要么存在某些前面的字
《兰亭集序》文本解读和教学设计 【原文】 兰亭集序 （晋）王羲之永和九年，岁在癸丑，暮春之初，【交代聚会的时间】会于会稽山阴之兰亭，修禊事也。【交代聚会地点，事件】群贤毕至，少长咸集。【交代来参加聚会的人物】此地有崇山峻岭，茂林修竹，又有清流激湍，映带左右。【交代聚会地点的环境优美，有山，有水，有竹】引以为流觞曲水，列坐其次，【交代群贤们在此举行的活动优雅】虽无丝竹管弦之盛，一觞一咏，亦足以畅叙幽情。【即使没有音乐来助兴，但文人们喝点酒，作首诗，也可以尽情的抒发幽雅的情怀】 是日也，天朗气清，惠风和畅。【交代那天的天气舒适宜人】仰观宇宙之大，俯察品类之盛，所以游目骋怀，足以极视听之娱，信可乐也。【上观宇宙，下俯万物，可以极尽视听的欢愉，确实是令人感到快乐的是】 夫人之相与，俯仰一世。【极言人生的短暂】或取诸怀抱，悟言一室之内；或因寄所托，放浪形骸之外。虽趣舍万殊，静躁不同，当其欣于所遇，暂得于己，快然自足，不知老之将至；【两种人虽然生活方式不同，性格不同，但他们同样都能感受到生命的短暂】及其所之既倦，情随事迁，感慨系之矣。【再喜爱的事物总有厌倦的一天，人生的感慨也就随之产生了】向之所欣，俯仰之间，已为陈迹，【此处流露了作者盛筵难再，胜景不常之痛】犹不能不以之兴怀，况修短随化，终期于尽！【人的生命长短无法把握之痛】古人云，“死生亦大矣。”岂不痛哉！ 每览昔人兴感之由，若合一契，未尝不临文嗟悼，不能喻之于怀。固知一死生为虚诞，齐彭殇为妄作。【作者否定了那种把生死看做一样，把寿命长短看做一样的荒诞思想】后之视今，亦犹今之视昔。悲夫！故列叙时人，录其所述。【点明作序的目的】虽世殊事异，所以兴怀，其致一也。后之览者，亦将有感于斯文。【无论世界怎么变化，人类对生命本质（生命、青春、痛苦等等）的体验却是一致的】 【译文】 永和九年，时在癸丑之年，三月上旬，我们会集在会稽山阴的兰亭，为了做禊事。众多贤才都汇聚到这里，年龄大的小的都聚集在这里。兰亭这地方有高峻
儿童诗捉迷藏文本解读 及教学设计 集团文件版本号：（M928-T898-M248-WU2669-I2896-DQ586-M1988）
J540吹面不寒杨柳风走进孩子们的梦想诗园作业三 《捉迷藏》 圣野 小妹妹跟风 捉迷藏 小妹妹问风： 藏好了没有 呆了好一会 没有听风说话儿 小妹妹就从墙角后 跳出来找风 找来找去找不到 忽然“嘻”的一声 风在一棵树上笑起来了 有一张树叶子没站稳 给风一笑 掉下来了 小妹妹连忙跳过去 把叶子捉住，问它： 风呢 叶子红起脸孔说：
我也不知道! 文本细读 一、了解作者 圣野原名周大鹿，现名周大康。1922年生，浙江东阳人。1945年就读于浙江大学。 圣野的儿童诗,稚气、清新、有故事情节,并且富有哲理。稚气,使人觉得圣野就是一位小朋友。他的诗,深人到儿童的心灵中去了。他来了个“脱胎换骨”,把自己化为了儿童。他用儿童的眼光,儿童的心理去观察事物,提出了许多奇怪的问题。 二、探索这首诗的语言和内容 1、对话语言叙事 在这首诗中诗人采用了对话试的语言来叙述一件事情。小妹妹和风捉迷藏，她问风藏好了没有，没有得到风的回答却捉住了叶子于是又问叶子：风呢？叶子没有回答，却把脸涨红了。一问一答间塑造了一个可爱天真的小妹妹形象。 在这首诗里对话是主要内容，而且这些对话平实，简单贴近生活。作者用对话创设了一个儿童玩乐的场景，在这个场景中有秋风、有落叶，也有诗中没有描写的蓝天、白云。读这首诗时我的感受是虽然对话很简单但却营造了一个美好的 秋日让人想到了童年秋天的快乐。这种强烈的代入感很容易使小读者产生共鸣，在读这首时很容易被带入情景，把自己想象成诗中的小妹妹，一下子拉近了读者和诗的距离。
《文本解读与教学设计》培训心得 我参加了教科院组织的新教师培训会，李冲锋教授关于“文本解读与教学设计”让我受益匪浅。我对课堂教学有了许多新的认识：关注师生的互动、注重平等的对话、尊重学生的独特体验、捕捉动态生成的课堂资源……课堂师生关系、学习方式给课堂面貌带来了很大的改观。但是，品评课堂教学时总觉得遗憾颇多，而最后，教师又都会不约而同地把目光聚焦到“文本的解读”这一根源问题上来。追根究底，不难发现：现在教师在很大程度上关注了自己在课堂上的角色——创设怎样的学习情境、设计怎样的学习活动、预设学生生成的多样性等，但缺乏对文本的深入解读。平时的教学中我只注意到让学生通过读文找出安静创造了哪些奇迹，课堂随之变得不能及时抓出重点句子。大家商讨作者写奇迹的目的是要像安静一样热爱生活。课文写了她的动作，之所以那么轻松自如，就是因为她热爱美好的生活，也就是因为如此她才能创造奇迹。在教案设计的时候也就有意识地内化课文的语言内容和语言形式，设计让学生找出安静创造奇迹的句子，再谈谈自己的体会，能创造这样的奇迹真是不可思议。让学生充分的想象畅所欲言创造奇迹的原因，进而深刻了孩子们的印象。安静虽然看不见，但她用心去闻，去摸，去听，去感受明媚的春天，享受春天般的生活，她对生活是多么热爱。也就能感悟中解读课文创造奇迹的原因了。所以把文本提升到文学层面，把文本提升到文化层次，才能真正解读文本。 语文文本可以有许多种不同的载体。中国古代曾经把文字写在竹简或白绢上，还有铸在钟鼎上的、刻在石碑上的，现在，又有电子文本。不管是什么载体，都只是语文文本的物质外壳，不是语文文本本身。换一个说法，各种各样记录了文学符码的载体，可以叫作第一文本；而第一文本的意思，即被阅读者所掌握的内容，也就是阅读中的意义整体，相应地可以叫作第二文本。第二文本才是我们要研究的真正的语文文本。 有位哲学家曾说，贝多芬的四重奏的乐谱放在出版社的仓库里（没有人阅读的话），和地窖里的土豆没有什么两样。的确，一箱箱《莎士比亚戏剧集》从印刷厂搬出来放在货运车厢里，和其他货物有什么区别呢? 我们所关注的其实是第二文本，是由语音、字形、词义、句式、篇章结构、整体形象、整体意蕴与思想感情等等构成的具有层次结构的语言组合体。 作为一线语文教师，我们始终要把解读文本的能力作为自己的看家本领。著名特级教师，中国小语教学的新生代人物孙双金老师在谈到文本解读的重要性时曾提出，“上好语文课，解读文本是第一步”。这确实是一句朴素的至理名言。 文本细读是一种创造性的劳动。当我们从文本中发现了自己熟悉的生活，发现了人生的价值，发现了生命的真谛时，心中会充盈着喜悦，就让我们带着这份喜悦在语言之河中畅游，在语言之途上徜徉。
《饮酒》(其五)文本解读和教学设计
《饮酒》（其五）文本解读（修改稿） 广东省惠州市仲恺高新区沥林中学李尧天 一、原文： 《饮酒》（其五） 【东晋】陶渊明 结庐在人境，而无车马喧。 问君何能尔？心远地自偏。 采菊东篱下，悠然见南山。 山气日夕佳，飞鸟相与还。 此中有真意，欲辨已忘言。 二、解读： 《饮酒》诗一组二十首，是陶渊明归隐之初写的，大多是写诗人醉中的乐趣和对人生的感想。陶渊明被称为“隐逸诗人之宗”，开创了田园诗一体。这首诗写心远世俗、欣赏自然、自得其乐的兴致和领悟。全诗以平静朴素的语言写景抒情，富有生活情趣，又颇有理趣，诗人独特的人生志趣影响深远。 “结庐在人境，而无车马喧。”写诗人远离官场，再也不用过往日迎来送往的日子，不用再见不喜欢的人，不用再说不喜欢的虚伪的官场套话，心情非常轻松快乐；“问君何能尔？心远地自偏。”写诗人因为心已远离官场名利的诱惑，即使身处闹市也心静如水；“采
菊东篱下，悠然见南山。山气日夕佳，飞鸟相与还。”写诗人以悠然自得的心态过心仪的田园生活，欣赏居处周围的美景，似乎信手拈来，实则千锤百炼至返璞归真的语言运用的最高境界，妙不可言，景、情、理交融于一体，真是“此诗有真味，如说已忘言”；“此中有真意，欲辨已忘言”写出了千百年来人们共同的心理感受：很多美妙的的东西，只可意会不可言传。这句诗有“道可道，非常道”的道家思想的韵味，寄情深长，耐人寻味，有无穷的理趣和情趣。 这首诗的意境可分为两层，前四句为一层，写诗人摆脱世俗烦恼后的感受，表现了诗人鄙弃官场，不与统治者同流合污的思想感情。后六句为一层，写南山的美好晚景和诗人从中获得的无限乐趣。表现了诗人热爱田园生活的真情和高洁人格。 三、文本教学策略 策略一：反复诵读，诵读成诵。陶渊明的诗，大多在字面上写得很浅，好象很容易懂；内蕴却很深，需要反复体会。通过各种形式的诵读，如听范读、全班齐读、小组齐读、个人自由读、背诵比赛等形式，引导学生反复体会诗的韵味。 策略二：开展探究式学习，引导学生明白做真人说真话的快乐。 当前社会造假的东西太多，为了利益，各种阶层的人在不同的场合说假话造假货，所以引导学生做真人的教育为当前教育的重点，而陶渊明的为人和诗是很好的教育资源。
2 腊八粥 文本解读 1．文体特点 本文选自沈从文早期的一篇叙事性文章《腊八粥》，是该文章的前半部分。作者以细腻的笔调、质朴的语言，塑造出天真无邪的八儿、慈爱温柔的妈妈等人物形象，生动传神地描绘出了一幅普通人家其乐融融地等腊八粥、喝腊八粥的民俗画面，具有强烈的生活气息、生活情趣，从中可以充分感受到作者对普通百姓生活的热爱和对家庭亲情的眷恋。 2．文化底蕴 节日起源：我国民间通常把农历十二月称为腊月，所以“腊八”即农历十二月初八，是春节的序幕，是人们辞旧迎新的开始。腊八节由腊祭之俗发展而来。自上古时代起，人们认为五谷丰登是天地诸神以及祖先庇佑的结果，因此便会在农历十二月挑选一日来祭拜掌管风、雨、农、门、户、宅、灶、井等的天地诸神以及自己的祖先，以祈求来年的丰收和吉祥，这一天便被称为“腊日”。但汉代前，腊祭的日子并不固定，到汉代才明确了以冬至过后的第三个戌日为“腊日”。 3．语言表达 (1)质朴平实。沈从文小说语言最显著的特征是没有华丽的辞藻，没有过分的修饰，语言质朴无华、贴近生活。然而，这并不是说沈从文的小说就如同白开水一样淡然无味，平实的语言背后隐藏的是他极为丰富、极为深刻的思想。 (2)生动传神。沈从文描摹事物、刻画人物时通常着墨不多，只做最客观、最自然的描述，但因为观察细致，且驾驭文字的能力极强，故只需寥寥数语，就能准确地表现出其神韵，令读者很容易就在脑海中浮现出相应的画面。如课
文中“把小米、饭豆、枣、栗、白糖、花生仁合拢来，糊糊涂涂煮成一锅，让它在锅中叹气似的沸腾着，单看它那叹气样儿，闻闻那种香味，就够咽三口以上的唾沫了，何况是，大碗大碗地装着，大匙大匙朝嘴里塞灌呢”这个片段，只短短几句，就让读者知道了腊八粥所需的多种食材，想象出了腊八粥在锅中的“叹气样儿”，“闻”到了香甜诱人的气味，更忍不住狠狠吞咽快要流下的口水。 教学目标 1．借助以往的书写经验，根据字形特点给本课要求会写的“腊、粥、腻”等13个生字进行分类，做到规范书写；能正确读写“糊糊涂涂、搅和、浓稠”等词语。： 2．有感情地朗读课文，通过仔细揣摩人物的语言、心理、动作等，感受人物的性格特点及内心活动，体会八儿一家的其乐融融。 3．感受民间风俗的魅力，激发探索腊八节相关传统文化的兴趣。 教学重点 体会作者是如何通过语言、心理、动作等描写来刻画人物形象，表现人物内心，展现其乐融融的家庭氛围的。 教学难点 唤醒学生心中对传统节日的热爱，激发其探索相关传统文化的热情。 课时安排 2课时 教学设计 第一课时