三种文档语义倾向性识别方法的分析与比较
作者：马海兵;刘永丹;王兰成;李荣陆
作者机构：南京政治学院上海分院,上海,200433;南京政治学院上海分院,上海,200433;南京政治学院上海分院,上海,200433;Autodesk公司,上海,200001来源：现代图书情报技术
ISSN：1003-3513
年：2007
卷：000
期：004
页码：43-47
页数：5
中图分类：TP391
正文语种：chi
关键词：自然语言处理;文本分类;倾向性识别
摘要：研究并实现三种文档倾向性识别的方法:基于情感词加权的方法、基于语义模式分析的方法和基于文本分类的方法.第一种方法利用特征词汇的情感语义倾向性.第二种方法对自然语言的句法结构进行简化,以获取合适粒度的倾向性语义模式.第三种方法则直接利用传统的基于文本分类的方法.通过在网络舆情分析系统中的具体实现,探讨这三种方法各自的不足和优势.
语义分析 1.语义分析？ 机器机和人不一样的地方是人可以直接理解词的意思，文章的意思，机器机不能理解。 人看到苹果这两个字就知道指的是那个圆圆的，挺好吃的东西，搜索引擎却不能从感性上理解。但搜索引擎可以掌握词之间的关系，这就牵扯到语义分析。 可参考：https://www.doczj.com/doc/ca4076303.html,/dispbbs.asp?boardID=2&ID=74541 2.为什么要使用语义分析？ 我国中文自然语言处理普遍采用西基于拉丁语系的“关键词”技术，以此来分析理解中文。然而，中文本身的特点决定它与西语之间巨大的区别，所以从汉语信息处理的需要看，当前急迫需要突破的是语义问题。 可参考： https://www.doczj.com/doc/ca4076303.html,/dicksong2008/blog/item/88fb751e9ac9501a4134 17f4.html 2.1中文与西语不同决定我们无法采用西语的架构体系来处理中文，具体区别在于： 西语词间有间隔，汉语词间无间隔。众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。 例如，英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。 “我是一个学生”，分词的结果是：“我是一个学生”。中文分词就成了计算机处理的难题。 汉语形态不发达，句尾没有形态标记。英语动词、名词很清楚，加上词尾可以是副词；西语有时态，过去式、现在式等等非常清楚，中文则依靠词语或者依靠自己的判断来确定时态。 同音字多增加了机器识别的难度。 汉语语义灵活，由于形态不发达，所以语序无规律。在一次学术会议上，一位著名的人工智能专家说：“按…主－谓－宾?或…名－动－名?这一规则，计算机可显出…牛吃草?，也可显出…草吃牛?。从语法格式上看，…草吃牛?也不错，但这句话是说不通的。 人依靠自己的经验可以判断，机器如何来判断呢？
实验三自下而上语法分析及语义分析 一、实验目的： 通过本实验掌握LR分析器的构造过程，并根据语法制导翻译，掌握属性文法的自下而上计算的过程。 二、实验学时： 4学时。 三、实验内容 根据给出的简单表达式的语法构成规则（见五），编制LR分析程序，要求能对用给定的语法规则书写的源程序进行语法分析和语义分析。 对于正确的表达式，给出表达式的值。 对于错误的表达式，给出出错位置。 四、实验方法 采用LR分析法。 首先给出S-属性文法的定义（为简便起见，每个文法符号只设置一个综合属性，即该文法符号所代表的表达式的值。属性文法的定义可参照书137页表6.1），并将其改造成用LR分析实现时的语义分析动作（可参照书145页表6.5）。 接下来给出LR分析表。 然后程序的具体实现： ●LR分析表可用二维数组（或其他）实现。 ●添加一个val栈作为语义分析实现的工具。 ●编写总控程序，实现语法分析和语义分析的过程。 注：对于整数的识别可以借助实验1。 五、文法定义 简单的表达式文法如下： E->E+T|E-T|T T->T*F|T/F|F F->(E)|i 上式中，i 为整数。 六、处理程序例 例1: 正确源程序例： 23+(45+4)* 40分析结果应为：正确的表达式。其值为：1983 例2: 错误源程序例： 5+(56+)-24 分析结果应为：错误的表达式：出错位置为）
附录：源程序 #include
语义分析及中间代码生成程序设计原理与实现技术 XXX 1028XXX2 计科1XXX班 1.程序功能描述 完成以下描述赋值语句和算术表达式文法的语法制导生成中间代码四元式的过 程。 G[A]:A→V:=E E→E+T∣E-T∣ T→T*F∣T/F∣F F→(E)∣i V→i 说明：终结符号i 为用户定义的简单变量,即标识符的定义。 2. 设计要求 （1）给出每一产生式对应的语义动作；（2）设计中间代码四元式的结构（暂不与符号表有关）。（3）输入串应是词法分析的输出二元式序列，即某算术表达式“实验项目一”的输出结果。输出为输入串的四元式序列中间文件。（4）设计两个测试用例（尽可能完备），并给出程序执行结果四元式序列。 3.主要数据结构描述： 本程序采用的是算符优先文法，文法以及算符优先矩阵是根据第四次实验来修改的，所以主要的数据结构也跟第四次差不多，主要为文法的表示，FirstVT集和LastVT 集以及算符优先矩阵：
算符优先矩阵采用二维字符数组表示的： char mtr[9][9]; //算符优先矩阵 4.程序结构描述： 本程序一共有8功能函数： void get(); //获取文法 void print(); //打印文法 void fun(); //求FirstVT 和LastVT void matrix(); //求算符优先矩阵 void test(); //测试文法 int cmp(char a,char b); 比较两个运算符的优先级 1 0 -1 void out(char now,int avg1,int avg2); //打印四元式 int ope(char op,int a,int b); //定义四元式计算方法 5.实验代码 详见附件 6.程序测试 6.1 功能测试 程序运行显示如下功能菜单：
论述类文本解读——“论证思路”题的解题思路 目标：学会把握议论文的论证思路并用正确的方法表述。 过程： 一、知识回顾 1．议论文的三要素是： 2．议论文基本的论证方法是： 常见的论证方法有： 3．议论文一般的结构方式是： 二、小试身手 （一）①“我们爱朋友犹如爱自己”，这样说是不恰当的，因为有许多事，我们不为自己做而只为朋友做。②有时去恳求一个卑鄙的人，有时去冒犯一个不该冒犯的人，这些为自己本不值得去做的事，为了朋友却欣然去做了。③在许多情况下，有美德的人宁肯牺牲自身利益，而使朋友得到欢乐。④所以，应该说，爱朋友胜过爱自己。 （西塞罗《论友谊》） 1．这段文字的层次是：①②③④ 2．概括每层大意： （二）①淡定可以升华出一份高尚的精神追求。②当世人面对纷繁的诱惑不能自持、随波逐流的时候，心怀淡定的人却决不如此。③居里夫妇发现镭并提炼成功以后，镭将用于治疗癌症，他们本可以一夜之间成为百万富翁，但是他们认为，镭是一种元素，应该属于全人类。④他们因此不申请专利，也不保留任何权利，放弃发明所带来的一切物质利益。⑤可见，拥有了淡定的心态，面对名利就会不为所动，为了人类的幸福而甘愿奉献出自己的一切，这样的人生也绽放出灿烂的光芒。（2020盐城中考说明材料） 1．根据材料（一）的学习，你会从哪几个方面分析这段文字？
2．你能概括这段文字的论证思路吗？ （三）阅读《底线》（2020年扬州中考语文材料） ①一个物欲的时代和一个非物欲的时代，人的底线是不同的。社会的底线也在下降。所谓社会底线下降，就是容忍度的放宽。原先看不惯的，现在睁一眼闭一眼了；原先不能接受的，现在不接受也存在了。在商业博弈中，谎话欺骗全成了“智慧”；在社会利益竞争中，损人利己成了普遍的可以获利的现实；诚信有时非但无从兑现，甚至成为一种商业的吆喝或陷阱。在这样的社会生态中，人的底线不知不觉在下降。 ②可是这底线就像江河的水线，水有一定高度，船好行驶，人好游泳。如果有一天降到了底儿，大家就一起陷在烂泥里。我们连自己是脏是净是谁也不知道了。 ③所以，人总得有自己做人做事的底线。其实这底线原本是十分清楚的。比如人不能“见利忘义”“卖友求荣”“卖国求荣”“乘人之危”，不能“虐待父母”“以强凌弱”“恩将仇报”“落井投石”，还有“不义之财君莫取”“朋友妻不可欺”等等。 ④这个古来世人皆知的底线，也是处世为人的标准，似乎已被全线突破了。 ⑤底线无形地存在于两个地方。一在社会中，一在每个人心里。如果人们都降低自己的底线，社会的底线一定下降。社会失去共同遵守的底线，世道人伦一定败坏；如果人人守住底线，社会便拥有一条美丽的水准线——文明。因此说，守住底线，既为了成全社会，也是成全自己。 ⑥然而，这两个底线又相互影响。关键是在碰到低于你的底线时，你是降下自己的底线，随波速流，还是坚守自己的底线，洁身自好？有人说，在物欲和功利的社会里，这底线是脆弱的。依我看，社会的底线可能是脆弱的，人的底线依旧可以坚强，牢固不破。 ⑦底线是人的自我基准，道德的基准，处世为人的基准。 ⑧人的自信是建立在底线上的。没有底线，一定会是一塌糊涂的失败的自我，乃至
https://www.doczj.com/doc/ca4076303.html, 文本分析平台TextMiner_光环大数据培训 互联网上充斥着大规模、多样化、非结构化的自然语言描述的文本，如何较好的理解这些文本，服务于实际业务系统，如搜索引擎、在线广告、推荐系统、问答系统等，给我们提出了挑战。例如在效果广告系统中，需要将Query(User or Page) 和广告 Ad 投影到相同的特征语义空间做精准匹配，如果Query 是用户，需要基于用户历史数据离线做用户行为分析，如果 Query 是网页，则需要离线或实时做网页语义分析。 文本语义分析（又称文本理解、文本挖掘）技术研究基于词法、语法、语义等信息分析文本，挖掘有价值的信息，帮助人们更好的理解文本的意思，是典型的自然语言处理工作，关键子任务主要有分词、词性标注、命名实体识别、Collection 挖掘、Chunking、句法分析、语义角色标注、文本分类、文本聚类、自动文摘、情感分析、信息抽取等。 （摘自https://https://www.doczj.com/doc/ca4076303.html,/nlp/，稍作修改） 在解决文本处理需求过程中，我们发现保证文本分析相关的概念、数据和代码的一致性，避免重复开发是非常关键的，所以设计并搭建一套灵活、可扩展、通用的文本分析底层处理平台，供上层应用模块使用，是非常必要的。 既然是文本分析，我们很自然的想到是否可以使用已有的自然语言处理开源代码呢？为此，我们不妨一起了解下常见的相关开源项目：
https://www.doczj.com/doc/ca4076303.html, Natural Language Toolkit（NLTK），https://www.doczj.com/doc/ca4076303.html,/，In Python，主要支持英文 Stanford CoreNLP，https://www.doczj.com/doc/ca4076303.html,/software/index.shtml，In Java，主要支持英文，阿拉伯语，中文，法语，德语 哈工大-语言技术平台（Language Technolgy Platform，LTP），https://www.doczj.com/doc/ca4076303.html,/，In C/C++，支持中文 ICTLAS 汉语分词系统，https://www.doczj.com/doc/ca4076303.html,/，In C/C++，支持中文 遗憾的是，我们发现尽管这些项目都极具学习和参考价值，和学术界研究结合紧密，但并不容易直接用于实际系统。也许这正源于学术界和工业界面临的问题不同，定位不同。对比如下： 根据我们的实践经验，尝试给出一套文本分析平台设计框架 TextMiner，供大家参考、交流。 设计之初，我们想 TextMiner 应该支持以下主要功能点： 提供细粒度的中文分词、词性标注和命名实体识别； 抽取与文本内容语义相关的词或短语； 获取能够表达文本语义的主题语义； 获取能够表达文本语义的行业信息； 提供统一的数据资源管理功能，尤其，要支持同时加载多份不同版本的数据资源，便于进行更新及效果对比。 参考斯坦福大学自然语言处理组开源项目： Stanford CoreNLP 和哈尔滨工业大学社会计算与信息检索研究中心开源项目：语言技术平台 (Language
Computer Science and Application 计算机科学与应用, 2019, 9(8), 1584-1590 Published Online August 2019 in Hans. https://www.doczj.com/doc/ca4076303.html,/journal/csa https://https://www.doczj.com/doc/ca4076303.html,/10.12677/csa.2019.98178 From Video to Semantic: Video Semantic Analysis Technology Based on Knowledge Graph Liqiong Deng*, Jixiang Wu, Li Zhang Air Force Communication NCO Academy, Dalian Liaoning Received: Aug. 6th, 2019; accepted: Aug. 19th, 2019; published: Aug. 26th, 2019 Abstract Video understanding has attracted much research attention especially since the recent availability of large-scale video benchmarks. In order to fill up the semantic gap between video features and understanding, this paper puts forward a video semantic analysis process based on knowledge graph, and adopts random walk to quantify semantic consistency between semantic labels. Then video semantic reasoning based-on knowledge graph is studied. The experimental results prove that knowledge graph can improve semantic understanding effectively. Finally, a constructed mul-tilevel video semantic model supports applications in video classifying, video labeling and video abstract, which has some guiding significance for information organization and knowledge man-agement of media semantic. Keywords Knowledge Graph, Video, Classify, Semantic Analysis 从视频到语义：基于知识图谱的 视频语义分析技术 邓莉琼*，吴吉祥，张丽 空军通信士官学校，辽宁大连 收稿日期：2019年8月6日；录用日期：2019年8月19日；发布日期：2019年8月26日 *通讯作者。
整体与部分并举梳理与理解齐飞 ——论述类文本阅读策略 【学习目标】 1、学会阅读论述类文本。 2、能快速找出论点、论据、论证，把握行文思路，理清文章结构。 【课前预习】 （一）论述类文本阅读（本题共3小题，9分） 阅读下面的文字，完成1~3题。 传统表演艺术是我国非物质文化遗产的重要组成部分，同时也是一座蕴藏丰富、有待进一步开发利用的民族民间艺术资源宝库。经过十几年的努力，一些传统表演艺术项目已走出困境，呈现出新的生机与活力，但仍有一些项目面临着不容忽视的新问题。 传统表演艺术与普通民众生活息息相关，其表演通常具有群体性特征：无论侗族大歌还是壮族山歌，人人都可展示歌喉；无论汉族的秧歌，还是藏民的锅庄，民众欢乐起舞的场面都蔚为大观。对这类非物质文化遗产的保护就要坚持其生活性、群体性，而不应仅局限在艺术团体或演出队等小范围内。广大民众为庆贺丰收、祭祖敬神、禳灾祈福而载歌载舞的即兴表演，寄托着他们深沉的精神追求和丰富情感。使传统表演艺术“雅化”，固然能彰显各类民族民间艺术的特色，但也弱化了传统表演艺术的民俗文化内涵。 当然，各类民间表演艺术经过充分提炼和艺术升华，进而搬上舞台，其成功之作会对此类非物质文化遗产的传播起到促进作用。如春晚舞台上，藏族舞蹈《飞弦踏春》、蒙古族舞蹈《吉祥颂》等都曾大放异彩。然而，在对民间表演艺术进行再创作的过程中，有些实施者没有坚持本真性的原则，将一些传统艺术改编得面目全非。比如，有些人在改造民乐时套用西方音乐编排方式，被改编的作品便失了自身的魂魄。因此，对民族民间传统艺木进行“二度创作”，应既不失其本真的艺术特性，又科学地融入现代元素，适应民众新的审美常求。要做到这一点就需要编导们深谙民间表演艺术的特性，并能进行实地调研、采风，挖掘出民间艺术的基本元素与本质精神。 各种传统表演艺术都是在特定时空中呈现的，靠其演出行为形成艺术作品，实现艺术价值。这类非物质文化遗产的特性决定了应对其实施活态传承与保护，使之以鲜活形态生存于民间。在非物质文化遗产抢救保护实践中，有些地区视保存为保护，重视硬件设施，各类场馆及专题博物馆建设颇具规模，民间收集来的各种乐器、道具、面具、服装等都得到妥善收藏。这种博物馆式的展示与收藏，虽然能较好地保存民间表演艺术的物质载体，但变活态传承为困态展示，无法从根本上解决传统表演艺术的生存发展问题。有人认为通过录音、录像等数字化手段便可记录、存储、呈现表演艺术的成果和过程，达到抢救性保护的效果，但是，这只是对文化遗产的部分信息进行了保存。人在进行艺术表演时涉及的很多现象难以精确量化，其中不少信息是无法获取和记录的。对传统表演艺术的保护必须坚持以人为本，活态保护，才符合其自身的传承发展规律。 （摘编自李荣启《论传统表演艺术的保护与传承》） 1.下列关于原文内容的理解和分析，不正确的一项是(3分） A.传统表演艺术通常具有生活性和群体性的特征，民众也是演出的重要参与者。 B.春晚优秀的民族歌舞节目为传统表演艺术的舞台改编提供了可资借鉴的思路。 C．传统表演艺术进行“二度创作”时，应当避免西式改编，以防失去原有风格。 D.录音、录像等手段可以记录传统表演艺术的成果和过程，能够起到保存作用。 2.下列对原文论证的相关分析，不正确的一项是(3分） A.文章针对当下传统表演艺术保护中出现的一些片面认识，提出了自己的观点 B.文章紧扣作为非物质文化遗产的传统表演艺术的几种属性，多角度展开证论。 C.第四段将一些地区的场馆建设和数字化保存做比，论证了保护与保存的不同。 D.文本对现有传统表演艺术保护举措的成效与不足都有论及，体现出辩证的态度。
重庆大学课程设计报告课程设计题目：简单编译器的设计与实现 学院：计算机学院 专业班级：计算机科学与技术2班 年级：2010级 姓名：唐允恒，张楠 学号：20105208，20105333 完成时间：2013 年 6 月12 日成绩： 指导教师：张敏 重庆大学教务处制
指导教师评定成绩： 指导教师签名：年月日
指导教师评定成绩： 指导教师签名：年月日
重庆大学本科学生课程设计任务书
简单编译器设计与实现 目录 （一）目录 (1) （二）简单编译器分析与设计 (2) (1)简单编译器需求分析 (3) (2)词法分析器的设计 (3) 1.词法表设计 (3) 2.token串取法简单流程图 (3) (3)语法分析器的设计 (4) 1.算符优先文法设计 (4) 2.符号优先表 (6) (4)语义分析器的设计 (6) 1.简单四元式分析 (6) 2.简单四元式的实现 (6) （三）关键代码以及算法 (7) (1)词法分析器的关键算法 (7) (2)语法分析器的关键算法 (7) (3)四元产生式的关键算法 (8) （四）系统测试 (9) (1)用例测试 (9) (2)差错处理 (10) (3)设计自我评价 (10) （五）运行效果 (11) （六）总结 (13)
简单编译器分析与设计 简单编译器需求分析 编写目的 《编译原理》是一门实践性较强的软件基础课程，为了学好这门课程，必须在掌握理论知识的同时，加强上机实践。本课程设计的目的就是要达到理论与实际应用相结合，使同学们能够根据编译程序的一般原理和基本方法，通过具体语言的编译程序的编写，掌握编译程序的主要实现技术，并养成良好的程序设计技能。 设计背景 此项目是开发一个C++语言编辑器，完成编辑C++语言源程序，对C++语言源程序进行高亮显示、错误处理、代码重排版、显示当前文件的函数列表和跳转、成对括号、语句块标识的功能，同时描述了编译器执行每个步骤流程。 在词法分析，语法分析和语义分析等方面加深对课程基本内容的理解。同时，在程序设计方法以及上机操作等基本技能和科学作风方面受到比较系统和严格的训练。 对一个c++语言的子集编制一个编译程序，主要包括以下步骤： 词法分析 设计、编制并调试简单的C++语言的词法分析程序 语法分析 编制一个语法分析程序，实现对词法分析程序所提供的单词序列进行语法检查和结构分析。 语义分析 采用语法制导翻译原理，将语法分析所识别的语法成分变换成四元式形式的中间代码序列。
云南大学编译原理实验报告 实验题目：语义分析 学院：信息学院 专业：计算机科学与技术 学号：20091060064 姓名：刘继远
目录 一、实验目的 (1) 二、实验内容 (1) 三、源程序分析 (2) 1、程序采用的BNF (2) 2、根据语义要求得到对应的翻译模式 (3) 3、实现原理 (4) 4、文法的属性分析 (4) 5、过程设计 (5) 6、子程序说明 (6) 四、设计的基本思想（包括修改之后的属性文法、属性类型分析、翻译模式） (6) 1、增加除法运算 (6) 2、禁止同名重复声明 (8) 五、结果及分析 (8)
一、实验目的 进一步理解递归下降分析原理和实现方法，理解语义分析的基本机制，掌握语义子程序的构造方法。 二、实验内容 将带变量声明的表达式翻译为四元式序列，其中包括以下要求： ●非终结符号D实现定义两种类型int, real变量的声明； ●非终结符号S实现变量之间的*，+，: =(赋值运算) ●两个关键字int 和real ●变量之间的*，+，: =(赋值) 运算只能使用声明过的变量，所以要检查 使用的变量是否声明过。 ●对每个*，+，: =(赋值) 运算生成一条四元式如（*，A，B，T1），其 中T1是临时变量 ●*优先级别高于+，*满足左结合规则
三、源程序分析 这是一个简单的包含词法、语法、语义分析的程序：语义分析.h和语义分析.cpp。实现的基本原理是自顶向下分析，单遍扫描，以语法分析为核心，调用词法分析，并实现语义分析。 1、程序采用的BNF P→ DS. D→B; D D→ε B→int L | real L L→id | L，id S→ V := E H H→；S | ε E→E+T | T T→T*F|F F→( E ) F→id V→id 消除左递归之后的等价文法 start→ DS. D→B; D D→ε B→int L | real L L→id A A→ ，idA A→ε
语义分析的一些方法 语义分析的一些方法(上篇) 5040 语义分析，本文指运用各种机器学习方法，挖掘与学习文本、图片等的深层次概念。wikipedia上的解释：In machine learning, semantic analysis of a corpus is the task of building structures that approximate concepts from a large set of documents(or images)。 工作这几年，陆陆续续实践过一些项目，有搜索广告，社交广告，微博广告，品牌广告，内容广告等。要使我们广告平台效益最大化，首先需要理解用户，Context(将展示广告的上下文)和广告，才能将最合适的广告展示给用户。而这其中，就离不开对用户，对上下文，对广告的语义分析，由此催生了一些子项目，例如文本语义分析，图片语义理解，语义索引，短串语义关联，用户广告语义匹配等。 接下来我将写一写我所认识的语义分析的一些方法，虽说我们在做的时候，效果导向居多，方法理论理解也许并不深入，不过权当个人知识点总结，有任何不当之处请指正，谢谢。 本文主要由以下四部分组成：文本基本处理，文本语义分析，图片语义分析，语义分析小结。先讲述文本处理的基本方法，这构成了语义分析的基础。接着分文本和图片两节讲述各自语义分析的一些方法，值得注意的是，虽说分为两节，但文本和图片在语义分析方法上有很多共通与关联。最后我们简单介绍下语义分析在广点通“用户广告匹配”上的应用，并展望一下未来的语义分析方法。
1 文本基本处理 在讲文本语义分析之前，我们先说下文本基本处理，因为它构成了语义分析的基础。而文本处理有很多方面，考虑到本文主题，这里只介绍中文分词以及Term Weighting。 1.1 中文分词 拿到一段文本后，通常情况下，首先要做分词。分词的方法一般有如下几种： ?基于字符串匹配的分词方法。此方法按照不同的扫描方式，逐个查找词库进行分词。根据扫描方式可细分为：正向最大匹配，反向最大匹配， 双向最大匹配，最小切分(即最短路径)；总之就是各种不同的启发规则。 ?全切分方法。它首先切分出与词库匹配的所有可能的词，再运用统计语言模型决定最优的切分结果。它的优点在于可以解决分词中的歧义问 题。下图是一个示例，对于文本串“南京市长江大桥”，首先进行词条检索(一般用Trie存储)，找到匹配的所有词条（南京，市，长江，大桥，南京市，长江大桥，市长，江大桥，江大，桥），以词网格(word lattices)形式表示，接着做路径搜索，基于统计语言模型(例如n-gram)[18]找到最优路径，最后可能还需要命名实体识别。下图中“南京市长江大桥” 的语言模型得分，即P(南京市，长江，大桥)最高，则为最优切分。 图1. “南京市长江大桥”语言模型得分
中文文本情感倾向性分析1 黄萱菁 赵 军 复旦大学 关键词：情感倾向 语料库 引言 大约在两年半前，《新华网》、《环球时报》等大众媒体纷纷转载了英国《新科学家》杂志的一则报道，英国Corpora软件公司开发了一套名为“感情色彩（Sentiment）”的软件2，它能判断报纸刊登的文章对一个政党的政策是持肯定态度还是否定态度，或者网上的评论文章是称赞还是贬低一种产品，并以此帮助政府和一些大公司全面了解公众对他们的看法。这则报道之所以引起了舆论的广泛关注，是因为它介绍了一个非常新颖而又很有价值的研究方向—文本情感倾向性分析。 所谓文本情感倾向性分析，就是对说话人的态度（或称观点、情感）进行分析，即对文本中的主观性信息进行分析。由于立场、出发点、个人状况和偏好的不同，民众对生活中各种对象和事件所表达出的信念、态度、意见和情绪的倾向性必然存在很大的差异。在论坛、博客（blog）等反应草根观点的网络媒体上，这种差异表现得尤为明显。 长期以来，要了解关于某个问题的报道是正面的还是反面的，是消极的还是中立的，往往需要求助于调查公司。这些公司的员工仔细阅读有关某个机构、个人、事件或问题的所 1 本项研究受国家自然科学基金课题资助（60673038，60673042）。 2 https://www.doczj.com/doc/ca4076303.html,/products/sentiment.aspx 图1 英国Corpora软件公司的“感情色彩（Sentiment）”的软件
专题报道 有文字，然后就这些评论的态度做出反馈。这不仅耗费了大量人力和财力，而且过程相当缓慢。由此可见，文本情感倾向性的自动分析具有很好的商业应用前景。 文本情感倾向性分析属于计算语言学的范畴。以前，在计算语言学以及相关领域，研究人员普遍关注的是客观性信息的分析和提取，对主观性信息分析与提取的研究尚处于起步阶段，其中存在的很多问题都需要进行全面探索。这项研究涉及到计算语言学、人工智能、机器学习、信息检索和数据挖掘等多方面研究内容，因此文本情感倾向性分析也具有重要的学术研究价值。 总体来看，文本情感倾向性分析的研究大致可以分成词语情感倾向性分析、句子情感倾向性分析、篇章情感倾向性研究以及海量信息的整体倾向性预测等四个研究层次。接下来将首先介绍在各个层次所取得的研究进展，其次介绍情感倾向性分析标准语料库的建设和系统评测，最后是本文的结论。 词语情感倾向性分析 对词语的情感倾向进行研究是文本情感倾向分析的前提。具有情感倾向的词语以名词、动词、形容词和副词为主，包括人名、机构名、产品名、事件名等命名实体。其中，除部分词语的褒贬性（或称为极性，通常分为褒义、贬义和中性三种）可以通过查词典3的方式得到之外，其余词语的极性都无法直接获得。此外，词语的情感倾向还包括倾向性的强烈程度。例如，“谴责”的强度就远远超过了“批评”和“指责”，而这种强度很难由词典编撰者用人工的方式进行量化。另外，词语的极性往往取决于特定的上下文环境，例如，“骄傲”在表示“自豪”概念时，是褒义词；而在表示“自满”概念时，则是贬义词。 词语情感倾向分析包括对词语极性、强度和上下文模式的分析。其分析结果甚至可以写入到语义词典中，如北京大学计算语言学研究所以基于人民日报基本标注语料库的真实文本为实例，进行统计归纳得到词语的情感倾向，而后在现代汉语语法信息词典中实现形式化[1]。词语情感倾向分析目前主要有以下三种方法：1．由已有的电子词典或词语知识库扩展生成情感倾向词典。英文词语情感倾向信息的获取主要是在WordNet4和General Inquirer5的基础上进行的文献[3-4] ；而中文词语情感倾向信息的获取依据主要有HowNet[5]。这种方法的主要思想是，给定一组已知极性的词语集合作为种子，对于一个情感倾向未知的新词，在电子词典中找到与该词语义相近并且在种子集合中出现的若干个词，根据这几个种子词的极性，对未知词的情感倾向进行推断。这种方法对种子词数量的依赖比较明显。 2．无监督机器学习的方法。这种方法与第1种方法类似，也是假设已经有一些已知极性的词语作为种子词，对于一个新词，根据它和种子词的紧密程度对其情感倾向性进行推断。不同的是，第1种方法的词语紧密程度的度量是以词典信息为依据判断，而这种方法是根据词语在语料库中的同现情况判断其联系紧密程度。根据文献[6-7]的经典方法，假设以“真”、“善”、“美”作为褒义种子词，“假”、“恶”、“丑”作为贬义种子词，则任意其它词语的语义倾向定义为，将与各褒义种子词的点态互信息量（Point of Contact Information，PMI）之和，减去与各贬义种子词的点态互信息量之和后所得的结果。语义倾向的正负号就可以表示词语的极性，而绝对值 3 例如，General Inquirer [Stone,1966]，知网：heep://https://www.doczj.com/doc/ca4076303.html, 4 WordNet 5 通用查询者，最早为KWIC编写的程序之一，该程序根据基于理论编写的词典给单词分类。
一、现代文阅读（共35分） （一）论述类文本阅读（9分，每小题3分） 中国古代文人以诗书入画，于山水、花鸟等自然物象中寄兴托志、抒情达意，自王维，经苏轼、赵孟頫、董其昌诸先贤，成文人画一脉，传至当代，不断开创写意新境。文人画讲究笔墨情趣和诗书画印综合修养的传统、画格简淡的境界追求，以及崇尚和谐仁爱的审美理想，在当下依然具有积极的现实意义。 赵孟頫的“作画贵有古意”，和韩愈的散文中“文以载道”的复古理论其实是一个目的，就是为了弘扬中国传统文化。应该说，赵孟頫是南宋院体向元代文人画过渡的一个桥梁，这也是他在中国美术史上的重要性之所在。赵孟頫为什么提出画要有“古意”？他说，画无古意，百病丛生。画无古意，虽工无益，这一切的根源其实是中国传统文化尚朴的理念。 尚朴即主张俭朴，是不拘泥于外象的一种文化追求。中国传统文化认为，凡所有象皆是虚妄——眼睛所看到的象，都是会时刻变化的幻象，因此要追逐内在的真实，追逐宇宙真理，追逐人的真性情。说到底，就是追逐“大道”。“道”是中国哲学的重要范畴。失道则病，得道则圣。政冶、社会、经济、文化乃至绘画莫不如此。 绘画必须尊重大自然的规律，也就是尊道而行。所以，赵孟頫提出“书画同源”，这里的“同源”就是同一道源，书画都是从大道而来，这就是文人画的文化内涵。可以说，找到事物本源的大道，便占有了整个宇宙。这就是中国的哲学。世界上的一切都在变化中，让我们从弘扬传统文化的角度，找到它最积极的力量。 要从文化的本源看待文化精神和审美。审美的根源是什么？是文化。文化的根源是什么？是众生的根本利益。凡是符合众生根本利益的文化，就是正确的文化，就有正能量。利益有眼前利益、长远利益和根本利益之分。所以从这个角度而言，我们应该找到符合众生、符合全人类根本利益的文化，而从这样的文化生发出来的才是真正的审美。 《淮南子》有记载，东方有君子之国，《山海经》亦云其人好让不争。这就是中国传统文化，是我们建立和谐世界、世界大同的一颗种子，一颗文化种子、尚朴的种子。我们不是不重视经济，但我们不追求奢华；我们不是没有竞争，我们的竞争是争之以理的君子之争。《淮南子》的“君子之国”比老子“小国寡民，老死不相往来”的境界还要高。老子的理念是独善其身，是出世的，《淮南子》讲的好让不争的君子之国，却可以适用于整个世界。就像习总书记所说，无论发展到哪一步，中国永远不称霸、永远不搞扩张。中国走的是和平发展、合作共赢之路。国与国之间携手共商未来，这样还会有战争吗？这岂不是人民的福祉？我们对经济发展的态度，也是在道的基础上，合理地利用大自然，而不是无限制地追求。这就是东方人的适可而止、中庸之道。 中国文人画的特点恰恰就在于此，核心就在于此。传统文化精神是中华民族的灵魂所系，
library(dplyr) library(purrr) library(twitteR) library(ggplot2) Read the Twitter data load("E:/service/2017/3 19 guoyufei17 smelllikeme@https://www.doczj.com/doc/ca4076303.html,/trump_tweets_df.rda") Clean up the data library(tidyr) Find Twitter source is Apple's mobile phone or Android phone samples, clean u p other sources of samples tweets <-trump_tweets_df %>% select(id, statusSource, text, created) %>% extract(statusSource, "source", "Twitter for (.*?)<") %>% filter(source %in%c("iPhone", "Android")) Visualize the data at different times, corresponding to the Twitter ratio. And compare the difference between the number of tweets on Android phones and Apple phones library(lubridate) library(scales) tweets %>% count(source, hour =hour(with_tz(created, "EST"))) %>% mutate(percent =n /sum(n)) %>% ggplot(aes(hour, percent, color =source)) + geom_line() + scale_y_continuous(labels =percent_format()) + labs(x ="Hour of day (EST)", y ="% of tweets", color ="")
专题四论述类文本阅读 定点突破分析文章的论点、论据和论证方法 1.阅读下面的文段,完成问题。 ①尺度具有相对性。②在某个人群某种环境中被视为天经地义的尺度,换一种背景来看,可能匪夷所思,莫名其妙。③驰骋于想象王国的作家悲壮地叫喊“不创造毋宁死”,而另一边,浸润了实证精神的科学家会奇怪,如此虚幻的勾当何以会让人付出整个身心。④这时,尺度之不同简直成为一道墙垣了。⑤所以,这个世界上才会有那么多的隔膜、误解乃至对抗,小到一个家庭中长幼之间的代沟,大到亨廷顿所说的“文明的冲突”。 本段采用了什么结构方式?提出了什么观点?是怎样展开论述的? 答案:本段是典型的“总分总”式结构:①/②③④/⑤。第①句开宗明义,提出观点:“尺度具有相对性”;第②～④句讲道理、摆事实论证观点;第⑤句得出结论:尺度不同,造成了隔膜、误解甚至对抗,阻碍人们的交流。 2.阅读下面的文段,完成问题。 ①近年来,由于文学面临产量繁多而质量平庸的困境,常见报刊上有关于中国当代文学“缺什么”的议论。②鉴往察今,不妨说:当今的文学,包括小说、散文、杂文、诗歌、剧本、评论,等等,比较普遍欠缺的,还是内在的含金量。③有些作品写人性,偏执于对恶与丑的淋漓展示,而疏离于对善与美的深入发掘,实际是对人性本质的误读和扭曲。④写帝王,孜孜于表现皇恩浩荡,帝制威武,歌颂有余而批判乏力,实际是张扬
皇权崇拜,传播封建意识。⑤有些作品大搞所谓“欲望化写作”。⑥写人叙事,言情状物,多见低俗、庸俗、恶俗之腐气,少有崇高、圣洁、纯真之芳香。⑦一些“都市文学”,沉溺于追逐风月,揣摩利害,仿佛城市生活就是花天酒地,声色犬马。⑧有些作品文辞欠推敲,遣词结句、表意行文多铺陈而少凝练,喜稀释而畏浓缩。⑨烦词冗语过多,一句之内,徒增数倍之字,何来厚重、美感、含金量?⑩还有些作品,如当今的一些新诗,只管分行排列,不顾配调安腔,读不爽口,听不悦耳,完全缺少铿锵的音韵,故不易流传。我国的经典小说名著,既长文采,亦重音韵,情节紧要处,起承转合时,常证以诗词,佐以曲赋,为的是壮声色,增情趣,广韵味。这一特点,在当今的小说中已很鲜见。 (节选自《作品“含金量”随想》) 上面这段文字有十二个句子,对段内层次有四种不同的理解,请选出正确的选项( ) A.①/②/③④/⑤⑥⑦/⑧⑨⑩ B.①②/③④/⑤⑥⑦/⑧⑨⑩ C.①②/③④⑤⑥⑦/⑧⑨⑩ D.①/②/③④⑤⑥⑦/⑧⑨⑩ 解析:B 第①②句引出话题,提出观点:“当今的文学,普遍欠缺的,还是内在的含金量。”接着分别从三个方面阐述上述观点:第③④句为一层,围绕作品的主题表现阐述;第⑤⑥⑦句为一层,围绕作品的内容表现阐释;第⑧⑨⑩为一层,围绕作品的文辞音韵感阐述。这三层为并列关系。 3.阅读下面的文段,完成问题。 ①功利化、实用化的倾向给教育带来了不容忽视的弊端。②主要表现为:现今学校体系,与其说是一种教育制度,还不如说是一种以考试为
文本信息分析 1.中文文本信息过滤技术研究 1.1文本过滤技术 文本信息过滤是指依据一定的标准和运用一定的工具从大量的文本数据流中选取用户需要的信息或剔除用户不需要的信息的方法[1]。文本过滤和文本检索及文本分类有很大的相似之处。 1.1.1文本信息过滤技术发展 1958年Luhn提出的“商业智能机器”是信息过滤的最早雏形。Luhn所提出的构想涉及了信息过滤系统的每一个方面，为后来的文本过滤做了很好的铺垫。1982年，Dernzing 首次提出了“信息过滤”的概念，在他描述的例子中，可以通过“内容过滤器”识别出紧急邮件和一般邮件，以此提示对信息内容进行有效控制。1987年，Malone等人提出了三种信息选择模式，即认知、经济、社会。认知模式相当于“基于内容的信息过滤”；经济模式来自于Denning的“阈值接受思想”；社会模式是他最重要的贡献，即“协同过滤”。1989年，美国消息理解大会(Message Understand Conference)成立，将自然语言处理技术引入到信息研究中来，极大地推动了信息过滤的发展。 20世纪90年代以来，著名的文本检索会议TREC（Text Retrieval Conference）每年都把文本过滤当作一个很重要的一个研究内容，这很大程度上促进了文本过滤技术的发展。从TREC-4开始，增加了文本过滤的项目；从1997年TREC-6开始，文本过滤主要任务确定下来；TREC-7又将信息分为自适应过滤、批过滤和分流过滤，使得对信息过滤的研究更加深入。 随着信息过滤需求的增长和研究的深入发展，其他领域的许多技术被应用到文本过滤中来，并取得了很好的效果。如信息检索中的相关反馈、伪相关反馈以及文本检索中的向量空间模型的相关技术，文本分类和聚类技术，机器学习以及语言底层的处理技术都被应用到信息过滤中来，极大地拓展了信息过滤的研究广度，推动着信息过滤理论研究与技术应用不断走向完善与成熟。 1.1.2中文本过滤技术 中文文本过滤技术在最近几年得到了业内人士的普遍关注。国内对于信息过滤研究起步较晚，但是目前发展也很快，尤其是随着信息安全、信息定制等应用在国内的兴起，对信息过滤技术的研究也得到人们普遍的重视。其中，中科院计算所、复旦大学都曾参加了TREC 评测中的信息过滤任务，取得了较好的成绩；哈工大、南开大学等重点科研单位也已经开始对信息过滤进行研究。 然而，基于目前提出的中文文本过滤模型开发出的试验系统在不同的领域达到的过滤精度也不相同。由于中英文语法差异较大，对于文本信息的预处理方法不同，因此面向英文的众多过滤算法是否适合中文文本过滤还有待检验[2]。 1.2中文文本过滤的关键技术 文本过滤工作基本上可以概括为两项：一是建立用户需求模型，表达用户对信息的具体需求；二是匹配技术，即用户模板与文本匹配技术。因此，文本过滤的主要流程首先是根据用户的信息需求，建立用户需求模型，然后在相应的文本流中搜索符合用户需求的文本，同时，利用反馈改进需求模型。文本过滤系统的一般模型如图1所示：