当前位置:文档之家› 一个中文实体链接语料库的建设

一个中文实体链接语料库的建设

一个中文实体链接语料库的建设
一个中文实体链接语料库的建设

国家级精品课程《高级英语》课程建设方案

国家级精品课程《高级英语》课程建设方案 一、建设目标:用五年时间,把高级英语建设成为一门充分践行“学生本位”、“素质本位”思想,人文色彩浓郁,时代内涵丰富,教学方法创新,教学手段先进,教学环境信息化特色突出,课程评价体系完善,自我革新能力强的高年级“核心”课程。 二、建设步骤:本课程建设将在多项“分目标”同时并举的基础上,采取分层次、有优先、有重点、逐年推进的建设方略。具体规划如下: 1.人文及时代内涵建设 (1)本课程组刚刚编写、出版的《新编高级英语教程》取材广泛,选材新颖,时代性强,人文内涵丰富,这为本课程实现未来5年的“人文及时代内涵”建设目标打下了坚实的基础。 (2)适时引入、编写一批教辅、学辅材料,进一步扩充本课程人文内涵,保持其时代性。 (3)在课堂教学中,充分挖掘现有教材的人文内涵,探索有利于培养学生人文素养和科学创新精神的授课形式。 (4)将对学生人文、科学精神的培养作为设计、开展实践课教学的基本要求之一。 2.教学环境信息化建设 (1)“高英”课堂教学网建设:A. 完善并适时更新现有的电子资料库——CAI课件,背景知识、作者简介、语言知识点、文本赏析、注释、相关话题导引、习题、试题等教辅、学辅材料;B. 逐步实现课程全部模块授课录像并上网;C. 在现有朗文、韦氏、金山词霸等在线词典的基础上,再投放几部高质量的网络词典;D. 建设网上学习资料下载平台。

(2)校园网、局域网建设与利用:A. 进一步拓展校园网的“资源”功能;B. 开展网上资源利用研讨活动;C. 进一步发掘Internet网上学习资源,提供具体链接地址。 (3)在线语料库建设:A. 探索能充分利用现有BNC、BROWN,LOB,LDC等在线语料库的教学新形式;B.适时购进1-2个切合“高英”(及其它课程)教学、科研需要的国、内外语料库(尤其是英、汉平行语料库);C.力争自主建设1-2个切合本课程及其它多门课程教学、科研需要的校本语料库。 3.教学过程建设 (1)课堂教学建设:A. 教学理念与方法:开展对学生期望的理想教学形式的调查分析,进一步探索能充分实践启发、体验式、发现式、研究式、合作式等现代教学理念的有效授课形式,拓展其内涵。B. 教学资源:探索能有效利用现有多功能教学资源形式的途径和方法;开辟新的资源形式;加强网络教学资源的动态性、再创性、多样性、结构合理性研究。C. 教学手段:探索能增强课堂感染力、提高教学效果的各种传统及信息化教学手段。D. 加强信息化学习方式(如适应性学习、WebQuest 学习,探险性学习)及其影响因素的研究。E.加强课堂教学评估指标研究。 (2)在线辅助教学建设:A. 创建网上学习社区,构筑学生自主学习平台。B. 创设BBS电子布告板系统,增加师生互动。C. 建立师生个人电子档案,探索在线教学规律。D.加强网上教学实践技术培训。 (3)实践课建设:A. 融高年级学生毕业论文写作与实践课教学于一体;B.通过实践课培养学生的体验式、探究式学习能力以及人文素养和科学创新精神;C.通过实践课为学生提供就业、创业的体验和能力训练;D.探索一切行之有效的实践课形式,培养学生获取知识的能力、创新能力,交流能力、协作能力、适应工作的能力、知人处事的能力以及灵活应变的能力。 4.革新能力建设

语料库与语料库建设

语料库和语料库建设 一、什么叫语料库 1、定义 语料库,通俗意义上指的是语言材料库。严格意义上的语料库(corpus)是指按照一定的 语言学原则,运用随机抽样方法,收集自然出现的连续的语言运用文本或话语片断而建成的具有一定容量的大型电子文本库。 目前,语言学家对于语料库的定义不尽相同,如辛克莱(Sinclair)认为语料库是“按照明确的语言学标准选择并排序的语言运用材料汇集,旨在用作语言的样本”。阿特金斯等(Atkins & Clear)认为语料库是“按照明确的设计标准,为某一具体目的而集成的大型文本库”。赫努(Renouf)认为语料库是“由大量收集的书面语或口头语构成,并通过计算机储存和处理,用于语言学研究的文本库”。我们看到,以上关于语料库的几种定义相同之处在于都谈到语料库是语言材料的汇集;不同之处在于前两个定义指出语料库的设计是有明确的设计标准的,赫努的定义明确指出语料库“通过计算机储存和处理”这一特点。 语料库不同于电子文档,语料库的建设有特定的研究目的和具体用途,因此在语料抽样范围和文类覆盖方面都力求取得平衡,在收集语料时需要考虑到每一文类、体裁、语域、主题类型等的抽样比例。而大型文档目标在于搜集任何可获得的语言材料或所限定的数种文类语料,其语言材料之间的关系较为松散。 语料库具有以下特征:1、语料库的设计与建设有系统的语言学理论指导,语料库的开发具有明确而又具体的目的;如,布朗语料库用于对20世纪60年代的美国英语的研究,LOB是与布朗语料库对齐的同时期的英国英语语料库,可用以对英国英语进行研究,也可与布朗语料库加以对比进行美国英语和英国英语的对比研究。2、语料库的语料是按照明确的语言学原则采用随机抽样的方法得到的语言运用的自然语料,不是随意的语言材料的堆积,更不是由某个个人杜撰出来的。语料库的容量和语料采用随机抽样方式都保证了语料具有代表性,由此保证基于语料库的语言研究的科学性、客观性。3、语料文本是连续的文本或话语片断,而不是孤立的句子或词汇,可以借以获得语法关系、用法、词语搭配以及语篇信息。4、语料库以当代先进的计算机技术为技术手段,语料库语料通过电子文本形式储存并且是通过计算机处理的,具有资源优势和处理速度优势。5、基于语料库的研究以量化研究为基石,以概率统计为手段,以数据驱动为基本理念。6、语料库既是一种研究方法,又代表着一种新的研究思维。 二、语料库产生的背景及发展历史 对真实语言材料的搜集与研究是语言学研究的优秀传统。尤其是在20世纪50年代中期, 在语言研究中占主导地位的是重语言材料的经验主义。这种学术氛围无疑促进了对语料的重视。1959年夸克(R.Quirk)等人着手进行的“英语用法调查”(Survey of English Usage)通过系统的调查建立了第一个现代英语语料库,在此基础上完成的《现代英语语法》( A Grammar of Contemporary English)和《英语语法大全》(A Comprehensive Grammar of the English Language)对现代英语进行了系统全面的描写,在英语语言学界产生了广泛的影响。但在当时这项浩大的工程是通过手工的方式完成的。

【CN110110336A】一种面向藏汉机器翻译的藏语句法语料库的构建方法【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910368324.3 (22)申请日 2019.05.05 (71)申请人 西北民族大学 地址 730030 甘肃省兰州市城关区西北新 村1号 (72)发明人 万福成  (74)专利代理机构 西安研创天下知识产权代理 事务所(普通合伙) 61239 代理人 杨凤娟 (51)Int.Cl. G06F 17/28(2006.01) G06F 17/27(2006.01) (54)发明名称 一种面向藏汉机器翻译的藏语句法语料库 的构建方法 (57)摘要 本发明公开了一种面向藏汉机器翻译的藏 语句法语料库的构建方法,包括以下步骤:A、将 具有句对齐结构的平行语料库中的藏语句子进 行词性标记;B、利用词对齐工具将藏语句子中的 词汇进行词对齐,形成藏语词、汉语词对齐匹配 形式;C、利用树库制作工具,将具有词性标记和 词对齐信息的藏语词逐个进行短语标记;D、运用 自增模式,扩展藏语句法语料库。本发明能够解 决藏语句法语料库稀缺的问题,从而提高翻译质 量。权利要求书1页 说明书3页CN 110110336 A 2019.08.09 C N 110110336 A

权 利 要 求 书1/1页CN 110110336 A 1.一种面向藏汉机器翻译的藏语句法语料库的构建方法,其特征在于,包括以下步骤: A、将具有句对齐结构的平行语料库中的藏语句子进行词性标记; B、利用词对齐工具将藏语句子中的词汇进行词对齐,形成藏语词、汉语词对齐匹配形式; C、利用树库制作工具,将具有词性标记和词对齐信息的藏语词逐个进行短语标记,并逐层进行合并直至形成一个完整的句法树; D、运用自增模式,扩展藏语句法语料库。 2.根据权利要求1所述的一种面向藏汉机器翻译的藏语句法语料库的构建方法,其特征在于,所述步骤B中将藏语句子中的词汇进行词对齐的方法包括以下步骤: a、运用词对齐工具训练双语句对齐平行语料库; b、以词对齐中间结果作为藏语汉语词匹配形式,并形成具有类似括号匹配的形式; c、将词对齐的结果以及词性标注的结构统一处理成具有括号匹配形式的内容,提供下一步处理作为输入。 3.根据权利要求1所述的一种面向藏汉机器翻译的藏语句法语料库的构建方法,其特征在于,所述步骤C中逐层进行合并直至形成一个完整的句法树的方法包括以下步骤: a、将具有括号匹配形式的带有词性标记和词对齐信息的各个单元输入到树库制作工具中; b、以词性为基础,逐个将以词为单元的内容合并,并以短语标记结尾; c、逐个合并短语结构标记为新的短语结构标记,最终合并成一个句子,并标注以句子标记结尾。 4.根据权利要求1所述的一种面向藏汉机器翻译的藏语句法语料库的构建方法,其特征在于,所述步骤D中运用自增模式扩展藏语句法语料库的方法包括以下步骤: a、将人工制作的藏语句法语料库作为训练语料库,运用BerkerleyParser句法分析器作为句法分析工具; b、解码测试语料库,得到待人工校对的藏语句法树; c、人工校对藏语句法树的结果,将校对后的结果加入到训练语料库中,继续步骤a,以这种模式扩展藏语短语句法树库。 2

关于汉语中介语语料库建设研究报告

汉语中介语语料库建设研究 沈锐1,黄薇2 (1.红河学院教育技术系2.红河学院国际合作与交流处XX蒙自661100) 【摘要】本文探讨母语非汉语学习者的汉语中介语语料库建设的主要思路以及具体实现方法,重点介绍了汉语中介语语料的加工方法以及语料数据库的设计思路,并阐明了该语料库在对外汉语教学和研究中的应用价值。 【关键词】语料库;中介语;汉语教学 语料库是指按一定的语言学原则收集的语言文本或话语片断而建立的电子资料库。本文所述汉语中介语料库是基于语言学中中介语理论设计与实施的。中介语是心理语言学中第二语言习得的一种研究模式,其将语言学习者置于观察中心,去研究他们如何有意识地向目的语的正确形式迁移的各种动态表现。中介语理论自20世纪60年代末出现并发展至今,虽然时间并不长,但越来越受到语言学家以及一线教师的关注。无论是进行中介语研究还是使用中介语理论进行第二语言教学都需要收集分析大量的语料,因而通过信息化手段收集和整理语料变得十分迫切。在对外汉语教学中,通过建设和使用母语非汉语学习者的汉语中介语语料数据库,可以收集不同背景和不同学习阶段外国学生及少数民族学生的汉语书面语和用文字转写的口语语料,并对语料属性、词汇、语法等单位进行计算机处理,以实现对各种条件和要求下的语料数据进行便捷的机器检索和提取,可以为研究母语非汉语学生学习和习得汉语的规律提供大量的各种单项的或综合的资料和信息。因此,我们提出了建设汉语中介语语料库的课题,由于语料库建设是一项浩大的工程,限于人力物力条件,本文讨论的是中

小规模的语料库。 一、需求分析和框架设计 语料库建设不能盲目进行,首先要进行调研,对语料库的应用需求进行分析。半自动化的语料库构建是目前语料库建设的主流技术,目的是在确保语料库质量的前提下,减少人工参与的比例,增加自动化程度,目标是在较短时间内建设一个有一定规模,质量可靠、可扩充、成本低,能够全面、细致地记录母语非汉语学习者在汉语学习过程中的语言表征和研究他们汉语习得过程的语料库。依照软件工程的方法,建立数据库首先需要进行需求分析,在需求分析过程中要注意汉语中介语语料库主要是服务于对外汉语教学的一线教师,以及辅助母语非汉语学生自学,因此主要注重以上二类服务对象的应用需求,确保建成的语料库能够对第二语言教学、研究以及教材的编写提供持续支持。基于以上要求,在对中介语语料库的建设思路及框架做了总体考虑,基本归纳为以下三个方面: 1、中介语语料库为专门用途语料库,主要目的为研究母语非汉语的学生在学习汉语过程中的中介语现象而设计制作的。 2、中介语现象存在于母语非汉语的学生在学习汉语过程中的书面语料及口语语料中,由于口语语料的收集、分析和标注都较为困难,因此在建库的第一阶段只考虑收录书面语料,这有利于语料库的快速建设与使用。 3、语料标注的加工标准使用中科院计算所汉语词性标记集V3.0。 二、语料收集与加工

当汉语语料库文本分词规范草案

973当代汉语文本语料库分词、词性标注加工规范 (草案) 山西大学从1988年开始进行汉语语料库的深加工研究,首先是对原始语料进行切分和词性标注,1992年制定了《信息处理用现代汉语文本分词规范》。经过多年研究和修改,2000年又制定出《现代汉语语料库文本分词规范》和《现代汉语语料库文本词性体系》。这次承担973任务后制定出本规范。本规范主要吸收了语言学家的研究成果,并兼顾各家的词性分类体系,是一套从信息处理的实际要求出发的当代汉语文本加工规范。本加工规范适用于汉语信息处理领域,具有开放性和灵活性,以便适用于不同的中文信息处理系统。 《973当代汉语文本语料库分词、词性标注加工规范》是根据以下资料提出的。 1.《信息处理用现代汉语分词规范》,中国国家标准GB13715,1992年 2.《信息处理用现代汉语词类标记规范》,中华人民共和国教育部、国家语言文字工作委员会2003年发布 3.《现代汉语语料库文本分词规范》(Ver 3.0),1998年 北京语言文化大学语言信息处理研究所清华大学计算机科学与技术系4.《现代汉语语料库加工规范——词语切分与词性标注》,1999年 北京大学计算语言学研究所 5.《信息处理用现代汉语词类标记规范》,2002年, 教育部语言文字应用研究所计算语言学研究室 6.《现代汉语语料库文本分词规范说明》,2000年 山西大学计算机科学系山西大学计算机应用研究所 7.《資讯处理用中文分词标准》,1996年,台湾计算语言学学会 一、分词总则 1.词语的切分规范尽可能同中国国家标准GB13715《信息处理用现代汉语分词规范》(以下简称为“分词规范”)保持一致。本规范规定了对现代汉语真实文本(语料库)进行分词的原则及规则。追求分词后语料的一致性(consistency)是本规范的目标之一。 2.本规范中的“分词单位”主要是词,也包括了一部分结合紧密、使用稳定的词组以及在某些特殊情况下可能出现在切分序列中的孤立的语素或非语素字。本文中仍用“词”来称谓“分词单位”。 3.分词中充分考虑形式与意义的统一。形式上要看一个结构体的组成成分能否单用,结构体能否扩展,组成成分的结构关系,以及结构体的音节结构;意义上要看结构体的整体意义是否具有组合性。 4. 本规范规定的分词原则及规则,既要适应语言信息处理与语料库语言学研究的需要,又力求与传统的语言学研究成果保持一致;既要适合计算机自动处理,又要便于人工校对。 5.分词时遵循从大到小的原则逐层顺序切分。一时难以判定是否切分的结构体,暂不切分。 二、词性标注总则 信息处理用现代汉语词性标注主要原则有三个: (1)语法功能原则。语法功能是词类划分的主要依据。词的意义不作为划分词类的主要依据,

浅谈语料库语言学在的应用以及在中国的发展趋势

浅谈语料库语言学在的应用以及在中国 的发展趋势 一、语料库语言学的兴起与发展 语料库语言学是基于大量真实的语言资料,从调查语言信息的分布频率入手来研究语言在现实使用中的规律和模式。自20世纪中后期,电脑被大量使用在语料的存储上,兴起了专门针对大规模储存于计算机里的语料库所进行的研究,自此语料库语言学进入了现代语料库语言学时期。由于电脑语料库容量大、语料真实、检索快捷,它在现代语言学研究和语言教育中正发挥着越来越重要的作用。 在我国,从20世纪20年代开始,有学者为制定基础汉字字表开始建立文本语料库;70年代末以来,汉语现代文学作品语料库(1979年)、现代汉语语料库(1983年)等机器可读语料库开始建设。90年代后,以《人民日报》光盘数据库、北大语料库为代表的大型汉语语料库日益发展,语料库成为研究中文信息处理的基本语言资源。在英语语料库建设方面,杨惠中教授80年代主持建成的上海交通大学科技英语语料库(JDEST),是当时世界上第一个同类语料库,也是国内最大最完备的英语语料库之一。1996年广州外国语学院开始建立中国学生交际英语语料库。此外由广东外语外贸大学桂诗春教授和上海交通大学杨惠中教授牵头开发的“中国学习者语料库”(CLEC)于1999年建成,该语料库广泛收集了包括我国中学生、大学生在内的一百多万词的各种书面语资料,并对所有的语料进行语法标注和言语失误标注,对研究中国学习者的英语特点具有开创性意义。

二、语料库语言学发展趋势 语料库语言学研究的发展总是以语料库的建设为基础的。没有语料库的建设,语料库语言学所进行的研究只能是纸上谈兵。近十多年来,国内语料库的建设取得了一定的成就,主要建设的语料库有英语学习者语料库、平行语料库、特殊英语语料库、汉语语料库四种类型。 (一)英语学习者语料库。其中包括书面语和口语。有广东外语外贸大学和上海交通大学合作建设的中国学习者英语语料库CLEC,100万词次;上海交通大学建设的大学英语学习者口语语料库COLSEC,5万词次;香港科技大学建设的香港科技大学学习者语料库HKUST Learner Corpus;南京大学建设的中国英语专业语料库CEMC,148万词次;南京大学建设的中国英语学习者口语语料库SECCL,100万词次;华中科技大学建设的硕士 写作语料库MWC,12万词次。 (二)平行语料库。有北京外国语大学建设的汉英平行语料库PCCE;南京大学建设的南大———国关平行语料库;外语 教学与研究出版社建设的英汉文学作品语料库,冯友兰《中国哲学史》汉英对照语料库,李约瑟(Joself Needham)《中国科学技术史》英汉对照语料库;北京大学计算语言学研究所建设的双语语料库,5万多对;香港城市理工大学建设的对比语料库LIVAC;台湾建设的平衡语料库Sinica Corpus和树图语料库Sinica Treebank;国家语言文字工作委员会应用研究所建设的计算机专业的双语语料库,柏拉图(Plato)哲学名著《理想国》的双语语料库;中国科学院软件研究所建设的英汉双语语料库,15万对;中国科学院自动化研究所建设的英汉双语语料库,包含LDC香港新闻硬汉双语对齐语料36 294段以及香港法律英汉双语对齐

语料库与语料库建设

语料库与语料库建设 语料库和语料库建设 一、什么叫语料库 1、定义 语料库,通俗意义上指的是语言材料库。严格意义上的语料库(corpus)是 指按照一定的 语言学原则,运用随机抽样方法,收集自然出现的连续的语言运用文本或话语片断而建成的具有一定容量的大型电子文本库。 口前,语言学家对于语料库的定义不尽相同,如辛克莱(Sinclair)认为语料库是“按照明确的语言学标准选择并排序的语言运用材料汇集,旨在用作语言的样本”。阿特金斯等(Atkins & Clear)认为语料库是“按照明确的设计标准,为某一具体目的而集成的大型文本库”。赫努(Renouf)认为语料库是“由大量收集的书面语或口头语构成,并通过计算机储存和处理,用于语言学研究的文本库”。我们看到,以上关于语料库的儿种定义相同之处在于都谈到语料库是语言材料的汇集;不同之处在于前两个定义指出语料库的设讣是有明确的设计标准的,赫努的定义明确指出语料库“通过计算机储存和处理”这一特点。语料库不同于电子文档,语料库的建设有特定的研究LI 的和具体用途,因此在语料抽样范围和文类覆盖方面都力求取得平衡,在收集语料时需要考虑到每一文类、体裁、语域、主题类型等的抽样比例。而大型文档U标在于搜集任何可获得的语言材料或所限定的数种文类语料,其语言材料之间的关系较为松散。 语料库具有以下特征:1、语料库的设讣与建设有系统的语言学理论指导,语料库的开发具有明确而乂具体的U的;如,布朗语料库用于对20世纪60年代的美国英语的研究,LOB是与布朗语料库对齐的同时期的英国英语语料库,可用以对英国英语进行

研究,也可与布朗语料库加以对比进行美国英语和英国英语的对比研究。 2、语料库的语料是按照明确的语言学原则采用随机抽样的方法得到的语言运用的自然语料,不是随意的语言材料的堆积,更不是由某个个人杜撰出来的。语料库的容量和语料采用随机抽样方式都保证了语料具有代表性,山此保证基于语料库的语言研究的科学性、客观性。 3、语料文本是连续的文本或话语片断,而不是孤立的句子或词汇,可以借以获得语法关系、用法、词语搭配以及语篇信息。 4、语料库以当代先进的计算机技术为技术手段,语料库语料通过电子文本形式储存并且是通过讣算机处理的,具有资源优势和处理速度优势。5>基于语料库的研究以量化研究为基石,以概率统汁为手段,以数据驱动为基本理念。6、语料库既是一种研究方法,乂代表着一种新的研究思维。 二、语料库产生的背景及发展历史 对真实语言材料的搜集与研究是语言学研究的优秀传统。尤其是在20世纪 50年代中期, 在语言研究中占主导地位的是重语言材料的经验主义。这种学术氛圉无疑促进了对语料的重视。1939年夸克(R. Quirk)等人着手进行的“英语用法调查” (Survey of English Usage)通过系统的调查建立了笫一个现代英语语料库,在此基础上完成的《现代英语语法》(A Grammar of Contemporary English )和《英语语法大全》(A Comprehensive Grammar of the English Language)对现代英语进行了系统全面的描写,在英语语言学界产生了广泛的影响。但在当时这项浩大的工程是通过手工的方式完成的。 20世纪六十年代后,语言学研究主流从经验主义转向理性主义,乔姆斯基的语言能力说被广泛接受,转换生成语法学派批评语料库研究方法,认为,1、基于语料库的方法有误。乔姆斯基等认为语言学应当以人脑的语言机制即语言能力为研究对象,语料库收集的只是人们的语言运用,语言运用会因超语言因素的影响而发生变化,它并

语料库建设及使用专题研修班

语料库建设及使用专题研修班 时间:2014年11月8-9日 地点:上海海事大学2C305(计算机实验室) 主讲人:北京外国语大学中国外语教育中心梁茂成李文中许家金 一、基本概念 1.为什么欧洲对语料库语言学会有如此大的兴趣呢?在美国占统治地位的 Chomsky语言学的研究焦点是句法,它感兴趣的是哪些句子是可能的(What is possible?),追求的是语言理论的“解释力”,例如Colorless green ideas sleep furiously、The rat the cat the dog chased ate died都是可能的,但语料库语言学对此却没有兴趣。因为实际上没有人会这样说。语料库语言学感兴趣的是哪些语言现象在实际使用上是很有可能的(What is probable?),这和统计学中的概率有关,不是可否的问题,而是多少的问题,也就是语言的使用问题。 2.一个小型文本集并不是真正意义上的语料库。真正意义上的语料库是一个按照 一定的采样标准采集而来的、能够代表一种语言或者某语言的一种变体或文类的电子文本集。可以说,一个语料库由若干个电子文本构成,而这些电子文本作为一个整体可以代表某语言或者某语言的某种变体或文类。语料库语言学以大量精心采集而来的真实文本(authentic texts)为研究素材,主要通过概率统计的方法得出结论,因此语料库语言学从本质上讲是实证性的(empirical)。 3.文本:文本可以保存生(raw)语料,即未经任何标注的语料,称为生文本(raw text)。文本中也可以保存经过人工或自动标注的语料,这种文本称为标注文本(annotated text)。文本中的标注信息可以标示语料的来源、文本的内部结构、文本中的语言单位等多种语言信息和非语言信息。 4.经人工或自动处理后,原来的生文本获得了“增值”(Leech 1991),文本中所包

商务英语语料库的建设及应用

商务英语语料库的建设及应用初探 【摘要】语料库语言学作为一门新兴的语言学分支,其影响已遍及语言学研究的各领域。将语料库的方法应用于商务英语词汇教学中,发挥其语料真实丰富、计算机程序强大的重新组织语言数据的能力,既能提高学生商务词汇学习的效率和积极性,也能提高商务英语教学质量。本文从商务英语语料库的建设及其应用价值入手,以期语料库语言学为商务英语教学带来更多成果。 【关键词】商务英语语料库地方课程 商务英语(business english)是指商务场景下所应用到的英语,作为特殊目的英语(english for specific purpose)具有很强的专业性。商务英语跟普通英语(english for general purpose)最大区别之一就是专业词汇的大量使用,因此,词汇教学在商务英语教学中的作用不容忽视。语料库(corpus)是语言素材的集合体,能快速准确地提供诸如构词、搭配、语境等多方面的语料及信息。在外语学习中,语料库能够缩小课堂语言与真实语言的差距、培养学习者的语感和学习能力及研究能力,所以用语料库的方法来学习商务英语词汇既可以刺激学生的学习积极性,也可以更加准确、更加有效地掌握商务英语中专业特点较强的词汇。 1 语料库及其发展 语料库可以概述为运用随机抽样的方法,收集自然出现的连续的语言,运用文本或话语片断,并按照一定的语言学原则建成的具有

一定容量的语料体系。 语料库的发展大致经历了三个阶段:第一代语料库以20世纪60年代的brown corpus以及lob corpus为代表,由于是语料库发展的最初时期,所以规模都比较小,这个时期的语料库只能用来考查常用语言现象的频率,无法展现语言的全貌。第二阶段以20世纪80年代的birmingham collection of english language text以及longman/lancaster english为代表,这一时期的语料库建设以电子语料库的兴起为主要特征,语料库的容量不断扩大,种类不断增多。第三阶段从20世纪90年代至今,是语料库建设、研究与应用的迅猛发展阶段,功能更为强大的计算机系统软件的开发与应用致使第二代超大型计算机语料库开始出现,语料库进入了发展的黄金年代。 2 商务英语词汇及其特征 商务英语源于普通英语,并基于普通英语的基本语法、句法结构和词汇语,有普通英语的一些语言学特征。与此同时,作为应用在商务场合的英语,商务英语又是英语语言知识和商务专业知识的综合,因而又具有独有的专业特征。 2.1 在文体风格上,商务英语词汇属于庄重文体(frozen style)。庄重文体,即各体英语中正式程度最高的一种。这种“正式”一是为了在表达上追求准确、专业、标准化的效果,二是为了在思维上追求清晰和条理。许多商务词汇都表现出这一特性。

中研院现代汉语标记语料库使用说明

「內容檢索」使用說明 「內容檢索」的檢索條件詞設定,在於輸入檢索條件詞,在語料庫中將所有在「內容檢索」設定的檢索條件符合者,並在「自訂語料庫」設定範圍內,包含檢索條件詞的文句挑出並顯示。檢索的方式分兩種:一、單項條件檢索方式:一次設定一項檢索條件;二、多項條件檢索方式:一次設定一項檢索條件,包括「and檢索條件」,以及利用「續設條件」設定「or檢索條件」。檢索的對象分四種:1. 關鍵詞;2. 重疊詞;3.詞類;4. 特徵。 A.單項條件檢索:一次設定一項檢索條件 1.關鍵詞:將滑鼠移到「關鍵詞」的框框內,鍵入欲搜尋的關鍵詞, 再將滑鼠移到「執行」按下。 ?關鍵詞可以由下列幾種符號組合而成: ?中文字 ?? :表示一個任意字元 ?* :表示零至無限多個任意字元 ?範例: ?鍵入「電話」,會搜盡包含「電話」的文句。 ?鍵入「電*」,會搜盡包含以「電」開頭的詞(單字 詞、雙字詞、多字詞都包括在內,如:電、電話、 電視機)的文句。 ?鍵入「電?」,會搜盡包含以「電」開頭的雙字詞的 文句。 ?鍵入「*電」,會搜盡包含以「電」結尾的詞(單字 詞、雙字詞、多字詞都包括在內)的文句。 ?鍵入「??電」,會搜盡包含以「電」結尾的三字詞 的文句。 ?鍵入「*電*」,會搜盡出現過含有「電」的詞(單 字詞、雙字詞、多字詞都包括在內)的文句。 ?鍵入「?電?」,會搜盡包含將「電」置於中央的三 字詞的文句。 ?鍵入「?電*」,會搜盡包含將「電」置於第二字的 詞(雙字詞、多字詞都包括在內)的文句。 ?鍵入「????」,會搜盡含有任何四字詞的文句。 2.重疊詞:將滑鼠移到「重疊詞」的框框內,鍵入欲搜尋的重疊詞 種類,再將滑鼠移到「執行」按下。或者將滑鼠移到「重疊詞」 框框旁的箭頭,按一下,即出現四種重疊詞種類,在所欲搜尋的 重疊詞種類按一下,再將滑鼠移到「執行」按下。 ?重疊詞種類共分四種,如介面所示: ?重疊詞AAB-如:試試看、走走路 ?重疊詞ABB-如:試看看、亮閃閃 ?重疊詞AABB-如:高高興興、平平安安 ?重疊詞ABAB-如:高興高興、研究研究

语言文字应用研究“十五”科研规划及项目指南

语言文字应用研究“十五”科研规划及项目指南 一、语言文字应用研究的回顾与展望 (一)“九五”期间语言文字应用研究回顾 “九五”期间,我国语言文字应用研究取得多方面的进展:(1)语言文字法制建设研究和立法工作实现了历史性的突破;(2)语言文字规范、标准研制和基础工程建设进一步加强,取得了新的成果;(3)推广普通话、汉字规范化标准化的理论与政策研究逐步深入;(4)中小学语文教学、双语教学、扫盲等引起社会广泛关注;(5)随着对外汉语教学的蓬勃发展,“对外汉语教学”逐步发展成为应用语言学的一个分支学科;(6)语言文字信息处理,由于计算机学界和语言学界的共同努力,取得了可喜的成绩,基本解决了“字处理”(汉字的计算机输入和显示等)的问题,“词处理”(中文自动分词、词性标注等)以及语音识别、语音合成等方面的研究获得了重大进展;(7)领域语言研究、专名术语研究相继展开,发表、出版了一批研究论著;(8)语言习得研究、语言认知研究和病理语言研究等也开始起步;(9)在辞书编纂方面,出版了一批质量较高的辞书,对提高全民族语言文字生活的质量发挥了重要作用;(10)语言文字国情调查即将完成。 “九五”期间,我国语言文字应用研究虽然取得了较大进展,但与社会主义现代化建设、社会语言生活发展的要求和广大人民群众的愿望相比,还存在一些不足和问题,例如:(1)专业人才短缺,经费投入不足;(2)定性研究较多,定量研究较少;(3)采用人工、传统

的研究手段较多,借助现代化手段较少;(4)面向人的研究较多,面向计算机和网络的研究较少;(5)语言规划研究、语言文字规范标准建设等,还存在着明显不足。语言文字应用研究既面临着前所未有的发展机遇,也面临着严峻的挑战。 (二)“十五”期间语言文字应用研究面临的形势与任务 随着改革开放的不断深入,社会主义市场经济体制逐步完善,国际国内的交流日益频繁,社会语言生活空前活跃。语言文字作为人们交际的基本工具,社会对其规范化、标准化的要求越来越高,语言文字工作的基础性地位和作用更加突出,工作任务和工作内容也具有了更加丰富的时代内涵。语言文字工作者和研究人员对此要有充分认识,对新的语言现象要进行跟踪记录和研究,并及时加以引导,使语言生活既规范有序,又充满活力。 《中华人民共和国国家通用语言文字法》已于2000年10月31日经第九届全国人大常委会第十八次会议审议通过,并于2001年1月1日起实行。它的诞生确立了普通话和规范汉字作为国家通用语言文字的法律地位,确定了普通话和规范汉字使用范围,是我国社会主义现代化建设的一件大事,标志着我国语言文字规范化、标准化工作开始走上法制化的轨道。语言文字应用研究要全面贯彻落实《中华人民共和国国家通用语言文字法》,积极、主动地为语言文字规范化、标准化建设服务。 今后五年,是贯彻《中华人民共和国国家通用语言文字法》、加强语言文字基础建设的关键时期,也是为国家信息化发展、现代化建

汉语普通话双音子和三音子结构系统以及相关语料库的设计

汉语普通话双音子和三音子结构系统以及相关语料库的设计 摘要 自然语音处理最感头疼的问题, 就是难以对付连续话语中复杂的语音变化. ?语音学界和言语工程学界经过长期的探索发现, 双音子和三音子是比较理想的、?能够较好地覆盖各崐种语音变化现象的处理单元. 所以, 在语音合成和语音识别中, ?特别是在波形拼接合成方崐面已经得到广泛的应用. 但是, 在国内, 人们尚不十分熟悉它们.?本文将扼要地介绍这些概崐念, 并概括描写汉语普通话的双音子和三音子结构系统及相关语料库的设计. 1.0 综述 当前, 言语的合成和识别都已进入连续话语的阶段, ?而影响合成音质和识别率提高的拦路虎就是语音的多变性问题. ?因为自然话语并不是各种语音单位诸如音素或音节的简单机械的串列, 而是按照一定语音结合和变化规则构成的有机体系. 在这个体系里,各相邻语音单元之间由于协同发音(coarticulation)作用而彼此渗透, ?在空间和时间域里形成了相互套叠(telescope or overlap)的局面(Zsiga, 1994; Wood, 1991), 其中相互叠接的部分叫做音联(juncture)(许毅, 1989), 它通常都是对应于一个声学上极其易变的区域. 不同语音单元之间的音联既是它们相互连接和分界的表现, 又是体现它们随环境而变化的实体. 正是这个部分给自然言语处理带来了极大的困难. 所以, 无论是合成还是识别方面, 都迫切希望能够定量地获得这种音联的规律及相关的模式. 然而, 无论从哪个角度看, 目前尚未达到能够控制对应于这种语音变化的所有参量的水准. 在这种情况下, 基于语料库的统计研究方法被广泛采用, 语料库的价值已经获得广泛的认可. 而且, 国际上还创立了语料库建设的协调组织(COCOSDA). 那么, 就合成和识别而言, 语料库究竟怎样选取言语样本才能够全面覆盖上述音联现象呢? ?我们认为, 这同合成和识别的单元选择密切相关. 长期以来, 人们在合成和识别的单元选择方面下了不少功夫. 起初, ?音位或音素被认为是最合适的处理单元. 因为在任何语言里, 音位的数目总是相当有限的, ?以它们作单元最为经济. 但是, 实践证明, 假如采用音位作为拼接合成的单元, 合成言语的音质低劣, ?就是加上音位变体也还是不行. ?一个主要的原因就在于无法含盖音位边界上那个声学上易变区域的特性. 同样, 音位也不适宜用作连续话语识别的单元. 因为在连续话语里, 音位之间相互叠接, 彼此的界限不分明, 这样的单元在信号处理上是很难定位、很难进行自动切分的. 为了解决这个问题, 有的系统就采用较大的言语单位如音节或词作为处理单元.尽管同音位相比, 音节和词是相对稳定的语音单位, 但是, ?类似于音位方面的问题在这里依然存在. 因为至少在音节或词的边界上, 仍然存在相邻音位之间的音联问题, ?因而每个音节或词在语流中也是随环境而变的. 如果要用它们来生成连续话语或者以它们作为识别单元的话, 那么, 所需的语料库就必须存储每个音节和词的所有可能的环境变体. 显然, ?这在实际上是很难做到的, 更不用说怎样满足无限词汇的话语生成和大词汇量、非特定人、?连续话语识别的需要了. 即使在有限词汇的小型系统中可以采用这种方法建库的话, ?其中也必然包含大量不必要的存储消耗, 因为各个环境变体无法共享语料. 于是, ?言语工程方面又转向某些低于词(subword)的、甚至次音位(subphoneme)的探索. 终于发现, 半音节或双音子和三音子大小的单元是能够覆盖言语中音联现象、便于建立协同发音模型的、比较理想的语音处理单元(Lee, 1990). 引进随环境而定的音子的概念开创了一个建立低于词的模型的新方法. 所谓音子(phone), 是语音之间在声学上连贯的、粘着的部分, 它对应于声学上的音段(Keller, 1995). 它跟音位或音素不同. 音位是区别性的语音, 对应于听觉上的音段. ?通常, 声学上的音段多于听觉上的音段. 例如, 汉语的音节"八"在听感上是由/b/和/a/?两个区别性

国内语料库建设一览表 宁静以致远~~ csdnblog

国内语料库建设一览表- 宁静以致远~~ - CSDNBlog 国内语料库建设一览表 类型 语料库名称及大小 建设单位 英语学习者语料库(书面语及口语) 中国学习者语料库CLEC(100万) 广外、上海交大 大学英语学习者口语语料库 COLSEC (5万) 上海交大 香港科技大学学习者语料库 HKUST Learner Corpus

香港科技大学 中国英语专业语料库CEME (148万) 南京大学 中国英语学习者口语语料库 SECCL (100万) 南京大学 国际外语学习者英语口语语料库中国部分LINSEI-China (10万) 华南师大 硕士写作语料库MWC (12万) 华中科技大学

平行语料库 汉英平行语料库PCCE 北外 南大-国关平行语料库 南京大学 英汉文学作品语料库; 外研社 冯友兰《中国哲学史》汉英对照语料库 李约瑟(Joself Needham)《中国科学技术史》英汉对照语料库计算机专业的双语语料库;

国家语言文字工作委员会语言文字应用研究所 柏拉图(Plato)哲学名著《理想国》的双语语料库 英汉双语语料库(15万对) 中科院软件所 英汉双语语料库:LDC香港新闻英汉双语对齐语料36294段以及香港法律英汉双语对齐语料31万句子对 中国科学院自动化研究所 英汉双语语料库(100万),网上英汉语段电子词典及网上电子英汉搭配词典(1000万) 东北大学 英汉双语语料库(40-50万句子对) 哈尔滨工业大学

双语语料库(5万多对) 北京大学计算语言学研究所 对比语料库 LIVAC(Linguistic variety in Chinese communities) 香港城市理工大学 平衡语料库(Sinica Corpus);树图语料库(Sinica Treebank) 台湾 特殊英语语料库 中国英语(China English)语料库 河南师范大学 军事英语语料库(Corpus of Military Texts)

现代汉语语料库加工规范

现代汉语语料库加工规范 ——词语切分与词性标注 1999年3月版 北京大学计算语言学研究所 1999年3月14日 ⒈ 前言 北大计算语言学研究所从1992年开始进行汉语语料库的多级加工研究。第一步是对原始语料进行切分和词性标注。1994年制订了《现代汉语文本切分与词性标注规范V1.0》。几年来已完成了约60万字语料的切分与标注,并在短语自动识别、树库构建等方向上进行了探索。在积累了长期的实践经验之后,最近又进行了《人民日报》语料加工的实验。为了保证大规模语料加工这一项重要的语言工程的顺利进行,北大计算语言学研究所于1998年10月制订了《现代汉语文本切分与词性标注规范V2.0》(征求意见稿)。因这次加工的任务超出词语切分与词性标注的范围,故将新版的规范改名为《现代汉语语料库加工规范》。 制订《现代汉语语料库加工规范》的基本思路如下: ⑴ ⑴ 词语的切分规范尽可能同中国国家标准GB13715“信息处理用现代汉语分词规范” (以下简称为“分词规范”)保持一致。由于现在词语切分与词性标注是结合起来进行的,而且又有了一部《现代汉语语法信息词典》(以下有时简称“语法信息词典”或“语法词典”)可作为词语切分与词性标注的基本参照,这就有必要对“分词规范”作必要的调整和补充。 ⑵ ⑵ 小标记集。词性标注除了使用《现代汉语语法信息词典》中的26个词类标记(名词n、时间词t、处所词s、方位词f、数词m、量词q、区别词b、代词r、动词v、形容词a、状态词z、副词d、介词p、连词c、助词u、语气词y、叹词e、拟声词o、成语i、习用语l、简称j、前接成分h、后接成分k、语素g、非语素字x、标点符号w)外,增加了以下3类标记:①专有名词的分类标记,即人名nr,地名ns,团体机关单位名称nt,其他专有名词nz;②语素的子类标记,即名语素Ng,动语素Vg,形容语素Ag,时语素Tg,副语素Dg等;③动词和形容词的子类标记,即名动词vn(具有名词特性的动词),名形词an(具有名词特性的形容词),副动词vd(具有副词特性的动词),副形词ad(具有副词特性的形容词)。合计约40个左右。 ⑶ ⑶ 规范的多元性。既要适应语言信息处理与语料库语言学研究的需要,又要能为传统的语言研究提供充足的素材;既要适合计算机自动处理,又要便于人工校对。 ⑷ ⑷ 词组(短语)本位汉语语法体系的指导作用。汉语的词类与句法成分之间不存在简单的一一对应关系。同一个句法成分可以由不同词性的词来充任;而具有确定词性的同一个词又可以充当不同的句法成分,形式上可以没有任何不同的标记。《现代汉语语法信息词典》是在词组本位语法体系的语法思想指导下研制的,其最基本的成果是对数以万计的词语根据其在实际语料中的语法功能分布,特别是优势功能分布决定了它们的词性(即它们所属的词类)。在进行词性标注时,应当充分利用《现代汉语语法信息词典》,承接这个基本成果,避免仅根据词在所在的句子中充当的句子成分来决定其词性。同时考虑到语言学界对汉语词类的划分存在不同意见,在标记集中增加了名动词vn,名形词an,副动词vd,副形词ad。当然,增加这些标记并非只是缓冲不同意见,主要是为了给词的兼类研究提供计量根据,也 为汉语词的概率语法属性描述作准备。 ⑸ 为了对新闻语料中大量存在的专有名词(地名、团体机构名称等)进行研究(从命名规律到自动识别),在切分与标注的基础上对由若干个词组合而成的短语型专有名词加上方括号和类型标记(主要是nt,nz,还有少量的ns)。 ⑹ 不是孤立使用本规范。在使用本规范对语料库进行加工时,将与《现代汉语语法信息词典》等项研究成果密切配合。当现在的研究和将来的应用(中文信息检索、中文信息提取、汉外机器翻译等)相衔接时,就可以方便地利用词典中丰富的词语语法属性信息。而

国内语料库建设一览表

国内语料库建设一览表 类型语料库名称及大小建设单位 英语学习者语料库(书面语及 口语) 中国学习者语料库CLEC(100万)广外、上海交大大学英语学习者口语语料库COLSEC (5万) 上海交大香港科技大学学习者语料库HKUST Learner Corpus 香港科技大学中国英语专业语料库CEME (148万) 南京大学中国英语学习者口语语料库SECCL (100万) 南京大学 国际外语学习者英语口语语料库中国部分LINSEI-China (10万) 华南师大硕士写作语料库MWC (12万) 华中科技大学 平行语料库 汉英平行语料库PCCE 北外 南大-国关平行语料库南京大学 英汉文学作品语料库; 外研社冯友兰《中国哲学史》汉英对照语料库 李约瑟(Joself Needham)《中国科学技术史》英汉对照语料库 计算机专业的双语语料库;国家语言文字工作委员会语言文字应用研 究所柏拉图(Plato)哲学名著《理想国》的双语语料库 英汉双语语料库(15万对) 中科院软件所

英汉双语语料库:LDC香港新闻英汉双语对齐语料36294段以及香港法律英汉双语对齐语 料31万句子对 中国科学院自动化研究所英汉双语语料库(100万),网上英汉语段电子词典及网上电子英汉搭配词典(1000万) 东北大学 英汉双语语料库(40-50万句子对) 哈尔滨工业大学 双语语料库(5万多对) 北京大学计算语言学研究所对比语料库LIVAC(Linguistic variety in Chinese communities) 香港城市理工大学平衡语料库(Sinica Corpus);树图语料库(Sinica Treebank) 台湾 特殊英语语料 库 中国英语(China English)语料库河南师范大学军事英语语料库(Corpus of Military Texts) 解放军外语学院新视野大学英语教材语料库上海交通大学 汉语语料库汉语现代文学作品语料库(1979年,527万字) 武汉大学现代汉语语料库(1983年,2000万字) 北京航空航天大学 中学语文教材语料库(1983年,106万8000字) 北京师范大学 现代汉语词频统计语料库(1983年,182万字) 北京语言学院国家级大型汉语均衡语料库(2000万字) 国家语言文字工作委员会《人民日报》语料库(2700万字) 北京大学计算机语言学研究所大型中文语料库(5亿字,10分库) 北京语言文化大学

相关主题
文本预览
相关文档 最新文档