语言文字规范
GF 2006 —
_______________________________________________________________________________
机器翻译系统评测规范 （Assessment Specifications of Machine Translation Systems）
2006－－发布 2006－－试行_______________________________________________________________________________ 中华人民共和国教育部国家语言文字工作委员会发布
目录
前 言
1适用范围 (5)
2规范性引用文件 (5)
3术语和定义 (5)
4评测的一般原则和方法 (6)
5机器翻译系统的用户类型 (6)
6机器翻译评测题目的编制原则 (6)
7机器翻译的评测标准 (8)
8机器翻译评测的其他内容 (10)
前 言
本标准规定了机器翻译系统的评测规范。
本标准由教育部语言文字信息管理司提出立项，负责解释。
本标准由教育部语言文字信息管理司归口。
本标准由国家语言文字工作委员会语言文字规范（标准）审定委员会审定。本标准起草单位：教育部语言文字应用研究所
本标准主要起草人：冯志伟、肖航、富丽、章云帆
中华人民共和国教育部
国家语言文字工作委员会语言文字规范
GF2006 －
机器翻译系统评测规范
（Assessment Specifications of Machine Translation Systems）
1 适用范围
本标准规定了机器翻译系统的评测规范。
本标准适用于机器翻译系统的评测以及有关的管理工作。
2 规范性引用文件
下列文件中的条款通过本标准的引用而成为本标准中的条款。
ISO11179-3信息技术数据元的规范与标准化第3部分：数据元的基本属性
GB/T 12200.1 汉语信息处理词汇 01部分：基本术语
GB/T 13725 信息处理用现代汉语分词规范
GB3259－92 中文书刊名称汉语拼音拼写法
GB/T 15834－1995 标点符号用法
GB/T 15835－1995 出版物上数字用法的规定
GB/T 16159－1996 汉语拼音正词法基本规则
第一批异形词整理表
第一批异体字整理表
部分计量单位名称统一用字表
中国人名汉语拼音字母拼写法
中国地名汉语拼音字母拼写规则
普通话异读词审音表
3 术语和定义
下列术语和定义适用于本规范。
3.1 信息处理系统（information Processing systems）
基于计算机技术、网络互联技术、现代通讯技术和各种软件技术，集各种理论和方法于一体，提供信息服务的人机系统，是由人和计算机等共同组成的，能进行信息的收集、传输、分析、加工、处理、存储、更新和维护的系统。
3.2 评测规范（assessment specifications）
用于评测的规范，包括评测的一般原则、评测内容、评价指标、评测方法和文件格式等。
3.3 自然语言（natural language）
规则是根据当前用法而不是用显式的方式规定的语言。如汉语、英语、德语等。
3.5 中文信息处理（Chinese information processing, CIP）
用计算机对汉语的语音、语法、词汇、语义、语用等信息进行处理，又称汉语信息处理。
3.6 语言文字评测（language norms based assessment）
依据语言文字的技术指标体系和有关规范，采用一定的方法和程序，对于自然语言信息处理系统及其组成要素中与语言文字相关的部分进行评价和检测。语言文字评测是系统评测的重要组成部分。
3.7 机器翻译（machine translation, MT）
利用计算机把源语言翻译成目标语言。
3.8 机器翻译系统（machine translation system）
利用计算机把源语言转变成目标语言的软件系统。
4 评测的一般原则和方法
本标准参照使用《文语转换与语音识别系统语言文字评测标准》中规定的自然语言信息处理系统评测的一般原则和方法。
4.1 评测的原则：机器翻译系统的评测应当遵守自然语言信息处理系统评测的一般原则，即：公平公正的原则；遵循标准的原则；人机结合的原则；区别对待的原则；灵活柔性的原则；可操作性的原则。
4.2 评测的方法：机器翻译系统的语言文字评测基本上只涉及系统的外在的总体性能，因此，主要采用黑箱评测的方法，以人工评测为主，自动评测为辅。
5 机器翻译系统的用户类型
机器翻译的译文质量评测与用户的类型有密切关系，不同类型的用户对译文有不同的要求。根据用户需求的不同，机器翻译系统一般可以分为如下类型：
a. 为浏览者研制的机器翻译（MT for the Watcher，简称MT-W）：其目的是帮助浏览者查阅外文资料，对于译文质量要求不高，浏览者可以接受粗糙的译文。
b. 为修订者研制的机器翻译（MT for the Reviser，简称MT-R）：其目的是帮助用户修订粗糙的译文，粗糙的译文经过修订之后，质量应该比为浏览者研制的机器翻译的译文有所提高。
c. 为翻译者研制的机器翻译（MT for the Translator，简称MT-T）：其目的是帮助用户进行在线机器翻译，用户在翻译时可以使用在线机器词典、翻译实例库等，因此，对于译文质量的要求比较高。
d. 为写作者研制的机器翻译（MT for the Author，简称MT-A）：其目的在于帮助用户进行翻译或写作，要尽量避免翻译中的歧义，因此，对于译文质量要求更高。
根据上述分类，可以有针对性地对机器翻译系统进行评测，根据用户类型的不同，评测时考虑不同的评测重点。
6 机器翻译评测题目的编制原则
评测题目是用于机器翻译评测的数据，这些评测题目是从评测题库中抽取的，评测题目的选取应该遵循以下的基本原则：
a. 为了测试机译系统的质量，在外汉机器翻译系统中，对作为源语言的英语、日语或法语，基本上应该以相应外语的大学教学大纲作为测试题目选取的主要依据，在汉外机器翻译系统中，对作为源语言的汉语应该以汉语常用句型作为测试题目选取的主要依据。
b. 对于通用机器翻译系统的测试，测试题目中的词汇应该选自一般领域，侧重在社会、生活、政治、经济、常识等方面，不出冷僻的词，也不出专业性很强的术语。对于专业机器翻译系统的测试，测试题目中的词汇和语法结构应该体现出不同专业领域的特点。
c. 测试题目中可以包含少量的固定词组，但是，这些固定词组应该是常用的，不选罕用的俗语和谚语。
d. 测试题目应该注意区别兼类词：兼类词是具有不同词类的词，在机器翻译中应该加以区分，使得一个单词只有一个词类标记。区别兼类词是词性标注的基本问题。
例如，在英语中，face, use是“动词-名词”兼类词（V-N兼类词）, may, can, will 是“助动词-名词”兼类词（AUX-N兼类词），机器翻译系统应该加以区别：
face: The houses face the park. (V)
She pulled a long face. (N)
attack: The enemy could attack at night. (V)
The city came under attack during the night.(N)
May: May I help you? (AUX)
May Day is first day of May. (N)
can: She can speak German. (AUX)
He opened a can of beans. (N)
will: It will rain tomorrow. (AUX)
Have you made your will yet? (N)
e. 测试题目应该注意区别多义词或同音词；
多义词是具有多个意义的同一个词，在机器翻译中应该注意区分。
例如，英语的doctor是多义词，可以翻译为“医生”，也可以翻译为“博士”，机器翻译系统应该加以区别：
John is a medical doctor.（doctor应翻译为“医生” ）
John is a doctor of philosophy.（doctor应翻译为“博士” ）
同音词是指词形相同而意义不同的两个或两个以上的词。在词源学中，多义词和同音词的区分是重要的，同音词往往有不同的来源，而多义词则只有同一个来源，往往是由于词义的引申而形成的。但是，在机器翻译中，多义词和同音词在语言学上的这种差异是不重要的，关键是要把不同的意义区别开来。
例如，英语的bank是同音词，其意义可以是“河岸”，也可以是“银行”，机器翻译系统应该加以区别：
He looked at the river bank.（bank应翻译为“河岸” ）
He looked at the money bank.（bank应翻译为“银行” ）
f. 测试题目应该有一定数量的用于区别结构歧义的句子，以便测试机器翻译系统分析结构歧义的能力：
如果一个语法可以把一个以上的剖析指派给同一个句子，那么，就说这个句子具有结构歧义（structure ambiguity）。例如，英语句子“They made a decision on the boat”中的介词短语on the boat，既可以修饰名词decision，也可以修饰动词made，从而形成结构歧义。
对于这样的具有结构歧义的句子，机器翻译系统应该根据有关语言学知识给出一个正确的翻译结果，以显示系统处理歧义结构的能力。
例如，英语句子
He bought a car with 4 doors.
介词短语with 4 doors是修饰名词词组a car的，因此机器翻译系统只可出一个结果。
结构歧义是机器翻译研究的一个难点，为了推动机器翻译的进一步发展，有必要适当地测试系统处理结构歧义的能力。
g. 测试题目的句子，应该选取现代书面语中的规范句子，句子中的单词和语法应该严格遵循所测试语言的规范标准。
7机器翻译的评测标准
机器翻译的评测可以分为人工评测和自动评测两种，在目前的技术下，以人工评测为主。
7.1 人工评测的标准
人工评测时，可以分别就忠实度和可懂度制定评测标准，也可以不区分忠实度和可懂度，综合地采用可理解度进行评测。评测时应当注意系统应遵循有关语言文字标准。
7.1.1 分别就忠实度和可懂度进行评测的标准
a. 忠实度（fidelity）：评测译文是否忠实地表达了原文的内容。按0–5分打分，打分可含一位小数。最后的得分是所有打分的算术平均值。
分数得分标准
0 完全没有译出来
1 译文中只有个别单词与原文相符
2 译文中有少数内容与原文相符
3 译文基本表达了原文的信息
4 译文表达了原文的绝大部分信息
5 译文准确完整地表达了原文信息
表1：人工评测的忠实度打分标准
b. 可懂度（comprehensibility）：评测译文是否流畅和地道。按0–5分打分，打分可含一位小数。最后的得分是所有打分的算术平均值。
分数 得分标准
0 完全不可理解
1 译文晦涩难懂
2 译文很不流畅
3 译文基本流畅
4 译文流畅但不够地道
5 译文流畅而且地道
表2：人工评测的流利度打分标准
7.1.2 综合地采用可理解度（intelligibility）进行评测
分数得分标准译文可理解度
0 完全没有译出来。0%
1 看了译文不知所云或者意思完全不对。只有小部分词语翻译正确。20%
2 译文有一部分与原文的部分意思相符；或者全句没有翻译对，但是关
键的词都孤立地翻译出来了，对人工编辑有点用处。
40%
3 译文大致表达了原文的意思，只与原文有局部的出入，一般情况下需
要参照原文才能改正译文的错误。有时即使无需参照原文也能猜到译
文的意思，但译文的不妥明显是由于翻译程序的缺陷造成的。
60%
4 译文传达了原文的信息，不用参照原文，就能明白译文的意思；但是
部分译文在词形变化、词序、多义词选择、得体性等方面存在问题，
80%
需要进行修改。不过这种修改无需参照原文也能有把握地进行，修改
起来比较容易。
5 译文准确流畅地传达了原文的信息，语法结构正确，除个别错别字、
小品词、单复数、地道性等小问题外，不存在很大的问题，这些问题
只需进行很小的修改；或者译文完全正确，无需修改。 100%
表3：人工评测可理解度打分
评测时按0.0 – 5.0分打分，可含一位小数，最后采用百分制换算评测结果。
总的可理解度 = 所有句子得分之和/总句数×100％
7.1.3 对于机器翻译系统中的外译汉系统，汉语译文除了忠实度、可懂度、可理解度之外，还应符合国家有关语言文字规范，包括字形、异形词、标点符号、术语、人名等的规范。具体要求如下：
a. 字形：经过外译汉机器翻译系统输出的汉语译文在字形方面应符合《第一批异体字整理表》《简化字总表》《部分计量单位名称统一用字表》规定的字形。
b. 异形词：汉语译文对异形词的处理应注意词形规范。
c. 标点符号：汉语译文中的标点符号应注意使用规范，应符合《GB/T15834－1995标点符号用法》的规定。
d. 术语：外译汉机器翻译系统应注意术语的翻译问题，各学科术语的翻译应使用全国科学技术名词审定委员会已公布的术语。例如，计算机术语“backup ”有“备制/后备/备用/备份”几种译法，应选用“备份”；“menu ”有“菜单/选单”两种译法，应选用“选单”。又如，物理学术语“charm quark ”有“魅夸克/粲夸克”两种译法，应选用“粲夸克”；“diffraction ”有“绕射/衍射”两种译法，应选用“衍射”。
e. 人名：外国人名的翻译应遵循“名从主人”“约定俗成”的原则。例如，法国数学家Galois 是法国人，其中文译名应遵照“名从主人”的原则，按法语读音规则译为“伽罗华”，而不能按英语读音规则译为“伽罗依斯”。对于早已熟知的外国人名，由于他们的中文译名已经相沿成俗，可以按照“约定俗成”的原则，继续沿用旧译名，不宜改动。例如，笛卡儿（R. Descartes ）、伽利略（G . Galilei ）、牛顿（I. Newton ）。英美人名应当以新华社编写的《英语姓名译名手册》或全国科学技术名词审定委员会已公布的译名为准。例如，诺贝尔文学奖获得者William Faulkner 有“威廉·福克纳”和“威廉姆·弗格纳”等不同的译法，应根据《英语姓名译名手册》译为“威廉·福克纳”。
除此之外，机器翻译系统还应注意不同风格、不同语体文章的翻译问题。例如，小说对话的译文应使用口语词汇，而正式文体的译文则应使用书面语词汇。
对于汉译外机器翻译系统，汉语原文应遵循我国已经发布的有关语言文字标准，使用《第一批异体字整理表》《简化字总表》中的规范字形。
7.2 自动评测的方法
a. BLEU 评测方法：这是一种基于N 元语法（N-gram）的自动评测方法，它通过对译文跟参考译文进行N-gram 的比较综合而得出译文的好坏的评价分数。这种基于N 元语法共现的统计方法中，一元词的共现代表了翻译的忠实度，它表征了原文里面有多少单词被翻译了过来；而二元以上的共现词汇代表了目标语言的可懂度，阶数高的N 元词的匹配度越高，系统译文的可懂度就越好。
其基本计算公式为
)log exp(1∑=?=N n n n p w
BP Score
其中，P n = 被测译文中与参考答案匹配的N-gram 总数/被测译文中N-gram 总数；BP = 长度惩罚因子；Lref = 与被测句子长度最接近的答案长度; Lsys = 被评测句子的长度; N = 最大N-gram 长度; W n = N-gram 的权重；exp x表示e x，即以自然对数e为底的指数函数。
BLEU是根据N-gram准确率的几何平均值来计算的，得分越高越好。
b. NIST评测方法：NIST在BLEU标准基础上提出的一个改进方案，称为NIST评测标准。NIST方法采用各阶N-gram的算术平均值而不是几何平均值，使得总体评价结果更偏重于忠实度，而且也不至于因为某一阶N-gram的匹配率为零而导致总体评价为零。另外，NIST考虑到每一个N-gram在多个参考译文中出现的次数不同能够表现出该词的重要性，因此根据其在多个参考译文中出现的次数而给每一个N-gram赋予一个权值。实验证明，NIST 在敏感性（对被测系统的区分程度）方面高于BLEU。
下面是NIST 的基本公式：
β使得长度罚分率为0.5；L是参考答案的平均长度；其余参数意义与BLEU 相同。
ref
NIST是根据根据N-gram准确率的算术平均值来计算的，得分越高越好。
BLEU和NIST的自动评测结果有助于减少人工评测的主观性，对于人工评测有一定参考价值。在机器翻译评测中，建议以人工评测为主，以BLEU和NIST的评测结果作为参考。
c. 基于最小编辑距离的自动评测方法
最小编辑距离是把一个符号串通过插入、删除和替换三种操作转换成另一个符号串的最小代价。采用数据库存储机器翻译的原文和不同质量级别的多个参考译文，评测时首先把机器翻译的译文对应到与它的编辑距离最小的参考译文，然后再自动估算出译文质量的等级。
7.3 机器翻译译文质量的其他评测方式：
还可以采用其他的方式来评测机器翻译的译文质量：
a. 根据译后编辑对译文的修改量来进行评测；
b. 把机器翻译的译文同人翻译的译文相比较来进行评测；
c. 把标准换算成费用，根据最终费用的多少来进行评测。
8 机器翻译评测的其他内容
除了对机器翻译的译文质量进行评测之外, 还可以采用如下指标来评测机器翻译系统：
a. 根据机器翻译所需要的时间来进行评测： 由主持评测的工作人员现场记录翻译时
间，各系统自动显示从第一个句子翻译开始到所有句子翻译完毕所用的时间（不计系统初始化所用时间，只记开始翻译到所有句子翻译完毕所用时间）。
b. 根据使用环境的要求来进行评测：对于计算机硬件的要求，对于其他软件的依赖性，对于输入文本的要求，对于用户界面的质量进行评测。
c. 根据可维护性进行评测：评测机器翻译系统能否解决实际应用中出现的问题，能否保证系统的正常运行。
d. 根据可扩充性进行评测：评测机器翻译系统是否便于扩充系统的词汇和语法结构的覆盖面。
e. 根据系统的性能价格比进行评测：评测机器翻译系统的翻译速度和译后编辑所需要的时间，以求得最好的性能价格比。
f. 根据系统的鲁棒性进行评测：评测机器翻译系统对于错误输入原文的处理能力以及系统的容错性。
g. 根据模块性进行评测：评测机器翻译系统模块各个部分的接口是否清晰，数据与算法是否分开。
h. 根据单调性进行评测：评测当机器翻译系统升级之后，原来的性能是否会退步，若干独立的升级是否能够彼此结合，避免冲突。
机器翻译技术的现状及发展 篇一：翻译技术领域的现状与展望 翻译技术领域的现状与展望 作者/王华伟闫栗丽 翻译技术在中国的发展起步相对较晚，但近年来随着中国在全球化进程中扮演着越来越重要的角色，催生了对翻译技术发展的强烈需求。中国翻译行业在借鉴国外同行经验的基础上，于2007~2008年间在翻译技术领域取得了一系列成就，也还存在一些亟需改进的方面，而这也势必对我国的翻译行业产生深远的影响。 1. 国家政策的扶持和行业协会的推动 翻译技术的发展直接关乎整个翻译行业的翻译质量及效率，具备巨大的行业经济效益。对此，科技部、财政部都给与了足够的重视并拨出专项资金进行扶持。在 2008年的科技型中小企业技术创新基金扶持计划中，中文及多语种处理软件及基于先进语言学理论的中文翻译软件等赫然在列。而中国译协也在 2008年的第 18届世界翻译大会上专门辟出了翻译工具、术语管理和翻译标准等分论坛，着力推动翻译技术的探讨与发展。 2. 词典型翻译软件百花齐放 词典是使用范围最广的工具，它以使用便利的优势，几乎占据了每个计算机的桌面，无论语言学习者还是专业翻译人员，几乎都是必备工具。词典的发展从最早的单机版本发展至今，已经有很多种产品
类型，我们可以见到的有：电子词典、在线词典、手机词典等。“金山词霸”的网络版本“爱词霸”在这两年获得了长足的发展，如爱词霸网络释义、谷歌金山词霸等一系列特色功能的相继推出，将词典型翻译软件的应用领域从传统的桌面计算机拓展到网络、手机等，并取得了显著的成功。另外，类似Google这样的搜索引擎，因为信息量大，检索便利而成为很多专业翻译人员查词的重要辅助工具。 值得一提的是，最新推出的基于用户发布词汇的词典编撰系统之前的词典都是以各大出版社公开发行的词典中的词条作为主要数据库来源，为用户提供查询上的便利。但是传统出版词典的方式存在发布周期长、词汇更新慢的缺陷。互联网的出现，加快了信息传播的速度，也提高了用户对新词更新的速度要求，为了方便新词汇的发布，词典编纂系统也就应运而生了。这是一种基于用户的词典发布系统，用户可自由发起词典编纂项目，自发组织人员参与项目，发起人可以按照需要给小组成员分配不同的权限，将词汇添加等基本工作和审核人员明确区分，既确保了词典的专业性，也实现了专业语料的适时更新和发布。 3. 机器翻译应用软件融入普通网民生活 谷歌语言工具的推出打破了互联网语言的藩篱，用户可以方便简捷地将目标语言的网页转化成自己的母语进行浏览。事实上，这也是机器翻译软件的一个应用领域，而国内的相关软件如金山快译等，专注于为普通网民提供更为友好的英中日网站浏览体验，并在亚洲语言的机器翻译应用方面积累了大量的经验。其他如华建等长期从事机器
搭建属于自己的机器翻译系统——MTI专业“技术小白”走进小牛翻译开源社区的心得 搭建属于自己的机器翻译系统 ——MTI专业“技术小白”走进小牛翻译开源社区的心得首先，自我介绍一下。我是一个MTI(翻译硕士)专业、没有计算机编程背景、没有机器翻译理论基础的菜鸟，任职于一家网络科技公司的市场部门，之前的工作中需要做些翻译工作，有时候求助百度翻译、有道翻译等免费的机器翻译系统来解决问题，但是对于一些涉及我们商业机密的数据，由于担心泄密，只能借助于有道词典查查词，然后再自己形成翻译结果。很早之前我就想，要是能有自己的机器翻译系统就好了。 我心目中的翻译技术大牛、对外经贸大学的崔启亮老师曾在微博中给MTI的学生提建议，“学好翻译技术，有前途。对于仍在迷茫MTI的同学，我建议学机器翻译设计与开发，走出迷茫。”非常非常幸运的是，我一个东大毕业的同学告诉我，东北大学自然语言处理实验室（国内搞机器翻译最好的团队之一）联合沈阳雅译网络技术有限公司推出了“小牛翻译开源社区”，社区中有一项内容，就是教不懂机器翻译的人学习“快速搭建自己的机器翻译系统”。于是，我走进社区，按照社区里的相关说明，亲身体验了搭建过程。下面，我想谈谈这个被誉为“目前国内首个以机器翻译为核心的交流平台”的菜鸟级用户体验。 小牛翻译开源社区里提供了统计机器翻译开源系统的全部代码。我了解了一下，NiuTrans开源系统在国际上比较有名，据说是目前国际上能够支持统计机器翻译模型最全的两套统计机器翻译系统之一(另一套是爱丁堡大学的Moses)。这些内容对MT(机器翻译)的专业学者应该很有用吧，但是对于我这个非科班出身的人来说，其实会完全忽略这部分内容。我还是讲讲我在社区里的真正收获——快速搭建实用的机器翻译系统。 一、搭建过程详细说明 需要说明的是，我是在在网页指导与人工指导下才在自己的电脑（Windows7 64位系统，硬盘500G，内存8G）上成功搭建机器翻译系统的。解释一下为什么我不仅看了网页上操作指导，还需要人工指导。身为“技术小白”的我，虽然网页上的操作指导写的很规范，但是第一次接触这么“高大上”的东西，还是有点小紧张的。于是，我加入了小牛翻
机器翻译评测大纲 一、评测对象 本次评测的对象包括：汉－英、英－汉、汉－日、日－汉机器翻译系统中的核心技术。 二、评测内容 本次评测组织两种语料的评测，一种是篇章语料，一种是对话语料。领域是面向奥运的相关领域，包括体育赛事、天气预报、交通住宿、旅游餐饮等。 本次评测的评测指标包括译文质量和翻译速度。 三、评测方法 1. 评测方式 本次评测为现场评测。采用的是以人工评测为主，人工评测和自动评测相结合的方式。 人工评测方式是：由评测组织单位将各个评测单位提交的评测结果汇总在一起，然后用计算机随机打乱译文句子的排列顺序。再将所有译文句子提交给多位专家进行人工评测。将专家评测的结果汇总，用计算机还原成原来的排列顺序，分别计算出各个评测单位的总得分。 2.评测步骤 ?在评测单位统一提供的评测环境上安装被测系统 ?评测单位给出评测数据 ?被测单位运行系统，提交评测结果 ?评测单位运行自动评测程序，得出自动评测结果 ?评测单位事后进行人工评测 ?公布评测结果 3.评测标准 （1）自动评测标准
机器翻译的自动评测目前比较成熟的标准有BLEU标准、NIST标准等。本次评测采用NIST标准。具体评测标准见附件。 （2）人工评测标准 本次评测按0 - 6个等级层次打分，最后采用百分制换算评测结果。 总的可理解率=（T1*20%+T2*40%+T3*60%+T4*80%+T5*90%+T6*100%）/ 总句数 其中：Ti为被评为第i等级的句数。
（3）翻译速度评测标准 由主持评测的工作人员现场记录翻译时间，各系统自动显示从第一个句子翻译开始到所有句子翻译完毕所用的时间（不计系统初始化所用时间，只记开始翻译到所有句子翻译完毕所用时间）。 4. 输入输出文件格式 下面以汉英机器翻译为例，说明输入输出文件格式。其中p标签为段落标记，s标签为句子标记。输入文件中每个s标签内部为一个句子。输出文件中每个s 标签与输入文件中的s标签一一对应。由于一个源语言句子可能翻译成一个或多个目标语言句子，所以输出文件中每个s标签内部可以有不只一个句子。Lang 为语言代码，汉语用“zh”表示，英语用“en”表示，日语用“ja”表示。汉语、英语、日语的输入和输出文件统一采用GBK编码。 （1）输入文件格式： 玻利维亚举行总统与国会选举 (法新社玻利维亚拉巴斯电)玻利维亚今天举行总统与国会选举，投票率 比预期更高，选民希望选出的新领导阶层能够振兴经济，改善人民的生活水准，抑制这个南美洲最贫穷国家的劳工骚动。 投票所于下午四时(台北时间七月一日清晨四时)关闭，选务人员说，选 举结果将于两小时之后开始发布。 稍早，玻利维亚总统与参与选举的候选人援引巴西赢得世足赛冠军为 例，鼓励民众踊跃投票，虽然联邦法律规定，凡达投票年龄的玻利维亚人都必须 投票。
一个汉英机器翻译系统的 计算模型与语言模型* 刘群+詹卫东++常宝宝++刘颖+ (+中国科学院计算技术研究所二室北京100080) (++北京大学计算语言学研究所北京100871) 摘要：本文介绍我们所设计并实现的一个汉英机器翻译系统。在概要介绍本系统的主要目标和设计原则的基础上，着重说明系统的计算模型和语言模型，最后给出实验结果和进一步的打算。 关键词：自然语言处理机器翻译中文信息处理 一、引言 我国的机器翻译研究近年来取得了很大的发展。特别是英汉机器翻译系统的研制已经取得了较大的成功，达到了初步实用的阶段。相对而言，汉英机器翻译的研究却进展比较缓慢，离实用化还有相当的距离[1]。我们的目的是利用目前最新的计算机软件技术、相对成熟的机器翻译方法和先进的汉语语法理论，构造一个初步实用的汉英机器翻译系统。本文将对我们所开发的系统所采用的计算模型和语言模型作一个总体性的介绍，而不涉及过多的细节。 下面我们简要介绍一下本系统的几个主要设计原则： ⑴采用成熟的技术 我们的目的是构造一个真正实用的汉英机器翻译系统，因而在可供选择的若干技术路线面前，我们将尽量选用比较成熟的技术，而在现有技术难以解决问题时再尝试一些新技术。 ⑵开放的体系结构 开放的体系结构主要体现在系统的实现上所采用的软件构件技术[8]。整个系统采用一些相对独立的软件构件组成，因而可以方便地对系统进行修改、维护和扩充。翻译的过程严格按照独立分析、独立生成的原则进行组织，每一阶段的算法相互独立，对其中一个阶段算法的修改不会对其他算法造成影响。 ⑶方便的调试环境 本系统强调为语言工作者提供一个方便的调试环境。系统提供多窗口图形界面的知识库调试工具，支持课题组中多人同时通过网络对一个知识库进行操作。提供对翻译过程直观显示，用户可以清晰地看到翻译过程的每一步操作。提供翻译出错原因查找机制，用户 *本项目的研究受到863-306资助，合同号为863-306-03-06-2
机器翻译技术介绍
常宝宝 北京大学计算语言学研究所 chbb@https://www.doczj.com/doc/a95993005.html,
什么是机器翻译
研究目标：研制出能把一种自然语言（源语言）的文 本翻译为另外一种自然语言（目标语言）的文本的计 算机软件系统。 制造一种机器，让使用不同语言的人无障碍地自由交 流，一直是人类的一个梦想。 随着国际互联网络的日益普及，网上出现了以各种语 言为载体的大量信息，语言障碍问题在新的时代又一 次凸显出来，人们比以往任何时候都更迫切需要语言 的自动翻译系统。 但机器翻译是一个极为困难的研究课题，无论目前对 它的需求多么迫切，全自动高质量的机器翻译系统 (FAHQMT)仍将是人类一个遥远的梦。
机器翻译的基本方法
机器翻译的基本方法 ? 基于规则的机器翻译方法 ? 直接翻译法 ? 转换法 ? 中间语言法 ? 基于语料库的机器翻译方法 ? 基于统计的方法 ? 基于实例的方法 ? 混合式机器翻译方法
目前没有任何 一种方法能实现机 器翻译的完美理 想，但在方法论方 面的探索已经使得 人们对机器翻译问 题的认识更加深 刻，而且也确实带 动了不少不那么完 美但尚可使用的产 品问世。
20世纪90年代以前，机器翻译方法的主流一直是基于规则的方 法，不过，统计方法后来居上，目前似乎已成主流方法，从学术 研究的角度看，更是如此。(Google translate)
机器翻译的基本方法
20世纪90年代以前，机器翻译方法的主流一直是基于 规则的方法，因此基于规则的方法也称为传统的机器 翻译方法。 直接翻译法 ? 逐词进行翻译，又称逐词翻译法(word for word translation) ? 无需对源语言文本进行分析 ? 对翻译过程的认识过渡简化，忽视了不同语言之间 在词序、词汇、结构等方面的差异。 ? 翻译效果差，属于早期过时认识，现已无人采用 How are you ? 怎么 是 你 ? How old are you ? 怎么 老 是 你 ?
机器翻译 1 概述 机器翻译（machine translation），又称为自动翻译，是利用计算机把一种自然源语言转变为另一种自然目标语言的过程，一般指自然语言之间句子和全文的翻译。它是自然语言处理（Natural Language Processing）的一个分支，与计算语言学（Computational Linguistics ）、自然语言理解（ Natural Language Understanding）之间存在着密不可分的关系。 2 国内外现状 机器翻译思想的萌芽关于用机器来进行语言翻译的想法，远在古希腊时代就有人提出过了。在17世纪，一些有识之士提出了采用机器词典来克服语言障碍的想法。笛卡（Descartes）和莱布尼兹（Leibniz）都试图在统一的数字代码的基础上来编写词典。在17世纪中叶，贝克（Cave Beck）、基尔施（Athanasius Kircher）和贝希尔（Johann JoachimBecher）等人都出版过这类的词典。由此开展了关于“普遍语言”的运动。维尔金斯（JohnWilkins）在《关于真实符号和哲学语言的论文》(An Essay towards a Real Character andPhilosophical Language, 1668)中提出的中介语（Interlingua）是这方面最著名的成果，这种中介语的设计试图将世界上所有的概念和实体都加以分类和编码，有规则地列出并描述所有的概念和实体，并根据它们各自的特点和性质，给予不同的记号和名称。本世纪三十年代之初，亚美尼亚裔的法国工程师阿尔楚尼（G.B. Artsouni）提出了用机器来进行语言翻译的想法，并在1933年7月22日获得了一项“翻译机”的专利，叫做“机械脑”（mechanical brain）。这种机械脑的存储装置可以容纳数千个字元，通过键盘后面的宽纸带，进行资料的检索。阿尔楚尼认为它可以应用来记录火车时刻表和银行的帐户，尤其适合于作机器词典。在宽纸带上面，每一行记录了源语言的一个词项以及这个词项在多种目标语言中的对应词项，在另外一条纸带上对应的每个词项处，记录着相应的代码，这些代码以打孔来表示。机械脑于1937年正式展出，引起了法国邮政、电信部门的兴趣。但是，由于不久爆发了第二次世界大战，阿尔楚尼的机械脑无法安装使用。1903年，古图拉特(Couturat)和洛(Leau)在《通用语言的历史》一书中指出，德国学者里格(W. Rieger) 曾经提出过一种数字语(Zifferngrammatik)，这种语法加上词典的辅助，可以利用机械将一种语言翻译成其他多种语言，首次使用了“机器翻译” （德文是ein mechanisches Uebersetzen）这个术语。 真正对机器翻译进行研究应该说是从布恩和韦弗开始的。他们研究的是自动词典万, 从1954年1月7日公开展示的IBM701型计算机开始, 机器翻译进人一个繁荣发展的时期。从那时起, 很多国家都投人了大量的人力、物力从事这方面的研究和开发。随着 Internet 的普遍应用，世界经济一体化进程的加速以及国际社会交流的日渐频繁，传统的人工作业的方式已经远远不能满足迅猛增长的翻译需求，人们对于机器翻译的需求空前增长，机器翻译迎来了一个新的发展机遇。国际性的关于机器翻译研究的会议频繁召开，中国也取得了前所未有的成就，相继推出了一系列机器翻译软件，例如“译星” 、“雅信” 、“通译” 、“华建”等。在市场需求的推动下，商用机器翻译系统迈入了实用化阶段，走进了市场，来到了用户面前。 中国机器翻译研究起步于1957年,是世界上第4个开始搞机器翻译的国家，60年代中期以后一度中断，70年代中期以来有了进一步的发展。现在，中国社会科学院语言研究所、中国科学技术情报研究所、中国科学院计算技术研究所、黑龙江大学、哈尔滨工业大学等单位都
机器翻译技术的探讨 六院五队-徐允鹏-12060143 摘要随着国际交流的日益增多，在计算机、互联网等相关技术日新月异的基础上，机器翻译的技术与应用得到了蓬勃发展。本文详细探讨了基于规则的机器翻译方法、基于语料库的机器翻译方法和混合式机器翻译方法，并讲述了机器翻译的评估方法，最后介绍了机器翻译技术的最新进展。 关键词：机器翻译；基于规则；语料库；评估方法 1.机器翻译概述 随着国际化交流的普遍性，信息通信的日益膨胀，高效的处理不同领域各种语言之间的互译已成为当代人们的普遍需求。翻译是解决自然语言之间通信障碍最直接最有效的方法。传统的翻译工作都是通过专业翻译人员完成，利用语言学知识进行自然语言之间的互译，帮助人们实现信息通信。伴随着计算机技术的成熟与自然语言处理技术的不断进步，利用机器翻译系统帮助人们快速获取外文信息代替人工翻译已成为一种必然的趋势。 机器翻译（machine translation），又称为自动翻译，是利用计算机把一种自然源语言转变为另一种自然目标语言的过程，一般指自然语言之间句子和全文的翻译。它是自然语言处理（Natural Language
Processing）的一个分支，与计算语言学（Computational Linguistics ）、自然语言理解（Natural Language Understanding）之间存在着密不可分的关系[1]。 机器翻译是21世纪要解决的科技难题之一，主要困难是自然语言在各个层次上的歧义性。研究机器翻译具有重要的实践意义和理论意义。国际间的合作与交流，语言的差异是一个非常重要的障碍，各行各业的人们面对大量他们不熟悉的语言的文档资料，如果单纯的依靠人工翻译，这些日益的待翻译材料将是一种非常沉重的负担，而机器翻译可大幅度减轻这种负担。同时，机器翻译对于了解人类语言和思维的基本机制，探讨人工智能技术有着重要的意义。 2.机器翻译方法 人们一直在寻求更好的解决机器翻译问题的方法，目前机器翻译方法主要有基于规则的机器翻译，基于语料库的机器翻译和混合式机器翻译方法。 2.1基于规则的机器翻译方法 2.1.1基于分析和转换的机器翻译方法 人作翻译时，把一个源语言句子译成目标语言句子，设计到四个基本操作：目标语言单词的检索、调序、删词、增词；机器翻译系统的过程包括检索、分析、转换和生成主要四个阶段，这被称为基于分析和转换的机器翻译系统，也被认为是模拟人类翻译活动最恰当的机
机器翻译的自动评测技术机器翻译技术 本文介绍了机器翻译评测的基本原理以及常用评测标准，包括人工评测方法、基于n元匹配的BLEU和NIST自动评测方法。机器翻译领域最困难的任务之一就是对给定的翻译系统或者翻译算法 进行评价，我们称其为机器翻译评测。由于机器翻译所处理的对象――语言本身存在某种程度的歧义，无法像数学公式或者物理模型那样简单客观地描述出来，这使得为机器翻译结果进行客观的打分变得非常困难。最早的方法是人工评测，这种方法得到的结果一般是十分准确的，但评测的成本太高，周期过长（评测过程可能长达几周甚至数月），评价结果也会随着评价人的变化和时间的推移而不同，这使得评价结果不可重复，缺乏客观性，因此，机器翻译的自动评测应运而生。实践证明，机器翻译的评测尤其是自动评测对机器翻译研究的影响十分巨大，对研究发展和技术进步起着非常重要的引导作用。 基于n元匹配的自动评测方法 如果一个机器翻译评测系统只根据源语言文本就能自动地为若干译文打分并选择出其中最好的结果，那么这个评测系统本身就是一
个质量更好的机器翻译系统了。因此，自动评测最初的出发点就是给出一些标准的翻译结果，然后比较机器生成的译文与这些翻译之间的相似程度。我们称这些标准的翻译为参考译文(或者参考答案)。同一个句子可以有多个不同的参考译文，这些参考译文都表达同一个含义，但可能使用了不同的词汇，或者虽然使用了相同的词汇但在句中的词序不同。这样一来，机器翻译自动评测的问题转换为比较机器翻译系统输出的一个翻译结果和多个通过人工产生的正确的参考译文之间 的相似度的问题，使用不同的相似度计算方法即可得到不同的自动评测方法。 例如，考虑如下两个机器翻译系统生成的翻译结果: 源语言文本: 今年前两月广东高新技术产品出口37.6亿美元 系统译文1: The new high-tech products in Guangdong exported 3.76 billion dollars in the first two months this year
2004年度机器翻译评测大纲 一、评测对象 本次评测的对象包括：汉－英、英－汉、汉－日、日－汉、汉－法、法－汉机器翻译系统中的核心技术。 二、评测内容 本次评测组织两种语料的评测，一种是篇章语料，一种是对话语料。领域是通用领域和奥运的相关领域，包括体育赛事、天气预报、交通住宿、旅游餐饮等。 本次评测的评测指标包括译文质量和翻译速度。 三、评测方法 1. 评测方式 本次评测为现场评测。 结果评估采用的是以人工评估为主、自动评估为辅方式。 人工评估采用可理解率指标。评估方式是：由评测组织单位将提交的评测结果汇总在一起，然后用计算机随机打乱译文句子的排列顺序。再将所有译文句子提交给多位专家进行可理解率的人工评估。将专家评测的结果汇总，用计算机还原成原来的排列顺序，计算出总的可理解率。 自动评测采用基于n元语法的BLEU和NIST方法。 2.评测步骤 (1) 在评测单位统一提供的评测环境上安装被测系统。系统应安装在指定的目录中。 (2) 评测单位给出评测数据。评测数据存放在指定目录中。给出评测数据以后被测单位不得再更改系统参数。 (3) 被测单位运行系统，提交评测结果。被测单位应指导评测人员学会操作方法，所有操作由评测人员进行，系统运行时各单位人员应离场。系统的运行应该是批处理方式的，系统读入一个脚本文件（格式后面说明），脚本
中存放输入文件名和对应的输出文件名。 (4) 评测单位事后进行人工评估。 (5) 公布评测结果。 3.评测标准 （1）人工评测标准 本次评测按0.0 –5.0分打分，可含一位小数，最后采用百分制换算评测结果。 总的可理解率= 所有句子得分之和/总句数/5×100％ （2）翻译速度评测标准 由主持评测的工作人员现场记录翻译时间，各系统自动显示从第一个句子翻译开始到所有句子翻译完毕所用的时间（不计系统初始化所用时间，只记开始翻译到所有句子翻译完毕所用时间）。
一、名词解释（5X3‘）15’ 1.兼类（P121）：一个单词既可以作名词动词又可以作其他词类 2.机器翻译：用计算机软件代替人做的书面翻译 3.组合型歧义：一个字与前面的字成词,与后面的字成词,合起来也成词。 4.交集型歧义（P117）：一个字与前面的字成词,与后面的字也成词。 5.人工智能：用计算机硬件、软件模拟人的行为，解决人类目前尚未认识清楚的问题。 6.人工智能软件的三大技术：知识表示、知识推理、知识获取。 7.语料库：单词、短语和句子组成的数据库。 8.知识工程：包括人工智能软件技术的工程。（知识工程是以知识为基础的系统，就 是通过智能软件而建立的专家系统） 9.深度学习：一步一步在丰富起来的特征规律引导下，由浅入深完成推理的方法。 10.语用分析：分析成语和习惯用语的方法。 二、题解P36 例2.1 、2.2 例2.1 设有下列语句： （1）高山比他父亲出名。 （2）刘水是计算机系的一名学生，但他不喜欢编程序。 （3）人人爱劳动。 为了用谓词公式表示这些语句，应先定义谓词： BIGGER(x,y):x比y出名 COMPUTER(x):x是计算机系的学生 LIKE(x,y):x喜欢y LOVE(x,y):x爱y
M(x):x是人 定义函数father(x)表示从x到其父亲的映射此时可用谓词公式把上述三个语句表示为：（1）BIGGER(高山，father(x)) （2）COMPUTER(刘水)∧∽LIKE（刘水，程序） （3）（?x）（M(x) →LOVE(x,劳动)） 例2.2 设有下列语句： （1）自然数都是大于零的整数。 （2）所有整数不是偶数就是奇数。 （3）偶数除以2是整数。 定义谓词如下： N(x):x是自然数 I(x):x是整数 E(x):x是偶数 O(x):x是奇数 GZ(x):x大于零 另外，用函数S（x）表示x除以2。此时，上述三个句子可用谓词公式表示为： （?x）(N(x) →GZ(x)∧I(x)) (?x)（I(x) →E(x)∨O(x）） （?x）(E(x) →I(S(x))) 三、论述（4X5‘）20’ 1.阐述深度、广度、代价驱动搜索方法。（P68） 答：广度优先搜索法：对全部节点沿广度进行横向扫描，按各节点生成的先后次序，
语言文字规范 GF 2006 — _______________________________________________________________________________ 机器翻译系统评测规范 （Assessment Specifications of Machine Translation Systems） 2006－－发布 2006－－试行_______________________________________________________________________________ 中华人民共和国教育部国家语言文字工作委员会发布
目录 前 言 1适用范围 (5) 2规范性引用文件 (5) 3术语和定义 (5) 4评测的一般原则和方法 (6) 5机器翻译系统的用户类型 (6) 6机器翻译评测题目的编制原则 (6) 7机器翻译的评测标准 (8) 8机器翻译评测的其他内容 (10)
前 言 本标准规定了机器翻译系统的评测规范。 本标准由教育部语言文字信息管理司提出立项，负责解释。 本标准由教育部语言文字信息管理司归口。 本标准由国家语言文字工作委员会语言文字规范（标准）审定委员会审定。本标准起草单位：教育部语言文字应用研究所 本标准主要起草人：冯志伟、肖航、富丽、章云帆
中华人民共和国教育部 国家语言文字工作委员会语言文字规范 GF2006 － 机器翻译系统评测规范 （Assessment Specifications of Machine Translation Systems） 1 适用范围 本标准规定了机器翻译系统的评测规范。 本标准适用于机器翻译系统的评测以及有关的管理工作。 2 规范性引用文件 下列文件中的条款通过本标准的引用而成为本标准中的条款。 ISO11179-3信息技术数据元的规范与标准化第3部分：数据元的基本属性 GB/T 12200.1 汉语信息处理词汇 01部分：基本术语 GB/T 13725 信息处理用现代汉语分词规范 GB3259－92 中文书刊名称汉语拼音拼写法 GB/T 15834－1995 标点符号用法 GB/T 15835－1995 出版物上数字用法的规定 GB/T 16159－1996 汉语拼音正词法基本规则 第一批异形词整理表 第一批异体字整理表 部分计量单位名称统一用字表 中国人名汉语拼音字母拼写法 中国地名汉语拼音字母拼写规则 普通话异读词审音表 3 术语和定义 下列术语和定义适用于本规范。 3.1 信息处理系统（information Processing systems） 基于计算机技术、网络互联技术、现代通讯技术和各种软件技术，集各种理论和方法于一体，提供信息服务的人机系统，是由人和计算机等共同组成的，能进行信息的收集、传输、分析、加工、处理、存储、更新和维护的系统。 3.2 评测规范（assessment specifications） 用于评测的规范，包括评测的一般原则、评测内容、评价指标、评测方法和文件格式等。 3.3 自然语言（natural language） 规则是根据当前用法而不是用显式的方式规定的语言。如汉语、英语、德语等。 3.5 中文信息处理（Chinese information processing, CIP） 用计算机对汉语的语音、语法、词汇、语义、语用等信息进行处理，又称汉语信息处理。
与人工翻译译文质量评价不同的是，对机器翻译的评价除了评价译文质量外，还要评价机器翻译系统的其它性能。近年来，机器翻译的评测越来越受到广泛的重视。在过去几年中，国际上进行了若干次有影响的评测活动，如，信息理解评测（ＭｅｓｓａｇｅＵｎ－ｄｅｒｓｔａｎｄｉｎｇＣｏｎｆｅｒｅｎｃｅ，简称ＭＵＣ）评测专有名词识别问题，文本检索评估（Ｔｅｘｔ－ＲＥｔｒｉｅｖａｌＣｏｎｆｅｒｅｎｃｅ，简称ＴＲＥＣ）评测信息检索的发展，还有许多机器翻译和语音技术的评测活动，所有这些评测活动都对机器翻译的发展影响很大。 机器翻译适用的范围相对较小，通常是“相对限定的专业领域”，“不是用于文学性很强或文化味很浓的文本，而是用于科普文献、 金融商业交易、行政管理备忘录、法律文件、说明书、农业及医学资料、工业专利、宣传册、报纸报道等”（Ｈｕｔｃｈｉｎｓ＆Ｓｏｍｅｒｓ， １９９２：３）。Ｎａｇａｏ把机器翻译的适用范围限定在科技文献、文章题目、一般句子，而排除了诗歌、文学作品、法律文件、标书合同等（Ｎａｇａｏ，１９８９）等。因此，人们对机器翻译进行评测时，限制所评测的文本的类型。尽管如此，在具体的机器质量评测上，也存在着不同的标准，它不仅仅只局限在纯粹的译文质量上，而且也涉及机器翻译系统的可操作性、机器翻译的可行性、机器翻译的类型评价、机器翻译的投入与产出比、机器翻译中的不同角色等等，鉴于这些复杂性，人们常常需要综合多个标准，以便全面、客观、公正地评价机器翻译系统。在这个意义上，正好与辜正坤的翻译多元系统互补论中通类基础标准系统（抽 象标准）中的（２）（信的标准：忠实标准、 准确标准、动态等值标准），和非类特殊基础标准系统（具体标准）中的（８）（科学技术著作翻译标准）标准不谋而合。阿诺德（Ｄ?Ａｒｎｏｌｄ）等人曾建议机器翻译评价应考虑下述因素（Ａｒｎｏｌｄｅｔａｌ．，１９９３）： （１）机器翻译商品系统与机器翻译研究应该区 分开来； （２）从用户的角度评价机器翻译系统； （３）从需求和结果相适应的角度看待机器翻译质量。 机器翻译评价的指标体系直接决定着机器翻译研发人员的研发路线和机器翻译的发展方向，评价标准对机器翻译的开发与研究都会产生重要影响，上个世纪６０年代美国著名的ＡＬＰＡＣ报告对ＭＴ作出的评价造成的影响很大（Ａｒｎｏｌｄｅｔａｌ．，１９９３），所以，怎样客观、 公正地评价一个机器翻译系统，这本身就构成了一个重大研究课题（Ｂｏｕｒｂｅａｕ，１９９３， Ｓｔｅｉｎｅｒ，１９９３＆Ａｒｎｏｌｄｅｔａｌ．，１９９３）。 一、机器翻译类型与评价标准 １９９５年，布瓦泰（Ｃ?Ｂｏｉｔｅｔ）首先区分了机器翻 译的四种类型： （１）用于浏览者（ｆｏｒｔｈｅｗａｔｃｈｅｒ），称之为ＭＴ－ Ｗ，旨在为读者查阅外文资料时提供帮助，这种情况下，他们宁愿接受那种“粗糙”的译文（有时经过一定程度的后编辑），也不愿意一无所获； （２）用于修订者（ｆｏｒｔｈｅｒｅｖｉｓｅｒ），称之为ＭＴ－Ｒ，旨在自动生成“粗糙”的译文，它类似于人工翻译的草稿，因而可以为专业翻译人员免去费时费力的工作，使他们变成修订者； （３）用于翻译者（ｆｏｒｔｈｅｔｒａｎｓｌａｔｏｒ），称之为ＭＴ－ Ｔ，旨在协助翻译人员的工作，提供在线词典、同义词库、翻译实例库等； （４）用于作者（ｆｏｒｔｈｅａｕｔｈｏｒ），称之为ＭＴ－Ａ，提 供给希望作品被译成一种或几种文字的作者，该作者愿意在系统控制下写作或者帮助系统消除译本中可能产生的歧义。 论机器翻译系统的评价体系 张政１，王贵明２ （１．北京工商大学 外语系，北京１０００３７；２．北京理工大学 外语学院，北京１０００８１） 摘 要：近年来，机器翻译的应用越来越广泛。本文主要对人们所关注的机器翻译系统的评价问题，就其类型与标 准、系统评价的内容、以及系统评价的主要方法等方面进行较详细的介绍和评议。关键词：机器翻译；评价体系中图分类号：Ｇ６４ 文献标识码：Ａ 文章编号：１００９－３３７０（２００８）０２－０１１２－０６ 收稿日期：２００７－１２－１７ 作者简介：张政（１９５８—），男，教授；王贵明（１９６０—），男，教授。Ｅ－ｍａｉｌ：ｇｕｉｍｉｎｇｗａｎｇ＠ｂｉｔ．ｅｄｕ．ｃｎ 第１０卷第２期北京理工大学学报（社会科学版） Ｖｏｌ．１０Ｎｏ．２２００８年４月 ＪＯＵＲＮＡＬＯＦ ＢＥＩＪＩＮＧＩＮＳＴＩＴＵＴＥＯＦＴＥＣＨＮＯＬＯＧＹ（ＳＯＣＩＡＬＳＣＩＥＮＣＥＳＥＤＩＴＩＯＮ）Ａｐｒ．２００８
７２ 计算机教育 2005.4 人／才／培／养／与／就／业机器翻译（Ｍａｃｈｉｎｅ Ｔｒａｎｓ－ｌａｔｉｏｎ）是通过计算机来实现不同自然语言之间的翻译。机器翻译是自然语言处理（Ｎａｔｕｒａｌ ＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ）的一个分支，机器翻译与计算语言学（ＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ）、自然语言理解（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ）存在着密不可分的关系。机器翻译的研究与发展取决于计算机科学、数学、语言学、人工智能等多学科的发展，因此机器翻译可以说是一个跨学科的综合性系统工程。人类步入２１世纪以来，随着国际互联网（Ｉｎｔｅｒｎｅｔ）的迅猛发展，网络信息急剧膨胀，国际交流日益频繁以及地球村的形成，机器翻译正在逐渐成为克服人们之间进行交流时所面临的语言障碍的重要手段，同时也面临着很大的市场机遇和挑战。 历史的回顾 从美国人维弗（Ｗａｒｒｅｎ?Ｗｅａｖｅｒ）于１９４９年发表《翻译》备忘录并正式提出机器翻译的思想以来，机器翻译已经走过了５０多个风风雨雨的春秋。在这期间，机器翻译可以说经历了一条曲折而漫长的 发展道路。 １９５４年，在美国乔治敦大学（Ｇｅｏｒｇｅｔｏｗｎ Ｕｎｉｖｅｒｓｉｔｙ）进行了 人类历史上的第一次机器翻译的公开演示。尽管演示尚不算很成功，但是它却具有划时代的意义，因为它拉开了人们研究机器翻译 的序幕。 从２０世纪５０年代开始到２０世纪６０年代的前半期，机器翻译的研 究呈不断上升的趋势。美国和前苏联两个超级大国出于军事和政治经济目的，纷纷对机器翻译项目提供了大量的资金支持，而欧洲国家由于地缘政治和经济的需要也对机器翻译研究给予了相当大的重视。 １９６６年，美国科学院发表的ＡＬＰＡＣ报告使当时正在蓬勃发展的机器翻译陷入了停滞的状态。现在来看，该报告是非常片面、狭隘和短视的。 从２０世纪６０年代中后期到整个７０年代，整个机器翻译领域处于一个相对平稳发展的时期，而在某些国家，特别是加拿大和欧盟，机器翻译的研究却取得了比较显著的进步。尤其是在加拿大，由于双语文 化的影响，政府积极支持机器翻译的研发工作，１９７６年，加拿大蒙特利尔大学与加拿大联邦政府翻译局联合开发了提供天气预报服务的实用性机器翻译系统ＴＡＵＭ－ＭＥＴＥＯ，该系统的成功开发标志着 机器翻译已经在某些领域达到了实用化的程度。 进入２０世纪８０年代以来，由于计算机科学、语言学研究的发展，特别是计算机硬件技术的大幅度提高以及人工智能在自然语言处理上的应用，机器翻译在全世界范围内开始复苏，并在随后的９０年代取得了长足的进步。 ２０世纪９０年代以来的机器翻译技术的新进展 １．机器翻译的分类 进入２０世纪９０年代，机器翻译领域的的研究方法基本上可以分为两大类，即基于规则（Ｒｕｌｅ－Ｂａｓｅｄ）和基于语料库（Ｃｏｒｐｕｓ－Ｂａｓｅｄ）的方法。基于规则的方法又可以分为基于转换的方法和基于中间语言的方法，基于语料库的方法又可以分为基于统计的方法和基于实例的方法。传统的基于规则的方法又可以 机器翻译的现状和发展趋势 中国软件与技术服务股份有限公司 岳涛／文 ◆ 课外新知 ◆
人工智能与机器翻译自动分词 人工智能与机器翻译-自动分词2010-10-21 16：48部著作中的词语逐个逐个的切分出来。汉语不象拼音文字那样有自然切分标志,而且词语长短不一,词 语的定义也不统一,语言学中对词的定义多种多样,造成切分的多样性,这也自然给自动分词的同一性带来很大困难。汉语中词语本身的词素、词、词组无明显 的区分界限,没有一个统一的标准,许多东西都是凭经验和语感来划分。.这项工作如果全部交给计算机来作,就没有那么简单了。 尽管计算机自动分词在诸多方面存在着许多困难,但是由于自动分词是许多应用工作的第一步(也是自动翻译的第一步),这就促进了研究的持续不断,提出 了不少方法,它们各有优缺点,也可能是基于特定环境的。 5.2.1典型的自动分词方法 正向最大匹配法和逆向最大匹配法 正向最大匹配法是最早提出的自动分词方法,它的基本思想是先取一句话的前六个字查字库,若不是一个词,则删除六个字的最后一个字再查,这样一直查下去,至找到一个词为止。句子剩余部分重复此工作,直到把所有的词都分出为止。逆向最大匹配法也一样,每次匹配不成功时去掉汉字串中最前面的一个字。 两法思路清晰,易于计算机实现,但由于试图用相对稳定的词表来代替灵活 多变,充满活力的词汇,把词库搜索作为判词的唯一标准,因而具有很大的主观性和局限性。另外,这两种方法实际上否认了语言中的歧义现象。 在实际应用中,方法有所变化。如下述算法我们初始不是取六个字而是取长度最短词的个数。 A1：一条汉语语句分划成单一字符X1,X2,…,XM。 A2：决定语词中可能出现的词最大字符长度Lmax,最小字符长度Lmin。
A3：逆向匹配,取语句最后的Lmin个字查关键词库,若查不到,加入一个字 重复此工作,直至字符数为Lmax为止。 A4：若实施A3查不到词,去掉语句中最后一个字,再实施A3,直至整个语句 只剩下Lmin为止。 高频优选法 这一方法基于词频的统计、字与字之间的构成结合律和歧义切分等现象的 分析而提出来的。根据《现代汉语频率词典》，对于报刊和政论性文章，不同 音节词的词频构成为：双音节词大约有74%；三音节词大约有3.7%；单音节词 大约有17.2%；而五以上字音节词则大约只有0.4%左右。汉语是一字一音节， 因而也可以说，两字组词的频率比其它所有方式的概率加起来都还要多。自动 分词时首先考虑两字词，然后再考虑单字词，如此频率低的词语最后才考虑。 这种方法提高了分词效率，但对歧义问题也无能为力，出错率并不低。 其它方法 设立切分标志 切分标志有自然和非自然之分。自然切分标志是指文章的非文字符号，例 如标点符号等等；非自然切分标志是利用词缀和不构成词的词(单字词等等)。 设立切分标志方法的基本思想就是通过建立非自然切分标志的一张表存储于计 算机中用程序来识别所有的非自然标志。这样一来，一个句子链将被化为若干 短链，然后再用其它切分方法进行各种细加工，这种多方法合作的综合应用， 途径增多，可以大大提高效率。 扩充转移网络分词法 它是以有限状态机概念为基础的方法。有限状态机只能识别正则语言，对 有限状态机作的第一次扩充可以使其具有递归能力，这样就形成递归转移网络(RTN)。在RTN中，弧线上的标志不仅可以是终极符(语言语句中的各种词语)或非终极符(还没有推导完的词类、符号等等，例如名词N，动词V，形容词A等等)，还可以调用另外的子网络名字的非终极符(例如字或字串的成语条件)。这样，计算机在运行某个子网络时，就可以调用另外的子网络，还可以递归调用。
机器翻译的现状与发展 摘要：随着经济全球化的飞速发展以及人类命运共同体的提出，各国之间人民之间的交流必将日益频繁，各个国家语言之间转换需求也必定与日俱增，人为地学习千百种语言实在不易，机器翻译的作用也就越来越受到重视。它涉及计算机语言学、数学和语言学等各个学科，其中语言学为其提供了机译数据库和技术支撑。然而，目前机器翻译还存在许多不足，需要多方面深入研究。本文对机器翻译发展历程、研究方法、存在问题及其应对方法进行了综述，以期机器翻译更进一步发展。 关键词：机器翻译；发展历程；研究方法；语言学理论；问题；应对方法 机器翻译是通过计算机来实现不同自然语言之间的转换，也称为自动翻译，一般是指自然语言之间的部分句子或全文的翻译。它作为应用语言学的一个分支，是建立在语言学、数学和计算机科学基础上的跨学科研究。由于需要通过电脑数据库和翻译软件来完成操作，因此，机器翻译的发展与计算机科学、数学、人工智能、语言学等各学科的发展密不可分，可以说，机器翻译的推进需要这些学科的技术支撑和理论支持。人类进入21世纪以来，随着经济的发展，国际交流合作日益频繁，对机器翻译的需求日益增大。机器翻译是规避国家间交流障碍的有效手段，但作为综合性的学科，它的发展受到多方面牵制，因此需要相关研究人员和学者对其相关学科进行更深入的研究。 1机器翻译发展历史 机器翻译的历史最早可以追溯到20世纪30年代相关学者提出其雏形，如今处于高速发展的阶段。然而在初期机器翻译受到过阻碍，一度陷入低潮期。直到移动互联网时代的到来，一方面，随着计算机网络技术快速发展，人们要求用计算机实现语言翻译的愿望越来越强烈。另一方面自1990年统计机器翻译模型提出以来，基于大规模语料库的统计翻译翻译方法迅速发展，机器翻译再次成为人们关注的热门研究课题，取得了一些令人瞩目的成果。但是，在机器翻译飞速发展的同时，也遇到了很多难题，在目前的技术条件下翻译的质量还不能够达到人们的期望的程度，想让机器让人类一样去理解和分析语言还远不能行。在当今信息大数据时代，机器翻译正发挥越来越重要的作用。 机器翻译的发展可以归结为以下几个发展阶段： 1.1机器翻译人员的独立工作阶段 20世纪50年代初期，随着第一台计算机的问世，美国的科学家W.Weaver和英国工程师A.D. Booth就发表了翻译备忘录，提出了利用计算机进行翻译的设想。随后，通过不懈的努力和试验，美国的乔治伦敦大学和IBM公司合力推出了首个MT系统，为各国的机器翻译奠定了坚实的实践基础。但是由于受到计算机硬件局限性的限制，尤其是内存不足和存储速度慢，以及缺乏高级编程语言，研究人员无法完全依赖机器来完成大规模、高质量的翻译任务。同时，由于研究是在没有句法学家和语义学家的协助下独立进行的，翻译的质量难以保证。 在这样的背景下，早期研究者意识到，无论开发出什么样的系统都只能产生出低质量的输出，因此专家建议，先发展对有控制的语言进行翻译，并限定于某些特定领域。 1.2进入高质量的翻译输出 20世纪60年代，受到改进了的计算机硬件和编程语言的鼓舞，研究人员对机器翻译产生了盲目的乐观。编程语言在句法分析上取得的长足进步让翻译人员感受到了技术革新的成果，他们相信机器翻译有巨大的前景，几年之内就可以达到高质量的输出，这一乐观论调很快传遍了全世界。研究人员还提出假设：机器翻译的目标是产出高质量翻译的全自动系统。研究的重点在于寻求完善的翻译理论和方法。 1.3翻译软件和工具的发展 20世纪70年代以来，随着科技发展和各国间频繁交流，大规模翻译需求日益增加，对计算机翻译的依赖更加突出，机器翻译进入了新的发展阶段。实用性翻译和软件系统如雨后春笋频频出现，如Weinder系统、EURPOTRA多国种翻译系统、TAUM-METEO系统等。80年代产生了大量连接网络和大容量存储的微型计算机，各种翻译工具也应运而生，如词典和术语资料库、多语文字处理、词汇和术语资源的管理、信息传递的