中文编码字符集标准大全

  • 格式:rtf
  • 大小:150.71 KB
  • 文档页数:6

中文编码字符集标准大全

国家标准代码,简称国标码,是中华人民共和国的中文常用汉字编码集,亦为新加坡采用。

现时中华人民共和国官方强制使用GB 18030标准,但较旧的计算机仍然使用GB 2312。

较常见的国家汉字标准代码列表:

GB 2312-80

信息交换用汉字编码字符集 基本集(又称 GB 或 GB0)

GB 13000.1-93

信息技术 通用多八位编码字符集(UCS)第一部分(相当于 ISO 10646-1:1993 中文版)

GB 18030-2005

信息技术 中文编码字符集

---

GB 2312或GB 2312-80是一个简体中文字符集的中国国家标准,全称为《信息交换用汉字编

码字符集·基本集》,又称为GB0,由中国国家标准总局发布,1981年5 月1日实施。GB2312

编码通行于中国大陆;新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的

软件都支持GB 2312。

GB 2312标准共收录6763个汉字,其中一级汉字3755个,二级汉字3008个;同时,GB 2312

收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个

全角字符。

GB2312的出现,基本满足了汉字的计算机处理需要,它所收录的汉字已经覆盖中国大陆

99.75%的使用频率。

对于人名、古汉语等方面出现的罕用字,GB 2312不能处理,这导致了后来GBK及GB 18030

汉字字符集的出现。

--

GB 13000,中华人民共和国国家标准的国家标准代码之一,全称 GB 13000.1-93《信息技术

通用多八位编码字符集(UCS)第一部分:体系结构与基本多文种平面》。此标准等同采用国

际标准化组织 ISO/IEC 10646.1:1993《信息技术 通用多八位编码字符集(UCS)第一部分:

体系结构与基本多文种平面》。

GB 13000的字符集包含20,902个汉字。

--

GBK全名为汉字内码扩展规范,英文名Chinese Internal Code Specification。K 即是“扩

展”所对应的汉语拼音(KuoZhan11)中“扩”字的声母。GBK 来自中国国家标准代码GB

13000.1-93。

GBK最初是由微软对GB2312的扩展,也就是CP936字码表 (Code Page 936)的扩展(原来的CP936和GB 2312-80一模一样),最初出现于Windows 95简体中文版中,由于Windows产品

的流行和在大陆广泛被使用,中华人民共和国国家有关部门将其作为技术规范。注意GBK并

非国家正式标准,只是国家技术监督局标准化司、电子工业部科技与质量监督司发布的“技

术规范指导性文件”。

虽然GBK收录了所有Unicode 1.1及GB 13000.1-93之中的汉字,但是编码方式与Unicode 1.1

及GB 13000.1-93不同。仅仅是GB 2312到GB 13000.1-93之间的过渡方案。

--

GB 18030,全称:国家标准GB 18030-2005《信息技术中文编码字符集》,是中华人民共和国

现时最新的内码字集,是GB 18030-2000《信息技术 信息交换用汉字编码字符集基本集的扩

充》的修订版。与GB 2312-1980完全兼容,与GBK基本兼容,支持GB 13000及Unicode的

全部统一汉字,共收录汉字70244个。

---

GB/T 15273.1-94

ISO 8859-1 -1987

---

通用字符集(Universal Character Set,UCS)是由ISO制定的ISO 10646(或称ISO/IEC 10646)

标准所定义的字符编码方式,采用4字节编码。

通用字符集又称Universal Multiple-Octet Coded Character Set,中国大陆译为通用多八

位编码字符集.

-------

Unicode(统一码、万国码、单一码、标准万国码)是业界的一种标准,它可以使电脑得以呈

现世界上数十种文字的系统。Unicode 是基于通用字元集(Universal Character Set)的标

准来发展,并且同时也以书本的形式(The Unicode Standard,目前第五版由Addison-Wesley

Professional出版,ISBN-10: 0321480910)对外发表。

Unicode组织(The Unicode Consortium)是由一个非营利性的机构所运作,并主导Unicode

的后续发展,其目标在于:将既有的字元编码方案,以 Unicode编码方案来加以取代,特别

是既有的方案在多语环境下,皆仅有有限的空间以及不相容的问题。

Unicode 组织在 1991 年首次发布了 The Unicode Standard(ISBN 0-321-18578-1)。

Unicode 的开发结合了国际标准化组织(International Organization for

Standardization,简称 ISO)所制定的ISO/IEC 10646,即通用字元集(Universal Character

Set,简称 UCS)。Unicode 与 ISO/IEC 10646 在编码的运作原理相同,但 The Unicode

Standard 包含了更详尽的实现资讯、涵盖了更细节的主题,诸如字元编码(bitwise

encoding)、校对以及呈现等。

Unicode 截至目前为止历次的版次与发布时间如下:

Unicode 1.0:1991年10月

Unicode 1.0.1:1992年6月 Unicode 1.1:1993年6月

Unicode 2.0:1997年7月

Unicode 2.1:1998年5月

Unicode 2.1.2:1998年5月

Unicode 3.0:1999年9月;涵盖了来自ISO 10646-1的十六位元通用字元集(UCS)基本多

文种平面(Basic Multilingual Plane)

Unicode 3.1:2001年3月;新增从ISO 10646-2定义的辅助平面(Supplementary Planes)

Unicode 3.2:2002年3月

Unicode 4.0:2003年4月

Unicode 4.0.1:2004年3月

Unicode 4.1:2005年3月

Unicode 5.0:2006年7月

Unicode 5.1:2008年4月

大概来说,Unicode 编码系统可分为编码方式和实现方式两个层次。

编码方式

Unicode 的编码方式与 ISO 10646 的通用字符集(Universal Character Set,UCS)概念相

对应,目前实际应用的 Unicode 版本对应于 UCS-2,使用16位的编码空间。也就是每个字

符占用2个字节。这样理论上一共最多可以表示 216 即 65536 个字符。基本满足各种语言

的使用。

上述16位 Unicode 字符构成基本多文种平面(Basic Multilingual Plane,简称 BMP)。最

新(但未实际广泛使用)的 Unicode 版本定义了16个辅助平面,两者合起来至少需要占据

21位的编码空间,比3字节略少。但事实上辅助平面字符仍然占用4字节编码空间,与 UCS-4

保持一致。

实现方式

Unicode 的实现方式不同于编码方式。一个字符的 Unicode 编码是确定的。但是在实际传输

过程中,由于不同系统平台的设计不一定一致,以及出于节省空间的目的,对 Unicode 编码

的实现方式有所不同。Unicode 的实现方式称为Unicode转换格式(Unicode Translation

Format,简称为 UTF)。

UTF-8 编码,这是一种变长编码,它将基本7位ASCII字符仍用7位编码表示,占用一个字

节(首位补0)。而遇到与其他 Unicode 字符混合的情况,将按一定算法转换,每个字符使

用1-3个字节编码,并利用首位为0或1进行识别。这样对以7位ASCII字符为主的西文文

档就大大节省了编码长度(具体方案参见UTF-8)。

在 UTF-16 编码实现方式中使用了大尾序(Big-Endian, 简写为UTF-16 BE)、小尾序

(Little-Endian, 简写为UTF-16 LE)的概念,以及可附加的BOM(Byte Order Mark)解决

方案,目前在PC机上的Windows系统和Linux系统对于UTF-16编码默认使用UTF-16 LE。

目前通用的实现方式是 UTF-16小尾序(BOM)、UTF-16大尾序(BOM)和 UTF-8。在微软公司

Windows XP操作系统附带的记事本(Notepad)中,“另存为”对话框可以选择的四种编码方

式除去非 Unicode 编码的ANSI(对于英文系统即ASCII编码,中文系统则为GB2312或Big5编码) 外,其余三种为“Unicode”(对应UTF-16 LE)、“Unicode big endian”(对应UTF-16

BE)和“UTF-8”。

在Microsoft Word下,按下 Alt 键不放,输入 0 和某个字符的 Unicode 编码(十进制),

再松开 Alt 键即可得到该字符,如Alt + 033865会得到 Unicode 字元叶。另外按Alt + X

组合键,MS Word 也会将光标前面的字符同其十六进制的四位 Unicode 编码进行互相转换。

---

Unicode和ISO 10646的关系

历史上存在两个独立的尝试创立单一字符集的组织,即国际标准化组织(ISO)和多语言软件

制造商组成的统一码协会(Unicode Consortium)。前者开发的 ISO/IEC 10646 项目,后者

开发的Unicode项目。因此最初制定了不同的标准。

1991年前后,两个项目的参与者都认识到,世界不需要两个不兼容的字符集。于是,它们开

始合并双方的工作成果,并为创立一个单一编码表而协同工作。从 Unicode 2.0开始,Unicode

采用了与ISO 10646-1相同的字库和字码;ISO也承诺,ISO 10646将不会替超出U+10FFFF

的UCS-4编码赋值,以使得两者保持一致。

统一码协会公布的Unicode标准包含了ISO/IEC 10646-1实现级别3的基本多文种平面。在

两个标准里,所有的字符都在相同的位置并且有相同的名字。

---

中日韩统一表意文字(英语:CJK Unified Ideographs),也称统汉字(Unihan),目的是要

把分别来自中文、日文、韩文、越文中,本质相同、形状一样或稍异的表意文字(主要为汉

字,但也有仿汉字如方块壮字、日本国字、韩国独有汉字、越南的喃字)于ISO 10646及Unicode

标准内赋予相同编码。

越南文后来加入此计划,所以亦有 CJKV(中日韩越统一表意文字)的称呼。Unicode亦开始

收录越汉字——喃字。

CJKV,是汉语(Chinese)、日语(Japanese)、韩语(Korean)、越南语(Vietnamese)的集