汉字信息编码标准
- 格式:doc
- 大小:5.70 KB
- 文档页数:3
4.1.2 汉字编码标准为了用0、1代码串表示汉字,在汉字系统或通信系统之间交换信息,必须给每个汉字规定一个统一的代码。
这就是汉字的交换码。
一、国标码国标码就是《信息交换用汉字编码字符集》(GB 2312-80) 为汉字规定的代码,在代码表中,纵向分为0-93 ,共94 行。
横向也分为0-93 ,共94 列。
行列均用7 位二进制表示,即一个汉字要用两个字节。
也可用十六进制表示。
国标码查表原则是先列后行,例如:图 4.2 GB2312-80 代码表(局部)国标码共收集7445 个,一级汉字3755 个, 按汉语拼音排序;二级汉字3008 个, 按部首笔画排序。
二、区位码区位码是国标码的另外的一种表示形式。
将行号称为区号,将列号称为位号,分别有94 个区,94 个位。
区号和位号均用两位十进制的数表示,据此得出了区位码汉字输入法。
例:“ 啊” 的区位码是1601 ,表示啊字在第16 区,第 1 位,“ 保” 的区位码是1703 ,表示保字在第17 区,第 3 位。
三、机内码机内码是在计算机内部使用的表示汉字的代码,用两字节二进制表示。
(在国标码每个字节前添1 就是机内码,添1 是为了确保与英文字符区分开)。
输入汉字→国标码( 区位码) →机内码→存储转换关系:十六进制的区位码+ 2020H →国标码十六进制的国标码+ 8080H →机内码8080H 等于二进制的l000000010000000 ,国标码加上8080H ,可以保证机内码每个字节首位均为 1 。
例:“ 啊” 的区位码是:1601 转换成十六进制10011001 +2020=3021 (国标码)再转换成机内码:3021+8080=B0A1二进制表示为1011000010100001 (B0A1 )中山市港口理工学校计算机科温金辉。
有关计算机汉字编码的一些国家标准有关计算机汉字编码的一些国家标准 有关计算机汉字编码方案,Unicode 系列的资料相对清晰一些,Unicode 、UCS 、UTF 这些概念,看看 Wikipedia 是容易弄明白的。
当然,其中也有复杂的版本演进问题以及 Unicode 与 ISO 10646 标准的微妙差异。
而我国的 GB 系列汉字编码标准,网上的资料相对零散,故我通过 Wikipedia 的相关页面收集了一些信息,加以整体和注释,希望对大家有所帮助。
如有差错敬请指出。
一、现行计算机系统中使用的现行计算机系统中使用的 GB GB GB 字符集与编码字符集与编码字符集与编码 现行计算机系统中使用的 GB 编码是指 GB 2312-80 —— GBK —— GB18030-2000/2005 这一系列。
标准文件中定义了编码(区位)的方案,并且有计算机中实现的规范(内码,EUC-CN)。
● GB 2312-80 信息交换用汉字编码字符集·基本集(又称 GB0)包含常用的一级汉字、二级汉字、符号等。
每个汉字以双字节表示,高位字节使用0xA1-0xF7(0xA1-0xA9是符号,0xAA-0xAF 保留,0xB0-0xF7是汉字),低位字节使用0xA1-0xFE。
● GBK 汉字扩展内码规范在 GB 2312-80 基础上增加了来自 GB 13000.1-93 等标准中的一些罕用字与繁体字。
为容纳新字,扩大了编码范围,高位字节使用0x81-0xFE,低位字节使用了0x40-0x7E 及0x80-0xFE,新字填补在与 GB 2312-80 汉字无冲突的空位。
注意,GBK 并非国家标准。
它最初是微软对 GB 2312-80 做的扩展。
鉴于其使用的普遍性,国家技术监督局标准化司、电子工业部科技与质量监督司于1995年12月将其作为技术规范指导性文件发布。
● GB 18030-2000 信息交换用汉字编码字符集·基本集的扩充向下基本兼容 GBK,补全了 ISO 10646.1:2000 中的 CJK 统一汉字(Main、Extension A)。
字符和汉字编码一、字符集编码字符集编码是指将字符集中的字符转换为计算机可识别的二进制编码。
常见的字符集编码包括ASCII编码、GB2312编码、GBK编码、UTF-8编码等。
1. ASCII编码:ASCII编码是最常用的字符集编码,它包含了128个字符,每个字符用一个字节的二进制数表示。
2. GB2312编码:GB2312编码是中国大陆使用的字符集编码,它包含了6763个汉字和一些其他的字符。
3. GBK编码:GBK编码是中国大陆使用的扩展字符集编码,它包含了20902个汉字和一些其他的字符。
4. UTF-8编码:UTF-8编码是一种可变长度的字符集编码,它包含了几乎所有的语言字符,包括汉字。
二、汉字编码汉字编码是指将汉字转换为计算机可识别的二进制编码。
常见的汉字编码包括GB2312编码、GBK编码、UTF-8编码等。
1. GB2312编码:GB2312编码是中国大陆使用的汉字编码,它包含了6763个汉字。
2. GBK编码:GBK编码是中国大陆使用的扩展汉字编码,它包含了20902个汉字。
3. UTF-8编码:UTF-8编码是一种可变长度的汉字编码,它包含了几乎所有的语言字符,包括汉字。
三、字符和汉字的输入方法字符和汉字的输入方法包括键盘输入、手写输入、语音输入等。
1. 键盘输入:通过键盘输入字符和汉字,是最常用的输入方法。
2. 手写输入:通过手写输入汉字,通常需要使用专门的识别软件。
3. 语音输入:通过语音输入汉字,通常需要使用语音识别软件。
四、字体和字形的表示字体和字形的表示包括矢量字体和点阵字体。
矢量字体是一种数学描述的字体,可以无损放大;点阵字体是一种像素点的集合,放大后会出现失真。
五、编码标准编码标准是指制定字符集编码和汉字编码的规范和标准。
中国制定了《信息交换用汉字编码字符集》等标准,国际上制定了ISO/IEC 10646等标准。
六、字符和汉字的输出方法字符和汉字的输出方法包括屏幕输出、打印机输出、文件输出等。
常用的中文编码一、引言在计算机领域,中文编码起着至关重要的作用。
无论是输入、输出、存储还是网络传输,都离不开编码的转换。
为了让计算机能够识别和处理中文,我国制定了多种中文编码标准。
接下来,我们将详细介绍几种常用的中文编码,以便大家更好地理解和应用。
二、常用的中文编码概述1.GBK编码GBK(全称为:汉字内码扩展规范)是我国制定的一种汉字编码标准。
它兼容GB2312编码,可以表示大部分现代汉字。
GBK编码的字符集分为两个部分:基本集和扩展集。
基本集包含了GB2312编码中的所有汉字,共计6763个;扩展集则增加了更多的汉字,共计21003个。
GBK编码在我国的政府部门、企事业单位以及众多软件中得到了广泛应用。
2.GB2312编码GB2312编码是我国最早制定的一种汉字编码标准,于1980年发布。
它包含了6763个汉字,主要覆盖了现代汉字的基本需求。
GB2312编码的字符集分为两个部分:基本集和辅助集。
基本集包含了6763个汉字,辅助集则包含了一些特殊符号和拉丁字母。
GB2312编码在我国历史上发挥了重要作用,如今在很多场合仍然可以看到它的身影。
3.BIG5编码BIG5编码(全称为:大五码)是台湾地区制定的一种汉字编码标准。
它包含了13068个汉字,主要覆盖了现代汉字和一些繁体字。
BIG5编码在台湾地区及其周边地区广泛应用,是许多台湾出版的书籍、软件和网站的标准编码。
在大陆地区,BIG5编码也逐渐被GBK和UTF-8编码所取代。
4.UTF-8编码UTF-8编码是一种国际通用的编码标准,可以表示世界上几乎所有的字符集,包括中文、英文、数字、特殊符号等。
UTF-8编码具有兼容性、高效性和扩展性等优点,成为了互联网上最常用的编码之一。
许多国际化的软件和网站都采用UTF-8编码作为默认的字符集。
在我国,UTF-8编码也逐渐成为了一种重要的编码选择。
三、编码转换实例在日常生活中,我们可能会遇到不同编码之间的转换需求。
新版信息技术中文编码字符集信息技术中文编码字符集是用来表示和存储中文字符的一种规范,它是计算机系统中的基础技术之一。
在新版的信息技术中,常用的中文编码字符集有Unicode、GBK、GB18030、UTF-8等。
Unicode是一种全球统一的字符编码标准,其中包含了世界上几乎所有的字符,包括汉字和其他语言的字符。
它的编码空间非常大,可以表示超过100万个字符。
Unicode采用的是16位或32位编码,其中一种常用的编码方式是UTF-16。
GBK是汉字编码字符集,它包含了大部分简体中文字符,并与ASCII编码兼容。
GBK的编码空间比Unicode小,使用了16位编码表示字符。
GBK编码被广泛应用于早期的计算机系统和一些特殊领域。
GB18030是对GBK的扩展,它包含了更多的中文字符,包括繁体中文字符和一些少数民族文字。
GB18030采用了变长编码,根据字符的不同,使用1到4个字节进行编码。
UTF-8是一种可变长度的编码方式,它可以使用1到4个字节表示一个字符。
UTF-8编码的特点是兼容ASCII编码,即ASCII字符使用单个字节表示,而非ASCII字符使用多个字节表示。
UTF-8成为互联网和计算机系统中最常用的中文编码字符集,因为它既可以处理大部分中文字符,也可以处理其他语言的字符。
除了以上几种常用的中文编码字符集,还有一些其他的编码方式,如BIG5、EUC-CN等。
BIG5是繁体中文编码字符集,主要用于台湾和香港地区。
EUC-CN是中国的国家标准,它也使用了变长编码,可以表示几乎所有的中文字符。
在新版信息技术中,Unicode和UTF-8被广泛应用于各种计算机系统和互联网平台。
Unicode提供了全球统一的字符表示方式,而UTF-8提供了高效的存储和传输方式。
根据不同的需求和平台,可以选择合适的中文编码字符集来处理中文字符。
汉字unicode编码范围GB2312编码:1981年5⽉1⽇发布的简体中⽂汉字编码国家标准。
GB2312对汉字采⽤双字节编码,收录7445个图形字符,其中包括6763个汉字。
BIG5编码:台湾地区繁体中⽂标准字符集,采⽤双字节编码,共收录13053个中⽂字,1984年实施。
GBK编码:1995年12⽉发布的汉字编码国家标准,是对GB2312编码的扩充,对汉字采⽤双字节编码。
GBK字符集共收录21003个汉字,包含国家标准GB13000-1中的全部中⽇韩汉字,和BIG5编码中的所有汉字。
GB18030编码:2000年3⽉17⽇发布的汉字编码国家标准,是对GBK编码的扩充,覆盖中⽂、⽇⽂、朝鲜语和中国少数民族⽂字,其中收录27484个汉字。
GB18030字符集采⽤单字节、双字节和四字节三种⽅式对字符编码。
兼容GBK和GB2312字符集。
Unicode编码:国际标准字符集,它将世界各种语⾔的每个字符定义⼀个唯⼀的编码,以满⾜跨语⾔、跨平台的⽂本信息转换。
汉⼦unicode编码表:⼀般使⽤2w基本汉⼦就够了字符集字数Unicode 编码20902字4E00-9FA538字9FA6-9FCB6582字3400-4DB542711字20000-2A6D64149字2A700-2B734222字2B740-2B81D214字2F00-2FD5115字2E80-2EF3477字F900-FAD9542字2F800-2FA1D81字E815-E86F452字E400-E5E8207字E600-E6CF36字31C0-31E312字2FF0-2FFB22字3105-312022字31A0-31BA〇1字3007。
字符编码汉字编码规则一、引言字符编码是计算机处理文本信息的基础,它定义了字符在计算机内部如何表示。
汉字编码则是针对汉字的特殊字符编码,它解决了汉字在计算机内部表示的问题,使得我们能更方便地进行汉字的处理、存储和传输。
本文将详细介绍字符编码和汉字编码规则。
二、字符编码字符编码的基本原理是将字符映射为数字或符号,以二进制的形式存储和传输。
这种编码方式能够使不同的字符在计算机内部以同样的方式表示,方便计算机进行数据处理。
常见的字符编码格式有ASCII、UTF-8、UTF-16等。
1.ASCII:即美国标准信息交换码,是一种基于7位二进制数的编码格式,能够表示128个不同的字符,其中包括英文字母、数字、标点符号等。
2.UTF-8:即UnicodeTransformationFormat-8,是一种变长字节编码,能够表示几乎所有语言的字符。
UTF-8使用1-4个字节来表示一个字符,可以表示大部分的英文字符、一些特殊符号,以及大部分的汉字。
3.UTF-16:即UnicodeTransformationFormat-16,也是一种变长字节编码,使用2个字节表示一个字符。
UTF-16常用于需要处理复杂字符集的场合,如中文、日文、韩文等。
三、汉字编码规则汉字编码规则是指如何将汉字转换为计算机可以处理的数字或符号形式。
常见的汉字编码格式有GB2312、GBK、GB18030等。
1.GB2312:即《信息交换用汉字编码字符集-基本集》,是一种常用的简体中文字符集,共收录了6763个简体汉字。
GB2312使用2个字节来表示一个汉字,具有良好的国际化和标准化。
2.GBK:即《汉字内码扩展规范》,是对GB2312的扩展,增加了部分生僻字和汉字的拼音标识,同时对一些字形进行了调整。
GBK使用多字节编码,能够表示更多的汉字,但同时也增加了编码的复杂性。
3.GB18030:是新的汉字内码规范,它是对GBK和UTF-8的兼容扩展,采用了与UTF-8兼容的编码方式,使用多字节编码,能够表示更多的汉字和Unicode中的部分字符。
汉字的编码1.汉字信息的交换码汉字信息交换码简称交换码,也叫国标码。
规定了7 445个字符编码,其中有682个非汉字图形符和6763个汉字的代码。
有一级常用字3 755个,二级常用字3 008个。
两个字节存储一个国标码。
国标码的编码范围是2121 H一7E7EH。
区位码和国标码之间的转换方法是将一个汉字的十进制区号和十进制位号分别转换成十六进制数,然后再分别加上20H,就成为此汉字的国标码:汉字国标码=区号(十六进制数)+20H位号(十六进制数)+ 20H而得到汉字的国标码之后,我们就可以使用以下公式计算汉字的机内码:汉字机内码=汉字国标码+8080H2.汉字偷入码汉字输人码也叫外码,都是由键盘上的字符和数字组成的。
目前流行的编码方案有全拼输人法、双拼输入法、自然码输人法和五笔输人法等。
3.汉字内码汉字内码是在计算机内部对汉字进行存储、处理的汉字代码,它应能满足存储、处理和传输的要求。
一个汉字输人计算机后就转换为内码。
内码需要两个字节存储,每个字节以最高位置‘1”作为内码的标识。
4.汉字字型码汉字字型码也叫字模或汉字输出码。
在计算机中,8个二进制位组成一个字节,它是度量空间的基本单可见一个16 x 16点阵的字型码需要16 x 16/8=32字节存储空间。
汉字字型通常分为通用型和精密型两类。
5.汉字地址码汉字地址码是指汉字库中存储汉字字型信息的逻辑地址码。
它与汉字内码有着简单的对应关系,以简化内码到地址码的转换。
6.各种汉字代码之间的关系汉字的输人、处理和输出的过程,实际上是汉字的各种代码之间的转换过程。
如图1- 1表示了这些汉字代码在汉字信息处理系统中的位置及它们之间的关系.。
1.国家标准汉字代码体系
??汉字字数繁多,属性丰富,因而汉字代码体系也较复杂,包括:
??(1)汉字机内码。
它们是汉字在计算机汉字系统内部的表示方法,是计算机汉字系统
的基础代码。
??(2)汉字交换码。
它们是国标汉字(如机内码)进行信息交换的代码标准。
??(3)汉字输入码。
它们是在计算机标准键盘上输入汉字用到的各种代码体系。
??(4)汉字点阵码。
它们是在计算机屏幕上显示和在打印机上打印输出汉字的代码体系。
??(5)汉字字形控制码。
为了打印各种风格的字体和字形所制定的代码。
??这些代码系统有的必须有统一的国家标准,有的则不要求统一。
近年来我国已经制定
系列汉字信息处理方面的国家标准,今后将继续完善,并与国际上求得统一。
2. 国家标准汉字交换码
??我国制定了“中华人民共和国国家标准信息交换汉字编码”,标准代号为GB2312—80,这种编码又称为国标码。
在国标码的字符集中共收录了一级汉字3755个,二级汉字3008 个,图形符号682个,三项字符总计7445个。
??在国标GD2312—80中规定,所有的国标汉字及符号分配在一个94行、94列的方阵中,方阵的每一行称为一个“区”,编号为01区到94区,每一列称为一个“位”,编号为01 位到94位,方阵中的每一个汉字和符号所在的区号和位号组合在一起形成的四个阿拉伯数字就是它们的“区位码”。
区位码的前两位是它的区号,后两位是它的位号。
用区位码就可以唯一地确定一个汉字或符号,反过来说,任何一个汉字或符号也都对应着一个唯一的区位码。
汉字“母”字的区位码是3624,表明它在方阵的36区24位,问号“?”的区位码为0331,则它在03区3l位。
??所有的汉字和符号所在的区分为以下四个组:
? ? (1)01区到15区。
图形符号区,其中01区到09区为标准符号区,10区到15区为
自定义符号区。
??01区到09区的具体内容如下;
??1)01区。
一般符号202个,如间隔符、标点、运算符、单位符号及制表符;
??2)02区。
序号60个,如1.~20.、(1)~(20)、①~⑩及(一)~(十);
??3)03区。
数字22个,如0—9及X一XII,英文字母52个,其中大写A—Z、小写
a—z各26个;
??4)04区。
日文平假名83个;
??5)05区。
日文片假名86个;
??6)06区。
希腊字母48个;
??7)07区。
俄文字母66个;
??8)08区。
汉语拼音符号a—z26个;
??9)09区。
汉语拼音字母37个。
? ? (2)16区到55区。
一级常用汉字区,包括了3755个一统汉字。
这40个区中的汉字是按汉语拼音排序的,同音字按笔划顺序排序。
其中55区的90一94位未定义汉字。
? ? (3)56区到87区。
二级汉字区,包括了3008个二级汉字,按部首排序。
? ? (4)88区到94区。
自定义汉字区。
? ? 第10区到第15区的自定义符号区和第88区到第94区的自定义汉字区可由用户自行??定义国标码中未定义的符号和汉字。
3. 国家标准汉字机内码
? ? 汉字的机内码是指在计算机中表示一个汉字的编码。
机内码与区位码稍有区别。
如上所述,汉字区位码的区码和位码的取值均在1~94之间,如直接用区位码作为机内码,就
会与基本ASCII码混淆。
为了避免机内码与基本ASCII码的冲突,需要避开基本ASCII码中的控制码(00H~1FH),还需与基本ASCII码中的字符相区别。
为了实现这两点,可以
先在区码和位码分别加上20H,在此基础上再加80H(此处“H”表示前两位数字为十六
进制数)。
经过这些处理,用机内码表示一个汉字需要占两个字节,分别??称为高位字
节和低位字节,这两位字节的机内码按如下规则表示:
? ? 高位字节=区码+20H+80H(或区码+A0H)
? ? 低位字节=位码+20H+80H(或位码+AOH)
? ? 由于汉字的区码与位码的取值范围的十六进制数均为01H~5EH(即十进制的01~94),??所以汉字的高位字节与低位字节的取值范围则为A1H~FEH(即十进制的161~254)。
? ? 例如,汉字“啊”的区位码为1601,区码和位码分别用十六进制表示即为1001H,它的机内码的高位字节为B0H,低位字节为A1H,机内码就是B0A1H。
??
4. 汉字的输入码
? ? 在计算机标准键盘上,汉字的输入和西文的输入有很大的不同。
西文的输入,击一次键就直接输入了相应的字符或代码,“键入”和“输入”是同一个含义。
但是在计算机上
进行汉字输入时,“键入”是指击键的动作即键盘操作的过程,而“输入”则是把所需的
汉字或字符送到指定的地方,是键盘操作的目的。
目前已有多种汉字输入方法,因此就有多种汉字输入码。
汉字输入码是面向输入者的,使用不同的输入码其操作过程不同,但是得到的结果是一样的。
不管采用何种输入方法,所有输入的汉字都以机内码的形式存储在介质中,而在进行汉字传输时,又都以交换码的形式发送和接收。
? ? 国标GB2312—80规定的区位码和沿用多年的电报码都可以作为输入码。
这类汉字编码和输入码是一一对应的,具有标准的性质,它们编码用的字符是10个阿拉伯数字,每个
汉字的码长均为等长的四个数码。
? ? 其他编码的种类很多,可从以下几点加以讨论:
? ? (2)编码类型。
可分为拼音码、字形码、音形结合码等类型。
? ? (2)编码规则。
不同的编码方案有很大的不同,有的规则简单,学习起来较容易记忆,‘??有的规则复杂,较难记亿。
? ? (3)编码字符集。
有用字母键的,有用数字键的,有用字母键加数字键的,或者用了??更多的键作编码字符集的。
? ? (4)编码长度。
它与编码字符集的大小有关,字符集越大,编码长度越短。
采用26 ??个字母的编码,其码长一般为四位。
? ? (5)对应关系。
除上面提到的区位码和电报码为一一对应的无重码编码外,其他现有
的编码方案均有一定数量的重码。
所谓重码即一码对应多字。
有许多编码为了增加输入的灵活性,同一汉字用多个码来对应,例如双音编码。
? ? (6)单宁和词汇的编码。
现有的编码方案,为了提高效率,除了单字外还规定了词汇
的编码,甚至使用者可以自行增加词汇库中的词汇,但在提高效率的同时也增加了记亿和操作的复杂性。
? ? (7)码表的类型和大小。
从汉字输入码到机内码的转换一股需要在机内检索码表。
如
果输入码和机内码存在简单的函数关系,有公式可以计算,如区位码等编码就不需要码表,其他没有简单函数关系的编码就需要码表。
码表大小与数据结构、单字数量、词汇数量等因素有关。
国标血2312—80规定的6763个一、二级汉字,备类编码的码表从几千字节到几万字节。
随着词汇旦的增加,有的码表达到了若干兆字节。
5. 汉字的点阵码
? ? 汉字的显示和输出,普遍采用点阵方法。
由于汉字数量多且字形变化大,对不同字形汉字的输出,就有不同的点阵字形。
所谓汉字的点阵码,就是汉字点阵字形的代码。
存储在介质中的全部汉字的点阵码又称为字库。
? ? .
??16x16点阵的汉字其点阵有16行,每一行上有16个点。
如果每一个点用一个二进制
位来表示,则每一行有16个二进制位,需用两个字节来存放每一行上的16个点,并且规定其点阵中二进制位0为白点,1为黑点,这样一个16X16点阵的汉字需要用2×t6即32 个字节来存放。
依次类推,24×24点阵和32×32点阵的汉字则依次要用72个字节和128 个字节存放一个汉字,构成它在字库中的字模信息。
? ? 要显示或打印输出一个汉字时,计算机汉字系统根据该汉字的机内码找出其字模信息在字库中的位置,再取出其字模信息作为字形在屏幕上显示或在打印机上打印输出。