字符集和编码

ASCIIASCII码是7位编码，编码范围是0x00-0x7F。

ASCII字符集包括英文字母、阿拉伯数字和标点符号等字符。

其中0x00-0x20和0x7F共33个控制字符。

只支持ASCII码的系统会忽略每个字节的最高位，只认为低7位是有效位。

HZ字符编码就是早期为了在只支持7位ASCII系统中传输中文而设计的编码。

早期很多邮件系统也只支持ASCII编码，为了传输中文邮件必须使用BASE64或者其他编码方式。

GB2312GB2312是基于区位码设计的，区位码把编码表分为94个区，每个区对应94个位，每个字符的区号和位号组合起来就是该汉字的区位码。

区位码一般用10进制数来表示，如1601就表示16区1位，对应的字符是“啊”。

在区位码的区号和位号上分别加上0xA0就得到了GB2312编码。

区位码中01-09区是符号、数字区，16-87区是汉字区，10-15和88-94是未定义的空白区。

它将收录的汉字分成两级：第一级是常用汉字计3755个，置于16-55区，按汉语拼音字母/笔形顺序排列；第二级汉字是次常用汉字计3008个，置于56-87区，按部首/笔画顺序排列。

一级汉字是按照拼音排序的，这个就可以得到某个拼音在一级汉字区位中的范围，很多根据汉字可以得到拼音的程序就是根据这个原理编写的。

GB2312字符集中除常用简体汉字字符外还包括希腊字母、日文平假名及片假名字母、俄语西里尔字母等字符，未收录繁体中文汉字和一些生僻字。

可以用繁体汉字测试某些系统是不是只支持GB2312编码。

GB2312的编码范围是0xA1A1-0x7E7E，去掉未定义的区域之后可以理解为实际编码范围是0xA1A1-0xF7FE。

EUC-CN可以理解为GB2312的别名，和GB2312完全相同。

区位码更应该认为是字符集的定义，定义了所收录的字符和字符位置，而GB2312及EUC-CN是实际计算机环境中支持这种字符集的编码。

HZ和ISO- 2022-CN是对应区位码字符集的另外两种编码，都是用7位编码空间来支持汉字。

汉字编码字符集汉字编码字符集是指用于表示和存储汉字的一套编码系统。

在计算机领域，为了能够准确地表示和处理汉字，人们设计了多种不同的汉字编码字符集。

本文将介绍几种常见的汉字编码字符集，包括GB2312、GBK、Unicode以及UTF-8。

一、GB2312GB2312是中国国家标准局于1980年发布的一种汉字编码字符集，是最早被广泛使用的汉字字符集之一。

GB2312字符集包含了7445个汉字和682个非汉字字符，采用双字节表示每个字符。

其中，第一个字节的范围是0xB0至0xF7，第二个字节的范围是0xA1至0xFE。

GB2312字符集主要适用于简体中文。

二、GBK随着计算机技术的发展和汉字数量的增加，GB2312字符集的容量已经无法满足需求。

为了解决这个问题，国家标准局于1995年发布了GBK字符集，它是对GB2312字符集的扩充和改进。

GBK字符集兼容GB2312字符集，同时加入了21003个汉字，总计包含了21886个汉字。

GBK字符集同样采用双字节表示每个字符，第一个字节的范围是0x81至0xFE，第二个字节的范围是0x40至0xFE。

GBK字符集支持简体中文和繁体中文。

三、UnicodeUnicode是一种国际标准字符集，旨在为全球所有字符提供唯一的编码。

Unicode采用16位的编码方案，可以支持最多65536个不同的字符。

不仅包括了各个国家语言的文字，还包括了数学符号、技术符号、图形符号等。

Unicode字符集为各种语言的文字提供了一个统一的编码标准。

四、UTF-8UTF-8是一种可变长度的Unicode编码方案，更好地解决了存储效率和兼容性的问题。

UTF-8使用1至4个字节来表示一个字符，根据不同的字符而变化。

对于单字节的字符，编码和ASCII码相同，兼容ASCII码。

对于多字节的字符，第一个字节的高位标识了字节数。

UTF-8字符集可以表示Unicode字符集中的所有字符。

在计算机系统中，为了使不同的系统能够正确地处理汉字编码，一般需要统一选择一种字符集来使用。

字符编码和字符集到底有什么区别？Unicode和UTF-8是什么关系？前⾔想必⼤家编写代码时肯定和我⼀样，也遇到过汉字乱码的问题。

特别是，有时候和上下游对接接⼝，不能统⼀编码格式的话，⼀堆乱码问题，让⼈头⽪发⿇。

那么为什么会有这么多的乱码问题？什么是字符编码？什么是字符集？他们之间有什么区别和联系？什么是 Unicode ？ Unicode 和我们常说的 UTF-8 ⼜有什么关系？字符编码和解码要想搞清楚上⾯的问题，⾸先我们要知道，在计算机中，不管是⼀段⽂字、⼀张图⽚还是⼀段视频，最终都是以⼆进制的⽅式来存储。

也就是最终都会转化为0001 1011 0010 0110这样的格式。

换句话说，计算机只认识 0 和 1 这样的数字，并不能直接存储字符。

所以我们需要告诉它什么样的字符对应的是什么数字。

例如，我们的业务中有记录客户端的客户⾏为⽇志，然后导出⽂件来分析，字段间会以ESC来分隔。

我在编写代码的时候，就需要定义⼀下这个ESC字符应该对应什么数字，这样计算机才能识别并存储。

⽐如我把它定为0001 1011，这样计算机就把ESC这个字符存了下来。

等我下次需要查看的时候，根据对应关系把它解出来就可以了。

上边的两个过程就对应字符的编码和解码过程。

字符编码就是把字符按⼀定的规则，转换成数字。

字符解码是编码的逆过程，即把数字按规则转换成字符。

这样看来，貌似没有什么问题。

但是，这是我⾃⼰定义的编码规则，我同桌阿霄就不乐意了。

他⾮要认为ESC应该定义为1101 1000，好家伙正好和我定义的⼆进制数字顺序相反。

那结果肯定不⽤说了，我把0001 1011这串数字给他之后，按照他的编码规则来解，肯定是&$#!这样的东西。

所以，乱码问题说到底，就是编码和解码的规则对应不上导致的。

ASCII 码为了避免我和阿霄因为编码问题打起来，美国国家标准学会（AMERICAN NATIONAL STANDARDS INSTITUTE） ANSI 组织发话了。

数据库字符集编码和表字符集编码数据库字符集编码和表字符集编码是数据库中非常重要的概念，它们决定了数据库中存储的数据的字符编码方式。

正确设置字符集编码可以确保数据的正确存储和显示，避免出现乱码等问题。

数据库字符集编码是指数据库服务器使用的字符编码方式，它决定了数据库中所有表的默认字符集编码。

常见的数据库字符集编码有UTF-8、GBK、GB2312等。

UTF-8是一种通用的字符编码方式，支持全球范围内的字符，是目前最常用的字符集编码方式。

GBK和GB2312是中文字符集编码方式，适用于中文环境。

表字符集编码是指每个表在数据库中的字符编码方式，它可以与数据库字符集编码不同。

在创建表时，可以指定表的字符集编码，也可以使用数据库的默认字符集编码。

如果表的字符集编码与数据库的字符集编码不一致，那么在存储和显示数据时就需要进行字符集转换，这可能会导致性能下降和数据损坏。

正确设置数据库字符集编码和表字符集编码非常重要。

首先，它可以确保数据的正确存储和显示。

如果数据库字符集编码和表字符集编码不一致，那么在存储和显示数据时就可能出现乱码等问题，影响用户体验。

其次，它可以提高数据库的性能。

如果数据库字符集编码和表字符集编码一致，那么在存储和显示数据时就不需要进行字符集转换，可以提高数据库的性能。

在设置数据库字符集编码和表字符集编码时，需要考虑以下几个因素。

首先，需要考虑数据库的使用环境。

如果数据库主要用于存储中文数据，那么可以选择中文字符集编码，如GBK或GB2312。

如果数据库需要支持全球范围内的字符，那么可以选择UTF-8字符集编码。

其次，需要考虑数据库的性能和存储空间。

不同的字符集编码对存储空间的占用和性能有不同的影响。

一般来说，UTF-8字符集编码占用的存储空间较大，但支持更多的字符，而GBK和GB2312字符集编码占用的存储空间较小，但只支持中文字符。

最后，需要考虑与其他系统的兼容性。

如果数据库需要与其他系统进行数据交换，那么需要确保数据库字符集编码和表字符集编码与其他系统兼容。

ASCIIASCII 码是7位编码，编码范围是0x00-0x7F ASCII 字符集包括英文字母、 阿拉伯数字和标点符号等字符。

其中 0x00-0x20和0x7F 共33个控制字符。

只支持ASCI 码的系统会忽略每个字节的最高位，只认为低 7位是有效位。

HZ 字符编码就是早期为了在只支持 7位ASCII 系统中传输中文而设计的编码。

早期很多邮件系统也只支持ASCII 编码，为了传输中文邮件必须使用 BASE64或 者其他编码方式。

GB2312GB2312是基于区位码设计的，区位码把编码表分为 94个位，每个字符的区号和位号组合起来就是该汉字的区位码。

10进制数来表示，如 1601就表示 16区1 位，对应的字符是 区号和位号上分别加上0xA0就得到了 GB2312编码。

区位码中 01-09区是符号、数字区， 16-87区是汉字区，未定义的空白区。

它将收录的汉字分成两级：第一级是常用汉字计 3755 个，置于 16-55 区，按汉语拼音字母 /笔形顺序排 列；第二级汉字是次常用汉字计 3008 个，置于 56-87 区，按部首 /笔画顺序排 列。

一级汉字是按照拼音排序的，这个就可以得到某个拼音在一级汉字区位中 的范围，很多根据汉字可以得到拼音的程序就是根据这个原理编写的。

GB2312字符集中除常用简体汉字字符外还包括希腊字母、日文平假名及片 假名字母、俄语西里尔字母等字符，未收录繁体中文汉字和一些生僻字。

可以 用繁体汉字测试某些系统是不是只支持 GB2312编码。

GB2312的编码范围是0xA1-0x7E 去掉未定义的区域之后可以理解为实际 编码范围是 0xA1-0xF7FE 。

EUC-CN 可以理解为GB2312的别名，和GB2312完全相同。

区位码更应该认为是字符集的定义，定义了所收录的字符和字符位置，而 94个区，每个区对应 区位码一般用 “啊”。

在区位码的10-15和 88-94是GB2312及EUC-CN是实际计算机环境中支持这种字符集的编码。

⼏种常见字符集与字符编码字符集的概念 字符(Character)是各种⽂字和符号的总称，包括各国家⽂字、标点符号、图形符号、数字等。

⽽字符集(Character set)是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同。

常⽤字符集 ASCII字符集、GB2312字符集、GBK字符集、 USC-3字符集、Unicode字符集等。

字符编码的概念 字符编码（英语：Character encoding）也称字集码，是把字符集中的字符编码为指定集合中某⼀对象（例如：⽐特模式、⾃然数序列、8位组或者电脉冲），以便⽂本在计算机中存储和通过通信⽹络的传递。

常⽤字符编码 ASCII编码、GB2312编码、GBK编码、UFT-8编码等字符编码。

注意：不要把字符集和字符编码两者弄混淆。

虽然他们有些同名，⽐如ASCII有字符集也有ASCII的字符编码，他们是两个不同的概念。

下⾯我们详细讲解⼏种常⽤的字符集和字符编码1 ASCII字符集和ASCII编码 ASCII(American Standard Code for Information Interchange,美国信息交换标准代码)是基于拉丁字母的⼀套电脑编码系统。

它主要⽤于显⽰现代英语，⽽其扩展版本EASCII则可以勉强显⽰其他西欧语⾔。

它是现今最通⽤的单字节编码系统（但是有被Unicode追上的迹象），并等同于国际标准ISO/IEC 646。

ASCII字符集：主要包括控制字符（回车键、退格、换⾏键等）；可显⽰字符（英⽂⼤⼩写字符、阿拉伯数字和西⽂符号）。

　ASCII编码：将ASCII字符集转换为计算机可以接受的数字系统的数的规则。

使⽤7位（bits）表⽰⼀个字符，共128字符；但是7位编码的字符集只能⽀持128个字符，为了表⽰更多的欧洲常⽤字符对ASCII进⾏了扩展，ASCII扩展字符集使⽤8位（bits）表⽰⼀个字符，共256字符。

ASCII的最⼤缺点是只能显⽰26个基本拉丁字母、阿拉伯数⽬字和英式标点符号，因此只能⽤于显⽰现代美国英语（⽽且在处理英语当中的外来词如naïve、café、élite等等时，所有重⾳符号都不得不去掉，即使这样做会违反拼写规则）。

字符和汉字编码一、字符集编码字符集编码是指将字符集中的字符转换为计算机可识别的二进制编码。

常见的字符集编码包括ASCII编码、GB2312编码、GBK编码、UTF-8编码等。

1. ASCII编码：ASCII编码是最常用的字符集编码，它包含了128个字符，每个字符用一个字节的二进制数表示。

2. GB2312编码：GB2312编码是中国大陆使用的字符集编码，它包含了6763个汉字和一些其他的字符。

3. GBK编码：GBK编码是中国大陆使用的扩展字符集编码，它包含了20902个汉字和一些其他的字符。

4. UTF-8编码：UTF-8编码是一种可变长度的字符集编码，它包含了几乎所有的语言字符，包括汉字。

二、汉字编码汉字编码是指将汉字转换为计算机可识别的二进制编码。

常见的汉字编码包括GB2312编码、GBK编码、UTF-8编码等。

1. GB2312编码：GB2312编码是中国大陆使用的汉字编码，它包含了6763个汉字。

2. GBK编码：GBK编码是中国大陆使用的扩展汉字编码，它包含了20902个汉字。

3. UTF-8编码：UTF-8编码是一种可变长度的汉字编码，它包含了几乎所有的语言字符，包括汉字。

三、字符和汉字的输入方法字符和汉字的输入方法包括键盘输入、手写输入、语音输入等。

1. 键盘输入：通过键盘输入字符和汉字，是最常用的输入方法。

2. 手写输入：通过手写输入汉字，通常需要使用专门的识别软件。

3. 语音输入：通过语音输入汉字，通常需要使用语音识别软件。

四、字体和字形的表示字体和字形的表示包括矢量字体和点阵字体。

矢量字体是一种数学描述的字体，可以无损放大；点阵字体是一种像素点的集合，放大后会出现失真。

五、编码标准编码标准是指制定字符集编码和汉字编码的规范和标准。

中国制定了《信息交换用汉字编码字符集》等标准，国际上制定了ISO/IEC 10646等标准。

六、字符和汉字的输出方法字符和汉字的输出方法包括屏幕输出、打印机输出、文件输出等。

字符串知识点总结一、字符串的基本概念1.1 定义：字符串是由零个或多个字符组成的有序序列，可以使用单引号、双引号或三引号来表示。

例如：'hello'、"world"、'''welcome to the world'''。

1.2 字符集和编码：字符串中的字符由字符集组成，而字符集又按照特定的规则进行编码。

常见的字符集有ASCII、Unicode、UTF-8等，而编码方式有UTF-8、UTF-16、GBK等。

在不同的编码方式下，同一个字符所占的字节数是不同的。

1.3 不可变性：字符串是不可变的数据类型，一旦创建之后就不能修改。

如果需要修改原有的字符串，那么就需要创建一个新的字符串。

1.4 转义字符：在字符串中，通过使用反斜杠(\)加上特定的字符可以表示一些特殊的字符，如换行符(\n)、制表符(\t)、回车符(\r)等。

1.5 字符串的长度：通过len()函数可以获取字符串的长度，即字符串中字符的个数。

例如，len('hello')的结果是5。

二、字符串的常见操作2.1 字符串的拼接：可以使用加号(+)来将两个字符串连接起来，也可以使用join()方法来拼接多个字符串。

2.2 字符串的切片：可以使用索引和切片操作来获取字符串中的子串。

例如，s[1:3]表示从索引1到索引3之间的子串。

2.3 字符串的重复：可以使用乘号(*)来实现字符串的重复。

例如，'hello' * 3的结果是'hellohellohello'。

2.4 字符串的查找：可以使用in关键字或者find()、index()方法来查找字符串中是否包含某个子串。

2.5 字符串的替换：可以使用replace()方法来替换字符串中的指定子串。

2.6 字符串的分割：可以使用split()方法将字符串按照指定的分隔符进行分割。

汉字编码常用的字符集
1. GB2312，GB2312是中国国家标准简化汉字字符集，于1980年发布。

它包含了6763个常用汉字和682个非汉字字符，使用双字节编码，其中包括了简体中文的基本字符。

2. GBK，GBK是GB2312的扩展字符集，于1995年发布。

它兼容GB2312，并增加了近两万个汉字和符号。

GBK使用双字节编码，其中包括了简体中文的扩展字符。

3. GB18030，GB18030是中国国家标准的多字节字符集，于2000年发布。

它兼容GB2312和GBK，并增加了更多的汉字和字符，包括繁体中文和一些少数民族文字。

GB18030使用单字节、双字节和四字节编码。

4. Unicode，Unicode是国际标准字符集，旨在涵盖地球上所有的字符。

Unicode采用统一的编码方式，为每个字符分配唯一的编码值。

其中，汉字统一采用了CJK统一汉字扩展A（CJK Unified Ideographs Extension A）和CJK统一汉字扩展B（CJK Unified Ideographs Extension B）等多个扩展区。

5. UTF-8，UTF-8是一种可变长度的Unicode编码方式，它可以表示任意Unicode字符。

UTF-8使用1到4个字节来表示不同的字符，其中包括了汉字。

这些字符集在不同的环境下使用，常见的应用包括操作系统、编程语言、文本编辑器、网页浏览器等。

使用不同的字符集可以满足不同的需求，如支持不同语言的文字显示和输入。

Windows程序员必须知道的字符编码和字符集1. 字符编码 (Character encoding)在存储和传递⽂本过程中，为了使得所有电脑都能够正确的识别出⽂本内容，需要有⼀个统⼀的规则。

2. 字符集 (Character Set) )⼀般情况，⼀种编码⽅式对应⼀种字符集。

如 ASCII，对应 ASCII 字符集。

GBK 编码⽅式对应 GBK 字符集。

但是也有⼀种编码⽅式，多种字符集的，Unicode 字符集有多种编码⽅式，如 utf-8，utf-16 等。

3. ASCIIASCII（American Standard Code for Information Interchange，美国信息交换标准代码）：使⽤ 7 个 Bit 表⽰，共 128 个字符，刚好占⽤了⼀个字节中的后 7 位，共包括33 个控制字符和 95 个可显⽰字符。

. 4. ANSIANSI (⼀种字符编码，此处不是表⽰美国国家标准学会的意思)：ANSI 是为了让计算机⽀持更多的语⾔，⽽在 ASCII 的*础上的⼀种扩展字符编码。

在不同语⾔操作上，ANSI 都表⽰当前计算机默认的编码⽅式。

如在简体 Windows 操作下，ANSI 编码代表 GBK 编码；在繁体中⽂操作下，ANSI 编码代表 Big5 编码；在⽇⽂ Windows 操作系统中，ANSI 编码代表 Shift_JIS 编码；在英⽂操作系统下，ANSI 就是ASCII 编码。

. 5. MBCSMBCS（Multi-Byte Character Set）,早在 1980 年，中国就提出了使⽤ GB2312 编码⽅式来描述汉字。

后来其他东亚国家也利⽤这种⽅式扩展 ASCII 编码字符集。

台湾地区 5 ⼤企业推出的繁体 Big5 码，⾹港新加坡等后来也利⽤。

⽇本韩国也相应推出了⾃⼰的编码⽅式。

其实在这⾥，BIG5 既是编码⽅式，也是字符集。

. 6. GB2312(Guo Biao 2312) )⽤双字节表⽰汉字，但是为了完全兼容 ASCII。