unicode编码规则

Unicode 编码介绍

\u559c\u6b22\u4f60\u554a 是 Unicode 编码的一种表示方式。具体含义如下：

1. \u 表示 Unicode 字符的编码。

2. 每个后续的四个十六进制数字对应一个字符的 Unicode 码点。

在这个例子中：

• \u559c 是“喜”。

• \u6b22 是“欢”。

• \u4f60 是“你”。

• \u554a 是“啊”。

当这些编码被解析时，就会显示成中文字符“喜欢你啊”。

这是编程中常用来表示非 ASCII 字符的方法，尤其在 JSON

或字符串处理时。

详细介绍

什么是 Unicode 编码？

Unicode 是一种字符编码标准，旨在为世界上所有的书写系统分配唯一的编码值。它解决了不同国家和地区使用的字符集不兼容的问题，为计算机在全球范围内处理文本提供了一种通用方法。

Unicode 的特点 全球通用

Unicode

包含了几乎所有语言的字符，包括中文、日文、韩文、阿拉伯文、希腊文、符号表情等。

唯一性

每个字符在 Unicode 中都有一个唯一的编号，称为“码点”。

灵活性

它支持多种编码方式，方便不同的存储需求和传输场景。

Unicode 编码方式

Unicode 定义了多个编码形式来存储其码点，常见的有以下几种：

1. UTF-8

一种变长编码，每个字符使用 1 到 4 个字节。

向后兼容 ASCII 编码（ASCII 字符只占 1 字节）。

特点：节省存储空间，是互联网最常用的编码方式。

示例：

英文字母 A 的码点是 U+0041，UTF-8 编码为 41（1 字节）。

中文字符 你 的码点是 U+4F60，UTF-8 编码为 E4 B8 80（3 字节）。

2. UTF-16

定长或变长编码，通常使用 2 个字节表示常用字符，4

个字节表示扩展字符。

特点：适合多字节字符密集的场景（如中文）。

示例：

你 的码点是 U+4F60，UTF-16 编码为 4F60（2 字节）。 3. UTF-32

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8: 3字节一个字符

UNICODE: 2字节一个字符

GB2312: 1字节一个字符

例子：

“你”字的UTF-8编码: E4 BD A0 11100100 10111101 10100000

“你”的Unicode编码: 4F 60 01001111 01100000

按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000

把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。

注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。

经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义

class CChineseCode

{

public:

// 把UTF-8转换成Unicode

static void UTF_8ToUnicode(wchar_t* pOut,char *pText);

//Unicode 转换成UTF-8

static void UnicodeToUTF_8(char* pOut,wchar_t* pText);

// 把Unicode 转换成 GB2312

static void UnicodeToGB2312(char* pOut,wchar_t uData);

// GB2312 转换成 Unicode

static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);

//GB2312 转为 UTF-8

static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);

//UTF-8 转为 GB2312

第 1 页 共 2 页 unicode编码规则

【原创版】

目录

1.Unicode 编码规则简介

2.Unicode 编码的基本原理

3.Unicode 编码表的构成

4.Unicode 编码的应用领域

5.Unicode 编码的优点和局限性

正文

一、Unicode 编码规则简介

Unicode 编码规则是一种用于表示各种语言字符的编码系统，由国际标准化组织（ISO）制定。Unicode 编码规则旨在实现全球范围内各种文字的统一表示，以便在计算机系统中进行高效、准确的数据交换和处理。

二、Unicode 编码的基本原理

Unicode 编码的基本原理是将世界上各种语言的字符都映射到一个统一的编码空间，这个空间包含了所有可打印字符、标点符号以及特殊字符等。Unicode 编码使用一个字节（8 位）或两个字节（16 位）来表示一个字符，这使得它能够表示世界上几乎所有的字符集。

三、Unicode 编码表的构成

Unicode 编码表包含了所有的 Unicode 字符及其对应的编码值。Unicode 编码表的构成遵循一定的规律，如：字母、数字、标点符号等具有规律的编码范围。Unicode 编码表按照字符的类型和用途进行分类，包括了常用字符、符号、特殊字符等。

四、Unicode 编码的应用领域 第 2 页 共 2 页 Unicode 编码在众多领域得到了广泛应用，如：计算机编程、网页设计、文本处理、数据传输等。Unicode 编码的出现解决了不同国家和地区字符编码的兼容性问题，使得全球范围内的信息交流变得更加便捷。

五、Unicode 编码的优点和局限性

Unicode 编码的优点包括：统一表示全球范围内的字符，提高了字符编码的兼容性和通用性；节省了存储空间，提高了数据处理的效率；易于实现字符的输入、输出和转换。

然而，Unicode 编码也存在一定的局限性，如：对于一些特殊领域的字符集支持不足；编码值可能会受到限制，导致某些字符无法表示。

Unicode汉字编码表

1 unicode编码表

Unicode目前普遍采用的是UCS—2，它用两个字节来编码一个字符，

比如汉字"经"的编码是0x7ECF,注意字符编码一般用十六进制来

表示，为了与十进制区分,十六进制以0x开头,0x7ECF转换成十进制

就是32463,UCS-2用两个字节来编码字符,两个字节就是16位二进制,

2的16次方等于65536,所以UCS—2最多能编码65536个字符.

编码从0到127的字符与ASCII编码的字符一样,比如字母"a"的Unicode

编码是0x0061,十进制是97,而"a"的ASCII编码是0x61,十进制也是97，

对于汉字的编码，事实上Unicode对汉字支持不怎么好，这也是没办法的，

简体和繁体总共有六七万个汉字，而UCS-2最多能表示65536个，才六万

多个,所以Unicode只能排除一些几乎不用的汉字,好在常用的简体汉字

也不过七千多个,为了能表示所有汉字,Unicode也有UCS-4规范,就是用

4个字节来编码字符，不过现在普遍采用的还是UCS—2，只用两个字节来

编码，看一下Unicode对汉字的编码：

--————-———-—--——--————-———--—-——-————-———-——-—--——-—---—------————-———--

2 汉字编码表

U+ 0 1 2 3 4 5 6 7 8 9 A B C D E F

-———--—-—-----—--—---—-----—-——-——---—--————-—--—-—--

4e00 一 丁 丂 七 丄 丅 丆 万 丈 三 上 下 丌 不 与 丏

4e10 丐 丑 丒 专 且 丕 世 丗 丘 丙 业 丛 东 丝 丞 丟

4e20 丠 両 丢 丣 两 严 並 丧 丨 丩 个 丫 丬 中 丮 丯