Unicode、UTF-8与GB2312等编码之间是如何转换的

Python的ASCII,GB2312,Unicode,UTF-8相互转换ASCII 是⼀种字符集,包括⼤⼩写的英⽂字母、数字、控制字符等，它⽤⼀个字节表⽰，范围是 0-127 Unicode分为UTF-8和UTF-16。

UTF-8变长度的，最多 6 个字节，⼩于 127 的字符⽤⼀个字节表⽰，与 ASCII 字符集的结果⼀样，ASCII 编码下的英语⽂本不需要修改就可以当作 UTF-8 编码进⾏处理。

Python 从 2.2 开始⽀持 Unicode ，函数 decode( char_set )可以实现其它编码到 Unicode 的转换，函数 encode( char_set )实现 Unicode 到其它编码⽅式的转换。

⽐如("你好").decode( "GB2312")将得到u'\u4f60\u597d'，即 "你"和“好"的 Unicode 码分别是 0x4f60 和 0x597d再⽤(u'\u4f60\u597d').encode("UTF-8")将得到'\xe4\xbd\xa0\xe5\xa5\xbd'它是 “你好”的UTF-8编码结果。

python中使⽤ unicode的关键：unicode是⼀个类，函数unicode(str,"utf8")从utf8编码（当然也可以是别的编码）的字符串str⽣成 unicode类的对象，⽽函数unc.encode("utf8")将unicode类的对象unc转换为（编码为）utf8编码（当然也可以是别的编码）的字符串。

于是，编写unicode相关程序，需要做的事情是 * 获取数据（字符串）时，⽤unicode(str, "utf8")⽣成unicode对象 * 在程序中仅使⽤unicode对象，对程序中出现的字符串常量都以u"字符串"的形式书写 * 输出时，可将unicode对象转换为任意编码输出，使⽤str.encode("some_encoding")>>> unicode("你好", "utf8")u'\u4f60\u597d'>>> x = _>>> type(x)>>> type("你好")>>> x.encode("utf8")'\xe4\xbd\xa0\xe5\xa5\xbd'>>> x.encode("gbk")'\xc4\xe3\xba\xc3'>>> x.encode("gb2312")'\xc4\xe3\xba\xc3'>>> print x你好>>> print x.encode("utf8")你好>>> print x.encode("gbk")以上是测试结果（Ubuntu 6.06，locale为utf8），注意type(x)和type("你好")的区别。

⽤php实现gb2312和unicode间的编码转换gb2312 和 unicode 间的编码转换下⾯的例⼦是将 gb2312 转换为 "&#20840;"这种形式php4.3.1以后的iconv函数很好⽤的，只是需要⾃⼰写⼀个uft8到unicode的转换函数查表(gb2312.txt)也⾏复制代码代码如下:<?$text = "";preg_match_all("/[ 80- ff]?./",$text,$ar);foreach($ar[0] as $v)echo "&#".utf8_unicode(iconv("GB2312","UTF-8",$v)).";";><?// utf8 -> unicodefunction utf8_unicode($c) {switch(strlen($c)) {case 1:return ord($c);case 2:$n = (ord($c[0]) & 0x3f) << 6;$n += ord($c[1]) & 0x3f;return $n;case 3:$n = (ord($c[0]) & 0x1f) << 12;$n += (ord($c[1]) & 0x3f) << 6;$n += ord($c[2]) & 0x3f;return $n;case 4:$n = (ord($c[0]) & 0x0f) << 18;$n += (ord($c[1]) & 0x3f) << 12;$n += (ord($c[2]) & 0x3f) << 6;$n += ord($c[3]) & 0x3f;return $n;}}>下⾯的例⼦是利⽤php将"&#20840;"这中编码转换为gb2312.复制代码代码如下:<?php$str = "TTL&#20840;&#22825;&#20505;&#33258;&#21160;&#32858;&#28966;";$str = preg_replace("|&#([0-9]{1,5});|", "\".u2utf82gb(\\1).\"", $str);$str = "\$str=\"$str\";";eval($str);echo $str;function u2utf82gb($c){$str="";if ($c < 0x80) {$str.=$c;} else if ($c < 0x800) {$str.=chr(0xC0 | $c>>6);$str.=chr(0x80 | $c & 0x3F);} else if ($c < 0x10000) {$str.=chr(0xE0 | $c>>12);$str.=chr(0x80 | $c>>6 & 0x3F);$str.=chr(0x80 | $c & 0x3F);} else if ($c < 0x200000) {$str.=chr(0xF0 | $c>>18);$str.=chr(0x80 | $c>>12 & 0x3F);$str.=chr(0x80 | $c>>6 & 0x3F);$str.=chr(0x80 | $c & 0x3F);}return iconv('UTF-8', 'GB2312', $str);}>或者是复制代码代码如下:function unescape($str) {$str = rawurldecode($str);preg_match_all("/(?:%u.{4})|&#x.{4};|&#\d+;|.+/U",$str,$r);$ar = $r[0];print_r($ar);foreach($ar as $k=>$v) {if(substr($v,0,2) == "%u")$ar[$k] = iconv("UCS-2","GB2312",pack("H4",substr($v,-4)));elseif(substr($v,0,3) == "&#x")$ar[$k] = iconv("UCS-2","GB2312",pack("H4",substr($v,3,-1)));elseif(substr($v,0,2) == "&#") {echo substr($v,2,-1)."<br>";$ar[$k] = iconv("UCS-2","GB2312",pack("n",substr($v,2,-1)));}}return join("",$ar);}$str = "TTL&#20840;&#22825;&#20505;&#33258;&#21160;&#32858;&#28966;";echo unescape($str); //out TTL全天候⾃动聚焦利⽤javascript来转换复制代码代码如下:<style>BODY {FONT-SIZE: 9pt; PADDING-RIGHT: 0px; PADDING-LEFT: 0px; PADDING-BOTTOM: 0px; PADDING-TOP: 0px; }input {FONT-SIZE: 9pt; height: 13pt;}</style><script language="JavaScript1.2">/*ThisfollowingcodearedesignedandwritenbyWindy_sk<***************>You can use it freely, but u must held all the copyright items!*/function Str2Unicode(str){var arr = new Array();for(var i=0;i<str.length;i++){arr[i]="&#" + str.charCodeAt(i) + ";";}return(arr.toString().replace(/,/g,""));}function Unicode2oStr(str){var re=/&#[\da-fA-F]{1,5};/ig;var arr=str.match(re);if(arr==null)return("");for(var i=0;i<arr.length;i++){arr[i]=String.fromCharCode(arr[i].replace(/[&#;]/g,""));}return(arr.toString().replace(/,/g,""))}function modi_str(){if(document.all.text.method.checked){if(document.all.text.decode.value!=""){document.all.text.encode.value = Str2Unicode(document.all.text.decode.value);}else{document.all.text.decode.value = Unicode2oStr(document.all.text.encode.value);}}else{if(document.all.text.encode.value!=""){document.all.text.decode.value = Unicode2oStr(document.all.text.encode.value);}else{document.all.text.encode.value = Str2Unicode(document.all.text.decode.value);}}}</script><title>Unicode</title><form name=text>⽂本原型：<br><textarea name="decode" cols="100" rows="10"></textarea><br>转换代码：<br><textarea name="encode" cols="100" rows="10"></textarea><br><input type="checkbox" name="method" checked> 正向转换<input type=button onclick="modi_str()" value=" 确定 "><input type=reset value=" 清空 "><input type=button onclick="document.all.text.method.checked?document.all.text.encode.select():document.all.text.decode.select()" value=" 全选 "></form>下⾯是⼀个显⽰所有全⾓半⾓的字体的查看例⼦复制代码代码如下:<style>BODY {FONT-SIZE: 9pt; PADDING-RIGHT: 0px; PADDING-LEFT: 0px; PADDING-BOTTOM: 0px; PADDING-TOP: 0px; }input {FONT-SIZE: 9pt; height: 13pt;}</style><script>function showUni(min,max){show.document.open();show.document.writeln("<style>body{font-size:9pt;word-break:break-all;}</style>");show.document.writeln(min + " - " + max + "<br><br>");var i=0;for(i=min;i<=max;i++){show.document.write("&#" + i + ";");}show.document.close();}</script><input type=button value="半⾓" onclick=showUni(32,126)><input type=button value="全⾓" onclick=showUni(65281,65374)><input type=button value="中⽂1" onclick=showUni(19968,40869)><input type=button value="中⽂2" onclick=showUni(63744,64045)><input type=button value="⽇⽂平" onclick=showUni(12353,12435)><input type=button value="⽇⽂⽚" onclick=showUni(12449,12534)><input type=button value="韩⽂" onclick=showUni(44032,55203)><br>⾃定义：<input name=min> - <input name=max><input type=button value="察看" onclick=showUni(parseInt(document.all.min.value),parseInt(document.all.max.value))> <br><iframe src="about:blank" id=show width=100% height=70% scroll=no></iframe>下⾯是⼀个查表(gb2312),转换gb2312到utf8的例⼦, 现在有iconv函数,这个已经没有太⼤的意义了,复制代码代码如下:<?function gb2utf8($gb){if(!trim($gb)) return $gb;$filename="gb2312.txt";$tmp=file($filename);$codetable=array();while(list($key,$value)=each($tmp))$codetable[hexdec(substr($value,0,6))]=substr($value,7,6);$utf8="";while($gb) {if (ord(substr($gb,0,1))>127) {$this=substr($gb,0,2);$gb=substr($gb,2,strlen($gb)-2);$utf8.=u2utf8(hexdec($codetable[hexdec(bin2hex($this))-0x8080]));}else{$this=substr($gb,0,1);$gb=substr($gb,1,strlen($gb)-1);$utf8.=u2utf8($this);}}return $utf8;}function u2utf8($c){$str="";if ($c < 0x80) {$str.=$c;} else if ($c < 0x800) {$str.=chr(0xC0 | $c>>6);$str.=chr(0x80 | $c & 0x3F);} else if ($c < 0x10000) {$str.=chr(0xE0 | $c>>12);$str.=chr(0x80 | $c>>6 & 0x3F);$str.=chr(0x80 | $c & 0x3F);} else if ($c < 0x200000) {$str.=chr(0xF0 | $c>>18);$str.=chr(0x80 | $c>>12 & 0x3F);$str.=chr(0x80 | $c>>6 & 0x3F);$str.=chr(0x80 | $c & 0x3F);}return $str;}>。

汉字机内码转换算法汉字机内码通常指的是汉字在计算机中的字符编码，常见的编码方式包括GB2312、GBK、UTF-8等。

不同的编码方式使用不同的算法来进行字符的编码和解码。

下面简要介绍一下常见的几种编码方式的算法：1. GB2312编码：- GB2312是一种双字节的编码方式，其中每个字节的范围是0xA1-0xF7，每个字可以用两个字节表示。

-汉字的GB2312编码是通过取得汉字的区位码（高字节是区码，低字节是位码）来确定的。

2. GBK编码：- GBK是对GB2312的扩展，支持更多的汉字字符。

同样是双字节编码，其中有一部分字符的编码与GB2312相同，而其他字符使用了扩展区。

- GBK编码同样通过区位码来表示汉字的位置。

3. UTF-8编码：- UTF-8是一种可变长度的编码方式，用1到4个字节表示一个字符。

ASCII字符使用一个字节表示，而汉字通常使用三个字节表示。

-UTF-8编码的算法是根据字符的Unicode码来确定的，不同的Unicode码对应不同长度的字节序列。

4. UTF-16编码：-UTF-16也是一种可变长度的编码方式，使用2个字节或4个字节表示一个字符，根据字符的Unicode码来确定字节序列。

-对于常见的字符，使用两个字节表示，而罕见字符使用四个字节。

5. UTF-32编码：-UTF-32是一种固定长度的编码方式，使用4个字节表示一个字符，直接使用Unicode 码。

在实际编程中，通常使用现代编程语言提供的库函数来进行字符编码和解码，而不需要手动实现这些算法。

例如，在Python中，可以使用`encode`和`decode`方法来进行字符编码和解码。

在其他语言中也有类似的函数和库。

python中unicode、utf8、gbk等编码问题为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本⽂就来研究⼀下这个问题。

字符串在Python内部的表⽰是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另⼀种编码。

decode的作⽤是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表⽰将gb2312编码的字符串str1转换成unicode编码。

encode的作⽤是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表⽰将unicode编码的字符串str2转换成gb2312编码。

因此，转码的时候⼀定要先搞明⽩，字符串str是什么编码，然后decode成unicode，然后再encode成其他编码代码中字符串的默认编码与代码⽂件本⾝的编码⼀致。

如：s='中⽂'如果是在utf8的⽂件中，该字符串就是utf8编码，如果是在gb2312的⽂件中，则其编码为gb2312。

这种情况下，要进⾏编码转换，都需要先⽤decode⽅法将其转换成unicode编码，再使⽤encode⽅法将其转换成其他编码。

通常，在没有指定特定的编码⽅式时，都是使⽤的系统默认编码创建的代码⽂件。

如果字符串是这样定义：s=u'中⽂'则该字符串的编码就被指定为unicode了，即python的内部编码，⽽与代码⽂件本⾝的编码⽆关。

因此，对于这种情况做编码转换，只需要直接使⽤encode⽅法将其转换成指定编码即可。

【转】【Python】python中的编码问题报错asciicodeccantdecode。

1.unicode、gbk、gb2312、utf-8的关系2.python中的中⽂编码问题2.1 .py⽂件中的编码 Python 默认脚本⽂件都是 ANSCII 编码的，当⽂件中有⾮ ANSCII 编码范围内的字符的时候就要使⽤"编码指⽰"来修正。

⼀个module 的定义中，如果.py⽂件中包含中⽂字符（严格的说是含有⾮anscii字符），则需要在第⼀⾏或第⼆⾏指定编码声明：2.2 python中的编码与解码 先说⼀下python中的字符串类型，在python中有两种字符串类型，分别是str和unicode，他们都是basestring的派⽣类；str类型是⼀个包含Characters represent (at least) 8-bit bytes的序列；unicode的每个unit是⼀个unicode obj;所以：len(u'中国')的值是2；len('ab')的值也是2； 在str的⽂档中有这样的⼀句话：The string data type is also used to represent arrays of bytes, e.g., to hold data read from a file. 也就是说在读取⼀个⽂件的内容，或者从⽹络上读取到内容时，保持的对象为str类型；如果想把⼀个str转换成特定编码类型，需要把str转为Unicode,然后从unicode转为特定的编码类型如：utf-8、gb2312等；python中提供的转换函数：unicode转为 gb2312,utf-8等# -*- coding=UTF-8 -*-if __name__ == '__main__':s = u'中国's_gb = s.encode('gb2312')utf-8,GBK转换为unicode 使⽤函数unicode(s,encoding) 或者s.decode(encoding)# -*- coding=UTF-8 -*-if __name__ == '__main__':s = u'中国'#s为unicode先转为utf-8s_utf8 = s.encode('UTF-8')assert(s_utf8.decode('utf-8') == s)普通的str转为unicode# -*- coding=UTF-8 -*-if __name__ == '__main__':s = '中国'su = u'中国''#s为unicode先转为utf-8#因为s为所在的.py(# -*- coding=UTF-8 -*-)编码为utf-8s_unicode = s.decode('UTF-8')assert(s_unicode == su)#s转为gb2312,先转为unicode再转为gb2312s.decode('utf-8').encode('gb2312')#如果直接执⾏s.encode('gb2312')会发⽣什么？s.encode('gb2312')# -*- coding=UTF-8 -*-if __name__ == '__main__':s = '中国'#如果直接执⾏s.encode('gb2312')会发⽣什么？s.encode('gb2312')这⾥会发⽣⼀个异常：Python 会⾃动的先将 s 解码为 unicode ，然后再编码成 gb2312。

Unicode和UTF-8之间的转换⼀、引⾔通过这⼏天的研究，终于明⽩了Unicode和UTF-8之间编码的区别。

Unicode是⼀个字符集，⽽UTF-8是Unicode的其中⼀种，Unicode是定长的都为双字节，⽽UTF-8是可变的，对于汉字来说Unicode占有的字节⽐UTF-8占⽤的字节少1个字节。

Unicode为双字节，⽽UTF-8中汉字占三个字节。

注: Unicode编码⽬前规划的总空间是17个平⾯，0x0000 ⾄ 0x10FFFF。

每个平⾯有 65536 个码点。

因此这个总的长度也有⼀百多万个。

⼆、UTF-8 UTF-8编码字符理论上可以最多到6个字节长，然⽽16位BMP（Basic Multilingual Plane）字符最多只⽤到3字节长。

下⾯看⼀下UTF-8编码表：1 U-00000000 - U-0000007F: 0xxxxxxx23 U-00000080 - U-000007FF: 110xxxxx 10xxxxxx45 U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx67 U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx89 U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx1011 U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx xxx 的位置由字符编码数的⼆进制表⽰的位填⼊，越靠右的 x 具有越少的特殊意义，只⽤最短的那个⾜够表达⼀个字符编码数的多字节串。

注意在多字节串中，第⼀个字节的开头"1"的数⽬就是整个串中字节的数⽬。

将编码从GB2312转成UTF-8的方法汇总一个网站如果需要国际化，就需要将编码从GB2312转成UTF-8，其中有很多的问题需要注意，如果没有转换彻底，将会有很多的编码问题出现！主要有五个方面：一..HTML页面转UTF-8编码问题二.PHP页面转UTF-8编码问题三.MYSQL数据库使用UTF-8编码的问题四.JS相关的UTF-8编码问题五.FLASH相关的UTF-8编码问题一.HTML页面转UTF-8编码问题1.在后，之间有中文字符的话，显示的标题有可能是乱码！2.html文件编码问题:点击编辑器的菜单：“文件”->“另存为”，可以看到当前文件的编码，确保文件编码为：UTF-8，如果是ANSI，需要将编码改成：UTF-8。

3.HTML文件头BOM问题：将文件从其他的编码转换成UTF-8编码时，有时候会在文件的最开始加上一个BOM标签，在个BOM标签可能会导致浏览器在显示中文的时候出现乱码。

删除这个BOM标签的方法：1.可以用Dreamweaver打开文件，并重新保存，即可以去除BOM标签！2.可以用EditPlus打开文件，并在菜单“首选项”->“文件”->"UTF-8标识"，设置为：“总是删除签名”，然后保存文件，即可以去除BOM标签！4.WEB服务器UTF-8编码问题：如果你按以上所列的步骤做了，还是有中文乱码问题，请检查你的所使用的WEB服务器的编码问题如果你使用的是Apache，请将配置文件里的：charset 设成：utf-8(这里仅列出方法，具体格式请参考apache的配置文件)。

如果你使用的是Nginx，请将nginx.conf里的：charset 设成utf-8，具体找到"charset gb2312;"或者类似的语句，改成：“charset utf-8;”。

二.PHP页面转UTF-8编码问题1.在代码开始出加入一行：header("Content-Type: text/html;charset=utf-8");2.PHP文件编码问题点击编辑器的菜单：“文件”->“另存为”，可以看到当前文件的编码，确保文件编码为：UTF-8，如果是ANSI，需要将编码改成：UTF-8。