理清文件编码，告别中文乱码

理清文件编码，告别中文乱码

在工作中少不了碰到文件乱码的问题，面对这么多的中文汉字编码，真不知该选哪个好，不如彻底搞清楚，让乱码灰飞烟灭；以下介绍文本编码中常用到的几种：iso8859-1、GDK/GB2312、ANSI、unicode 以及UTF ；

iso8859-1

iso8859-1 通常叫做Latin-1，属于单字节编码，最多能表示的字符范围是0-255，应用于英文系列。比如，字母a的编码为0x61=97。 很明显，iso8859-1编码表示的字符范围很窄，无法表示中文字符。但是，由于是单字节编码，和计算机最基础的表示单位一致，所以很多时候，仍旧使用iso8859-1编码来表示。而且在很多协议上，默认使用该编码。比如，虽然"中文"两个字不存在iso8859-1编码，以gb2312编码为例，应该是"d6d0 cec4"两个字符，使用iso8859-1编码的时候则将它拆开为4个字节来表示："d6 d0 ce c4"（事实上，在进行存储的时候，也是以字节为单位处理的）。

GDK/GB2312

GB2312是汉字的国标码，是简体中文的字符集编码;专门用来表示汉字，是双字节编码，而英文字母和iso8859-1一致（兼容iso8859-1编码）。
苹果OS以GB2312为基本汉字编码;
GBK 是 GB2312的扩展,除了兼容GB2312外，它还能显示繁体中文，还有日文的假名;
Windows 95/98以GBK为基本汉字编码、但兼容支持GB2312。

ANSI

不同的国家和地区制定了不同的标准，由此产生了 GB2312, BIG5, JIS 等各自的编码标准。这些使用 2 个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。在简体中文操作系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码。（BIG5：台湾标准）
不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。
ANSI编码表示英文字符时用一个字节，表示中文用两个字节，而unicode不管表示英文字符还是中文都是用两个字节来表示。

unicode

这是最统一的编码，可以用来表示所有语言的字符，而且是定长双字节（也有四字节的）编码，包括英文字母在内。所以可以说它是不兼容iso8859-1编码的，也不兼容任何编码。不过，相对于iso8859-1编码来说，uniocode编码只是在前面增加了一个0字节，比如字母a为"00 61"。
需要说明的是，定长编码便于计算机处理（注意GB2312/GBK不是定长编码），而unicode又可以用来表示所有字符，所以在很多软件内部是使用unicode编码来处理的，比如java。

UTF

UTF，是Unicode Transformation Format的缩写，意为Unicode转换格式
考虑到unicode编码不兼容iso8859-1编码，而且容易占用更多的空间：因为对于英文字母，unicode也需要两个字节来表示。所以unicode不便于传输和存储。因此而产生了utf编码，utf编码兼容iso8859-1编码，同时也可以用来表示所有语言的字符，不过，utf编码是不定长编码，每一个字符的长度从1-6个字节不等。一般来讲，英文字母都是用一个字节表示，而汉字使用三个字节。
注意，虽然说utf是为了使用更少的空间而使用的，但那只是相对于unicode编码来说，如果已经知道是汉字，则使用GB2312/GBK无疑是最节省的。不过另一方面，值得说明的是，虽然utf编码对汉字使用3个字节，但即使对于汉字网页，utf编码也会比unicode编码节省，因为网页中包含了很多的英文字符。

UTF-8

UTF-8是UNICODE的一种变长字符编码，由Ken Thompson于1992年创建。
UTF-8, 8bit编码, ASCII不作变换, 其他字符做变长编码, 每个字符1-3 byte，有以下优点:

  • 与CPU字节顺序无关, 可以在不同平台之间交流
  • 容错能力高, 任何一个字节损坏后, 最多只会导致一个编码码位损失, 不会链锁错误(如GB码错一个字节就会整行乱码)
    UTF-16, 16bit编码, 是变长码, 大致相当于20位编码, 值在0到0x10FFFF之间, 基本上就是unicode编码的实现. 它是变长码, 与CPU字序有关, 但因为最省空间, 常作为网络传输的外码.

UTF-8与UTF-16的区别

UTF8 和 UTF16 都是变长表示的，欧美程序员会觉得太浪费，因为欧美字符 0x0000 - 0x00FF 就搞定了，UTF8 最小变长是 1 个字节，而 UTF16 变长是 2 个字节，
utf-8 与 uft-16 表示 ‘a‘ a的ascii是0X61
utf-8为[0X61]
uft-16 [0x00,0X61]

UTF与unicode的关系

unicode,ascii是一种字符集，而utf是一种编码方式；
Unicode是一个字符集, 可以看作为内码（在计算机内部存储，处理和传输用的信息编码）.
而UTF是一种编码方式, 它的出现是因为unicode不适宜在某些场合直接传输和处理. UTF-16直接就是unicode编码, 没有变换, 但它包含了0x00在编码内, 头256字节码的第一个byte都是0x00, 在操作系统(C语言)中有特殊意义, 会引起问题. 采用UTF-8编码对unicode的直接编码作些变换可以避免这问题, 并带来一些优点

查看文件编码

windows系统下将文件用记事本打开，然后文件--另存为 在对话框最下面的编码那一栏就有文件对应的编码。

source insight中的中文编码问题

代码开发经常用到source insight，这个软件的注释是支持ANSI的代码编写、但是如果是UTF-8的中文（在Linux下默认的生成文件，编码都是UTF-8编码的），在source insight下显示的就是乱码文件；
解决的方法详见附录参考文章；

附录：参考链接

1.关于编码ansi、GB2312、unicode与utf-8的区别
http://blog.csdn.net/chruan/article/details/8812110

2.source insight中文注释乱码问题的解决方案
http://blog.csdn.net/ccf19881030/article/details/8987759

3.Source Insight完美转换UTF-8 到 GB2312
http://blog.csdn.net/e0sys1/article/details/4670188

Posted by: 大CC | 31JUL,2014
博客：blog.me115.com [订阅]
微博：新浪微博

理清文件编码，告别中文乱码

时间： 2024-11-05 18:39:36

理清文件编码，告别中文乱码的相关文章

转 :Vim文件编码识别与乱码处理

Vim文件编码识别与乱码处理 在 Vim 中,有四个与编码有关的选项,它们是:fileencodings.fileencoding.encoding 和 termencoding.在实际使用中,任何一个选项出现错误,都会导致出现乱码.因此,每一个 Vim 用户都应该明确这四个选项的含义.下面,我们详细介绍一下这四个选项的含义和作用. 1 encoding www.2cto.com encoding 是 Vim 内部使用的字符编码方式.当我们设置了 encoding 之后,Vim 内部所有的 bu

Java读取文件，出现中文乱码，GB2312文件读取乱码

读取编码为gb2312格式的文件,出现中文乱码 普通文件读取,通常使用FileReader try (FileReader fileReader = new FileReader(sampleFile); BufferedReader br = new BufferedReader(fileReader);) { String line = null; StringBuilder sb = new StringBuilder(); while ((line = br.readLine()) !=

将字典直接写入文件，出现中文乱码问题

下面直接将字典写入文件,出现乱码: 解决办法:现将字典NSData,再进行归档NSKeyedArchiver 将字典直接写入文件,出现中文乱码问题,布布扣,bubuko.com

java读取.properties文件及解决中文乱码问题

Java项目中有些信息(例如web的配置信息)可能要放在.properties文件中,那我们应该怎么来读取它们呢,下面给出一个工具类做一说明,并解决了中文乱码问题: 1.其中config.properties文件信息如下: name=\u843D\u82B1\u6709\u610Fwang王 str=\u6D41\u6C34\u65E0\u60C5 boolean=true 2.PropertiesUtil工具类读取.properties文件 import java.io.BufferedInp

httpclient 4.3 psot方法上传文件与参数 中文乱码解决

废话不多说,直接上有码的! 1 package httpclient; 2 3 import java.io.File; 4 import java.nio.charset.Charset; 5 6 import org.apache.http.Consts; 7 import org.apache.http.Header; 8 import org.apache.http.HttpEntity; 9 import org.apache.http.client.methods.Closeable

casperjs在拆分文件后的中文乱码问题的解决

windows环境. capserjs的中文乱码使用phantom.outputEncoding="GBK";即可解决. 但当我们脚本很大,需要拆分时(参考http://docs.casperjs.org/en/latest/writing_modules.html),拆分到另一文件(example.js)时,中文却无法echo出来. 后来发现, example.js是我们用记事本建立的,编码为ANSI,改为UTF-8编码即可正确显示中文. 延伸,若任意脚本为ansi编码,echo中文

MyEclipse编码设置,中文乱码解决，UTF-8，GBK

我们使用MyEclipse或者Eclipse的时候经常容易遇到中文乱码问题,接下来我们就从Eclipse软件的工作空间.代码本身.控制台及服务器的代码设置做简单介绍. 一.MyEclipse工作空间编码. window-->preferences-->general-->workspace 在右侧 Text file encoding ->Other    选择UTF-8 二.MyEclipse的编辑文件(jsp/html 等)默认的编码设置,也就是文件保存的格式. 在不对MyEc

bat脚本启动exe并打开文件后退出 + 中文乱码

写了个脚本用于复制模板到新的cpp文件. 将脚本路径加到环境变量里,只需在cmd窗口输入"new hdu 1419",就会自动将模板拷贝到WORK_DIR下的hdu文件夹内一个名叫"1419.cpp"的文件,并用codeblocks打开. @echo off set WORK_DIR=E:\Documents\problems if exist %WORK_DIR%\%1 goto step2 md %WORK_DIR%\%1 :step2 copy %WORK_D

Perl读取Excel文件并解决中文乱码问题

使用CPAN中的Spreadsheet::ParseExcel模块读取Excel文件中的内容,当遇到中文乱码问题时,使用Spreadsheet::ParseExcel::FmtUnicode模块重新编码,当将中文赋值给变量时,用Encode模块经GB2312解码即可. use strict;   use Spreadsheet::ParseExcel;   use Spreadsheet::ParseExcel::FmtUnicode; use Encode;       my $oFmtC=S