理解并解决GBK转UTF-8奇数中文乱码（转）

最近在做一个反馈功能，把数据反馈到对方公司网站，我公司是GBK编码，对方公司是UTF-8编码。因此，我需要将GBK编码数据转换成UTF-8编码数据，这样对方网站才不会乱码。最简单的方法是将HttpClient的ContentCharset设置为utf-8；如果ContentCharset是gbk并且又不想设置为utf-8，那么就需要将数据转换成UTF-8编码再发到对方网站。

问题出现：GBK转UTF-8时，奇数个中文会乱码，偶数个中文不会乱码。
三个中文

Java代码  

1. public static void encodeError() throws UnsupportedEncodingException {
2. String gbk = "我来了";
3. String utf8 = new String(gbk.getBytes("UTF-8"));
4. //模拟UTF-8编码的网站显示
5. System.out.println(new String(utf8.getBytes(),"UTF-8"));
6. }
7. /*
8. 我来??
9. */

前面三个中文，后面一个中文，都是奇数

Java代码  

1. public static void encodeError2() throws UnsupportedEncodingException {
2. String gbk = "今年是2011年";
3. String utf8 = new String(gbk.getBytes("UTF-8"));
4. //模拟UTF-8编码的网站显示
5. System.out.println(new String(utf8.getBytes(),"UTF-8"));
6. }
7. /*
8. 今年??011??
9. */

原因：为什么只有奇数个中文才乱码，偶数个却不乱码？下面来分析原因

Java代码  

1. public static void analyze() throws UnsupportedEncodingException {
2. String gbk = "我来了";
3. String utf8 = new String(gbk.getBytes("UTF-8"));
4. for (byte b : gbk.getBytes("UTF-8")) {
5. System.out.print(b + " ");
6. }
7. System.out.println();
8. for (byte b : utf8.getBytes()) {
9. System.out.print(b + " ");
10. }
11. }
12. /*
13. -26 -120 -111 -26 -99 -91 -28 -70 -122
14. -26 -120 -111 -26 -99 -91 -28 -70 63
15. */

注意最后一个字节不同，上面一行才是正确的UTF-8编码。那么为什么下面一行最后一个字节是63，而不是-122呢？这就是导致乱码的原因所在。
GBK编码是一个中文2个字节，而UTF-8编码是一个中文3个字节，当我们调用getBytes("UTF-8")方法时，会通过计算来增加字节，使得从GBK的2个字节变成UTF-8对应的3个字节。因此，上例3个中文输出了9个字节。

这里讲一下怎么通过计算增加字节，不深究的读者可以跳过此段。为了醒目，直接用代码讲解

Java代码  

1. public static void gbk2Utf() throws UnsupportedEncodingException {
2. String gbk = "我来了";
3. char[] c = gbk.toCharArray();
4. byte[] fullByte = new byte[3*c.length];
5. for (int i=0; i<c.length; i++) {
6. String binary = Integer.toBinaryString(c[i]);
7. StringBuffer sb = new StringBuffer();
8. int len = 16 - binary.length();
9. //前面补零
10. for(int j=0; j<len; j++){
11. sb.append("0");
12. }
13. sb.append(binary);
14. //增加位，达到到24位3个字节
15. sb.insert(0, "1110");
16. sb.insert(8, "10");
17. sb.insert(16, "10");
18. fullByte[i*3] = Integer.valueOf(sb.substring(0, 8), 2).byteValue();//二进制字符串创建整型
19. fullByte[i*3+1] = Integer.valueOf(sb.substring(8, 16), 2).byteValue();
20. fullByte[i*3+2] = Integer.valueOf(sb.substring(16, 24), 2).byteValue();
21. }
22. //模拟UTF-8编码的网站显示
23. System.out.println(new String(fullByte,"UTF-8"));
24. }

现在我们来找出最后一个字节是63，而不是-122的原因。

Java代码  

1. public static void analyze2() throws UnsupportedEncodingException {
2. String gbk = "我来了";
3. byte[] utfBytes = gbk.getBytes("UTF-8");//得到9个字节
4. String utf8 = new String(utfBytes);//问题就出在这
5. System.out.print(utf8);
6. }
7. /*
8. 鎴戞潵浜?
9. */

因为文件是GBK编码，new String(utfBytes)默认就是new String(utfBytes,"GBK")。它会2个字节2个字节地转换成字符，当字节是奇数时最后1个字节转字符就会计算错误，然后直接赋予最后这个字符为?，对应ASCII代码就是63。

解决问题
保证字节正确才是硬道理。当调用getBytes("UTF-8")转换成字节数组后，创建ISO-8859-1编码的字符串，ISO-8859-1编码是一个字节对应一个字符，因此不会使最后一个字节错误。

Java代码  

1. public static void correctEncode() throws UnsupportedEncodingException {
2. String gbk = "我来了";
3. String iso = new String(gbk.getBytes("UTF-8"),"ISO-8859-1");
4. for (byte b : iso.getBytes("ISO-8859-1")) {
5. System.out.print(b + " ");
6. }
7. System.out.println();
8. //模拟UTF-8编码的网站显示
9. System.out.println(new String(iso.getBytes("ISO-8859-1"),"UTF-8"));
10. }
11. /*
12. -26 -120 -111 -26 -99 -91 -28 -70 -122
13. 我来了
14. */

http://www.iteye.com/topic/1097560