关于解决乱码问题的一点探索之一(涉及utf-8和GBK)

在使用Visual Studio 2005进行MFC开发的时候,发现自动添加的注释变成了乱码。像这样:

// TODO: ?ú′?ìí?óרó?′ú??oí/?òμ÷ó??ùàà

还有这样:

// TODO: ?ú′?ìí?ó???¢′|àí3ìDò′ú??oí/?òμ÷ó???è??μ

它们正确的显示应该是

// TODO: 在此添加专用代码和/或调用基类

   和

// TODO: 在此添加消息处理程序代码和/或调用默认值

当保存的时候,还出现了这样的对话框:

网上找了各种教程,包括什么设置“自动识别不带签名的utf-8”什么的,都没有用。所以考虑自己解决。下面是我的探索过程:

一,保存文件

    首先,将文件以“Unicode(UTF-8带签名) 代码页:65001”的形式进行保存(带签名的UTF-8是指有BOM的UTF-8,至于带BOM和不带BOM的UTF-8有什么区别,请戳此)。如下图:

 

二,查看文件的16进制代码(就是查看文件实际上保存成什么数据了)

    使用WinHex软件打开刚刚保存的文件(当然,使用UltraEdit也可以),查看文件的16进制代码。我们找到乱码的地方,把它的16进制代码找出来,如下:

    为了更清楚地演示,我将乱码单独拷出来,一定要注意将文本保存成UTF-8(最好带BOM,如果使用Windows自带的文本编辑器编辑就自带BOM)保存成这样:

    文件对应的16进制代码为:

    最前面的三个字节“EF BB BF”就是前面所述的BOM标记,从第四个字节开始,就是文件的实际内容。观察后发现,在实际内容部分,奇数位上不是C2就是C3,偶数位的没有规律,同时,我们找出原话“在此添加专用代码和/或调用基类”对应的GBK编码值,进行比较。

表一:乱码文件中的16进制数据:

0xc3    0x94    0xc3    0x9a
0xc2    0xb4    0xc3    0x8b
0xc3    0x8c    0xc3    0xad
0xc2    0xbc    0xc3    0x93
0xc3    0x97    0xc2    0xa8
0xc3    0x93    0xc3    0x83
0xc2    0xb4    0xc3    0xba
0xc3    0x82    0xc3    0xab
0xc2    0xba    0xc3    0x8d
0x2f
0xc2    0xbb    0xc3    0xb2
0xc2    0xb5    0xc3    0xb7
0xc3    0x93    0xc3    0x83
0xc2    0xbb    0xc3    0xb9
0xc3    0x80    0xc3    0xa0

表二:“在此添加专用代码和/或调用基类”对应的GBK编码值,每个字符(汉字或者/)对应一行:

0xd4    0xda
0xb4    0xcb
0xcc    0xed
0xbc    0xd3
0xd7    0xa8
0xd3    0xc3
0xb4    0xfa
0xc2    0xeb
0xba    0xcd
0x2f
0xbb    0xf2
0xb5    0xf7
0xd3    0xc3
0xbb    0xf9
0xc0    0xe0

4,分析

     仔细观察上面的两个表中的数据,我们不难发现以下规律:

    1,将表一每行中奇数位置(除了’/’那行)的C2、C3的值去掉,剩下的值和表二中的数据高度相似。

    2,除了’/’那行,表一每行中奇数位置为C2的,后面的偶数位数字就和表二中对应位(表一种第二列对应表二第一列,表一第四列对应表二中第二列)相同,表一每行中奇数位为C3的,后面的偶数位数字加上16进制数0x40后也与表二中对应位相同(对应法则同前)。

    3,由于乱码文件是以utf-8存储的,但是经过转换后得到的编码为GBK,我们大致可以知道,出现乱码的原因就是visual studio 2005将两种编码搞混了,这应该算是一个bug吧。。毕竟visual studio 2013就从来没有碰到过。。

5,解决问题

     根据上面的规律,我们使用二进制方式读取utf-8格式编码的文件数据后经转化然后输出到GBK编码的文件中即可修正问题了。

    按照以上的规律编写一段简单的C语言程序:

#include <stdio.h>
#include <stdlib.h>

int main(int argc, char const *argv[])
{
    FILE* fp;
    FILE* fp2;
    //打开存储乱码的文件,utf-8格式,二进制打开
    if((fp2=fopen("BadCode.txt","rb+"))==NULL)
    {
        printf("Open Source File Failed!\n");
        system("pause");
        exit(1);
    }
    //打开、新建存储处理后数据的文件
    if((fp=fopen("BadCodeH.txt","w+"))==NULL)
    {
        printf("Open/Create Destination File Failed!\n");
        system("pause");
        exit(1);
    }
    //纪录奇数位(高位)的数据
    unsigned ch;
    //纪录偶数位(低位)的数据
    unsigned cl;
    //获得数据
    ch=fgetc(fp2);
    //判断文件的格式,utf-8或者Unicode,并跳过BOM字符
    if(ch==0xef)
    {
        fgetc(fp2);
        fgetc(fp2);
        ch=fgetc(fp2);
    }
    else if(ch==0xff)
    {
        fgetc(fp2);
        ch=fgetc(fp2);
    }
    //不达结尾
    while(!feof(fp2))
    {
        //ASCII字符,正常输出
        if(ch<=0x7f)
        {
            fputc(ch,fp);
        }
        //奇数位为0xC3,获得偶数位后加0x40后输出
        else if(ch==0xc3)
        {
            cl=fgetc(fp2);
            cl+=0x40;
            fputc(cl,fp);
        }
        //奇数位为0xC2,获得偶数位后直接输出
        else if(ch==0xc2)
        {
            cl=fgetc(fp2);
            fputc(cl,fp);
        }
        //其他情况,直接输出
        else
        {
            fputc(ch,fp);
        }
        //获得下一个数据
        ch=fgetc(fp2);
    }

    fclose(fp);
    fclose(fp2);
    system("pause");
    return 0;
}

操作实例结果如下图:

6,更一般的情况(既有正确的中文字符又有乱码)

    我们必须注意到一点:上面的C语言程序只适合一种情况:就是乱码文档格式为utf-8且文档中只存在中文乱码字符与ASCII字符。但是我们很多时候是源码中既有正确的中文字符又有乱码字符,这时上面的程序就无效了,因为我们需要将正确中文字符的utf-8编码转换为GBK编码才可以。我们尝试修改上面的代码来解决这个问题。

    对于既有乱码又有正常字符的文件来说,只要将正确的中文字符的utf-8编码转化为GBK编码就解决问题了,所以主要问题的关键就是建立一个utf-8与GBK编码的转换表。baidu一下,我们很容易找到了这个表,然后,就写了以下的程序,其中,UnicodeToGBK.txt文件的下载地址为:http://pan.baidu.com/s/1gdCkWSj

 

时间: 2024-10-26 10:25:16

关于解决乱码问题的一点探索之一(涉及utf-8和GBK)的相关文章

关于解决乱码问题的一点探索之二(涉及Unicode(utf-16)和GBK)

    在上篇日志中(链接),我们讨论了utf-8编码和GBK编码之间转化的乱码问题,这一篇我们讨论Unicode(utf-16编码方式)与GBK编码之间转换的乱码问题.     在Windows系统自带的记事本中,我们按照图中所示使用Unicode编码保存.     在Visual Studio 2005中,单击"文件|高级保存选项"中选择Unicode-代码页1200. 文件中只有乱码与ASCII码     按照上一篇日志中的方法,我们使用WinHex软件查看文件的16进制数据,如

servlet 解决乱码问题

对于servlet大家应该都很熟悉了,今天再复习一下,如果有哪里写的不好或不对的地点希望广大的网友批评指正.今天只讨论get和post两w种方式,他们之间有很多的不同点,所以解决编码的方式也会不一样,post的乱码问题好解决一点,下面先简单说下http协议,以便我能更好的记忆原理性的东西和他们之间的不同点. get方式和post方式都是基于http协议的,它的目的是为了提供一种发布和接收html页面的方法,由客户端发起请求,服务器端进行响应. 一个完整的请求消息包括:一个请求行,若干消息头和请求

mysql 使用set names 解决乱码问题的原理

解决乱码的方法,我们经常使用“set names utf8”,那么为什么加上这句代码就可以解决了呢?下面跟着我一起来深入set names utf8的内部执行原理 先说MySQL的字符集问题.Windows下可通过修改my.ini内的 PHP代码 [mysql] default-character-set=utf8    //客户端的默认字符集[mysqld] default-character-set=utf8    //服务器端默认的字符集 假设我们把两个都设为utf8,然后在MySQL C

关于Mysql中文乱码问题该如何解决(乱码问题完美解决方案)(转)

这篇文章给大家介绍关于Mysql中文乱码问题该如何解决(乱码问题完美解决方案)的相关资料,还给大家收集些关于MySQL会出现中文乱码原因常见的几点,小伙伴快来看看吧 最近两天做项目总是被乱码问题困扰着,这不刚把mysql中文乱码问题解决了,下面小编把我的解决方案分享给大家,供大家参考,也方便以后自己查阅. 首先: 用show variables like "%colla%":show varables like "%char%":这两条命令查看数据库与服务端的字符集

抓取网页中的内容、如何解决乱码问题、如何解决登录问题以及对所采集的数据进行处理显示的过程

本文主要介绍如何抓取网页中的内容.如何解决乱码问题.如何解决登录问题以及对所采集的数据进行处理显示的过程.效果如下所示: 1.下载网页并加载至HtmlAgilityPack 这里主要用WebClient类的DownloadString方法和HtmlAgilityPack中HtmlDocument类LoadHtml方法来实现.主要代码如下. var url = page == 1 ? "http://www.cnblogs.com/" : "http://www.cnblogs

mac系统下为emacs设置中文字体,解决乱码问题

最近换了个系统,现在用mac系统. 当打开emacs后,中文支持的不是很好.有的地方能显示,在.el文件的注释里显示为口口口口口口口口这样的框,如下图所示 找了半天,是因为中文字体的问题,只要设置好中文字体就行了. 以前在Linux下中文就支持的很好,不用配制中文字体就能显示. 配制代码如下(将其放到.emacs文件或init.el里就OK): ;; -------------------------------------------------------------------------

php 解决乱码的通用方法

一,出现乱码的原因分析 1,保存文件时候,文件有自己的文件编码,就是汉字,或者其他国语言,以什么编码来存储 2,输出的时候,要给内容指定编码,如以网页的形势输入时<meta http-equiv="Content-Type" content="text/html; charset=utf8" /> 3,从数据库取出数据时,搞不清楚数据库,设置的字符集 4,以汉字为例,汉字本来也有编码的,一个汉字gbk要二个字符,而utf8要三个字符 上面说了有可能引起乱

Openfire:解决乱码问题

当部署openfire后,创建用户和发送离线消息时会出现中文字符乱码的问题.要解决这个问题需要同时配置openfire和mysql两端. 首先openfire端,在安装页面中指定odbc连接串中需要带有?useUnicode=true&characterEncoding=UTF8&charset=utf8&characterSetResults=UTF8 然后mysql中需要确定编码变量,可以通过SHOW VARIABLES LIKE  'char%';命令查看.如果charact

170117、spring解决乱码

spring解决乱码这个问题网上有很多解决方法,也可以关注本博客的文章,在此不再赘述, 今天推荐大家另外两种解决方法! 问题现象: 1.后台代码 2.前端界面 解决方法: 方法1:是在后台请求方法上加produces = MediaType.APPLICATION_JSON_VALUE + ";charset=utf-8" 方法2:使用spring的内置类MappingJacksonValue (该方法需要spring4.1以后的版本)