字符集研究之多字节字符集和unicode字符集

作者:朱金灿

来源:http://blog.csdn.net/clever101

本文简介计算机中两大字符集:多字节字符集和unicode字符集的出现及关系。

首先我们须要明确的是计算机是怎样找到字符的,原来计算机通过一个字符编号来找到字符,这个和学校里每一个学生都有一个学号相似。这里的字符编号和相应的字符就构成了一个字符集。由于计算机最早是在英语国家诞生的,大多数英文信息是由英文字母、数字以及一些其他字符构成了一个128个字符的ASCII字符集。本来这对于英语国家来说够用了。可是随着计算机的普及,非英语国家的文字字符也须要用计算机来存储,这时字符集就须要一种扩展机制了。

一种简单的扩展机制就是兼容ASCII字符集。在后面加上自己的编码。可以想象,不同字符的编号长度是不一样的,有些是两个字节,有些是三个字节甚至四个字节等等。这种字符集就叫多字节字符集。

多字节字符集就是多种字符集的统称。比方中文字符集GB2312和GBK、日文编码JIS都是多字节字符集。

由于多字节字符遵循的是各个国家的编码,要进行信息交换必须进行繁琐的转换。

这时就有人想:有没有一种编码规则,能给全世界的字符都编上统一的编号呢?就这样unicode字符集诞生了。unicode字符集顾名思义就是每一个字符都有一个唯一的编码。最早的unicode字符是採用两个字节也是16位对字符进行编码(也就是可以对65536个字符进行编号)。故被称为utf-16。后来发现大多信息都是英文构成的,为了节省空间,同一时候为了兼容单字节的处理系统,就出现了一种变种的unicode字符集——utf8。utf8的实现原理和多字节字符集一样,前面是128个子符是ASCII字符,后面的採用变长的编码方式,就是一个字符可能用两个字节、三个字节或四个字节进行编码。

再到后面发现16位的编码也不够用了,採用32位编码,这样就出现了utf-32。

參考文献:

1. Unicode字符集和多字节字符集关系

时间: 2024-10-29 00:41:52

字符集研究之多字节字符集和unicode字符集的相关文章

【转】CEF3加载网页---多字节字符集和UNICODE字符集

static char* MBSCToCEF(const char* mbcsStr) { wchar_t* wideStr; char* utf8Str; int charLen; charLen = MultiByteToWideChar(CP_UTF8, 0, mbcsStr, -1, NULL, 0); charLen=strlen(mbcsStr)+1; wideStr = (wchar_t*) malloc(sizeof(wchar_t)*charLen); MultiByteToW

oracle查看字符集和修改字符集

oracle查看字符集和修改字符集 : 查看数据库服务器的字符集: select userenv('language') from dual ; 登陆用dba: 停掉数据库 : shutdown immediate; 启动数据库到mount状态下 : STARTUP MOUNT; ALTER SESSION SET SQL_TRACE=TRUE; ALTER SYSTEM ENABLE RESTRICTED SESSION; ALTER SYSTEM SET JOB_QUEUE_PROCESSE

字符集研究之不同字符集的转换方式

作者:朱金灿 来源:http://blog.csdn.net/clever101 在上篇文章中介绍了多字节字符集和unicode字符集,今天介绍下两大字符集之间的转换方式. 首先谈谈的是微软对于unicode字符集的态度.在windows的开发体系下,unicode字符字符集被称为宽字节字符集,多字节字符集被称为窄字符集.微软对unicode字符集是大力支持的.从以下几点可以看出:从windows2000开始使用unicode进行开发:Windows CE 本身就是使用Unicode的一种操作系

通过编写串口助手工具学习MFC过程——(三)Unicode字符集的宽字符和多字节字符转换

通过编写串口助手工具学习MFC过程 因为以前也做过几次MFC的编程,每次都是项目完成时,MFC基本操作清楚了,但是过好长时间不再接触MFC的项目,再次做MFC的项目时,又要从头开始熟悉.这次通过做一个串口助手再次熟悉一下MFC,并做了一下记录,以便方便以后查阅.做的过程中多是遇到问题直接百度和谷歌搜索来的,所以很多都是不求甚解,知其然不知其所以然.另外做此工具只是为了熟悉了解,许多功能还没有完善!(开发工具VS2008) (三)Unicode字符集的宽字符和多字节字符转换 在上一节<(二)通过&qu

【JavaScript】浅析javaScript和HTML与unicode字符集的关系

目录结构: javaScript和HTML支持的字符集 javaScript和HTML如何表现unicode字符集 参考文章 javaScript和HTML支持的字符集 JavaScript是支持unicode的. 现代的浏览器在网页中都支持ASCII字符集.ISO字符集.数学符号.希腊字母.其他符号.HTML5默认使用UTF-8.读者可以点击这儿查看ASCII.unicode和utf-8的关系. javaScript和HTML如何表现unicode字符集 HTML页面使用的是网页文档对象,它是

C# Unicode字符集批量转码为汉字(互转)

到网上不少地方传输中文的时候用的是类似/u4e2d/u56fd的字符,就是Unicode编码的字符,想知道具体什么内容,又不容易看出来,所以想把这个字符集解码为正常的字符.开始我通过Encoding转换编码格式,发现行不通,怎么都不能正常解开,然后在网上淘了些类似的解码方案,有可行的,不过我发现写的有点麻烦,而且如果我成批的Unicode字符就无法直接输出了,然后我看呀看呀看,终于,我发现了char类的两个方法:一个是char.ConvertFromUtf32,注释说:将指定的Unicode码位

字符集和字符编码

1. 概述 现在的编程语言对字符串的处理一般封装比较好,所以平时编写代码,很少要自己考虑字符编码问题.以前学习xml时,由于xml的存储涉及到编码格式,查过一些资料,知道一些概念,GB2312.Unicode.Utf-8.Utf-16.UCS-2等,但这些概念之间什么关系,仍然一知半解.最近要做国际化,需要把不支持Unicode的程序升级为Unicode,借着这个机会,把其中的知识梳理了一遍,对字符编码的理解算更系统化了,在此总结一下. 2. 字符集和字符编码 首先明确两个概念,"字符集&quo

转: 带你玩转Visual Studio——带你理解多字节编码与Unicode码

上一篇文章带你玩转Visual Studio——带你跳出坑爹的Runtime Library坑帮我们理解了Windows中的各种类型C/C++运行时库及它的来龙去脉,这是C++开发中特别容易误入歧途的一个地方,我们对它进行了总结和归纳.本篇文章我们将继续讲解C++开发中容易混淆的另一个概念——多字节字符集与Unicode字符集. 多字节字符与宽字节字符 char与wchar_t 我们知道C++基本数据类型中表示字符的有两种:char.wchar_t. char叫多字节字符,一个char占一个字节

彻底搞懂字符编码(unicode,mbcs,utf-8,utf-16,utf-32,big endian,little endian...)[转]

最近有一些朋友常问我一些乱码的问题,和他们交流过程中,发现这个编码的相关知识还真是杂乱不堪,不少人对一些知识理解似乎也有些偏差,网上百度, google的内容,也有不少以讹传讹,根本就是错误的(例如说 unicode编码是两个字节),各种软件让你选择编码的时候,常常是很长的一个选单,让用户不知道该如何选.基于这样的问题,我就写下我的理解吧,一方面帮助一些需要帮助的人纠正认识,一方面作为自己以后备查的资料. 1. ASCII(American Standard Code for Informati