字符集与编码01--charset vs encoding

声明:此文章转载自 http://my.oschina.net/goldenshaw/blog/304493

许多时候,字符集与编码这两个概念常被混为一谈,但两者是有差别的,作为深入理解的第一步,首先要明确:

字符集字符集编码是两个不同层面的概念


  • charset是character set的简写,即字符集
  • encoding是charset encoding的简写,即字符集编码,简称编码

与接口及接口实现的对比

可以把这两者与接口接口实现做个对比:

从这里可以很清楚地看到,

  1. 编码是依赖于字符集的,就像代码中的接口实现依赖于接口一样;
  2. 一个字符集可以有多个编码实现,就像一个接口可以有多个实现类一样。

具体例子及规范用法

可以简单看两个例子,一个自于html文件,用的是charset:

<meta http-equiv="content-type" content="text/html;charset=utf-8">

另一个来自于xml文件,用的是encoding:

<?xml version="1.0" encoding="UTF-8"?>

哪一种用法更规范呢?显然是后者,它更加准确地区分了字符集与编码的概念。

“charset=utf-8”容易让人误解为存在一种叫“UTF-8”的字符集,但实际上,无论是UTF-8还是UTF-16,UTF-32都是对同一种字符集的不同编码实现而已。

为什么要严格区分字符集编码这两个概念?


字符集编码一对一的情形

有很多的字符编码方案,一个字符集只有唯一一个编码实现,两者是一一对应的。比如GB2312,这种情况,无论你怎么去称呼它们,比如“GB2312编码”,“GB2312字符集”,说来说去其实都是一个东西,可能它本身就没有特意去做什么区分,所以无论怎么说都不会错。

为什么一对一是一种普遍的情况呢?

我们以GB2312为例,GB=Guo Biao=国标=国家标准,标准出来本来就为了统一,你一个标准弄出N个编码实现来,你让人家用哪个呢?

字符集编码一对多的情形

事情到了Unicode这里,变得不一样了,唯一的Unicode字符集对应了三种编码:UTF-8,UTF-16,UTF-32。如果还是这么笼统地去称呼,就很容易搞混了。

为什么Unicode这么特殊?

人们弄出新的字符集标准,驱动力无外乎是旧的字符集里的字符不够用了。

Unicode的目标是统一所有的字符集,囊括所有的字符,所以字符集发展到它这里就到头了,再去整什么新的字符集就没必要也不应该了。

但如果觉得它现有的编码方案不太好呢?在不能弄出新的字符集情况下,只能在编码方面做文章了,于是就有了多个实现,这样一来传统的一一对应关系就打破了。

我们严格地区分字符集与编码两个概念,理由就在这里。

指定了编码,它所对应的字符集自然就指定了,编码才是我们最终要关心的。

Unicode早期与现在的对比



让我们来看一个图,它展现了Unicode早期与现在的一些差别:

注:由于历史方面的原因,你还会在不少地方看到把Unicode和UTF-8混在一块的情况,这种情况下的Unicode通常就是UTF-16或者是更早的UCS-2编码,在后面的篇章中我们会进一步分析。

下面是“记事本程序”保存时的一个截图,是Unicode的一个不规范使用,这里的Unicode就是指UTF-16:

我们现在说了不少Unicode,由于各种原因,必须承认,在不同的语境下,“Unicode”这个词有着不同的含义,它可能指:

  • Unicode标准
  • Unicode字符集
  • Unicode的抽象编码(编号),也即码点(code point)
  • Unicode的一个具体编码实现,通常即为变长的UTF-16(16或32位),又或者是更早期的定长16位的UCS-2

关于这些话题在后面的篇章里会做进一步探讨。

时间: 2024-11-01 08:36:16

字符集与编码01--charset vs encoding的相关文章

12.30 字符集和字符编码(Charset &amp; Encoding)(转载)

——每个软件开发人员应该无条件掌握的知识! ——Unicode伟大的创想! 相信大家一定碰到过,打开某个网页,却显示一堆像乱码,如"б?ЯАзЪСЯ"."?????????"?还记得HTTP中的Accept-Charset.Accept-Encoding.Accept-Language.Content-Encoding.Content-Language等消息头字段?这些就是接下来我们要探讨的. 目录: 1.基础知识 2.常用字符集和字符编码 2.1. ASCII字符

字符集和字符编码(Charset &amp; Encoding)

相信大家一定碰到过,打开某个网页,却显示一堆像乱码,如"б?ЯАзЪСЯ"."?????????"?还记得HTTP中的Accept-Charset.Accept-Encoding.Accept-Language.Content-Encoding.Content-Language等消息头字段?这些就是接下来我们要探讨的. 目录: 1.基础知识 2.常用字符集和字符编码 2.1. ASCII字符集&编码 2.2. GBXXXX字符集&编码 2.3. BI

转:字符集和字符编码(Charset &amp; Encoding)

转自:http://www.cnblogs.com/skynet/archive/2011/05/03/2035105.html ——每个软件开发人员应该无条件掌握的知识! ——Unicode伟大的创想! 相信大家一定碰到过,打开某个网页,却显示一堆像乱码,如"б?ЯАзЪСЯ"."?????????"?还记得HTTP中的Accept-Charset.Accept-Encoding.Accept-Language.Content-Encoding.Content-L

Oracle字符集、编码

Morven.Huang: C#, ORACLE, etc. ORACLE HANDBOOK系列之十:字符集.编码以及Oracle的那些事 第一部分字符集与编码常识 字符集: 人们根据需要把某些字符收集到一处,并赋以名称,于是便有了某某字符集. 编码: 当前面收集的工作完成以后,为了让只认识数字的"愚蠢"的计算机也能够存储字符,人们不得不为集合里的每一个字符分配"身份证号码",这就是编码,从此,终于可以以存储编码的方式在计算机中存储字符了. 在字符集与编码世界的漫漫

文件编码、charset、sublime编辑器支持GBK等问题

问题一:如何让sublime3支持GBK 首先打开package control ,然后键入install package进入,搜索ConvertToUTF8安装成功后 打开要查看的GBK文件,点击菜单File->ReloadWithEncoding->UTF-8这时可能会提示Error有几行提示是说:没有安装Codecs33再次打开install package输入Codecs33并安装.按照上述的方法reload文件时不会有错误了,如果想将文件修改为UTF-8编码,可以选择File->

所有的字符编码由System.Text.Encoding类获取所有的字符编码如Unicode编码、 GB18030编码、(UTF-8) 简体中文(GB2312)

本页列出来目前window下所有支持的字符编码  ---通过 System.Text.Encoding.GetEncodings()获取,里面可以对其进行查询,筛选,对同一个字符,在不同编码进行查看和分析... 代码页编号 名称 代码 类型 单字节码位 37 IBM EBCDIC (美国-加拿大) IBM037 SBCSCodePageEncoding 是 437 OEM 美国 IBM437 SBCSCodePageEncoding 是 500 IBM EBCDIC (国际) IBM500 SB

字符集与编码--代码点与代码单元

1. ASCII码 统一规定英语字符与二进制位之间的关系.ASCII码一共规定了128个字符的编码.例如,空格“SPACE”是32(二进制00100000),大写字母A是65(二进制01000001).这128个符号(包括32个不能打印出来的控制符号)只占用了一个字节的后面7位,最前面的1位统一规定为0. 2. Unicode 世界上存在多种编码方式,同一个二进制数字可以被解释成不同的符号.之所以电子邮件经常出现乱码,是因为发信人和收信人使用的编码方式不一样.作为所有符号的编码,Unicode纳

字符集与编码--Java string.length 与 char 类型

这篇博客用于记录学习字符编码过程中得到的结论,不做过多的理论讲述. 参考资料:字符集与编码(五) 1. char 类型 在Java中,char类型存放一个用UTF-16编码代码单元(16位)表示的字符,用于表示单个字符,通常用来表示字符常量.例如:'A'是编码为65所对应的字符常量. 与"A"不同,"A"是一个包含字符A的字符串.Unicode代码点可以表示为十六进制值,其范围从\u0000到\uFFFF.例如:\u2122表示注册符号,\u03C0表示希腊字母π.

MMS彩信字符集(字符编码)

彩信字符集在CharacterSets类中定义 android\frameworks\opt\telephony\src\java\com\google\android\mms\pdu\CharacterSets.java public class CharacterSets { /** * IANA assigned MIB enum numbers. * * From wap-230-wsp-20010705-a.pdf * Any-charset = <Octet 128> * Equi