在编程方面经常遇到字符编码的问题,由于对字符集没有一个系统的认识,总是被乱码搞得一头雾水,这篇博文则是对字符编码方面的进行了一下整理,以便日后复习。在学习字符集的过程中,我主要从字符集的(a)编码方式,(b)占用字节,两个方面来进行分析的。
ISO-8859-1/ASCII
参考资料:ISO-8859-1
ISO-8859-1(Latin1)编码是单字节编码,向下兼容ASCII,其编码范围是0x00-0xFF,0x00-0x7F之间完全和ASCII一致,0x80-0x9F之间是控制字符,0xA0-0xFF之间是文字符号。因为ISO-8859-1编码范围使用了单字节内的所有空间,在支持ISO-8859-1的系统中传输和存储其他任何编码的字节流都不会被抛弃。换言之,把其他任何编码的字节流当作ISO-8859-1编码看待都没有问题。下图为ISO-8859-1字符集(包括ASCII字符集,图片来自百科)的编码表,编码方式
在下面代码中,字符串str"úù§ABD"的前三个字符由于不在ASCII编码范围内,故变量asc不能还原为源字符串。由byte数组的长度来看,ISO-8859-1和ASCII为单字节编码。
1 public static void iso(){ 2 String str = "úù§ABD"; 3 try { 4 byte[] ch = str.getBytes("ISO-8859-1"); 5 String asc = new String(ch, "ASCII"); 6 String iso = new String(ch, "ISO-8859-1"); 7 System.out.println(str+" length:"+ch.length+" bytecode:"+byte2hex(ch)+"\nASCII:"+asc +"\nISO-8859-1:"+iso); 8 } catch (UnsupportedEncodingException e) { 9 // TODO Auto-generated catch block 10 e.printStackTrace(); 11 } 12 }
OUTPUT:
úù§ABD length:6 bytecode: fa f9 a7 41 42 44
ASCII:???ABD
ISO-8859-1:úù§ABD
GBK/GB2312
GB 2312标准共收录6763个汉字,其中一级汉字3755个,二级汉字3008个;同时,GB 2312收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个全角字符。GB 2312的出现,基本满足了汉字的计算机处理需要,它所收录的汉字已经覆盖中国大陆99.75%的使用频率。对于人名、古汉语等方面出现的罕用字,GB 2312不能处理,这导致了后来GBK及GB 18030汉字字符集的出现。
汉字区位码:GB 2312中对所收汉字进行了“分区”处理,每区含有94个汉字/符号。每个汉字可以使用一个4位的十进制表示,称为区位码,前两位为区码,后两位为位码。
01-09区为特殊符号。
16-55区为一级汉字,按拼音排序。
56-87区为二级汉字,按部首/笔画排序。
10-15区及88-94区则未有编码。
举例来说,“啊”字是GB2312之中的第一个汉字,它的区位码就是1601。
字节编码方式:
在使用GB2312的程序中,通常采用EUC储存方法(分别将区码和位码加上0xA0),以便兼容于ASCII。
每个汉字及符号以两个字节来表示。第一个字节称为“高位字节”(也称“区字节)”,第二个字节称为“低位字节”(也称“位字节”)。
“高位字节”使用了0xA1-0xF7(把01-87区的区号加上0xA0),“低位字节”使用了0xA1-0xFE(把01-94加上 0xA0)。 由于一级汉字从16区起始,汉字区的“高位字节”的范围是0xB0-0xF7,“低位字节”的范围是0xA1-0xFE,占用的码位是 72*94=6768(72个汉字分区)。其中有5个空位是D7FA-D7FE。
例如“啊”字在大多数程序中,会以两个字节,0xB0(第一个字节) 0xA1(第二个字节)储存。
GBK全称《汉字内码扩展规范》,GBK编码,是在GB2312-80标准基础上的内码扩展规范,使用了双字节编码方案,其编码范围从8140至FEFE(剔除xx7F),共23940个码位,共收录了21003个汉字,完全兼容GB2312-80标准,支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字,并包含了BIG5编码中的所有汉字。
1 public static void gb(){ 2 String str = "啊aA"; 3 byte[] ch; 4 try { 5 ch = str.getBytes("GB2312"); 6 System.out.println("ch length:"+ch.length+" bytecode:"+byte2hex(ch)); 7 ch = str.getBytes("GBK"); 8 System.out.println("ch length:"+ch.length+" bytecode:"+byte2hex(ch)); 9 } catch (UnsupportedEncodingException e) { 10 // TODO Auto-generated catch block 11 e.printStackTrace(); 12 } 13 }
OUTPUT:
ch length:4 bytecode: b0 a1 61 41
ch length:4 bytecode: b0 a1 61 41
从程序可以看出GB2312,GBK是不定长的,汉字为2个字节,英文字符为一个字节。由于表示汉字或图形符号的“高位字节”的首个bit都为1,而ASCII首个bit为0,而实现了这两种字符集对ASCII的兼容。