Java用native2ascii命令做unicode编码转换

背景:在做Java开发的时候,常常会出现一些乱码,或者无法正确识别或读取的文件,比如常见的validator验证用的消息资源(properties)文件就需要进行Unicode重新编码。原因是java默认的编码方式为Unicode,而我们的计算机系统编码常常是GBK等编码。需要将系统的编码转换为java正确识别的编码问题就解决了。

  1、native2ascii简介:native2ascii是sun java sdk提供的一个工具。用来将别的文本类文件(比如*.txt,*.ini,*.properties,*.java等等)编码转为Unicode编码。为什么要进行转码,原因在于程序的国际化。Unicode编码的定义:Unicode(统一码、万国码、单一码)是一种在计算机上使用的字符编码。它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发,1994年正式公布。随着计算机工作能力的增强,Unicode也在面世以来的十多年里得到普及。(声明:Unicode编码定义来自互联网)。

  2、获取native2ascii:安装了jdk后,假如你是在windows上安装,那么在jdk的安装目录下,会有一个bin目录,其中native2ascii.exe正是。

  3、native2ascii的命令行的命名格式:

  native2ascii -[options] [inputfile [outputfile]]

  说明:

  -[options]:表示命令开关,有两个选项可供选择

  -reverse:将Unicode编码转为本地或者指定编码,不指定编码情况下,将转为本地编码。

  -encoding encoding_name:转换为指定编码,encoding_name为编码名称。

  -[inputfile [outputfile]]

  inputfile:表示输入文件全名。

  outputfile:输出文件名。如果缺少此参数,将输出到控制台。

  4、最佳实践:首先将JDK的bin目录加入系统变量path。在盘下建立一个test目录,在test目录里建立一个zh.txt文件,文件内容为:“熔岩”,打开“命令行提示符”,并进入C:\test目录下。下面就可以按照说明一步一步来操作,注意观察其中编码的变化。

  A:将zh.txt转换为Unicode编码,输出文件到u.txt

  native2ascii zh.txt u.txt

  打开u.txt,内容为“\u7194\u5ca9”。

  B:将zh.txt转换为Unicode编码,输出到控制台

  C:\test>native2ascii zh.txt

  \u7194\u5ca9

  可以看到,控制台输出了“\u7194\u5ca9”。

  C:将zh.txt转换为ISO8859-1编码,输出文件到i.txt

  native2ascii -encoding ISO8859-1 zh.txt i.txt

  打开i.txt文件,内容为“\u00c8\u00db\u00d1\u00d2”。

  D:将u.txt转换为本地编码,输出到文件u_nv.txt

  native2ascii -reverse u.txt u_nv.txt

  打开u_nv.txt文件,内容为“熔岩”。

  E:将u.txt转换为本地编码,输出到控制台

  C:\test>native2ascii -reverse u.txt

  熔岩

  可以看到,控制台输出了“熔岩”。

  F:将i.txt转换为本地编码,输出到i_nv.txt

  native2ascii -reverse i.txt i_nv.txt

  打开i_nv.txt文件,内容为“\u00c8\u00db\u00d1\u00d2”。发现转码前后完全一样的。也就是说,等于没有转,或者说思想糊涂,对命名没有理解。。

  G:将i.txt转换为GBK编码,输出到i_gbk.txt

  native2ascii -reverse -encoding GBK i.txt i_gbk.txt

  打开i_gbk.txt文件,内容为“\u00c8\u00db\u00d1\u00d2”。发现转码前后完全一样的。也就是说,等于没有转,或者说思想糊涂,对命名没有理解。

  H:将u_nv.txt转码到本地编码GBK,输出到控制台

  C:\test>native2ascii -reverse -encoding ISO8859-1 i.txt

  熔岩

  从这个结果看,目标达到到了,编码i.txt为ISO8859-1,转为本地编码后内容为“熔岩”。从这里应该意识到,native2ascii -reverse命令中-encoding指定的编码为源文件的编码格式。而在native2ascii 命令中-encoding指定的编码为(生成的)目标文件的编码格式。这一点非常的重要!切记!!

  继续探索,新建文件12a.txt,内容“12axyz”。看看纯字母数字的编码又如何。

  I:将纯字母数字的文本文件12a.txt转换为Unicode编码

  native2ascii 12a.txt 12a_nv.txt

  打开12a_nv.txt文件,内容为“12axyz”。

  继续测试,转为ISO8859-1编码看看

  C:\test>native2ascii -encoding ISO8859-1 12a.txt

  12axyz

  结果还是没有转码。

  从结果可以得出结论:对于纯数字和字母的文本类型件,转码前后的内容是一样的。

  5、总结:native2ascii是一个非常的好转码工具,并且转码是可逆的!而其真正的含义并非本地编码——>转码为ASCII码,而是一个通用的文本文件编码转换工具。在做编码转换的时候有两类指定编码的情形,分别指输出文件编码和输入文件编码,具体可以看看最佳实践部分。

时间: 2024-10-13 12:23:10

Java用native2ascii命令做unicode编码转换的相关文章

Java 正确的做字符串编码转换

字符串的内部表示? 字符串在java中统一用unicode表示( 即utf-16 LE) , 对于 String s = "你好哦!"; 如果源码文件是GBK编码, 操作系统(windows)默认的环境编码为GBK,那么编译时,  JVM将 按照GBK编码将字节数组解析成字符,然后将字符转换为unicode格式的字节数组,作为内部存储. 当打印这个字符串时,JVM 根据操作系统本地的语言环境,将unicode转换为GBK,然后操作系统将GBK格式的内容显示出来. 当源码文件是UTF-8

C#中文和UNICODE编码转换

C#中文和UNICODE编码转换 //中文轉為UNICODE string str = "中文"; string outStr = ""; if (!string.IsNullOrEmpty(str)) { for (int i = 0; i < str.Length; i++) { //將中文轉為10進制整數,然後轉為16進制unicode outStr += "\\u" + ((int)str[i]).ToString("x&

转换编码,将Unicode编码转换成可以浏览的utf-8编码

//转换编码,将Unicode编码转换成可以浏览的utf-8编码 public function unicodeDecode($name) { $pattern = '/([\w]+)|(\\\u([\w]{4}))/i'; preg_match_all($pattern, $name, $matches); if (!empty($matches)) { $name = ''; for ($j = 0; $j < count($matches[0]); $j++) { $str = $matc

(转载)GBK、UTF8、UNICODE编码转换

GBK.UTF8.UNICODE编码转换 1 string GBKToUTF8(const std::string& strGBK) 2 { 3 int nLen = MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, NULL, 0); 4 WCHAR * wszUTF8 = new WCHAR[nLen]; 5 MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, wszUTF8, nLen);

Python3的unicode编码转换成中文问题

Python3的unicode编码转换成中文问题 从别的地方搬过来的,担心以后不容易搜索到,就收集过来. 我当时面临的问题是要从C++发json代码出来,用python写了个server,然后返回给C++程序,结果收到的是:httpSvrDataCbUser: {"tranNO": "0808ad498670dc996", "data": "\u65b0A1EY16", "ver": "1.0&q

java 中文转换成Unicode编码和Unicode编码转换成中文

转自:一叶飘舟 http://blog.csdn.net/jdsjlzx/article/details/7058823 package lia.meetlucene; import java.io.IOException; import org.apache.lucene.index.CorruptIndexException; public class Unicode { public static void main(String[] args) throws CorruptIndexEx

Jmeter后置处理器解析unicode 编码转换

使用Jmeter过程中发现,从查看结果树看到部分内容需要decode,此处参考曲线救国的方法. 步骤: 添加后置处理器-BeanShell PostProcessor 在scripts处添加相关代码,之后执行即可 1 //获取响应代码Unicode编码的 2 3 String s2=new String(prev.getResponseData(),"UTF-8"); 4 //---------------以下步骤为转码过程--------------- 5 char aChar; 6

Unicode编码转换汉字

Uri.UnescapeDataString(string) #region Unicode转换汉字 Console.WriteLine(Uri.UnescapeDataString("\u7B2C01\u96C6")); Console.WriteLine(Uri.UnescapeDataString("\"err_code_des\":\"\u8BA2\u5355\u5DF2\u5168\u989D\u9000\u6B3E\"&qu

java,arduino,C#之间的一些编码转换

C#-> Encoding.UTF8.GetBytes( "abc中") ->[97,98,99,228,184,173] java->byte[] bs= "abc中".getBytes("Utf-8");[97,98,99,-28,-72,-83] 因为 java里的byte是 -128 到 127 ,所以java中的字节数组为负 -28的原码表示跟228是一样的(二进制)