linux shell下16进制 “\uxxxx” unicode to UTF-8中文

问题出现背景：

　　项目中有个通过ip获取归属地城市需求，我是直接通过新浪的ip归属查询接口来获取的。我使用的是shell脚本调用

　　RESULT=$(curl -s ‘http://int.dpool.sina.com.cn/iplookup/iplookup.php?format=js&ip=119.137.53.145‘)

　　返回json格式的值：

　var remote_ip_info = {"ret":1,"start":-1,"end":-1,"country":"\u4e2d\u56fd","province":"\u5e7f\u4e1c",　　　　　　　　　　　　　　　　　　　　"city":"\u6df1\u5733","district":"","isp":"","type":"","desc":""};

　我使用awk截取到city的是为"\u6df1\u5733"的16进制的unicode编码。  但是在把"\u6df1\u5733"转为中文的时候遇见了麻烦，百度上搜索到的方法是用iconv来转换成utf-8中文，但是这些方法都没有效果。　可能iconv 只是把字符转成其他字符集的字符，而"\u6df1\u5733"是中文"深圳"在unicode的汉字16进制编码表中的位置，  所以要使用iconv要转换的话，需要先把"\u6df1\u5733"解码成汉字"深圳"，然后再转换成其他utf-8、gbk、gb2312等编码方式。  iconv好像没有解码这个功能。

解决方案：

　　花了大量时间后在stack voerflow网站上找到了解决方法。　　1、安装一个uni2ascii-4.15-1.el6.rf.x86_64.rpm　　2、然后可以使用ascii2uni命名转换　　# echo ‘\u6df1\u5733‘ | ascii2uni -a U -q 　　# 深圳

时间： 2024-08-04 04:28:14

linux shell下16进制 “\uxxxx” unicode to UTF-8中文的相关文章

太有用了，所以转：Delphi下16进制位图数据转位图

如果我们在Form中拖入一个Image控件,并设置好picture后,Alt+F12就可以看到Form的源代码中已经将图片转成了16进制字符串,如下: object Image1: TImage Left = 536 Top = 24 Width = 105 Height = 105 Picture.Data = { 07544269746D61703E040000424D3E0400000000000036000000280000000700 00002B0000000100180000000

C#下16进制和BCD码转换代码

[csharp] view plain copy private static Byte[] ConvertFrom(string strTemp) { try { if (Convert.ToBoolean(strTemp.Length & 1))//数字的二进制码最后1位是1则为奇数 { strTemp = "0" + strTemp;//数位为奇数时前面补0 } Byte[] aryTemp = new Byte[strTemp.Length / 2]; for (int

Java 16进制、unicode互转

package service; import java.util.regex.Matcher; import java.util.regex.Pattern; public class CodeChange { /* * 把中文字符串转换为十六进制Unicode编码字符串 */ public static String stringToUnicode(String s) { String str = ""; for (int i = 0; i < s.length(); i++

【Linux】常用16进制代表的容量或位置

一:按地址排序 0000 0000 0000:0000 0000 0001:1字节(1位)0000 0000 0010:16字节(2位)0000 0000 0040:64字节0000 0000 0100:256字节(3位)0000 0000 0200:512字节0000 0000 0208:520字节0000 0000 0400:1024字节 1KB0000 0000 0800:2KB0000 0000 0C00:3KB0000 0000 1000:4KB(4位)0000 0000 F000:6

Qt实现16进制unicode转utf-8以及国际音标编码问题

由于项目需要,需要对网络资源进行解码.遇到编码问题.研究了下基本编码原理.于是有了下面两个通用代码 [cpp] view plaincopy 1. 16进制unicode转换为utf-8中文显示 QString unicodeToUtf_8(const QString &resStr) { // unicode转utf-8 思路: 一个unicode编码占用2字节.所以只需要用4个16进制数字结合表示就行了 QString temp; for (int i = 0; i< resStr.

python3 Unicode字符与16进制编码互转（单个字符）

def Unicode2HexChar(Unicde_Char):#Unicode转16进制 Hex_Char = "" for i in range(0, len(Unicde_Char)): Hex_Char += (hex(ord(Unicde_Char[i])).replace('0x','').zfill(4)) return Hex_Char print(Unicode2HexChar('.')) def HexChar2Unicode(Hex_Char):#16进制转Un

Android--字符串和16进制相互转化(解决中文乱码)

import java.io.ByteArrayOutputStream; /** * Created by Administrator on 2016/2/2. * -----------16进制和字符串互转--------- * ------------解决中文乱码问题--------- */ public class StringToSixthUtils { private static String hexString = "0123456789abcdef"; /* * 将字

支持windows linux下将指定内存段转为16进制与ascii码的日志输出类

来源:http://blog.csdn.net/lezhiyong 1. 简介将指定内存段转为16进制与asci码的输出到日志文件的类. 2. 功能介绍 1) 支持window与linus双系统. 2) 可指定输出目录. 3) 日志能输出的时间精确到毫秒,日志能输出线程号. 4) 提供字符串输出. 5) 提供指定内存转换为16进制输出. 6) 提供指定内存转换为16进制和ascii码同时输出. 7) 可调整16进制输出间距. 3. 原理和算法 1) 模块是基于C++语言编写: 2) 通过条件定

URL参数中汉字转换为16进制Unicode形式

导入JAR包: import java.net.*; 把汉字转换为16进制Unicode形式: String xw="新闻中心"; String name=URLEncoder.encode(xw,"utf-8"); 把16进制Unicode形式字符串转换为汉字: URLDecoder.decode("%E6%96%B0%E9%97%BB%E4%B8%AD%E5%BF%83","utf-8"); 注意:从A(UTF-8)页面中