iconv编码转换报错问题

　　今天，再由ISO-8859编码格式转化为UTF-8格式过程中，出现报错：iconv: 未知 10304 处的非法输入序列。

　　问题分析：ISO-8859是英文格式的编码方式，不支持中文，为了解决中文支持的问题，出现了GB2312，但GB2312只支持中文简体，为了解决繁体和其它字符支持问题，出现了GBK编码方式，后来又为了支持更多的字符（猜测可能是日文韩文等语言支持）出现了GB18030编码方式。可得出结论ISO8859->GB2312->GBK->GB18030编码方式是依次扩展起来的，而且符合向下兼容的规律。因此，当执行命令iconv -f gbk -t utf-8报上面的错误的时候，可以尝试iconv -f gb18030 -t utf-8来解决。需要注意的是，网上介绍的用iconv -c 忽略未知字符的方式是错误的。

　　下图为实际验证结果：

　　

参考资料：

http://jingyan.baidu.com/article/020278118741e91bcd9ce566.html

http://www.cnblogs.com/wangkangluo1/archive/2012/05/08/2490670.html

时间： 2024-10-07 02:07:35

iconv编码转换报错问题的相关文章

Python中文转换报错 'ascii' codec can't decode byte 0xe8 in position

脚本报错: 脚本代码: 报错原因: 因为默认情况下,Python采用的是ascii编码方式,如下所示: ?? python -c "import sys; print sys.getdefaultencoding()" ascii ?? 而Python在进行编码方式之间的转换时,会将 unicode 作为“中间编码”,但 unicode 最大只有 128 那么长,所以这里当尝试将 ascii 编码字符串转换成"中间编码" unicode 时由于超出了其范围,就报出了

gbk转utf-8 iconv 编码转换

linux下面有时候 字符需要进行编码转换(爬虫将gbk转为utf-8编码...),一般可以选择iconv函数. 终端下面  输入 man 3 iconv 得到  iconv函数的使用方法. 个人看习惯了,msdn文档之后感觉linux下面的文档的看的不是那么爽了. 使用iconv函数进行转码,一般使用三个函数:iconv_open  . iconv  .iconv_close三个函数. iconv_t iconv_open(const char* tocode,const char* from

PHP iconv()编码转换函数用法示例

PHP iconv()字符编码转换函数的用法,iconv()函数,在php5中是内置的,语法格式:iconv("UTF- 8","GB2312//IGNORE",$data) ,//IGNORE的意思是忽略转换错误,如果没有ignore参数,在转换错误时所有该字符后面的字符串都无法被保存..PHP iconv()函数用 法的代码示例: <?php echo $str= '你好,欢迎来到源码爱好者!'; echo '<br />'; echo ico

iconv编码转换指令

看到一个不错的指令iconv,可以对文件编码进行转换,记录如下: iconv --list 列出所有支持转换的编码 icon -f code1 -t code2 filename -o newfile -f 即from 原来的编码 -t 即to 新的编码 filename 待转换的文件名 -o newfile 要输出的文件名

pyttsx3文字语音转换报错 No module named &quot;pythoncom&quot;

import pyttsx3 as pyt engine = pyt.init() engine.say('这是一个练习') engine.runAndWait() No module named "pythoncom" 解决方法 pip install pypiwin32 原文地址:https://www.cnblogs.com/Syue/p/12590269.html

const变量赋值报错分析

const变量赋值报错分析 const变量赋值报错 从变量到常量的赋值是合法C++的语法约定的, 如从char 到const char顺畅: 但从char **到 const char **编译器就会报错: error: invalid conversion from `char**' to `const char**' 示例: int main(int argc, char *argv[]) { char a = '1'; const char b = a; char * a2 = "1234

iconv() : Detected an illegal character in input string 报错解决(抄的)

HP传给JS字符串用ecsape转换加到url里,又用PHP接收,再用网上找的unscape函数转换一下,这样得到的字符串是UTF-8的,但我需要的是GB2312,于是用iconv转换 开始是这样用的 $str = iconv('UTF-8', 'GB2312', unescape(isset($_GET['str'])? $_GET['str']:'')); 上线后报一堆这样的错:iconv() : Detected an illegal character in input string 考

【spring boot+mybatis】注解使用方式（无xml配置）设置自动驼峰明明转换（），IDEA中xxDao报错could not autowire的解决方法

最近使用spring boot+mybatis,使用IntelliJ IDEA开发,记录一些问题的解决方法. 1.在使用@Mapper注解方式代替XXmapper.xml配置文件,使用@Select等注解配置sql语句的情况下,如何配置数据库字段名到JavaBean实体类属性命的自动驼峰命名转换? 使用spring boot后,越来越喜欢用注解方式进行配置,代替xml配置文件方式.mybatis中也可以完全使用注解,避免使用xml方式配置mapper.(参考  springboot(六):如何优

python3与python2编码导致 hmac.new/base64.b64encode(&#39;value&#39;) python3各种报错

python3编码的请查看这篇文章:https://www.cnblogs.com/575dsj/p/7112767.html 第一次:python3传的是bytes不能是str.好吧,认了.我就传bytes吧 b= hmac.new('/admindevice/GetCameraSetting','adbaskjclas',sha1).hexdigest()print(b) ------------------------------------------------------------