使用urlconnection做抓取的同学应该一开始都是使用这个吧。OK回到正题来.....
在内容己有中文、英文己正常显示,仍然会有部分中文或英文出现乱码,这是为什么呢?这个问题一直在心里盘旋...真TM的蛋疼....
网上己有解决方案了,,其实这个跟各位开始学习与使用java的资料有关。
网上大部分代码都是如下:
byte[] by = new byte[20000]; StringBuffer strBuffer = new StringBuffer(); int len = 0; while ((len = urlStream.read(by, 0, by.length)) != -1) { strBuffer.append(new String(by, 0, len, "utf-8")); }
这种写法就会导致抓回的代码中有字符出现乱码。
来分析下原因:将数据流截断(by数组最大长度为20000),再转码扔进StringBuffer中。这种必然会导致内容出现乱码。
那我们怎么解决这个问题呢?
BufferedReader reader=new BufferedReader(new InputStreamReader(urlStream,"utf-8")); StringBuffer strBuffer = new StringBuffer(); String line=null; while((line=reader.readLine())!=null){ strBuffer.append(line); }
将数据流先转码,再加入到StringBuffer中....就不会有截断问题了,也就不会有乱码了,乱码是有数据被截断了,本来好好的两字节被截成只剩一个字节,还要解码,不是乱码会是什么?
小伙伴们你们现在明白了吗?
更多博客请看这里:http://www.cnblogs.com/jackicalSong/
时间: 2024-11-05 14:38:29