网页爬虫的构建（一）

好久没写博客了，这段时间已经忙成狗，半年时间就这么没了，必须得做一下总结否则白忙。接下去可能会有一系列的总结，都是关于定向爬虫（干了好几个月后才知道这个名词）的构建方法，实现平台是Node.JS。

背景

一般爬虫的逻辑是这样的，给定一个初始链接，把该链接的网页下载保存，接着分析页面中的链接，找到目标链接检查是否已经请求过，如果未请求则放入请求队列，页面下载完成后交给索引器建立索引，如此往复即可建立一套提供给搜索引擎使用的文档库。我当时的需求并不是这样，而是抓取某几个网站的数据并把规定的字段输出为结构化的文件最终会放到EXCEL中分析。后者也许只需要该网站全量的商品数据，其它一概不需要，这样见面不需要保存。

我将顺着时间顺序记录问题和想法。

  1. 编码
  2. 重定向
  3. 并发

问题

编码遇到的第一个问题，也是在哪里都会遇到的问题，要彻底解决编码问题，就需要弄清楚三个问题：

  1. 为什么乱码？
  2. 如何找到内容的正确编码？
  3. 如何转码？

为什么乱码，当然是因为当前的字符串使用的编码并不是“正确”的，所谓“正确”就是该字符串在进入内存时用的什么编码去存储。举个粟子，“你”字的utf8编码[1]时内存的值：

这时候使用ascii来解码就得不到正确的文本，因为ascii最大也就认识7E[2]。之所以NodeJS打印非utf8的字符串乱码，是因为它默认使用utf8，所以必须要找到来源的正确编码转换成utf8。

那么如何找到内容的正确编码？看HTTP协议！在HTTP header中有一个Content-Type的field[3]，它可以指定协议所支持的media-type，包括图片、文本、音频等，我们只看文本，并且是文本中的html，一般后面会跟上字符集编码。举个例子：

Content-Type: text/html; charset=ISO-8859-4

可以看到指定了html格式的文本类型和字符集，那当我们接收到返回时，只需要读取返回头中的Content-Type块，这就可以解决绝大部分问题了。但还没有完，有的网站并没有在HTTP header里面告诉你是什么字符集，例如：

Content-Type: text/html

baidu.com返回的就是这样的头，那浏览器如何知道怎么解析页面呢，因为浏览器打开并不会乱码，仔细看看返回的HTML文件就会发现文档里面会有meta标签来指定编[4]:
When the http-equiv attribute is specified on a meta element, the element is a pragma directive. You can use this element to simulate an HTTP response header, but only if the server doesn‘t send the corresponding real header; you can‘t override an HTTP header with a meta http-equiv element.

这样看来呢，协议头里面的优先级会高一点，所以正确的解析顺序是先从协议头中找编码方式，找不到再从文档里面寻找meta的http-equiv标签。（还有两篇文章关于UTF-8和Unicode详解写的很详细（[5],[6]））。

找到了正确的编码以后，就可以找类库来做转码。比如从GBK编码转到UTF-8，只需要使用它们的编码对应关系做对应的替换。在NodeJS里面使用iconv和iconv-lite可以很好地完成这个工作，iconv是C++实现的本地库，安装会有些困难，iconv-lite是纯javascript实现的转码，安装相对简单，缺点是可能码不全也没有正式版。

多谢@落幕残情的提醒，再加一点补充。编码是可以通过检测来获取的，但是在WEB中并不是正确的做法，这种方法通常在不知道源的编码情况被迫使用的，而HTTP协议中和HTML文档规定了字符编码！检测概率模型存在误差，NodeJS有一个库叫做jschardet，该模块在node-webcrawler中被使用，实践告诉我出错概率非常大。再次感谢，欢迎其他想法。

[1]. http://zh.wikipedia.org/wiki/UTF-8

[2]. http://zh.wikipedia.org/wiki/ASCII

[3]. http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html

[4]. http://www.w3.org/wiki/HTML/Elements/meta

[5]. 关于文件编码格式的一点探讨

[6].Unicode详解

时间： 2024-08-07 08:24:12

网页爬虫的构建（一）的相关文章

Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱（转）

原文:http://www.52nlp.cn/python-网页爬虫-文本处理-科学计算-机器学习-数据挖掘 曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python.离开腾讯创业后,第一个作品课程图谱也是选择了Python系的Flask框架,渐渐的将自己的绝大部分工作交给了Python.这些年来,接触和使用了很多Python工具包,特别是在文本处理,科学计算,机器学习和数据挖掘领域,有很多很多

【Python】Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱

好文 mark http://www.52nlp.cn/python-%E7%BD%91%E9%A1%B5%E7%88%AC%E8%99%AB-%E6%96%87%E6%9C%AC%E5%A4%84%E7%90%86-%E7%A7%91%E5%AD%A6%E8%AE%A1%E7%AE%97-%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98 曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工

[resource-]Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱

reference: http://www.52nlp.cn/python-%e7%bd%91%e9%a1%b5%e7%88%ac%e8%99%ab-%e6%96%87%e6%9c%ac%e5%a4%84%e7%90%86-%e7%a7%91%e5%ad%a6%e8%ae%a1%e7%ae%97-%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0-%e6%95%b0%e6%8d%ae%e6%8c%96%e6%8e%98 一.Python网页爬虫工具集 一个真实的项目,一定是

网页抓取：PHP实现网页爬虫方式小结

来源:http://www.ido321.com/1158.html 抓取某一个网页中的内容,需要对DOM树进行解析,找到指定节点后,再抓取我们需要的内容,过程有点繁琐.LZ总结了几种常用的.易于实现的网页抓取方式,如果熟悉JQuery选择器,这几种框架会相当简单. 一.Ganon 项目地址: http://code.google.com/p/ganon/ 文档: http://code.google.com/p/ganon/w/list 测试:抓取我的网站首页所有class属性值是focus的

Python天气预报采集器 python网页爬虫

这个天气预报采集是从中国天气网提取广东省内主要城市的天气并回显.本来是打算采集腾讯天气的,但是貌似它的数据是用js写上去还是什么的,得到的html文本中不包含数据,所以就算了 爬虫简单说来包括两个步骤:获得网页文本.过滤得到数据. 1.获得html文本.  python在获取html方面十分方便,寥寥数行代码就可以实现需要的功能. def getHtml(url): page = urllib.urlopen(url) html = page.read() page.close() return

网页爬虫--scrapy入门

本篇从实际出发,展示如何用网页爬虫.并介绍一个流行的爬虫框架~ 1. 网页爬虫的过程 所谓网页爬虫,就是模拟浏览器的行为访问网站,从而获得网页信息的程序.正因为是程序,所以获得网页的速度可以轻易超过单身多年的手速:).通常适用于需要大量网页信息的场合. 爬取网页的流程为:访问初始url -> 获得返回的网页,从这个网页中得到新的url并放入待爬队列 -> 访问新的url-> ...依次循环.整体上来看就是一个广度优先的过程,当然,新的url也不一定非要从返回的网页中获得. 一个简单的网页

正则表达式--网页爬虫

1 /* 2 * 网页爬虫:其实就一个程序用于在互联网中获取符合指定规则的数据. 3 * 4 * 爬取邮箱地址. 5 * 6 */ 7 public class RegexTest2 { 8 9 /** 10 * @param args 11 * @throws IOException 12 */ 13 public static void main(String[] args) throws IOException { 14 15 16 List<String> list = getMail

Python 网页爬虫

一.要解决的问题 需要解决的是根据自定义的关键词自动搜索google学术,解析搜索到的网页,下载所有相应的论文的PDF链接.这里我们采用Python来实现, 二.Python入门 python 自动缩进:shift+table整块向左缩进,table向右缩进,在修改整块代码时很有用比如将函数变成单独执行时. 了解python的变量,包,函数定义等 三.网页知识 3.1 浏览网页的过程 打开网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,

JAVA之旅（三十四）——自定义服务端，URLConnection，正则表达式特点，匹配，切割，替换，获取，网页爬虫

JAVA之旅(三十四)--自定义服务端,URLConnection,正则表达式特点,匹配,切割,替换,获取,网页爬虫 我们接着来说网络编程,TCP 一.自定义服务端 我们直接写一个服务端,让本机去连接,可以看到什么样的效果 package com.lgl.socket; import java.io.IOException; import java.io.PrintWriter; import java.net.ServerSocket; import java.net.Socket; publ