python scrapy爬虫入门

Scrapy 是一个python下的网络爬虫工具，目前只有python2.x的版本。

1. 安装

　　Scrapy需要的支持库比较多，安装时挺繁琐的，测试直接用easy_install 或者 pip安装会自动下载安装需要的支持库，但是因为网络或其他种种原因总是安装失败，最好还是各个安装包分开安装。

1. 下载安装Microsoft Visual C++ 2008 Redistributable Package（注意链接是64位）  http://www.microsoft.com/en-us/download/details.aspx?id=15336
2. 下载安装pywin32: http://sourceforge.net/projects/pywin32/files/
3. Twisted: http://twistedmatrix.com/trac/wiki/Downloads
4. zope.interface   zope.interface pypi page 下载之后用easy_install安装该egg包
5. lxml: http://pypi.python.org/pypi/lxml/
6. pyOpenSSL: https://launchpad.net/pyopenssl
7. scrapy （链接为win amd64 python2.7版本）scrapy

　　以上2--7也可以通过easy_install或pip安装。