scrapy系列教程一——scrapy介绍和scrapy安装

1、scrapy可以做什么？

     Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

2. scrapy相关文档

Scrapy 中文文档

    http://scrapy-chs.readthedocs.org/zh_CN/0.24/

    scrapy 官网文档

    http://doc.scrapy.org/

2. scrapy安装

下列的安装步骤假定您已经安装好下列程序:

• Python 2.7
• Python Package: pip
• lxml. 大多数Linux发行版自带了lxml。如果缺失，请查看http://lxml.de/installation.html
• OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经提供。

您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).

pip install Scrapy

参照教程

http://jingyan.baidu.com/article/f3ad7d0f129c7809c2345b56.html

    具体步骤：

1.打开终端，执行如下命令python， 接下来就是import lxml， import OpenSSL。如下图。如果import没有报错，说明系统已经自带了。

2.为了能够保证下面的安装能够成功。我们先执行：sudo apt-get install python-dev 和 sudo apt-get install libevent-dev。如图：

3.接下来就是安装pip了，执行：apt-get install python-pip。如图：

4.安装Scrapy。执行：pip install Scrapy，如图：

5.验证是否成功

终端执行 scrapy命令