Centos6.5x64 安装scrapy1.0.4成功

最近在自学爬虫框架scrapy,看了看官网文档,迫不及待动手安装。结果错误百出,惨不忍睹。网上搜了一篇文章,(原文链接 http://www.tuicool.com/articles/URNVV3E)。

首先,介绍下环境:

1、Centos6.5 x64 安装在VMware虚拟机中,因为后期需要移植,遂选择了兼容vm10.0。

# yum -y update

升级下系统

2、Python2.7.9。系统自带为2.6.6。

cd ~/Download

管网下载源码:

wget --no-check-certificate https://www.python.org/ftp/python/2.7.9/Python-2.7.9.tar.xz

tar xvf Python-2.7.9.tar.xz

cd Python-2.7.9

./configure --with-ensurepip=install   #其余保持默认

make

sudo make install  # 如果python2.7.9做副版本的话使用make altinstall

[[email protected] Python-2.7.9]$ python
Python 2.7.9 (default, Feb  1 2016, 21:30:54)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-16)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>>

升级了下libffi-devel因为踩它坑太多,所以直接又更新了下,此步选做:

sudo yum install update libffi-devel

至此环境准备妥当,下面就是踩坑环节o(╯□╰)o

安装失败方法:

sudo /usr/local/bin/pip install scrapy

错误很多,参考文首的链接依然无法解决。坑就不贴出来了,慢慢踩吧。

那么多坑的主要原因在于pip安装软件的依赖库问题,尤其是:cryptography。

pip默认安装最新的而不是最稳定的版本,安装的cryptography为最新版(1.2.2    我的安装时间为2016年2月初),因此:

sudo /usr/local/bin/pip install cryptography==0.9

........无视warn

Successfully installed cryptography idna pyasn1 six enum34 ipaddress cffi pycparser
Cleaning up...

到这大功告成一大半了,接下来请主角出场:

sudo /usr/local/bin/pip install scrapy
.........

Successfully installed scrapy pyOpenSSL queuelib service-identity lxml w3lib cssselect Twisted pyasn1-modules characteristic zope.interface
Cleaning up...

[[email protected] ~]$ scrapy version
/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: ‘point_conversion_form_t‘ has no values explicitly defined; next version will refuse to guess which integer type it is meant to be (unsigned/signed, int/long)
  % self._get_c_name())
Scrapy 1.0.4
继续无视警告,已经被这些警告整疯了。

$  scrapy startproject tutorial
/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: ‘point_conversion_form_t‘ has no values explicitly defined; next version will refuse to guess which integer type it is meant to be (unsigned/signed, int/long)
  % self._get_c_name())
New Scrapy project ‘tutorial‘ created in:
    /home/Mikky/scrapy/tutorial

You can start your first spider with:
    cd tutorial
    scrapy genspider example example.com
[[email protected] scrapy]$ ll
total 4
drwxrwxr-x. 3 Mikky Mikky 4096 Feb  3 22:27 tutorial

安装完成,我再找找这个报错原因。

时间: 2024-10-09 15:47:55

Centos6.5x64 安装scrapy1.0.4成功的相关文章

CentOS6.5 安装 Mariadb10.0.20

最近在CentOS安装 Mariadb10.0.20,遇到一点小问题,所以把安装过程用博客记录: 1. 文件复制到/usr/lcoal目录下:$cp mariadb-10.0.20-linux-x86_64.tar.gz /usr/local 2.创建用户组及用户,以root操作: 2.1.#groupadd mariadb 2.2.#useradd -g mariadb mariadb 3.解压文件:# tar -zxvf mariadb-10.0.20-linux-x86_64.tar.gz

CentOS6.10安装redis5.0

1.以安装redis5.0.0为例 下载安装包:http://redis.io 安装非常简单! [[email protected] ~]#yum install gcc #需要先安装GCC,如果已安装请忽略 [root@centos6 ~]tar zxvf redis-5.0.0.tar.gz -C /usr/local #解压 [[email protected] ~]cd /usr/local/redis-5.0.0 #进入解压后的文件夹 [[email protected] redis5

centos6.5安装zabbix3.0

1:系统环境 操作系统:centos6.5最小化安装+开发包 web环境:lnmp(nginx1.10.mysql5.5.48.PHP5.4.40) 2:zabbix版本及下载 zabbix-3.0.5.tar.gz 下载地址:http://www.zabbix.com/download 3:安装依赖包 yum install net-snmp-devel OpenIPMI-developenssl-devel fping-devel libcurl-devel perl-DBI gcc 4:添

【redis】之centos6.x安装redis3.0.x

centos6.9_x86_64 1.下载redis安装包 http://download.redis.io/releases/redis-3.2.9.tar.gz 2.解压 tar -zxvf redis-3.2.9.tar.gz cd redis-3.2.9 make 如果你make时候出错,redis出现问题zmalloc.h:50:31: 错误:jemalloc/jemalloc.h:没有那个文件或目录 请执行 make MALLOC=libc 新建redis文件在 mkdir -p /

CentOS6.9安装Redis4.0.0

防伪码:没有相当程度的孤独是不可能有内心的平和. 1.环境准备 主机名 IP 系统 redis-01 192.168.10.24 CentOS release 6.9 (Final) Redis安装比较简单,官网下载界面就有参考: https://redis.io/download 2.安装 # 创建安装目录 mkdir /app # 下载redis4.0.0 cd /opt wget http://download.redis.io/releases/redis-4.0.0.tar.gz # 

CentOS6.8安装mongodb3.0并添加到系统服务

一.系统环境CentOS 6.8_x64官方参考文档https://docs.mongodb.org/manual/reference/glossary/#term-init-script 二.添加官方yum库#cd /etc/yum.repo.d/#vim  mongodb.repo [mongodb-org-3.0] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-

CentOS6.5安装Tomcat7.0.29

一.描述 在CentOS6.5上使用源代码安装和配置Tomcat7.0.29. 二.安装步骤 1.检查是否已经安装jdk,默认CentOS6.x已经安装了jdk,使用如下命令查看系统是否已经安装jdk [[email protected] tongSoftware]$ rpm -qa|grep jdk java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64 java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64 显

centos6.4安装varnish4.0

1. 安装好CentOS6.4系统后,安装更新 yum update 2. 下载varnish4.0安装包并解压 https://github.com/varnish/Varnish-Cache 放到/usr/local目录下 [[email protected] ~]# cd /usr/local/ [[email protected] local]# ls bin  etc  games  include  lib  lib64  libexec  sbin  share  src  Var

CentOS6.5安装MariaDB10.0.15编译安装和多实例管理配置

CentOS6.5 x86_64 系统 [[email protected] ~]# wget https://downloads.mariadb.org/interstitial/mariadb-10.0.15/source/mariadb-10.0.15.tar.gz/from/http%3A//mirrors.neusoft.edu.cn/mariadb groupadd -r mysql useradd -r -g mysql -s /sbin/nologin mysql mkdir /