Windows和Linux下scrapy框架的安装

windows下安装:

1.安装Anaconda环境管理工具

也可以使用pip安装,值得注意的是如果你使用的是pip安装,你需要解决相应的包依赖(解决依赖一般会让你怀疑人生、怀疑scrapy,建议还是用Anaconda安装,少年!)

Anaconda 下载地址:https://www.anaconda.com/download/    里面有不同的平台,不同的版本,根据您的平台进行下载即可!这里的话建议大家下载Anaconda全包,而不是Miniconda,因为后者虽然小巧,但会出现一些问题,如果你怕填坑就请下载Anaconda,500M左右,这里再说一点,python是不用安装的,当然装了也没关系!

下载完成后可以开始傻瓜式安装,下一步下一步..... 下载路径这里注意不要带空格,

Advanced Options这一步两个都勾选,第一个是加入环境变量,下面是默认安装python3.6为默认的python解释器,然后下一步下一步...,最后安装完成.

2.安装scrapy

安装完成后开始菜单中会出现Anaconda Navigator,点击启动Anaconda,稍等片刻,正在启动

启动后点击左侧:Environments

右侧有个not installed选项,未安装的包 , 在右侧搜索框输入scrapy

选中搜索到的包,点击Apply安装, 出现安装依赖包,点击安装就可以了

Linux下安装:

需要安装大量的依赖包(否则安装scrapy会报错),下面我把命令发出来,具体为什么安装这些,我就不解释了

傻瓜式命令输入:

yum -y install epel-release

yum install python-pip -y

pip install --upgrade pip

yum install gcc -y

yum install gcc libffi-devel python-devel openssl-devel -y

pip install scrapy

安装完成后打开命令行输入scrapy 如果不报错,安装就成功啦

到这里安装教程就完了,声明本篇博客借鉴了scrapy中文网的内容,大家可以百度搜索一下 scrapy中文网,教程很基础,也很有意思

原文地址:https://www.cnblogs.com/lyxdw/p/9530025.html

时间: 2024-10-07 18:37:19

Windows和Linux下scrapy框架的安装的相关文章

Python3.6下scrapy框架的安装

首先考虑使用最简单的方法安装 pip install scrapy 命令安装,提示 Failed building wheel for Twisted Microsoft Visual C++ 14.0 is required... 于是开始问度娘应该怎样安装,看了几篇博客,虽然和我的问题不十分相同,但是也受到了启发,知道应该怎样解决我的问题了.解决问题的过程总结如下: 1.直接使用pip install scrapy安装不成功可以安装whl格式的包 首先下载scrapy的whl包 下载地址:h

windows下scrapy框架学习笔记—'scrapy' 不是内部或外部命令

最近几天在深入的学习scrapy框架,但是装完各种需要的基础包之后却发现scrapy命令在别的路径下都用不了,我一开始是把python安装在F:\Python路径下的,安装了scrapy后它默认都会安装在这个路径下,scrapy在路径F:\Python\Scripts路径下,我的scrapy命令只能在此路径下用,因此创建什么工程也都只能在此文件下. 想了一下它的工作原理:它在F:\Python\Scripts路径下,就会在Scripts文件下存在一个scrapy批处理文件,那么在DOS下想要命令

windows及linux下安装django simple captcha 遇到的各种问题及解决办法

转载自http://www.cnblogs.com/descusr/p/3225874.html 所有程序写完之后,验证码图片不显示,点击图片地址会提示如下错误,并且在linux下的纠正办法 用pil产生验证码出现:ImportError: The _imagingft C module is not installed 这个是由于PIL没有编译freetype导致的 查看 lib/python2.7/site-packages/PIL/ 看看 _imagingft.so 是否存在(至关重要,因

windows和linux下 Python2,Python3 的环境及安装

目录 windows和linux下 Python2,Python3 的环境及安装 window下安装 一. 手动安装 二. pip安装 linux下 安装 更新Python 笔者有话 windows和linux下 Python2,Python3 的环境及安装 window下安装 1.下载安装包 https://www.python.org/downloads/ 2.安装 默认安装路径:C:\python27 3.配置环境变量 [右键计算机]-->[属性]-->[高级系统设置]-->[高级

【Scrapy框架的安装和基本用法】 𙦑

目录 原文: http://blog.gqylpy.com/gqy/361 @(Scrapy框架的安装和基本用法) 什么是Scrapy? ???????Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍.所谓的框架就是一个已经继承了各种功能(高性能异步下载.队列.分布式.解析.持久化等)的具有很强通用性的项目模板.对于框架的研究,重点在于研究其框架的特性.各个功能的用法即可. 开始安装 如果是Windows系统,应按照下面的顺序进行安装: pip3 insta

linux下中文输入法的安装

今天,在LinuxSLC5.3上安装了中文输入法,过程如下:原文出自[比特网],转载请保留原文链接:http://soft.chinabyte.com/os/102/11459102.shtml 1.安装中文字体库 yum install "font-chinese" 2.安装scim输入法 yum install "scim*" 3.安装scim-lang-chinese,scim-pinyin yum install scim-lang-chinese scim

Linux下的Oracle 11gr2安装完成的的自启动操作。

Linux下的Oracle在安装结束后是处于运行状态的.重启机器后,Oracle不会像在Windows下那样将Oracle添加到Windows服务,在linux下需要手动启动Orcle服务 以oracle用户下,执行下面的命令 进入sqlplus $ sqlplus /nolog 以sysdba的身份连接到数据库,并启动Oracle数据库引擎 SQL> conn /as sysdba SQL> startup 退出sqlplus,运行Listener SQL> exit $ lsnrct

打通windows和Linux下的传输问题解决只能使用SSH协议下的22端口来传输文件(Openssh for windows)

目的:打通windows和Linux下的传输问题解决只能使用SSH协议下的22端口来传输文件 环境: windows IP192.168.1.120 Linux IP192.168.101 方法: 安装opensshfor windows (次软件开源并增加ssh协议将windows模拟成Unix环境) 安装完软件导入本地用户或者域用户 进入到bin目录下面执行 cd "c:\Program Files(x86)\OpenSSH\bin" mkgroup -l >>..\e

怎样在Windows和Linux下写相同的代码

目前,Linux在国内受到了越来越多的业内人士和用户的青睐.相信在不久的将来,在国内为Linux开发 的应用软件将会有很大的增加(这不,金山正在招兵买马移植WPS呢).由于未来将会是Windows和Linux两强鼎立的格局,怎样能够使得开发的软件保持最大的可移植性就成了一个很重要的问题.小弟经过一段时间的摸索,找到了这个问题的圆满解答. 在Linux下,所有的开发工具和库都属于自由软件,可以免费获得并且功能强大.如果这些工具和库都有相应的Windows版,那么我们就能够在Windows和Linu