[Python][Scrapy 框架] Python3 Scrapy的安装

1、方法(只介绍 pip 方式安装)

  PS.不清楚 pip(easy_install) 可以百度或留言。

  cmd命令:

    

    (直接可以 pip,而不用跳转到 pip.exe目录下,是因为把所在目录加入 Path 环境变量中)

  通过 pip install 安装的好处:

    安装起来非常的方便

    安装 scrapy 和依赖包

    包的一致性可以保证

2、可能遇到的一些问题

  安装到的时候有些自动装不上:

    

  上图显示装 ‘twisted.test.raiser‘ 这个子扩展包的时候自动装不上去,因为需要 VC++ 14.0 这个东西木有。

3、解决方式

  什么包 pip 装不上去时,手动装上,然后重新 pip install scrapy,直到完成安装为止。

  扩展支持包手动下载地址:

    http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

  (一定要选择自己版本相对应的包)

  (cmd 中进入 python 即可查看自己的版本)

  例如:

    

  显示 64位 3.5 版本的 python

  那么 我需要下载的 支持库:

    

  安装完成后检查 scrapy 框架是否安装成功:

    

  成功导入 scrapy包 一般表示木有问题啦~~

4、后言

  ( ̄▽ ̄)" 希望大家都能够顺利安装 scrapy 框架

  转载请注明出处 (●‘?‘●):http://www.cnblogs.com/Twobox/

  2017-08-31 23:34:57 -> 2017-08-31 23:41:59

时间: 2024-10-12 20:57:11

[Python][Scrapy 框架] Python3 Scrapy的安装的相关文章

python爬虫随笔-scrapy框架(1)——scrapy框架的安装和结构介绍

scrapy框架简介 Scrapy,Python开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试.(引用自:百度百科) scrapy官方网站:https://scrapy.org/ scrapy官方文档:https://doc.scrapy.org/en/latest/ scrapy框架安装 首先我们安装scrapy,使用如下命令 pip install scrapy 此时很多人应该都会遇到如

web爬虫讲解—Scrapy框架爬虫—Scrapy安装—Scrapy指令

Scrapy框架安装 1.首先,终端执行命令升级pip: python -m pip install --upgrade pip2.安装,wheel(建议网络安装) pip install wheel3.安装,lxml(建议下载安装)4.安装,Twisted(建议下载安装)5.安装,Scrapy(建议网络安装) pip install Scrapy 测试Scrapy是否安装成功 Scrapy框架指令 scrapy -h 查看帮助信息 Available commands: bench Run q

第三百三十四节,web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻,爬取Ajax动态生成的信息

第三百三十四节,web爬虫讲解2-Scrapy框架爬虫-Scrapy爬取百度新闻,爬取Ajax动态生成的信息 crapy爬取百度新闻,爬取Ajax动态生成的信息,抓取百度新闻首页的新闻标题和rul地址 有多网站,当你浏览器访问时看到的信息,在html源文件里却找不到,由得信息还是滚动条滚动到对应的位置后才显示信息,那么这种一般都是 js 的 Ajax 动态请求生成的信息 我们以百度新闻为列: 1.分析网站 首先我们浏览器打开百度新闻,在网页中间部分找一条新闻信息 然后查看源码,看看在源码里是否有

第三百三十三节,web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies

第三百三十三节,web爬虫讲解2-Scrapy框架爬虫-Scrapy模拟浏览器登录 模拟浏览器登录 start_requests()方法,可以返回一个请求给爬虫的起始网站,这个返回的请求相当于start_urls,start_requests()返回的请求会替代start_urls里的请求 Request()get请求,可以设置,url.cookie.回调函数 FormRequest.from_response()表单post提交,第一个必须参数,上一次响应cookie的response对象,其

web爬虫讲解—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies

模拟浏览器登录 start_requests()方法,可以返回一个请求给爬虫的起始网站,这个返回的请求相当于start_urls,start_requests()返回的请求会替代start_urls里的请求 Request()get请求,可以设置,url.cookie.回调函数 FormRequest.from_response()表单post提交,第一个必须参数,上一次响应cookie的response对象,其他参数,cookie.url.表单内容等 yield Request()可以将一个新

web爬虫讲解—Scrapy框架爬虫—Scrapy使用

xpath表达式 //x 表示向下查找n层指定标签,如://div 表示查找所有div标签 /x 表示向下查找一层指定的标签 /@x 表示查找指定属性的值,可以连缀如:@id @src [@属性名称="属性值"]表示查找指定属性等于指定值的标签,可以连缀 ,如查找class名称等于指定名称的标签 /text() 获取标签文本类容 [x] 通过索引获取集合里的指定一个元素 1.将xpath表达式过滤出来的结果进行正则匹配,用正则取最终内容最后.re('正则') xpath('//div[

python爬虫框架之scrapy的快速上手 二

scrapy快速上手之crawl模板 前面提到过,我们使用了basic作为模板生成了爬虫 现在介绍另外一种模板:crawl 创建项目 首先在命令行界面执行: scrapy startproject Spider 后,即可得到提示 You can start your first spider with: cd Spider scrapy genspider example example.com 然后,根据提示在命令继续输入cd Spider 这样,我们就来到了所创建爬虫的工作目录下 前面已经介

Python Web 框架 Sanic Linux平台安装

1.操作系统 CentOS 7.2 X64 2.安装系统包 gcc-c++ zlib-devel 3.update python 3.5 1).安装Python Python-3.5.2.tgz ./configure make make install 2).软连接新版本 cd /usr/bin rm python ln -s /usr/local/bin/python3 /usr/bin/python 4.安装Python包 1).setuptools-30.3.0.tar.gz 2).uv

web爬虫讲解—Scrapy框架爬虫—Scrapy爬取百度新闻,爬取Ajax动态生成的信息

crapy爬取百度新闻,爬取Ajax动态生成的信息,抓取百度新闻首页的新闻rul地址 有多网站,当你浏览器访问时看到的信息,在html源文件里却找不到,由得信息还是滚动条滚动到对应的位置后才显示信息,那么这种一般都是 js 的 Ajax 动态请求生成的信息 我们以百度新闻为列: 1.分析网站 首先我们浏览器打开百度新闻,在网页中间部分找一条新闻信息 然后查看源码,看看在源码里是否有这条新闻,可以看到源文件里没有这条信息,这种情况爬虫是无法爬取到信息的 那么我们就需要抓包分析了,启动抓包软件和抓包