Windows10 python 3.5 Scrapy 安装配置

  学习和使用python也有2年有余,一直在cnblogs里面寻求各种问题的解决方案,还未真正的记录下自己学习、思索的点点滴滴;从今天开始将自己的学习或者实践分享出来,其目的有二:1、监督自己不断学习,不断总结;2、将自己知道的分享出来,为后来者贡献一点儿绵薄之力。言归正传,今天首记录下Scrapy的安装和配置。

  正如标题所示:我目前的操作系统和python软件分别是:windows 10 和 python 3.5,所以介绍的是基于以上环境的scrapy安装。

  1、安装Twisted

    a.首先下载需要的Twisted文件(http://www.lfd.uci.edu/~gohlke/pythonlibs/),在给定链接的页面搜索Twisted,找到所需对应的whl文件(特别注意:操作系统时32的还是64的,使用的python时32的还是64的)不要混合使用;

  

    b.安装Twisted,切换到下载目录,使用pip安装,pip install 下载文件的完整名称(例如:pip install Twisted-17.1.0-cp35-cp35m-win_amd64.whl)

  2、安装Scrapy,同样在上面连接页面中搜索scrapy并下载,安装过程依然使用pip install 下载文件的完整名称:

  

  3、安装完成进行测试,打开python解释器或者command line,进行如下测试,没有报错说明scrapy正确安装:

  

  4、接下来需要进行的就是爬虫之旅,后续文章会逐渐道来,敬请期待。

  

  

时间: 2024-10-09 21:43:02

Windows10 python 3.5 Scrapy 安装配置的相关文章

Python实用工具包Scrapy安装教程

   对于想用每个想用Python开发网络爬虫的开发者来说,Scrapy无疑是一个极好的开源工具.今天安装之后觉得Scrapy的安装确实不易啊.所以在此博文一篇,往后来着少走弯路. 废话不多说了,如果你还不知道Scrapy是何物,可登陆在其官网http://scrapy.org/一览究竟,在此不再赘述. scrapy在国内目前使用的人比较少,除了他比较新以外,还在于他本身还有很多弊端,比如:需要的支持包比较多,这些支持包相互之间的依赖关系,导致人们在安装他的时候各种吐血,而且吐血了还不一定又正确

Python学习(二) Django安装配置

上一节介绍了如何搭建Python的开发环境,这次介绍一下如何搭建Django的开发环境. 第一.下载Django Django跟Python的版本对应 Django version Python versions 1.4 2.5, 2.6, 2.7 1.7, 1.8 2.7 and 3.2, 3.3, 3.4 1.9 2.7, 3.3, 3.4, 3.5 这里我选择的是1.8.2,下载地址:https://www.djangoproject.com/download/ 第二.安装Django 下

Python介绍、下载安装配置、第一个程序Hello World

Python介绍 Python特点:优雅.明确.简单 Python源码不能加密 Python适合的领域:Web网站和各种网路服务.系统工具和脚本.作为"胶水"语言把其他语言开发的模块包装起来方便使用 Python不适合的领域:贴近硬件的代码(首选C).移动开发iOS/Android有各自的开发语言(ObjectC,Swift/Java).游戏开发:C/C++ Python可以跨平台,在linux.windows.mac os x中运行 Python目前有2.7和3.3两个版本,但是Py

Python爬虫框架Scrapy安装使用步骤

一.爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它有着广泛的用途,从数据挖掘到监测和自动测试,Scrapy完全用Python实现,完全开源,代码托管在Github上,可运行在Linux,Windows,Mac和BSD平台上,基于Twisted的异步网络库来处理网络通讯,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片. 二.Scrapy安装指南 我们的安装步骤假设你已经安装一下内容:<1>

Python之路58-Django安装配置及一些基础知识点

目录 一.安装Django 二.创建工程 三.创建app 四.静态文件 五.模板路径 六.设置settings 七.定义路由 八.定义视图 九.渲染模板 十.运行 Django是一款Python的web框架 一.安装Django pip3 install django 安装完成后C:\Python35\Script下面会生成django-admin 二.创建工程 django-admin startproject 工程名 如django-admin startproject mysite mys

检查python以及django是否安装配置成功

首先说明下,我使用pycharm作为开发的IDE,在第一次创建django项目的时候,会自动安装django包的.(网上也有很多单独安装的方法),环境变量配置成功后,就是用下面的方法检测安装成功与否. 打卡命令提示符窗体输入:python出现:Python 2.7.6 (default, Nov 10 2013, 19:24:18) [MSC v.1500 32 bit (Intel)] on win32Type "help", "copyright", "

python笔记1:安装python;eclipse中安装配置pydev

1  下载安装python. 官网:https://www.python.org/downloads/     根据自己的操作系统选择需要的版本下载并安装. 我的电脑操作系统windows xp的,只能下载3.4.4之前的版本. 3.5的版本安装后提示[不是有效的Win32应用程序] 2 安装jdk和eclipse jdk官网下载:http://www.oracle.com/technetwork/java/javase/downloads/index.html  需安装. eclipse官网下

【Python】python2.7 安装配置OpenCV2

环境:Ubuntu16.04 anaconda Python2.7 opencv2.4.13 安装opencv后 import cv2 遇到错误信息: No module named cv2 安装opencv时make的过程中会出现文件"cv2.so",它是连接OpenCV和python的关键文件.错误的原因就在于python找不到我们刚才提到的cv2.so文件 /usr/local/lib/python2.7中发现有两个文件夹,一个是dist-package,一个是site-pack

python Django Nginx+uwsgi 安装配置

基础包安装 yum install -y bind-utils traceroute wget man sudo ntp ntpdate screen patch make gcc gcc-c++ flex bison zip unzip ftp net-tools --skip-broken 安装python 下载XZ compressed source tarball    Python-3.5.3.tar.xz 到 /usr/local/src cd /usr/local/src; tar