python 3.6.1 安装scrapy踩坑之旅

系统环境:win10 64位系统安装

python基础环境配置不做过多的介绍

window环境安装scrapy需要依赖pywin32,下载对应python版本的exe文件执行安装,下载的pywin32版本不对安装会失败

下载依赖地址:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/

下载依赖安装完成后试下pip install scrapy,很显然失败了

发现网友的解决方案:

地址:https://blog.csdn.net/aviciie/article/details/80768328

安装scrapy还需要的依赖库有这些:Twisted ,lxml ,pyOpenSSL,wheel

我的电脑上直接pip install Twisted 也不好使,

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载后,本地安装(在对应Twisted文件目录下用pip install 完整名称加后缀.whl的Twisted文件)即可

安装完成依赖后再次尝试pip install scrapy

(win7 64位系统尝试有遇到需要安装vc++依赖库,建议参考解决方案:https://blog.csdn.net/rock4you/article/details/52689043)

到python交互下 测试import scrapy无报错very nice,完美安装成功

当然还会有其他异常情况,新手的话建议用anaconda集成环境

这个是清华的镜像站地址:https://mirror.tuna.tsinghua.edu.cn/help/anaconda/

网易的镜像站下载地址:http://mirrors.163.com/

全球镜像站:  https://www.debian.org/mirror/list

原文地址:https://www.cnblogs.com/jackzz/p/9251239.html

时间: 2024-07-30 08:54:37

python 3.6.1 安装scrapy踩坑之旅的相关文章

Zabbix 踩坑之旅——zabbix触发重启tomcat

一.实验需求 公司tomcat服务经常自动崩溃,导致业务中断,暂时用zabbix对其执行监控,在tomcat崩溃时能够先自动启动,保证业务尽快恢复正常. 二.准备环境 系统环境:CentOS 6.5 IP地址: zabbix-server: 192.168.239.128 zabbix-agent: 192.168.239.130 zabbix的服务端和客户端的安装此处都以rpm包安装,配置略过.agent端上安装好tomcat. 三.开启踩坑之旅--agent端 ① 修改zabbix-agen

vue+ vue-router + webpack 踩坑之旅

说是踩坑之旅 其实是最近在思考一些问题 然后想实现方案的时候,就慢慢的查到这些方案   老司机可以忽略下面的内容了 1)起因  考虑到数据分离的问题  因为server是express搭的   自然少不了res.render("xx",data)    这句话的意思就是去查找相应的模板文件然后在用数据去渲染在将渲染好的页面去返回给浏览器,给浏览器去解析,渲染模板其实就是做的替换字符串+拼接字符串的活  各种的模板引擎也有各个优化的点(比如可以将对应的模板编译的函数保存在内存中,然后在通

一次痛苦又甜蜜的微信支付踩坑之旅

凡是和钱打交道的事,没有一样是容易的.这是我第一次接触微信支付,发现网上还是有很多同学在求助,XXX了怎么办?XXX是什么情况?为了帮助更多的小伙伴脱离"苦海",我决定写下这次的踩坑之旅,给更多的人帮助. 介绍 微信支付方式分为刷卡支付.公众号支付.扫码支付.APP支付.H5支付.小程序支付. 先从应用场景来各自说一说,这样,能够最快的判断出应该选择哪一种支付. 刷卡支付:使用扫描设备(扫描枪)多见于超市.便利店使用 公众号支付:嵌入公众号的H5页面 扫码支付:用户打开"微信

小程序踩坑之旅

小程序踩坑之旅 —— 分包 小程序踩坑之旅 —— 分享 小程序踩坑之旅 —— 页面路由 小程序踩坑之旅 —— canvas 原文地址:https://www.cnblogs.com/xxhuan/p/11334792.html

python 安装 scrapy 填坑

直接 pip install scrapy ,出大问题 缺 lxml, 那就去下 lxml ,又出大问题.(为什么总是有这么多坑要爬呢) pip用的心态爆炸了,改用 pycharm 里的 Setting->Project Interpreter 下载拓展 找到大佬的填坑步奏: 1.先安装 pywin32 2.安装 lxml 3.安装 pyOpenSSL 4.安装 Scrapy 成功 原文地址:https://www.cnblogs.com/yxyun/p/11416414.html

基于Python技术栈的算法落地踩坑

背景介绍 在一些业务场景,我们需要把离线训练好的模型以微服务部署线上,如果是简单的使用sklearn pipeline,可以保存为XML格式的pmml供Java调用,在配置为4 core,8G内存的docker环境可以提供8K左右的高并发,并且这种docker可以快速大规模部署到PaaS云平台,优势相当明显,实际情况是算法人员会基于Python自定义lambda处理数据,而自定义的lambda是很难保存到pmml中的,并且很多公司的算法团队也是要求基于Python技术栈是 落地的. 踩坑过程 算

Python 踩坑之旅进程篇其四一次性踩透 uid euid suid gid egid sgid的坑坑洼洼

目录 1.1 踩坑案例 1.2 填坑解法 1.3 坑位分析 1.4 技术关键字 1.5 坑后思考 下期坑位预告 代码示例支持 平台: Centos 6.3 Python: 2.7.14 代码示例: 菜单 - Python踩坑指南代码示例 1.1 踩坑案例 小明是个服务器管理员, 他从老管理员手里接手了一个非常繁琐的运维工作: 短暂授权root 账号给不同的 team 接口人运行备份任务 该运维任务有几个特点: 任务需且仅需运行在 root 下 root 账号只能短暂授权给各个小组 通过账号管理平

Python踩坑之旅其一杀不死的Shell子进程

1.1 踩坑案例 踩坑的程序是个常驻的Agent类管理进程, 包括但不限于如下类型的任务在执行: a. 多线程的网络通信包处理 和控制Master节点交互 有固定Listen端口 b. 定期作业任务, 通过subprocess.Pipe执行shell命令 c. etc 发现坑的过程很有意思: a.重启Agent发现Port被占用了 => 立刻想到可能进程没被杀死, 是不是停止脚本出问题 => 排除发现不是, Agent进程确实死亡了 => 通过 netstat -tanop|grep p

python第三方库PIL安装的各种坑

PIL python的图像处理库,pycharm安装屡次失败,始终报错 果断换依旧报错,查遍所有博客, 有给pip加参数的,pip install PIL --allow-external PIL --allow-unverified PIL  ,依旧不行. 走投无路,想起老师廖海峰的博客,回去查看,坑已挖好 啥都别说了,果断换pillow吧,安装好Pillow之后,PIL库就可用了