学习和使用python也有2年有余,一直在cnblogs里面寻求各种问题的解决方案,还未真正的记录下自己学习、思索的点点滴滴;从今天开始将自己的学习或者实践分享出来,其目的有二:1、监督自己不断学习,不断总结;2、将自己知道的分享出来,为后来者贡献一点儿绵薄之力。言归正传,今天首记录下Scrapy的安装和配置。
正如标题所示:我目前的操作系统和python软件分别是:windows 10 和 python 3.5,所以介绍的是基于以上环境的scrapy安装。
1、安装Twisted
a.首先下载需要的Twisted文件(http://www.lfd.uci.edu/~gohlke/pythonlibs/),在给定链接的页面搜索Twisted,找到所需对应的whl文件(特别注意:操作系统时32的还是64的,使用的python时32的还是64的)不要混合使用;
b.安装Twisted,切换到下载目录,使用pip安装,pip install 下载文件的完整名称(例如:pip install Twisted-17.1.0-cp35-cp35m-win_amd64.whl)
2、安装Scrapy,同样在上面连接页面中搜索scrapy并下载,安装过程依然使用pip install 下载文件的完整名称:
3、安装完成进行测试,打开python解释器或者command line,进行如下测试,没有报错说明scrapy正确安装:
4、接下来需要进行的就是爬虫之旅,后续文章会逐渐道来,敬请期待。
时间: 2024-10-09 21:43:02