Pycharn中的scrapy安装教程

  在利用pycharm安装scrapy包是遇到了挺多的问题。在折腾了差不多折腾了两个小时之后总算是安装好了。期间各种谷歌和百度,发现所有的教程都是利用命令行窗口安装的。发现安装scrapy需要的包真是多的要死啊。没有专门针对pycharm安装的。因此这里将自己的安装经验分享一下,希望能帮助一些pythoner少走一些弯路(废话到此为止,下面正题。。)

  首先呢,你肯定要安装好了pycharm了,然后就是利用伟大的pycharm的自动查找安装第三方包,pycharm可以帮你找到大多数的第三方包,不需要你自己去网上查找和下载了。他会自动查找符合你添加python解释器的第三方模块。

然后就要告诉你在哪里可以利用pycharm安装第三方的包了,首先打开pycharm的左上角的File然后找到setting的选项

打开了setting之后就像上图选定的蓝色的选项,然后就会出现已经安装好了的第三方的包。有没有发现图片的右侧有一个绿色的加号,点进那个加号,然后就会出现如下的窗口。

然后你想要什么包直接在搜索框中搜索就行啦,搜索到之后就会自动帮你选中,然后点击下面的intall Package就ok啦。安装成功了就会给你一个绿色的成功的提示的信息,如果安装失败了就会有一个红色的error的提示。如果安装失败了也不要着急,一般安装失败的原因是,你要安装的包还需要其他包的支持,因此你就去百度谷歌呗,看看还需要什么包,然后按照顺序一步步的来就行。

  然后开始安装模块吧,既然要安装scrapy包,那你就要按照下面的顺序来安装了。

按照从下往上的顺序安装就可以。

安装好了之后你就可以愉快的使用Scrapy了。

这里还有一个问题需要特别注意,这个问题也是特别的重要的。那就是虽然你已经安装好了Scrapy但是还要在在环境变量中添加你的Scrapy。

这次按装我顺便也学会了如何去添加系统的环境变量(说来惭愧啊,一直没有用命令窗口来写过python程序,所以自己的python的路径都没有添加到环境变量中)

这里顺便说一下如何添加环境变量吧(这里针对的是win7)。

首相打开计算机的属性,然后点击高级系统设置,

然后点击环境变量,

找到了图中标记了的Path,选中之后点击下面的编辑,然后在出现的路径的后面加分号;,然后就开始添加你的python解释器的路径,如C:\Python27,然后继续添加你的scrapy所在的文件夹(一定要注意前面添加;)如我的是在 H:\Users\heng\AppData\Roaming\Python\Scripts

然后就大功告成了。

然后就是创建scrapy的工程了

在空目录下按住Shift键右击,选择“在此处打开命令窗口”,输入一下命令:

scrapy startproject tutorial

然后你就可以默默的等着计算机帮你创建scarpy的配置文件了。具体如何利用scrapy配置文件的详细过程我就不啰嗦了,这里有大神的总结http://www.jb51.net/article/57183.htm

本文如有纰漏和错误的地方,欢迎您的指正。

欢迎转载,转载请注明出处。

  

时间: 2024-10-12 06:22:58

Pycharn中的scrapy安装教程的相关文章

Python实用工具包Scrapy安装教程

   对于想用每个想用Python开发网络爬虫的开发者来说,Scrapy无疑是一个极好的开源工具.今天安装之后觉得Scrapy的安装确实不易啊.所以在此博文一篇,往后来着少走弯路. 废话不多说了,如果你还不知道Scrapy是何物,可登陆在其官网http://scrapy.org/一览究竟,在此不再赘述. scrapy在国内目前使用的人比较少,除了他比较新以外,还在于他本身还有很多弊端,比如:需要的支持包比较多,这些支持包相互之间的依赖关系,导致人们在安装他的时候各种吐血,而且吐血了还不一定又正确

CentOS 7中mariadb编译安装教程systemctl启动

mariadb做为mysql的替代品 现在centos的新版本yum包已换成mariadb 跟上篇一样只是启动方式改为systemd 安装一些库 yum install gcc gcc-c++ wget net-tools 查看SELinux状态: /usr/sbin/sestatus -v #如果SELinux status参数为enabled即为开启状态;如果为关闭可以跳过修改/etc/selinux/config文件 vi /etc/selinux/config 将SELINUX=enfo

Scrapy安装、爬虫入门教程、爬虫实例(豆瓣电影爬虫)

Scrapy在window上的安装教程见下面的链接:Scrapy安装教程 上述安装教程已实践,可行.本来打算在ubuntu上安装Scrapy的,但是Ubuntu 磁盘空间太少了,还没扩展磁盘空间,暂时不想再上面装太多软件. Scrapy的入门教程见下面链接:Scrapy入门教程 上面的入门教程是很基础的,先跟着作者走一遍,要动起来哟,不要只是阅读上面的那篇入门教程,下面我简单总结一下Scrapy爬虫过程: 1.在Item中定义自己要抓取的数据: movie_name就像是字典中的“键”,爬到的数

scrapy系列教程一——scrapy介绍和scrapy安装

1.scrapy可以做什么?      Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中.其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. 2. scrapy相关文档 Scrapy 中文文档     http://scrapy-chs.readthedocs.org/zh

scrapy安装使用教程

1. 安装Python,我用的是Python2.7.11,你喜欢用什么版本,你开心就好,只是后面的软件有些可能需要配套. 2. 安装pip,下载pip-8.1.2.tar.gz (md5, pgp). 解压后执行python setup.py install pip安装在python目录的子目录script下,添加一个环境变量到PATH.C:\Python27\Scripts 3. 安装Scrapy,安装这个东东需要很多组件.pip install scrapy 注:1. 之前安装Twisted

Ubuntu安装教程--Win7系统中含100M保留分区

1.检查 Win7 保留分区 1)进入 Win7 打开库文件夹,在左侧栏找到"计算机",瞄准点右键选择"管理"菜单: 2)在出来的管理面板左边找到"磁盘管理",点击它,在右边出来各个分区: 注意:如果里面有一个100M的系统保留分区,则进行下面(3-6)的操作,否则请跳至第2步复制启动文件: 3)瞄准100M"系统保留"分区点右键,选择"更改驱动器号和路径"菜单: 4)在出来的面板中,点左下角的"

scrapy 参考教程及安装

scrapy 参考教程及安装环境: win7/10 64bit, python 3.6.x教程: http://python.jobbole.com/86405/安装过程0. 预先安装 VC14 64bit (32bit最好也安装上)1. 先安装 twisted不预先安装这个会提示缺少vc++,现有版本不提供cp36的whell现有版本: https://pypi.python.org/pypi/Twisted/17.9.0历史版本: http://fstab.net/pypi/simple/t

git\CentOS6.5中gitlab安装教程

一.Git 起源: Git是一个开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目. Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件. Git 与常用的版本控制工具 CVS, Subversion 等不同,它采用了分布式版本库的方式,不必服务器端软件支持. Git 与 SVN 区别 GIT不仅仅是个版本控制系统,它也是个内容管理系统(CMS),工作管理系统等. 如果你是一个具有使用SVN背景的人,你需要做一定的思想转换,

MyEclipse10或者eclipse中配置开发Python的Pydev插件安装教程

注意使用LiClipse的用户 PyDev已经预装在LiClipse中,所以可以跳过这一步(请注意,如果使用LiClipse,PyDev不能单独安装或更新,因为它必须始终作为一个整体更新). 必需品 PyDev需要Java 8和Eclipse 4.6(Neon)才能运行,并且仅支持Python 2.6. 如果没有Java 8,更新过程可能会成功,但PyDev将不会在目标安装中显示.在尝试安装PyDev之前,请仔细检查一下在"安装详细信息>配置 "中是否使用Java 8 vm .