scrapy常用一些命令行

scrapy --help 查看scrapy的基本帮助信息

scrapy --varsion 查看版本信息

scrapy startproject xxx 创建一个新的工程

scrapy genspider xexe xxxx.xom 一个工程中可以有多个spider,genspider，就是在一个工程中创建多个爬虫，

首先在进入工程当中，然后运行命令，其中xexe是爬虫的名字，xxxx.com是所要爬取得网站

scrapy list 查看一个工程有多少个爬虫，同样是要先进入项目的根目录再运行命令

scrapy view url　　　　　　　　　　查看页面源代码在浏览器中的样子，要先进入项目的根目录再运行命令

scrapy parse url 在工程中使用固定的parse函数解析某个页面，要先进入项目的根目录再运行命令

scrapy runspider xxx.py 运行一个包含了所有逻辑代码的爬虫文件，xxx.py 爬虫文件

scrapy bench 可以用来检测scrapy是否安装成功

时间： 2024-10-27 17:41:53

scrapy常用一些命令行的相关文章

Mac OS X 中一些常用的命令行技巧

一.网络设置相关 1.网卡的物理地址的动态重置出于某些需求,例如网络中的 IP 地址或网络帐号与网卡物理地址绑定,使得多个设备无法切换上网,可尝试临时更改物理地址.不过,系统偏好设置是不能修改网卡物理地址的,这就是命令行的用武之地了.具体来说,若心中已有想修改的物理地址,例如 00:1f:3c:93:b5:99,可执行 $ sudo ifconfig en1 ether 00:1f:3c:93:b5:99 来临时修改网卡的物理地址:若没有物理地址,只是想临时启用尝试一下,可用 openssl

Linux 常用的命令行

最近买了macbook air,入门版的,8+128GB 所以要捡起来一些常用的Linux命令行: 1.文件夹的操作 pwd:显示当前路径ls: 显示当前目录下的文件和文件夹mkdir devlop :创建文件夹名称为:"devlop"的文件夹rm -rf develop: 删除文件夹developwhereis java : 找到java执行的地方mv t.txt /User/sam/document. 移动文件到document 2.编辑文件 sudo vim /etc/prof

Python爬虫从入门到放弃（十三）之 Scrapy框架的命令行详解

这篇文章主要是对的scrapy命令行使用的一个介绍创建爬虫项目 scrapy startproject 项目名例子如下: localhost:spider zhaofan$ scrapy startproject test1 New Scrapy project 'test1', using template directory '/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/scra

scrapy框架的命令行解释

常用linux命令行

1.ls命令 ls -a 列出目录所有文件,包含以.开始的隐藏文件 ls -A 列出除.及..的其它文件 ls -r 反序排列 ls -t 以文件修改时间排序 ls -S 以文件大小排序 ls -h 以易读大小显示 ls -l 除了文件名之外,还将文件的权限.所有者.文件大小等信息详细列出来实例: (1) 按易读方式按时间反序排序,并显示文件详细信息 ls -lhrt (2) 按大小反序显示文件详细信息 ls -lrS (3)列出当前目录中所有以“t”开头的目录的详细内容 ls -l t* (

Python常用模块-命令行参数设置

optparse是一个比getopt更方便灵活强大的来设置命令行参数的一个模块. 示例下面是一个使用 optparse 的简单示例: from optparse import OptionParser [...] parser = OptionParser() parser.add_option("-f", "--file", dest="filename", help="write

windows常用的命令行操作

wd 查看当前所在的路径(),如图 2.输入cd 然后按tab键盘,计算就可以自动推测我们要打开的路径,如图 3.Set 查看我们的电脑配置的环境变量,上面已经说过了,这里就不再说了 4.cd 之后输入dir,可以查看当前路径下的所有文件,如图 5.cd之后,计算机会以空格为界定来区分参数的个数,如果有空格的话计算会认为这是两个参数, 比如 cd dd cc,如果不想让计算机误会,需要这样写 cd 'dd cc', 需要加上引号 6.cd../ 是返回上一级目录,./是当前的目录 7.mk

Oracle笔记二、常用dba命令行

1.给用户解锁 alter user scott account unlock; 2.注销.断开.切换当前用户连接 quit conn scott/tiger 3.用户权限查询 A .查看所有用户: select * from dba_users; select * from all_users; select * from user_users; B.查看用户或角色系统权限(直接赋值给用户或角色的系统权限): select * from dba_sys_privs; select * from

MAC下一些常用的命令行

统计了一下工作中一些会常用到的简单命令,加强记忆 ls 查看当前终端目录下面的文件 ls -a "ls -a"会出现一些带.xxxx的文件名,列出所有内容,包括隐藏的文件和目录 ls -l 列出长格式的目录的所有内容,内容如下.以空格区分访问权.这些是在文件或目录中允许的操作. 硬链接数.此数字计算子目录和文件的数量.这个数字包括父目录link(..)和当前目录link(.). 文件所有者的用户名拥有该文件的组的名称文件的大小(以字节