curl命令整理

##curl命令

curl命令是一个功能强大的网络工具,它能够通过http、ftp等方式下载文件,也能够上传文件。

#####1. 下载单个文件,默认将输出打印到标准输出中(STDOUT)中
```
curl http://www.baidu.com
```

#####2. 通过-o/-O选项保存下载的文件到指定的文件中:
-o:将文件保存为命令行中指定的文件名(mypage.html)的文件中

```
curl -o mypagebaidu.html http://www.baidu.com

```
同样可以使用转向字符">"对输出进行转向输出
```

curl http://www.yahoo.com >mypageyahoo.html

```
-O:使用URL中默认的文件名保存文件到本地
```
curl -O http://www.qq.com

```
同时获取多个文件
```

curl -O www.sohu.com -O www.sina.com.cn

```

#####3. 断点续传:
当文件在下载完成前结束该进程,可通过-C 选项继续对该文件进行下载(已经下载过的文件不会被下载)

```
curl -O http://www.gnu.org/software/gettext/manual/gettext.html

curl -C - -O http://www.gnu.org/software/gettext/manual/gettext.html

```

#####4.对CURL使用网络限速
通过--limit-rate选项对CURL的最大网络使用进行限制

```
curl --limit-rate 1000B -O
http://www.gnu.org/software/gettext/manual/gettext.html

```

#####5. 下载指定时间内修改过的文件
当下载一个文件时,可对该文件的最后修改日期进行判断,如果该文件在指定日期内修改过,就进行下载,否则不下载。
该功能可通过使用-z选项来实现:

```
// 若yy.html文件在2011/12/21之后有过更新才会进行下载
curl -z 21-Dec-11 http://www.example.com/yy.html

```

#####6.CURL授权
在访问需要授权的页面时,可通过-u选项提供用户名和密码进行授权
```
curl -u username:password URL
```
通常的做法是在命令行只输入用户名,之后会提示输入密码,这样可以保证在查看历史记录时不会将密码泄露

```
curl -u username URL
```

#####7.FTP下载
CURL同样支持FTP下载,若在url中指定的是某个文件路径而非具体的某个要下载的文件名,CURL则会列出该目录下的所有文件名而并非下载该目录下的所有文件

```
// 列出public_html下的所有文件夹和文件
curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/

// 下载xss.php文件
curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/xss.php
```

#####8.上传文件到FTP服务器

通过 -T 选项可将指定的本地文件上传到FTP服务器上
```
// 将myfile.txt文件上传到服务器
curl -u ftpuser:ftppass -T myfile.txt ftp://ftp.testserver.com

// 同时上传多个文件
curl -u ftpuser:ftppass -T "{file1,file2}" ftp://ftp.testserver.com

// 从标准输入获取内容保存到服务器指定的文件中
curl -u ftpuser:ftppass -T - ftp://ftp.testserver.com/myfile_1.txt
```

#####9. 保存与使用网站cookie信息
```
// 将网站的cookies信息保存到sugarcookies文件中
curl -D sugarcookies http://localhost/sugarcrm/index.php

// 使用上次保存的cookie信息
curl -b sugarcookies http://localhost/sugarcrm/index.php
```

#####10.传递请求数据

默认curl使用GET方式请求数据,这种方式下直接通过URL传递数据
```
curl -u username https://api.github.com/user?access_token=XXXXXXXXXX

```
可以通过 --data/-d 方式指定使用POST方式传递数据
```
curl -u username --data "param1=value1&param2=value" https://api.github.com
```

也可以指定一个文件,将该文件中的内容当作数据传递给服务器端
```
curl --data @filename https://github.api.com/authorizations
```
默认情况下,通过POST方式传递过去的数据中若有特殊字符,首先需要将特殊字符转义在传递给服务器端,如value值中包含有空格,则需要先将空格转换成%20
```
curl -d "value%201" http://hostname.com
```
在新版本的CURL中,提供了新的选项 --data-urlencode,通过该选项提供的参数会自动转义特殊字符。
```
curl --data-urlencode "value 1" http://hostname.com
```
除了使用GET和POST协议外,还可以通过 -X 选项指定其它协议
```
curl -I -X DELETE https://api.github.cim
```

POST 一个 jason
这里想要post Json数据到接口上,需要设置好Header,也就是:‘Content-type‘:‘application/x-www-form-urlencoded‘, ‘charset‘:‘utf-8‘, ‘Accept‘: ‘text/plain‘。

```
curl -i -X POST -H "‘Content-type‘:‘application/x-www-form-urlencoded‘, ‘charset‘:‘utf-8‘, ‘Accept‘: ‘text/plain‘" -d ‘json_data={"a":"aaa","b":"bbb","data":[{"c":"ccc","d":"ddd","keywords":[{"e": "eee", "f":"fff", "g":"ggg"}]}]}‘ url

```

curl命令参数

  -a/--append 上传文件时,附加到目标文件

  -A/--user-agent <string> 设置用户代理发送给服务器

  - anyauth 可以使用“任何”身份验证方法

  -b/--cookie <name=string/file> cookie字符串或文件读取位置

  - basic 使用HTTP基本验证

  -B/--use-ascii 使用ASCII /文本传输

  -c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中

  -C/--continue-at <offset> 断点续转

  -d/--data <data> HTTP POST方式传送数据

  --data-ascii <data> 以ascii的方式post数据

  --data-binary <data> 以二进制的方式post数据

  --negotiate 使用HTTP身份验证

  --digest 使用数字身份验证

  --disable-eprt 禁止使用EPRT或LPRT

  --disable-epsv 禁止使用EPSV

  -D/--dump-header <file> 把header信息写入到该文件中

  --egd-file <file> 为随机数据(SSL)设置EGD socket路径

  --tcp-nodelay 使用TCP_NODELAY选项

  -e/--referer 来源网址

  -E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)

  --cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)

  --key <key> 私钥文件名 (SSL)

  --key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)

  --pass <pass> 私钥密码 (SSL)

  --engine <eng> 加密引擎使用 (SSL). "--engine list" for list

  --cacert <file> CA证书 (SSL)

  --capath <directory> CA目录 (made using c_rehash) to verify peer against (SSL)

  --ciphers <list> SSL密码

  --compressed 要求返回是压缩的形势 (using deflate or gzip)

  --connect-timeout <seconds> 设置最大请求时间

  --create-dirs 建立本地目录的目录层次结构

  --crlf 上传是把LF转变成CRLF

  -f/--fail 连接失败时不显示http错误

  --ftp-create-dirs 如果远程目录不存在,创建远程目录

  --ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用

  --ftp-pasv 使用 PASV/EPSV 代替端口

  --ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址

  --ftp-ssl 尝试用 SSL/TLS 来进行ftp数据传输

  --ftp-ssl-reqd 要求用 SSL/TLS 来进行ftp数据传输

  -F/--form <name=content> 模拟http表单提交数据

  -form-string <name=string> 模拟http表单提交数据

  -g/--globoff 禁用网址序列和范围使用{}和[]

  -G/--get 以get的方式来发送数据

  -h/--help 帮助

  -H/--header <line> 自定义头信息传递给服务器

  --ignore-content-length 忽略的HTTP头信息的长度

  -i/--include 输出时包括protocol头信息

  -I/--head 只显示文档信息
  
  -j/--junk-session-cookies 忽略会话Cookie

  - 界面<interface> 指定网络接口/地址使用

  - krb4 <级别> 启用与指定的安全级别krb4

  -j/--junk-session-cookies 读取文件进忽略session cookie

  --interface <interface> 使用指定网络接口/地址

  --krb4 <level> 使用指定安全级别的krb4

  -k/--insecure 允许不使用证书到SSL站点

  -K/--config 指定的配置文件读取

  -l/--list-only 列出ftp目录下的文件名称

  --limit-rate <rate> 设置传输速度

  --local-port<NUM> 强制使用本地端口号

  -m/--max-time <seconds> 设置最大传输时间

  --max-redirs <num> 设置最大读取的目录数

  --max-filesize <bytes> 设置最大下载的文件总量

  -M/--manual 显示全手动

  -n/--netrc 从netrc文件中读取用户名和密码

  --netrc-optional 使用 .netrc 或者 URL来覆盖-n

  --ntlm 使用 HTTP NTLM 身份验证

  -N/--no-buffer 禁用缓冲输出

  -o/--output 把输出写到该文件中

  -O/--remote-name 把输出写到该文件中,保留远程文件的文件名

  -p/--proxytunnel 使用HTTP代理

  --proxy-anyauth 选择任一代理身份验证方法

  --proxy-basic 在代理上使用基本身份验证

  --proxy-digest 在代理上使用数字身份验证

  --proxy-ntlm 在代理上使用ntlm身份验证

  -P/--ftp-port <address> 使用端口地址,而不是使用PASV

  -Q/--quote <cmd> 文件传输前,发送命令到服务器

  -r/--range <range> 检索来自HTTP/1.1或FTP服务器字节范围

  --range-file 读取(SSL)的随机文件

  -R/--remote-time 在本地生成文件时,保留远程文件时间

  --retry <num> 传输出现问题时,重试的次数

  --retry-delay <seconds> 传输出现问题时,设置重试间隔时间

  --retry-max-time <seconds> 传输出现问题时,设置最大重试时间

  -s/--silent 静音模式。不输出任何东西

  -S/--show-error 显示错误

  --socks4 <host[:port]> 用socks4代理给定主机和端口

  --socks5 <host[:port]> 用socks5代理给定主机和端口

  --trace <file> 对指定文件进行debug

  --trace-ascii <file> Like -- 跟踪但没有hex输出

  --trace-time 跟踪/详细输出时,添加时间戳

  -T/--upload-file <file> 上传文件

  -u/--user <user[:password]> 设置服务器的用户和密码

  -U/--proxy-user <user[:password]> 设置代理用户名和密码

  -V/--version 显示版本信息

  -w/--write-out [format] 什么输出完成后

  -x/--proxy <host[:port]> 在给定的端口上使用HTTP代理

  -X/--request <command> 指定什么命令

  -y/--speed-time 放弃限速所要的时间。默认为30

  -Y/--speed-limit 停止传输速度的限制,速度时间‘秒

  -z/--time-cond 传送时间设置

  -0/--http1.0 使用HTTP 1.0

  -1/--tlsv1 使用TLSv1(SSL)

  -2/--sslv2 使用SSLv2的(SSL)

  -3/--sslv3 使用的SSLv3(SSL)

  --3p-url 使用url,进行第三方传送

  --3p-user 使用用户名和密码,进行第三方传送

  -4/--ipv4 使用IP4

  -6/--ipv6 使用IP6

  -#/--progress-bar 用进度条显示当前的传送状态

 

时间: 2024-10-20 03:43:20

curl命令整理的相关文章

ES 2.0 集群运维命令整理

ES 2.0 集群运维命令整理 _cat命令 _cat用于查看集群当前状态,涉及到shard/node/cluster几个层次 基本参数 verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为help. 某些命令部分列默认不显示,可通过help该命令可显示的所有列 示例: curl localhost:9200/_cat/master?help bytes: 数值列还原为原始值. 如

Linux系统curl命令

curl命令 curl  -I  网址    //-I :省略源代码查看,内容如下: 我们查看的是HTTP/1.1 200 OK 这一行 常用状态吗有:200 301 302 404 403 502 503 上述状态码中,只有  200 是OK 的 如果出现301 302 ,它可能是因为在服务端设置了  跳转 ,内容如下: 上图显示,HTTP/1.1 301 设置了跳转,跳转到了下面:Location:http://www.aminglinux.com/bbs/forum.php -x  可以指

curl 命令获取网络网站的响应码

curl命令参数很多,博主很多都没有用过.今天发现可以用-w参数挺好用的. -w:--write-out,作用就是输出点什么.curl的-w参数用于在一次完整且成功的操作后输出指定格式的内容到标准输出.输出格式由普通字符串和任意数量的变量组成,输出变量需要按照%{variable_name}的格式,如果需要输出%,double一下即可,即%%,同时,\n是换行,\r是回车,\t是TAB.curl会用合适的值来替代输出格式中的变量,所有可用变量如下: url_effective 最终获取的url地

curl 命令详解

curl命令是一个利用URL规则在命令行下工作的文件传输工具.它支持文件的上传和下载,所以是综合传输工具,但按传统,习惯称curl为下载工具.作为一款强力工具,curl支持包括HTTP.HTTPS.ftp等众多协议,还支持POST.cookies.认证.从指定偏移处下载部分文件.用户代理字符串.限速.文件大小.进度条等特征.做网页处理流程和数据检索自动化,curl可以祝一臂之力. -a/--append 上传文件时,附加到目标文件 -A/--user-agent 设置用户代理发送给服务器 -an

Windows下安装使用curl命令

本机环境 Windows 7 方法/步骤 1.进入网站 https://curl.haxx.se/download/?C=M;O=D网站 2.根据自己的操作系统位数和是否需要SSL下载相应的版本. 这里下载curl-7.33.0-win64-ssl-sspi.zip,下载完成之后解压到需要使用curl命令的目录.这里为了方便我先直接解压到当前目录. 3.在本窗口下打开运行该命令 [没有建立系统环境变量,所以只能在本目录下运行],检测是否可以正常运行 注意: 想得到上面的"在此处打开命令窗口(W)

windows(64位)下使用curl命令

Curl命令可以通过命令行的方式,执行Http请求.在Elasticsearch中有使用的场景,因此这里研究下如何在windows下执行curl命令. 工具下载 在官网处下载工具包:http://curl.haxx.se/download.html 使用方式一:在curl.exe目录中使用 解压下载后的压缩文件,通过cmd命令进入到curl.exe所在的目录. 由于博主使用的是windows 64位 的系统,因此可以使用I386下的curl.exe工具. 进入到该目录后,执行curl --hel

grep命令和curl命令的使用方法

今天看了汪海写的python爬虫教程,说实话看不懂...于是就用bash下的工具自己开始写了一个抓取糗事百科的糗事的脚本,期间搜索到了grep和curl命令的一些使用技巧. grep命令,使用grep命令来进行文本的通配,一般只是显示匹配的行,但是使用以下几个参数就可以显示上下文了: -C [num] #显示匹配行的上下各num行 -A [num] #显示匹配行的后num行 -B [num] #显示匹配行的前num行 curl这个下载工具,或者已经算不上是下载工具了,因为curl过于强大了,主要

linux常用命令整理(五):shell基础

大家好,我是会唱歌的程序猿------ 最近在学习linux,闲暇之余就把这些基本的命令进行了整理,希望大家能用的上,整理的的目的是在忘了的时候翻出来看看^?_?^,前后一共分为五个部分: linux基本命令整理(一):常用命令 地址:http://www.cnblogs.com/devinCat/p/7247824.html linux基本命令整理(二):用户.用户组.文件系统和网络 地址:http://www.cnblogs.com/devinCat/p/7247847.html linux

linux常用命令整理(四):软件包管理和shell基础

大家好,我是会唱歌的程序猿------ 最近在学习linux,闲暇之余就把这些基本的命令进行了整理,希望大家能用的上,整理的的目的是在忘了的时候翻出来看看^?_?^,前后一共分为五个部分: linux基本命令整理(一):常用命令 地址:http://www.cnblogs.com/devinCat/p/7247824.html linux基本命令整理(二):用户.用户组.文件系统和网络 地址:http://www.cnblogs.com/devinCat/p/7247847.html linux