curl和wget的区别和使用

curl和wget基础功能有诸多重叠，如下载等。

在高级用途上的curl由于可自定义各种请求参数所以长于模拟web请求，用于测试网页交互（浏览器）；wget由于支持ftp和Recursive所以长于下载，用于下载文件（迅雷）。

1.下载文件

curl -O http://man.linuxde.net/text.iso                    #O大写，不用O只是打印内容不会下载wget http://www.linuxde.net/text.iso                       #不用参数，直接下载文件

2.下载文件并重命名

curl -o rename.iso http://man.linuxde.net/text.iso         #o小写wget -O rename.zip http://www.linuxde.net/text.iso         #O大写

3.断点续传

curl -O -C -URL http://man.linuxde.net/text.iso            #C大写wget -c http://www.linuxde.net/text.iso                    #c小写

4.限速下载

curl --limit-rate 50k -O http://man.linuxde.net/text.isowget --limit-rate=50k http://www.linuxde.net/text.iso

5.显示响应头部信息

curl -I http://man.linuxde.net/text.isowget --server-response http://www.linuxde.net/test.iso

6.wget利器--打包下载网站

wget --mirror -p --convert-links -P /var/www/html http://man.linuxde.net/

参考：

http://man.linuxde.net/curl

http://man.linuxde.net/wget

https://www.zhihu.com/question/19598302

时间： 2024-08-08 13:57:32

curl和wget的区别和使用的相关文章

Linux学习：curl 与 wget命令

curl和wget命令都是Linux下的工具,可以用来下载文件. 一.wget 例1: wget http://www.minjieren.com/wordpress-3.1-zh_CN.zip 下载文件保存到当前目录,文件名默认是url最后一个/后面的内容,这里就是 wordpress-3.1-zh_CN.zip 例2: wget -O myfile  http://www.minjieren.com/wordpress-3.1-zh_CN.zip 通过-O参数,可以指定文件名,这里指定的是m

【译】curl vs Wget

本文是curl和Wget主要区别之我(Daniel Stenberg,原文作者)见.可能会有些偏心向curl,毕竟curl于我像子女一样,但是我也同样推荐Wget. ... ... 共性 都是可以从FTP.HTTP.HTTPS下载内容的命令行工具 都可以发送HTTP POST请求 都支持HTTP cookies 都被设计为工作中无需用户干涉——像内置脚本一样 都是完全开源免费的 都是90年代的项目 都支持metalink 差异 curl: 库.curl由libcurl——一个API稳定且使用自由

Shell 命令 curl 和 wget 使用代理采集网页的总结大全

Linux Shell 提供两个非常实用的命令来爬取网页,它们分别是 curl 和 wget 米扑代理,作为大数据分析研究的基础服务,对其做了深入的研究和总结. curl 和 wget 使用代理 curl 支持 http.https.socks4.socks5 wget 支持 http.https Shell curl wget 示例 #!/bin/bash # # curl 支持 http.https.socks4.socks5 # wget 支持 http.https # # 米扑代理示例:

linux命令之curl，wget

curl由于可自定义各种请求参数所以在模拟web请求调试网页方面更擅长:wget由于支持ftp和Recursive所以在下载文件方面更擅长.类比的话curl是浏览器,而wget是迅雷9. 在下载上,也各有所长,wget可以递归,支持断点:而curl支持URL中加入变量,因此可以批量下载. 个人用途上,我经常用wget来下载文件,加 -c选项不怕断网:使用curl 来跟网站的API 交互,简便清晰. 1.下载文件 curl -O http://man.linuxde.net/text.iso #O

linux工具之curl与wget高级使用

1.curl(文件传输工具) 常用参数如下: -c,--cookie-jar:将cookie写入到文件 -b,--cookie:从文件中读取cookie -C,--continue-at:断点续传 -d,--data:http post方式传送数据 -D,--dump-header:把header信息写入到文件 -F,--from:模拟http表达提交数据 -s,--slient:减少输出信息 -o,--output:将信息输出到文件 -O,--remote-name:按照服务器上的文件名,存在

curl和wget下载文件

curl -v "http:// 123.mp4"请求文件下载,显示加载过程curl -v --header "Range: bytes=7405568-" -v http:// 123.mp4请求文件下载,请求头描述文件起始范围wget "http:// 123.mp4"查看下载过程,包含请求头,返回信息等 原文地址:https://blog.51cto.com/dvbxiaoduan/2386641

wget和curl中使用代理

命令使用代理 wget/curl 都支持使用代理 wget -e "http_proxy=10.1.4.43:8080″  proxy.mimvp.com curl -x 10.1.4.43:8080 proxy.mimvp.com 环境变量使用代理 curl.wget也支持通过环境变量http_proxy来设置要使用的代理服务器, 如下: # 这个帐号使用的代理服务器http_proxy="http://mycache.mydomain.com:3128″export http_pr

Linux 抓取网页方式（curl+wget）

Linux抓取网页,简单方法是直接通过 curl 或 wget 两种命令. curl 和 wget支持协议 curl  支持 http,https,ftp,ftps,scp,telnet等网络协议 wget支持 http,https,ftp网络协议 curl 和 wget抓取实例 抓取网页,主要有url 网址和proxy代理两种方式 1. url 网址方式抓取 (1)curl下载百度首页内容,保存在baidu_html文件中 curl  http://www.baidu.com/  -o  ba

curl 重定向问题

今天在curl一个网站的时候遇到一个奇怪的问题,下面是输出: [email protected]:~$ curl -L http://www.yngs.gov.cn/ -v * Hostname was NOT found in DNS cache * Trying 116.52.12.163… * Connected to www.yngs.gov.cn (116.52.12.163) port 80 (#0) GET / HTTP/1.1 User-Agent: curl/7.38.0 Ho