使用 wget 下载需要 cookie 认证的网站

1、使用火狐,安装 Export Cookies 插件

2、登录网站,点菜单"工具-Export Cookies..",保存 cookies.txt 到自己的文件夹

3、把 cookies.txt 文件名改成 cookie.txt

4、打开终端进入自己的文件夹,输入命令:

wget --referer=http://192.168.1.250 --cookies=on --load-cookies=cookie.txt --keep-session-cookies --save-cookies=cookie.txt http://192.168.1.250/space-1461-do-album-id-109.html

?

?

wget?-r -p -np -k?http://xxx.com/xxx

-r,? --recursive(递归)????????? specify recursive download.(指定递归下载)
-k,? --convert-links(转换链接)????? make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)
-p,? --page-requisites(页面必需元素)??? get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)
-np, --no-parent(不追溯至父级)????????? don‘t ascend to the parent directory.

另外断点续传用-nc参数
日志
用-o参数

-c 断点续传
-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np 递归下载时不搜索上层目录,如wget -c -r?www.xxx.org/pub/path/
没有加参数-np,就会同时下载path的上一级目录pub下的其它文件
-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L 递归时不进入其它主机,如wget -c -r?www.xxx.org/?
如果网站内有一个这样的链接:?
www.yyy.org,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.org网站
-p 下载网页所需的所有文件,如图片等
-A 指定要下载的文件样式列表,多个样式用逗号分隔
-i 后面跟一个文件,文件内指明要下载的URL

使用 wget 下载需要 cookie 认证的网站

时间: 2024-08-29 23:39:05

使用 wget 下载需要 cookie 认证的网站的相关文章

【Docker】通过cookie欺骗在ubuntu中使用wget下载jdk

在ubuntu系统中,如果想通过wget直接下载Orcale内的jdk文件,一般是办不到的.所以就得用特殊的方法. 首先在官网找到自己需要下载的jdk版本下载链接: 点选Accept License Agreement后,右键需要下载的Linux文件,右键点击它,选择"复制链接地址",这样就能得到该文件的下载路径. 比如下载linux x64版本文件jdk-6u45-linux-x64.bin,得到的路径为: http://download.oracle.com/otn/java/jd

wget下载整个网站

wget下载整个网站wget下载整个网站可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,

wget下载整个网站---比较实用--比如抓取Smarty的document

wget下载整个网站可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps, -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,比如图片什么的. 另外

linux下使用wget下载整个网站

linux下可以用wget下载整个网站,而且网站链接中包含utf-8编码的中文也能正确处理. 简要方法记录如下: wget --restrict-file-name=ascii -m -c -nv -np -k -E -p -R=exe,zip http://www.xxx.com 参数释义如下: --restrict-file-name=ascii ,将文件名保存为ASCII格式.这样能避免utf-8文件名带来的麻烦(注:1.12版才支持ascii参数值) -m 整站下载,mirror的缩写,

oracle官网下载老版本jdk + 如何命令行下wget下载jdk

一.文章由来 1.前天有人再去你咨询如何下载jdk的老版本,在oracle官网上找了老半天,找不到相应的选项~ 2.等待问题解决了之后,又抛出来一个新的问题,如何wget直接下载,毕竟百十来兆的文件,下载下来再上传对于我们这种蜗牛带宽来说也是一件苦逼的事情~ 二.如何下载jdk的历史版本 1.访问http://www.oracle.com 2.点击Downloads---->Java for Developers 3.在弹出的的页面中,下拉页面到最下面,点击历史归档 4.点击进去,同意协议,然后

wget下载工具

转自于:http://www.jb51.net/LINUXjishu/86326.html 1.使用wget下载单个文件  1 e.g. 2 3 wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip 4 5 #下载文件,并保存在当前目录下 6 #下载过程显示进度条,当前下载速度,剩余下载时间等 2.使用wget -O 下载并以不同的文件名保存  1 e.g. 2 3 wget http://www.centos.bz/download?id=1

ubuntu 中wget (下载)命令用法

转载自:http://www.cnblogs.com/wuheng1991/p/5332764.html Linux wget是一个下载文件的工具,它用在命令行下. 对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器 1.使用wget下载单个文件 以下的例子是从网络下载一个文件并保存在当前目录 wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip 在下载的过程中会显示进度条,包含(下载完

Let'sencrypt认证的网站Https配置

推荐使用这个脚本,具体说明里面都有 https://github.com/xdtianyu/scripts/tree/master/le-dns 它是通过调用dns服务商的api更新txt记录实现,无需指定网站目录及dns解析,支持dnspod和cloudxns两大服务商 弄完之后看这篇文章配apache https://www.cloudxns.net/Support/detail/id/906.html ============ 我是分割线 ============= 先弄个文件夹放东西mk

Wget下载终极用法和15个详细的例子

Wget是一种很好用的因特网下载工具,他具有的很多特性是其他工具所不能比拟的,再者他是一个轻量级可配置的下载工具. 本文结合例子介绍Windows下wget的多种下载方法和用途. 1.用Wget下载单个文件 下载的时候会显示: ~文件的大小.连接状态.连接地址以及文件的大小 ~保存的名称 ~下载进度条 ~下载速度.时间,还有多少未下载 例如我下载editplus时输入 wget http://software-files-a.cnet.com/s/software/12/32/81/47/epp