wget 递归下载整个网站(网站扒皮必备)

有时间看到别人网站的页面比较漂亮,就想给扒皮下来,学习学习。分享一个我常用网站扒皮命令wget
这个命令可以以递归的方式下载整站,并可以将下载的页面中的链接转换为本地链接。

wget加上参数之后,即可成为相当强大的下载工具。

wget命令详解:

wget -r -p -np -k http://xxx.com/xxx

-r, --recursive(递归) specify recursive download.(指定递归下载)
-k, --convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)
-p, --page-requisites(页面必需元素) get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)
-np, --no-parent(不追溯至父级) don‘t ascend to the parent directory.

另外断点续传用-nc参数 日志 用-o参数

拿一个的网站扒皮试一下吧
执行 wget -r -p -np -k https://wujunze.com/ 命令

等网站递归下载完毕,你会发现你当前目录会有一个 wujunze.com的目录
进入这个目录看一下

熟练掌握wget命令,可以帮助你扒皮网站。

时间: 2024-10-22 11:54:40

wget 递归下载整个网站(网站扒皮必备)的相关文章

wget 递归下载整个网站

wget -r -p -np -k http://xxx.com/xxx -r,  --recursive(递归)          specify recursive download.(指定递归下载)-k,  --convert-links(转换链接)      make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)-p,  --page-requisites(页面必需元素)    get

Linux系统下利用wget命令把整站下载做镜像网站

Linux系统下利用wget命令把整站下载做镜像网站 2011-05-28 18:13:01 | 1次阅读 | 评论:0 条 | itokit  在linux下完整的用wget命令整站采集网站做镜像 的命令是及无视网站根目录下的robots.txt限制.并且可以模拟一个正常浏览者的信息下载该网站. C/C++ Code复制内容到剪贴板 wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.

centos5.5get 递归下载整个网站

这个命令可以以递归的方式下载整站,并可以将下载的页面中的链接转换为本地链接. wget加上参数之后,即可成为相当强大的下载工具. wget -r -p -np -k http://xxx.com/xxx -r,  --recursive(递归)          specify recursive download.(指定递归下载) -k,  --convert-links(转换链接)      make links in downloaded HTML point to local files

推荐下载视频的网站---ku6.com

00.进官网:http://www.ku6.com/ 01.搜索关键字:例子-豫剧 02.打开视频,右键硕鼠获取下载链接 03.硕鼠下载即可 00搜索关键字 01选择播放时长. 硕鼠下载关联:http://www.cnblogs.com/lieyan/p/3903376.html 推荐下载视频的网站---ku6.com,布布扣,bubuko.com

优酷电视剧爬虫代码实现一:下载解析视频网站页面(3)补充知识点:XPath无效怎么办?

XPath无效怎么办?明明XPath是通过定位子节点,copy xpath得到的,理论上是正确的 XPath无效怎么办?明明XPath是通过按F12定位符再copy XPath得到的,可是放在代码里就是不对呢? 前提:优酷电视剧爬虫代码实现一:下载解析视频网站页面(2)工作量已经完成.基于这个基础,进一步完善代码 1.新建页面解析接口. package com.dajiangtai.djt_spider.service; import com.dajiangtai.djt_spider.enti

使用Python下载妹子图网站图片

最近在学习Python的爬虫部分.看到有网友在分享使用爬虫爬取各种网站的图片的代码,也想自己写个玩玩.今天花时间分析了一下妹子图网站的结构和HTML代码,使用urllib2和BeautifulSoup写出了一个自动下载妹子图网站图片的脚本. 妹子图网址:http://www.mzitu.com 运行效果如下: 源代码如下,请各位大神指教: # -*- coding:utf8 -*- # Python:         2.7.8 # Platform:       Windows # Autho

网站图片需要付费禁止下载?这个网站神器轻松搞定!

有时候我们需要下载一个有版权或者无版权的图片作为个人使用,但是有些网站是无法直接下载图片的,需要付费购买才行,今天给大家共享一个很简单的方法,只要使用这个网站就可以解决网页需要付费的图片免费下载了: 使用方法: 1.打开需要付费或者无法右键点击无法下载的网页: 2.找到你想要下载的图片,点击鼠标右键复制图片链接: 3.将图片链接复制到这个网站点击下载到本地即可: 推荐大家3个无版权免费下载图片的网站: 1.网址:http://skuawk.com/ 2.网址:https://freephotos

【Linux基础】wget命令下载

原文 1.下载单个文件 wget http://down.51cto.com/download.php?do=attachment&aid=1131994&k=93d6cda54d8d1931041744ccb9fd54a7&t=1367300615&c=1 2.下载某个目录下的所有文件 wget -r -np -nd http://docs.fedoraproject.org/en-US/Fedora_Draft_Documentation/0.1/html/User_G

Linux wget 命令下载文件

wget是Linux系统中用来下载文件的工具,其功能还是比较多的,能够下载单个文件,也可以分段下载,下面小编将针对wget命令的用法给大家做个实例介绍. 实例1 :下载单个文件 # wget http://mirror.nbrc.ac.in/CentOS/7.0.1406/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso 1 该命令会下载CentOS 7 ISO文件到用户当前工作目录中. 实例2:续传分段下载文件 总有那么一些场景,当我们开始下载一个大文件时,