centos5.5get 递归下载整个网站

这个命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。
wget加上参数之后，即可成为相当强大的下载工具。
wget -r -p -np -k http://xxx.com/xxx
-r,  --recursive（递归）          specify recursive download.（指定递归下载）
-k,  --convert-links（转换链接）      make links in downloaded HTML point to local files.（将下载的HTML页面中的链接转换为相对链接即本地链接）
-p,  --page-requisites（页面必需元素）    get all images, etc. needed to display HTML page.（下载所有的图片等页面显示所需的内容）
-np, --no-parent（不追溯至父级）          don‘t ascend to the parent directory.

时间： 2025-01-09 19:43:11

centos5.5get 递归下载整个网站的相关文章

wget 递归下载整个网站(网站扒皮必备)

有时间看到别人网站的页面比较漂亮,就想给扒皮下来,学习学习.分享一个我常用网站扒皮命令wget这个命令可以以递归的方式下载整站,并可以将下载的页面中的链接转换为本地链接. wget加上参数之后,即可成为相当强大的下载工具. wget命令详解: wget -r -p -np -k http://xxx.com/xxx -r, --recursive(递归) specify recursive download.(指定递归下载)-k, --convert-links(转换链接) make links

wget 递归下载整个网站

wget -r -p -np -k http://xxx.com/xxx -r,  --recursive(递归)          specify recursive download.(指定递归下载)-k,  --convert-links(转换链接)      make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)-p,  --page-requisites(页面必需元素)    get

wget 下载整个网站，或者特定目录

需要下载某个目录下面的所有文件.命令如下 wget -c -r -np -k -L -p www.xxx.org/pub/path/ 在下载时.有用到外部域名的图片或连接.如果需要同时下载就要用-H参数. wget -np -nH -r --span-hosts www.xxx.org/pub/path/ -c 断点续传-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录-np 递归下载时不搜索上层目录,如wget -c

wget下载整个网站

wget下载整个网站wget下载整个网站可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,

Centos下wget下载整个网站，或者目录全部文件

需要下载某个目录下面的所有文件.命令如下 wget -c -r -np -k -L -p www.xxx.org/pub/path/ 在下载时.有用到外部域名的图片或连接.如果需要同时下载就要用-H参数. wget -np -nH -r –span-hosts www.xxx.org/pub/path/ -c 断点续传 -r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件 -nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录 -np 递归下载时不搜索上层目录,如wget

wget下载整个网站---比较实用--比如抓取Smarty的document

wget下载整个网站可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps, -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,比如图片什么的. 另外

python 下载整个网站

用python实现的下载整个网站工具. 核心流程很简单: 1. 输入网站地址 2. url,得到响应的内容. 3. 根据响应的http报文头,如果类型为html, 则从第4步开始执行.如果是其它类型,则从第6步执行. 4. 提取html中href和src属性值. 5. 将提取到的url,加入下载队列中.如果url已经存在于下载队列中,则丢弃它. 6. 再然后打开url队列中下一个url. 7.继续循环执行第2步,知道url队列中的url处理完为止. 这个步骤看起来很简单,但是里面很多细节要处理半

专业定制下载系统网站/下载网站源码，资源下载网站源码

10年的技术团队专业定制下载系统网站/下载网站源码,资源下载网站平台定制 该下载系统由绿茶科技团队自主开发,系统采用了国内比较主流的thinkPHP框架实现的,数据库用MySQL.是一套致力于软件应用,工具游戏,视频小说,教程资讯等通用资源下载的下载系统整站源码.模版设计整洁.清爽,广告位布局合理.会员积分体系完善,支持用户上传分享免费.收费资源. 下载收益支持用户提现. 分享有收益,刺激用户上传扩充网站资源,实现商家与平台联和共盈. PC版: 手机版: 服务器选择:  服务器购买地址:http

使用KRPano资源分析工具一键下载全景网站切片图

软件交流群:571171251(软件免费版本在群内提供) krpano技术交流群:551278936(软件免费版本在群内提供) 最新博客地址:blog.turenlong.com KRPano资源分析工具支持批量下载全景网站的全景切片图,例如下面的一个网站 http://vr.firstep.cn/dawa/lvyou/pano/honghaitanlangdao/tour.html 首先我们先在资源查看器中的筛选框中,输入xml,查看该网站的全景xml文件: 在tour.xml文件中,我们可以