mac 前端仿站工具脚本

mac下没找到非常合适的工具来下载网站页面,来做模板网页用,

于是就查找资料,写了一个脚本,通过wget来下载页面,具体如下:

#! /bin/bash

URL="$2"
PATH="$1"

echo "download url: $URL"
echo "download dir: $PATH"

/usr/local/bin/wget -e robots=off -w 1 -xq -np -pk -E -t 1 -P "$PATH" "$URL"

echo "success to download"

注:

这里robots=off是因为wget默认会根据网站的robots.txt进行操作,如果robots.txt里是User-agent: * Disallow: /的话,wget是做不了镜像或者下载目录的。-e robots=off 这个选项可以通过这个命令绕过这个限制。

-w seconds 资源请求下载之间的等待时间(减轻服务器的压力)

-np 只下载给定URL下的内容,不下载它的上级内容

-pk 下载有关页面需要用到的所有资源,包括图片和css样式,并将绝对路径转换为相对路径(这个很重要,为了在用户打开网页的时候,加载的相关资源都在本地寻找)

-E 将下载的文件,以htm后缀保存

-t times 某个资源下载失败后的重试下载次数

-P 下载到哪个路径

讲以上内容存储为*.sh文件,并通过命令chmod +x,增加文件权限,

然后传入参数执行这个文件,如:

/Users/zhangtao/Documents/shell脚本/test.sh /Users/zhangtao/Documents/sites  http://kedahb.com/index.asp

此命令说明:执行test.sh的文件,传入了保存的目录,以及需要下载的页面文件,命令执行完毕后会提示“success to download”

下载的结果:

时间: 2024-10-08 10:17:54

mac 前端仿站工具脚本的相关文章

如何打造网站克隆、仿站工具(C#版)

前两天朋友叫我模仿一个网站,刚刚开始,我一个页面一个页面查看源码并复制和保存,花了我很多时间,一个字"累",为了减轻工作量,我写了个网站"克隆工具",一键克隆,比起人工操作, 效率提高了200%以上,精确度也大大提高,虽然网上也很多网站克隆工具,但我觉得作为一个程序员,要有点研究精神,哈哈哈,可以根据自己的需要随意编写自己需要的功能. 下面我将我写的"网站克隆工具"实现方法分享给大家,源码在文末有下载链接,有需要的朋友可以下载来玩,也可以根据自己

mac使用wget下载网站(仿站)

wget -c -r -np -k -L -p http://www.xxxx.com 参考 wget的安装 http://blog.csdn.net/ssihc0/article/details/7572180 mac下仿站工具,在回复中有网友列出了命令 http://www.v2ex.com/t/147870#reply13 可以自己 wget --help 查看各个参数是什么意思

【教你zencart仿站 第1至6课 高清晰1280x900视频下载】[支持移动端]

[教你zencart仿站 第1至6课 高清晰1280x900视频下载][支持移动端] 经过筹备, 我们的课件终于出来了- 我们 zencart联盟合伙人 项目推出的 在线yy同步演示zencart仿站案例实战进展: 教你zencart仿站第1课 前言 视频下载: http://pan.baidu.com/s/1jG7iwB0 教你zencart仿站第2课 zencart仿站工具 视频下载: http://pan.baidu.com/s/15wQ66 教你zencart仿站第3课 在本地电脑安装z

【教你zencart仿站 文章1至6教训 高清1280x900视频下载】[支持手机端]

[教你zencart仿站 第1至6课 高清晰1280x900视频下载][支持移动端] 经过筹备, 我们的课件最终出来了- 我们 zencart联盟合伙人 项目推出的 在线yy同步演示zencart仿站案例实战进展: 教你zencart仿站第1课 前言 视频下载: http://pan.baidu.com/s/1jG7iwB0 教你zencart仿站第2课 zencart仿站工具 视频下载: http://pan.baidu.com/s/15wQ66 教你zencart仿站第3课 在本地电脑安装z

前端和后端工具

工具的分享分为前端和后端工具,前面的1-7条为后台测试常用工具,最后一部分中的众多工具是前台测试工具,感谢搜索应用测试组的同学提供协助! 邮件中所列出的工具,有哪些你不知道如何使用,或者认为有必要做进一步讲解,请告知我们,我们随时倾听你的声音,并据此筹划下一步的分享,谢谢! 1. screen命令 应用场景: 当你运行一个任务,比如make一个大的项目.建立索引的时候,任务的时间很长,在这段时间如果需要断开网络连接(比如想关机.或者网络问题),你的任务将会消失.screen就可以解决这样的问题.

【分享】后盾网原创视频,DEDECMS万能仿站视频教程 (二次开发)

下载地址 链接:http://pan.baidu.com/disk/home#list/path=/ 用户[email protected] 密码:redbaidu 如需要全部课程请扫描下面二维码或者关注微信公众号 redbaidu 课时:32课时 知识点:织梦(DEDECMS)万能仿站课程,从零开始,详细.系统的讲解了整套织梦万能仿站技术,内容涵盖了理论讲解.实践演示.实战操作等方面.本套教程包含两个实战案例,讲解通俗易懂,深入浅出,适合各层次水平的学员学习.目前网站建设行业,一个普通的企业站

细说前端自动化打包工具--webpack

背景 记得2004年的时候,互联网开发就是做网页,那时也没有前端和后端的区分,有时一个网站就是一些纯静态的html,通过链接组织在一起.做网页就和用world编辑一个文档一样,只不过那个工具叫Dreamweaver.一个html页面,夹杂着css,javascript是再常见不过的事了. 随着前端的不断发展,特别是单页应用的兴起,这种所见即所得的IDE工具,就渐渐地退出了前端的主流.一个应用,通常只有一个静态页面(index.html),甚至这个页面的body只有一个或少数几个div组成.这时有

转 WEB前端性能分析--工具篇

在线网站类: WebPageTest 说明: 在线的站点性能评测网站,地址http://www.webpagetest.org/ 补充: 其实这网站也是个开源项目,所以支持自己搭建一个内部的测试站点 ShowSlow 说明: showslow是yslow的数据收集与展示平台http://www.showslow.com/,它是一个开源的php项目,可以用来与firefox的yslow插件.page speed插件或者dynatrace通信,收集插件或程序所发送过来的信息并集中展示.只需要在dyn

前端自动化构建工具Webpack开发模式入门指南

Webpack Webpack是时下最流行的模块打包器 它的主要任务就是将各种格式的JavaScript代码,甚至是静态文件 进行分析.压缩.合并.打包,最后生成浏览器支持的代码 特点: 代码拆分方案:webpack可以将应用代码拆分成多个块,每个块包含一个或多个模块,块可以按需异步加载,极大提升大规模单页应用的初始加载速度 智能的静态分析:webpack的智能解析器几乎可以处理任何第三方库 Loader加载器:webpack只能处理原生js模块,但是loader可以将各种资源转换为js模块 p