从robots文件看网站用的是哪个程序

下面我们来研究这个网站:短美文(http://www.duanmeiwen.com/)

它的robots.txt地址是:http://www.duanmeiwen.com/robots.txt

文件如下:

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets

从该文件可以看出它是典型的dedecms的robots,因此初步去顶短美文使用的是dedecms系统。
时间: 2024-11-08 21:02:39

从robots文件看网站用的是哪个程序的相关文章

robots文件对网站优化有哪些作用

robots文件是网站与搜索引擎蜘蛛爬虫之间的一份协议,用txt文本格式告诉蜘蛛爬虫网站有哪些页面可以被抓取,哪些页面不可以抓取的权限.所以在seo优化中robots指的是文件而不是一个命令或者参数,这点希望大家不要搞混了. 正常搜索引擎访问一个站点的时候,首先会先看站点有没有robots.txt文件,如果没有则蜘蛛爬虫会抓取网站上的所有数据:如果有蜘蛛爬虫会根据robots.txt文件内容来确定自己能够抓取访问的文件有哪些. 运用好robots文件对于seo优化来说也是作用挺大的,我们先来看看

magento的robots文件编写和判断是否是一个导航分类页面

magento是网店系统,我们突出的是我们的产品,所以,有很多路径我们不想让搜索引擎索引到,所以我们需要用robots文件进行限制 下面是麦神magento的robots.txt里面的内容,因为很多url重写和伪静态,所以,不要复制使用,这个格式是针对麦神Magento版本的 User-agent: *Disallow: /home/Disallow: /catalogsearch/advanced/Disallow: /catalog/Disallow: /sendfriend/Disallo

DIY robots文件

今天,接着robots文件设置的DIY部分,更确切的说应该是robots文件的高级阶段,就是不但懂得如何设置robots文件的基础部分,更懂得按照自己网站的需求去设置robots文件.总的原创是,利于搜索引擎对我们网站的收录.一般有如下几点,以下的举例名称只是举例,具体的目录及文件要看自己网站的目录,别照搬就行! 第一:图片目录的屏蔽 说到图片的屏蔽,那么我就给大家提个问题:为什么要屏蔽图片?如果要更好的回答这个问题,或者说更好的理解屏蔽图片目录的原因,就得先去理解搜索引擎的原理,这里先简单说下

启动IIS 网站出现错误 另一个程序正在使用此文件,进程无法访问

可能你安装了Apache; IIS启动失败,手工启动它,提示:"另一个程序正在使用此文件,进程无法访问!" 怀疑80端口被其他程序占用,改为8080后正常. 在DOS下输入: netstat -ano 查看80端口信息中的PID号,然后打开任务管理器查看对应PID的程序名称. 打开任务管理器,点击"查看"/选择列,勾选"PID(进程标识符)",然后单击"进程"标签,找到80端口对应的pid,就可以看到是那个程序占用的了.启动I

【转】VS2010新建Web网站与新建Web应用程序的区别

在Visual Studio 2010中,除了可以使用"创建Web应用程序"的方式来构建自己的Web项目之外,还可以通过创建"Web网站"的方式来构建Web项其中,Web网站的创建方法:打开Visual Studio 2010主窗体,在菜单栏里选择"文件"|"新建|网站"命令,在弹出的"新建网站"窗体里可以通过"ASP.NET 网站"和"空网站"这两种模板来创建自己的

ASP.NET网站与ASP.NET应用程序的区别

我们使用VS做ASP.NET的时候,可以选择新建ASP.NET应用程序,同时也可以新建ASP.NET网站,两者有什么具体区别呢?今天真是很幸运,比别人多上了老师一节课,讲的是这两者之间的一些区别.我学到了两点东西,一点是明面上的,上两者之间的区别,另外一点是暗地里的(这个说法貌似不好,应该说是明面上看不到的),用洋气一点的英文说吧,就是intellectually curious.一如既往的保持好奇心,要有刨根问底儿的习惯. 回到正题,ASP.NET网站与ASP.NET应用程序的区别,老师讲了一

集成自动化的条形码功能到internet应用程序,网站或自定义Java应用程序的条码控件Java Barcode Package

Java Barcode Package控件是一款条码生成控件,包含所有的JavaBean,Applets,Servlets和类库可以使用于装有Java虚拟机的任何平台,包括Windows?, Linux, MacOS, Unix, Solaris, HP/UX, AS/400 和OS/390,用于集成自动化的条形码功能到internet应用程序,网站或自定义Java应用程序. 具体功能: 可在任何装有Java虚拟机的操作系统上生成条形码. 此产品的开发者授权是永久的且免收版权费用的. 支持ID

无法添加来自此网站的应用、扩展程序和应用脚本 Proxy SwitchySharp

翻墙需要用到Proxy SwitchySharp 插件,但是本来就访问不了Google,如何给Chrome安装扩展程序,只好下载好Proxy SwitchSharp再安装,结果Chrome 添加插件时突然提示"无法添加来自此网站的应用.扩展程序和应用脚本",之前用Win直接就可以安装了,奇怪,原来是因为近日 Google 的 Chrome 浏览器宣布从最新Chrome版本开始默认只允许从 Chrome Web Store 下载安装扩展程序, 而众多未登陆 Web Store 的无论是扩

android看不见main函数怎么办?程序异常了,可以不提示“xxx软件停止运行”吗?

今天遇到了这个问题,分享一下解决方案. android没有main 函数,自然也就不存在main里面添加异常处理来实现全局异常捕获的方案.那android程序有全局异常补货的解决方案吗? 答案是有的: 那就是你得继承android工程里面的application,如: public class ReaderApplication extends Application implements Thread.UncaughtExceptionHandler{......} 并实现线程异常补货接口:T