robots笔记以免忘记

html头部标签写法：

content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：

index,follow：允许抓取本页，允许跟踪链接。
index,nofollow：允许抓取本页，但禁止跟踪链接。
noindex,follow：禁止抓取本页，但允许跟踪链接。
noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。

index,follow可以写成all，如：<meta name="robots" content="all" />

noindex,nofollow可以写成none，如：<meta name="robots" content="none" />

robots.txt写法：可参考淘宝、京东的写法

https://www.taobao.com/robots.txt

http://www.jd.com/robots.txt

时间： 2024-10-11 15:02:37

robots笔记以免忘记的相关文章

笔记—容易忘记的一些东西

/etc/login.defs: 里面设置用户密码的加密方式CentOS 6.x 默认SHA512 openssl passwd -1 -salt `openssl rand -base64 8`: 设置密码

bootstrap, boosting, bagging 几种方法的联系

http://blog.csdn.net/jlei_apple/article/details/8168856 这两天在看关于boosting算法时,看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍,以下是搜索得到的原文,没找到博客作者的地址, 在这里致谢作者的研究. 一并列出一些找到的介绍boosting算法的资源: (1)视频讲义,介绍boosting算法,主要介绍AdaBoosing http:

转载：bootstrap, boosting, bagging 几种方法的联系

转:http://blog.csdn.net/jlei_apple/article/details/8168856 这两天在看关于boosting算法时,看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍,以下是搜索得到的原文,没找到博客作者的地址, 在这里致谢作者的研究. 一并列出一些找到的介绍boosting算法的资源: (1)视频讲义,介绍boosting算法,主要介绍AdaBoosing htt

哲学初步认识3

这次是结合理论和实际,我们在实际的学习生活中往往都是学习的技术,在大学上面我们学习了很多的技术,但是这些技术真的能在实际中发挥作用吗?其实很多的技术不在课堂上也完全能学的到,但是我们要注重的是运行技术背后的文化.然后是这种技术的一种思维方式方法,这样在事件中才能发挥作用. 专注的去做一件事情,在学习上面很多时候,人都习惯说,我把一件事情做一个小时,那休息一下,或者做别的事情调节一下,可是这样你的注意力就得不到很好的培养,想想现在,你还能在三到四个小时之内一直做一件事情吗?专注做一件事情的还有一点

17开年第一篇Activity之间传递List<T> 以及T对象类型数据的方法

现在转眼都十三了,大家都工作了,自己确还没有在家里闲得慌于是就做个App,谁知道就遇到了Activity间传递实例以及List<T>数据的问题.网上同类型的文章很多,我写只是为了做个笔记预防忘记(其他的我觉得进入不了状态,还是自己的思维好理解一些). 废话不多说下面正题. 要实现上面的需求有几种方式: 1.定义全局静态变量,由一个静态变量集合类管理,至于安全方面,可以把控访问方式,比如验证访问,不过相对来说感觉比较麻烦. 2. Application中设置一个属性,公开读取. 3.使用Seri

Linux系统的/proc目录

1. /proc目录 Linux 内核提供了一种通过 /proc 文件系统,在运行时访问内核内部数据结构.改变内核设置的机制.proc文件系统是一个伪文件系统,它只存在内存当中,而不占用外存空间.它以文件系统的方式为访问系统内核数据的操作提供接口.用户和应用程序可以通过 proc得到系统的信息,并可以改变内核的某些参数.由于系统的信息,如进程,是动态改变的,所以用户或应用程序读取proc文件时,proc文件系统是动态从系统内核读出所需信息并提交的.下面列出的这些文件或子文件夹,并不是都是在

Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting的区别

引自http://blog.csdn.net/xianlingmao/article/details/7712217 Jackknife,Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting 这些术语,我经常搞混淆,现在把它们放在一起,以示区别.(部分文字来自网络,由于是之前记的笔记,忘记来源了,特此向作者抱歉) Bootstraping: 名字来自成语"pull up by your own

Model 类型为dynamic或者list<dynamic>

dynamic di = new ExpandoObject(); 前台Model可以是dynamic,后台返回是di.是ExpandoObject 类型,做笔记怕忘记.

php调试利器 -- xdebug

之前整理在印象笔记中,现在搬出来.分本地调试和远程调试.本文亲测通过并截图,有问题欢迎留言探讨. (参考网上多位前辈的博客,整理在笔记里忘记保存原文链接,这里无法贴出链接,望见谅) # 痛处一般php项目调试都用echo, var_dump()之类的函数调试,项目大的话很不方便,也很低效: # 预备安装xdebug扩展: 官网https://xdebug.org/download.php windows找相应的版本下载即可,linux下在 https://xdebug.org/wizard.