• 导航 (返回顶部)
  • 1. spider
    • 1.1 robots.txt
    • 1.2 ads.txt
    • 1.3 security.txt
    • 1.4 blogger.com 上的 robots.txt和ads.txt
  • 2. 爬虫软件列表
    • 2.1 介绍一些比较方便好用的爬虫工具和服务
    • 2.2 33款可用来抓数据的开源爬虫软件工具(全都没试过)
  • 3. 更多相关

1. spider
 1.1 robots.txt
 1.2 ads.txt
 1.3 security.txt
 1.4 blogger.com 上的 robots.txt和ads.txt
2. 爬虫软件列表
 2.1 介绍一些比较方便好用的爬虫工具和服务
 2.2 33款可用来抓数据的开源爬虫软件工具(全都没试过)
3. 更多相关

1. spider

https://en.wikipedia.org/wiki/Web_crawler
https://zh.wikipedia.org/zh-hans/網路爬蟲
网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。
网络爬虫也可称作网络蜘蛛[1]、蚂蚁、自动索引程序（automatic indexer），或（在FOAF软件中）称为网络疾走（web scutter）。

1.1 robots.txt

放在网页服务器上，告知网络蜘蛛哪些页面内容可获取或不可获取。
https://zh.wikipedia.org/wiki/Robots.txt
https://en.wikipedia.org/wiki/Robots_exclusion_standard
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。
robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意robots.txt是用字符串比较来确定是否获取URL，所以目录末尾有与没有斜杠“/”表示的是不同的URL。robots.txt允许使用类似"Disallow: *.gif"这样的通配符[1][2]。
其他的影响搜索引擎的行为的方法包括使用robots元数据：
<meta name="robots" content="noindex,nofollow" />
humans.txt
https://en.wikipedia.org/wiki/Robots_exclusion_standard#Alternatives

1.2 ads.txt

a standard for listing authorized ad sellers 列出授权的标准
https://en.wikipedia.org/wiki/Ads.txt

1.3 security.txt

a file to describe the process for security researchers to follow in order to report security vulnerabilities
描述安全研究人员为了报告安全漏洞而要遵循的过程的文件
https://en.wikipedia.org/wiki/Security.txt

1.4 blogger.com 上的 robots.txt和ads.txt

• 设置 \ 搜索偏好设置 \ 抓取工具和编入索引
• 自定义 robots.txt这段文字将代替默认的 robots.txt 内容投放到搜索引擎。请谨慎使用。
• https://draft.blogger.com/go/robotstxt
• 自定义 robots 标头标记这些标记用于设置投放到搜索引擎的 robots 标头标记。请谨慎使用。
• https://draft.blogger.com/go/robotstags
• https://www.robotstxt.org/robotstxt.html
• 设置 \ 搜索偏好设置 \ 获利
• 自定义 ads.txt您可以使用 ads.txt 文件具体识别和授权数字广告资源的转销商。
• https://draft.blogger.com/go/adstxt
• https://developers.google.com/search/reference/robots_meta_tag?hl=zh
• 广告资源管理 > ads.txt 指南
• https://support.google.com/adsense/answer/7532444?hl=zh-Hans&authuser=0

2. 爬虫软件列表

2.1 介绍一些比较方便好用的爬虫工具和服务

https://zhuanlan.zhihu.com/p/57678048
介绍一些比较方便好用的爬虫工具和服务

推荐的爬虫工具, 上文中绿色的2个，就认识Web Scraper。
Scrapy 看起来比较热门。
https://zh.wikipedia.org/wiki/Scrapy
https://en.wikipedia.org/wiki/Scrapy
Scrapy（/?skre?pi/ SKRAY-pee[2]是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的程序框架。该框架主要由Scrapinghub 公司进行维护。

2.2 33款可用来抓数据的开源爬虫软件工具(全都没试过)

http://www.woshipm.com/xiazai/216336.html

3. 更多相关

为何大量网站不能抓取?爬虫突破封禁的6种常见方法
https://www.cnblogs.com/junrong624/p/5533655.html

当爬虫被拒绝时(Access Denied)
https://www.cnblogs.com/FengYan/archive/2012/07/31/2614335.html
反爬虫四个基本策略 (转自上文)
https://www.cnblogs.com/junrong624/p/5508934.html

原文地址：https://www.cnblogs.com/sztom/p/12583188.html