一、爬虫的定义

　　爬虫定义：程序或者脚本——自动的爬取万维网的数据的程序或者脚本。

二、爬虫可以解决的问题

　　1、解决冷启动问题。
　　2、搜索引擎的根基——通用爬虫。
　　3、帮助机器学习建立知识图谱。
　　4、制作各种比价软件。

三、爬虫工程师的进阶之路

　　1、初级爬虫工程师

　　　　（1）web 前端的知识： HTML、CSS、JavaSc1ipt、 DOM、 DHTML 、Ajax、jQuery、json 等；
　　　　（2）正则表达式， 能提取正常一般网页中想要的信息，比如某些特殊的文字， 链接信息， 知道什么是懒惰， 什么是贪婪型的正则；
　　　　（3）会使用 XPath 等获取一些DOM 结构中的节点信息；
　　　　（4）知道什么是深度优先， 广度优先的抓取算法， 及实践中的使用规则；
　　　　（5）能分析简单网站的结构， 会使用urllib或requests 库进行简单的数据抓取。

　　2、中级爬虫工程师

　　　　（1）了解什么事HASH，会简单地使用MD5，SHA1等算法对数据进行HASH一遍存储
　　　　（2）熟悉HTTP，HTTPS协议的基础知识，了解GET，POST方法，了解HTTP头中的信息，包括返回状态码，编码，user-agent，cookie，session等
　　　　（3）能设置user-agent进行数据爬取，设置代理等
　　　　（4）知道什么事Request，什么事response，会使用Fiddler等工具抓取及分析简单地网络数据包；对于动态爬虫，要学会分析ajax请求，模拟制造post数据包请求，抓取客户端session等信息，对于一些简单的网站，能够通过模拟数据包进行自动登录。
　　　　（5）对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息
　　　　（6）并发下载，通过并行下载加速数据爬取；多线程的使用。

　　3、高级爬虫工程师

　　　　（1）能够使用Tesseract，百度AI，HOG+SVM，CNN等库进行验证码识别。
　　　　（2）能使用数据挖掘技术，分类算法等避免死链。
　　　　（3）会使用常用的数据库进行数据存储，查询。比如mongoDB，redis；学习如何通过缓存避免重复下载的问题。
　　　　（4）能够使用机器学习的技术动态调整爬虫的爬取策略，从而避免被禁IP封禁等。
　　　　（5）能使用一些开源框架scrapy，scrapy-redis等分布式爬虫，能部署掌控分布式爬虫进行大规模数据爬取。

四、搜索引擎

　　1、什么是搜索引擎

　　　　搜索引擎通过特定算法，从互联网上获取网页信息，将其保存到本地，为用户提供检索服务的一种程序。

　　2、搜索引擎的组成：搜索引擎主要是是由通用爬虫组成的。

　　　　（1）通用爬虫：将互联网上的网页信息【整体】爬取下来的爬虫程序。

　　　　（2）搜索引擎的工作步骤：

　　　　　　　①抓取网页
　　　　　　　②数据存储
　　　　　　　③预处理
　　　　　　　　提取文字
　　　　　　　　中文分词
　　　　　　　　消除噪音
　　　　　　　　......
　　　　　　　④设置网站排名（访问量），为用户提供检索服务。

　　　　（3）为什么搜索引擎可以爬取所有的网页？---搜索引擎的通用是如何来爬取所有网页的。

　　　　　　　　一个网页就是一个url，这个问题其实在问，【url的获取来源】。
　　　　　　　　url的获取来源：

　　　　　　　　　　①新网站会主动提交网址给搜索引擎。
　　　　　　　　　　②网页中的一些外链，这些url全部都会加入到通用爬虫的爬取队列。
　　　　　　　　　　③搜索引擎和dns解析服务商合作，如果有新网站注册，搜索引擎就可拿到网址。

　　3、通用爬虫的缺陷

　　　　（1）通用爬虫是爬取整个网页，但是网页中90%的内容基本是没用。
　　　　（2）不能满足不同行业，不同人员的不同需求。
　　　　（3）只能获取文字，不能获取音频，视频，文档等信息。
　　　　（4）只能通过关键字查询，无法通过语义查询。

　　4、聚焦爬虫

　　　　　　在实施网页抓取的过程中，【会对内容进行筛选】，尽量保证只抓取与【需求相关】的信息的爬虫程序。

五、robots协议

　　定义：网络爬虫排除标准
　　作用：告诉搜索引擎那些可以爬那些不能爬。

六、http协议

　　1、什么是http协议

　　　　是一种规范——————>约束发布和接受html的规范。

　　2、http和https

　　　　http：超文本传输协议。
　　　　https : 安全版的http协议。---ssl---
　　　　对称加密---密钥
　　　　非对称---私钥+公钥
　　　　数字签证---

　　3、端口号

　　　　https：443

　　　　http：80
　　　　Upgrade-Insecure-Requests: 1：可以将http升级成https请求。

　　4、http的特点

　　　　（1）应用层协议。
　　　　（2）无连接：http每次发送请求和响应的过程都是独立。
　　　　　　在http 1.0以后，有请求头：connection：keep-alive：客户端和服务建立长连接。
　　　　（3）无状态：http协议不记录状态。
　　　　　　　　　　cookie和session做到请求状态的记录。
　　　　　　　　　　cookie是在客户端保存，session是在服务器保存。

　　5、url：统一资源定位符

　　　　（1）主要作用：用来定位互联网上的任意资源的位置。

　　　　（2）为什么url可以定位任意资源？

　　　　　　　　①组成：https://www.baidu.com/index.html?username=123&password=abc#top
　　　　　　　　②scheme：协议---https
　　　　　　　　③netloc : 网络地址：ip:port---www.baidu.com
　　　　　　　　　　　　　　　　　 通过ip定位电脑，通过port定位应用。
　　　　　　　　　　　　　　　　　192.168.92.10:
　　　　　　　　④代理ip：ip：port
　　　　　　　　⑤path：资源路径。---index.html
　　　　　　　　⑥query：请求参数：---？后面的内容username=123&password=abc
　　　　　　　　⑦fragment：锚点----top

　　　　　　　　原因：url包含netloc可以定位电脑，path定位资源，这样就可以找到任意在互联网上的信息。

　　　　（3）特殊符号：

　　　　　　　　？：后面就是请求参数
　　　　　　　　 & : 连接请求参数
　　　　　　　　 # : 锚点----如果url中有锚点，在爬虫程序中尽量去除。

　　6、 http的工作过程

　　　　（1）地址解析：
　　　　　　将url的所有组成部分分别解析出来。
　　　　（2）封装http请求数据包。
　　　　　　将第一步解析出来的信息进行装包。---http数据包。
　　　　（3）封装tcp数据包，通过三次握手建立tcp。
　　　　（4）客户端发送请求
　　　　（5）服务发送响应
　　　　（6）关闭tcp连接。

　　7、当我们在浏览器输入一个url，浏览器加载出这个页面，中间做了哪些事？

　　　　（1）客户端解析url，封装数据包，建立连接，发送请求。
　　　　（2）服务器返回url对应资源文件给客户端，比如：index.html。
　　　　（3）客户端检查index.html是否有静态资源（引用外部文件），比如js，css，图片。有的话再分别发送请求，来获取这些静态资源。
　　　　（4）客户端获取所有静态，通过html语法，完全将index.html页面显示出来。　

　　8、 http的请求方法：

　　　　get请求：get（获取）-->获取服务器的指定资源--->涉及到筛选一些信息--->请求参数：主要拼接在url中。--->不安全（别人可以通过url获取信息）--->请求参数的大小受限。
　　　　post请求：post（邮递）--->向服务器传递数据--->请求数据是方法在请求实体中的--->安全--->大小不受限。

　　9、客户端请求

　　　　（1）组成：请求行、请求头、空行、请求数据（实体）

　　　　　　　　请求头：请求方法；host地址，http协议版本。

　　　　（2）请求头：

　　　　　　　　①user-agent：客户端标识。
　　　　　　　　②accept：允许传入的文件类型。
　　　　　　　　③Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3
　　　　　　　　④Referer：标识产生请求的网页来自于哪个网页。
　　　　　　　　　　　　　　防盗链
　　　　　　　　⑥cookie：cookie信息。---现在很多网站，必须封装cookie才给数据。
　　　　　　　　⑦post请求重要的请求头：
　　　　　　　　　　content-type:post请求的数据类型
　　　　　　　　　　content-length:post请求数据的长度。
　　　　　　　　⑧ajax请求必须封装的头：
　　　　　　　　　　x-requested-with:xmlhttprequest

　　10、服务器响应：

　　　　（1）组成：状态行、响应头、空行、响应正文。

　　　　（2）响应头

　　　　　　　　Content-Type：text/html;charset=UTF-8

　　　　（3）状态码（面试常考）

　　　　　　　　①1XX:表示服务器成功接收部分请求，还需要发剩余请求才能处理整个过程。（处理了一半）
　　　　　　　　②2XX:标识服务器成功接收请求并处理完整个过程。（成功）
　　　　　　　　　　　200成功
　　　　　　　　③3XX:为了完成请求，客户端需要进一步细化请求。
　　　　　　　　　　　302：重定向
　　　　　　　　　　　304：使用缓存资源
　　　　　　　　④4XX：客户端请求错误。（url写错了）
　　　　　　　　　　　404:服务器无法找到请求内容。
　　　　　　　　　    　403:服务器拒绝访问，权限不够。
　　　　　　　　⑤5XX:服务器错误。
　　　　　　　　　    　502：服务器错误
　　　　　　　           　500：请求未完成，服务器遇到不可知问题

原文地址：https://www.cnblogs.com/Tree0108/p/12063686.html