【Python3爬虫】拉勾网爬虫

一、思路分析:

在之前写拉勾网的爬虫的时候,总是得到下面这个结果(真是头疼),当你看到下面这个结果的时候,也就意味着被反爬了,因为一些网站会有相应的反爬虫措施,例如很多网站会检测某一段时间某个IP的访问次数,如果访问频率太快以至于看起来不像正常访客,它可能就会禁止这个IP的访问:

对于拉勾网,我们要找到职位信息的ajax接口倒是不难(如下图),问题是怎么不得到上面的结果。

要想我们的爬虫不被检测出来,我们可以使用代理IP,而网上有很多提供免费代理的网站,比如西刺代理快代理89免费代理等等,我们可以爬取一些免费的代理然后搭建我们的代理池,使用的时候直接从里面进行调用就好了。然后通过观察可以发现,拉勾网最多显示30页职位信息,一页显示15条,也就是说最多显示450条职位信息。在ajax接口返回的结果中可以看到有一个totalCount字段,而这个字段表示的就是查询结果的数量,获取到这个值之后就能知道总共有多少页职位信息了。对于爬取下来的结果,保存在MongoDB数据库中。

二、主要代码:

proxies.py(爬取免费代理并验证其可用性,然后生成代理池)

 1 import requests
 2 import re
 3
 4
 5 class Proxies:
 6     def __init__(self):
 7         self.proxy_list = []
 8         self.headers = {
 9             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
10                           "Chrome/45.0.2454.101 Safari/537.36",
11             ‘Accept-Encoding‘: ‘gzip, deflate, sdch‘,
12         }
13
14     # 爬取西刺代理的国内高匿代理
15     def get_proxy_nn(self):
16         proxy_list = []
17         res = requests.get("http://www.xicidaili.com/nn", headers=self.headers)
18         ip_list = re.findall(‘<td>(\d+\.\d+\.\d+\.\d+)</td>‘, res.text)
19         port_list = re.findall(‘<td>(\d+)</td>‘, res.text)
20         for ip, port in zip(ip_list, port_list):
21             proxy_list.append(ip + ":" + port)
22         return proxy_list
23
24     # 验证代理是否能用
25     def verify_proxy(self, proxy_list):
26         for proxy in proxy_list:
27             proxies = {
28                 "http": proxy
29             }
30             try:
31                 if requests.get(‘http://www.baidu.com‘, proxies=proxies, timeout=2).status_code == 200:
32                     print(‘success %s‘ % proxy)
33                     if proxy not in self.proxy_list:
34                         self.proxy_list.append(proxy)
35             except:
36                 print(‘fail %s‘ % proxy)
37
38     # 保存到proxies.txt里
39     def save_proxy(self):
40         # 验证代理池中的IP是否可用
41         print("开始清洗代理池...")
42         with open("proxies.txt", ‘r‘, encoding="utf-8") as f:
43             txt = f.read()
44         # 判断代理池是否为空
45         if txt != ‘‘:
46             self.verify_proxy(txt.strip().split(‘\n‘))
47         else:
48             print("代理池为空!\n")
49         print("开始存入代理池...")
50         # 把可用的代理添加到代理池中
51         with open("proxies.txt", ‘w‘, encoding="utf-8") as f:
52             for proxy in self.proxy_list:
53                 f.write(proxy + "\n")
54
55
56 if __name__ == ‘__main__‘:
57     p = Proxies()
58     results = p.get_proxy_nn()
59     print("爬取到的代理数量", len(results))
60     print("开始验证:")
61     p.verify_proxy(results)
62     print("验证完毕:")
63     print("可用代理数量:", len(p.proxy_list))
64     p.save_proxy()

在middlewares.py中添加如下代码:

 1 class LaGouProxyMiddleWare(object):
 2     def process_request(self, request, spider):
 3         import random
 4         import requests
 5         with open("具体路径\proxies.txt", ‘r‘, encoding="utf-8") as f:
 6             txt = f.read()
 7         proxy = ""
 8         flag = 0
 9         for i in range(10):
10             proxy = random.choice(txt.split(‘\n‘))
11             proxies = {
12                 "http": proxy
13             }
14             if requests.get(‘http://www.baidu.com‘, proxies=proxies, timeout=2).status_code == 200:
15                 flag = 1
16                 break
17         if proxy != "" and flag:
18             print("Request proxy is {}".format(proxy))
19             request.meta["proxy"] = "http://" + proxy
20         else:
21             print("没有可用的IP!")

然后还要在settings.py中添加如下代码,这样就能使用代理IP了:

1 SPIDER_MIDDLEWARES = {
2     ‘LaGou.middlewares.LaGouProxyMiddleWare‘: 543,
3 }

在item.py中添加如下代码:

 1 import scrapy
 2
 3
 4 class LaGouItem(scrapy.Item):
 5     city = scrapy.Field()  # 城市
 6     salary = scrapy.Field()  # 薪水
 7     position = scrapy.Field()  # 职位
 8     education = scrapy.Field()  # 学历要求
 9     company_name = scrapy.Field()  # 公司名称
10     company_size = scrapy.Field()  # 公司规模
11     finance_stage = scrapy.Field()  # 融资阶段

在pipeline.py中添加如下代码:

 1 import pymongo
 2
 3
 4 class LaGouPipeline(object):
 5     def __init__(self):
 6         conn = pymongo.MongoClient(host="127.0.0.1", port=27017)
 7         self.col = conn[‘Spider‘].LaGou
 8
 9     def process_item(self, item, spider):
10         self.col.insert(dict(item))
11         return item

在spiders文件夹下新建一个spider.py,代码如下:

 1 import json
 2 import scrapy
 3 import codecs
 4 import requests
 5 from time import sleep
 6 from LaGou.items import LaGouItem
 7
 8
 9 class LaGouSpider(scrapy.Spider):
10     name = "LaGouSpider"
11
12     def start_requests(self):
13         # city = input("请输入城市:")
14         # position = input("请输入职位方向:")
15         city = "上海"
16         position = "python"
17         url = "https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false&city={}".format(city)
18         headers = {
19             "Referer": "https://www.lagou.com/jobs/list_{}?city={}&cl=false&fromSearch=true&labelWords=&suginput=".format(codecs.encode(position, ‘utf-8‘), codecs.encode(city, ‘utf-8‘)),
20             "Cookie": "_ga=GA1.2.2138387296.1533785827; user_trace_token=20180809113708-7e257026-9b85-11e8-b9bb-525400f775ce; LGUID=20180809113708-7e25732e-9b85-11e8-b9bb-525400f775ce; index_location_city=%E6%AD%A6%E6%B1%89; LGSID=20180818204040-ea6a6ba4-a2e3-11e8-a9f6-5254005c3644; JSESSIONID=ABAAABAAAGFABEFFF09D504261EB56E3CCC780FB4358A5E; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534294825,1534596041,1534596389,1534597802; TG-TRACK-CODE=search_code; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534599373; LGRID=20180818213613-acc3ccc9-a2eb-11e8-9251-525400f775ce; SEARCH_ID=f20ec0fa318244f7bcc0dd981f43d5fe",
21             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 Safari/537.36"
22         }
23         data = {
24             "first": "true",
25             "pn": 1,
26             "kd": position
27         }
28         res = requests.post(url, headers=headers, data=data)
29         # 获取相关职位结果数目
30         count = res.json()[‘content‘][‘positionResult‘][‘totalCount‘]
31         # 由于最多显示30页,也就是最多显示450条职位信息
32         page_count = count // 15 + 1 if count <= 450 else 30
33         for i in range(page_count):
34             sleep(5)
35             yield scrapy.FormRequest(
36                 url=url,
37                 formdata={
38                     "first": "true",
39                     "pn": str(i + 1),
40                     "kd": position
41                 },
42                 callback=self.parse
43             )
44
45     def parse(self, response):
46         try:
47             # 解码并转成json格式
48             js = json.loads(response.body.decode(‘utf-8‘))
49             result = js[‘content‘][‘positionResult‘][‘result‘]
50             item = LaGouItem()
51             for i in result:
52                 item[‘city‘] = i[‘city‘]
53                 item[‘salary‘] = i[‘salary‘]
54                 item[‘position‘] = i[‘positionName‘]
55                 item[‘education‘] = i[‘education‘]
56                 item[‘company_name‘] = i[‘companyFullName‘]
57                 item[‘company_size‘] = i[‘companySize‘]
58                 item[‘finance_stage‘] = i[‘financeStage‘]
59                 yield item
60         except:
61             print(response.body)

三、运行结果:

由于使用的是免费代理,短时间内就失效了,所以会碰上爬取不到数据的情况,所以推荐使用付费代理。

完整代码已上传到GitHub:https://github.com/QAQ112233/LaGou

原文地址:https://www.cnblogs.com/TM0831/p/9959900.html

时间: 2024-10-06 14:14:51

【Python3爬虫】拉勾网爬虫的相关文章

python3爬虫--反爬虫应对机制

python3爬虫--反爬虫应对机制 内容来源于: Python3网络爬虫开发实战: 网络爬虫教程(python2): 前言: 反爬虫更多是一种攻防战,针对网站的反爬虫处理来采取对应的应对机制,一般需要考虑以下方面: ①访问终端限制:这种可通过伪造动态的UA实现: ②访问次数限制:网站一般通过cookie/IP定位,可通过禁用cookie,或使用cookie池/IP池来反制: ③访问时间限制:延迟请求应对: ④盗链问题:通俗讲就是,某个网页的请求是有迹可循的,比如知乎的问题回答详情页,正常用户行

【java爬虫】---爬虫+基于接口的网络爬虫

爬虫+基于接口的网络爬虫 上一篇讲了[java爬虫]---爬虫+jsoup轻松爬博客,该方式有个很大的局限性,就是你通过jsoup爬虫只适合爬静态网页,所以只能爬当前页面的所有新闻.如果需要爬一个网 站所有信息,就得通过接口,通过改变参数反复调该网站的接口,爬到该网站的所有数据信息. 本博客以爬金色财经新闻信息为对象,去爬取该网站从建站以来发表的所有新闻信息.下面会一步一步讲解.这里重点重点讲思路,最后我会提供完整源码. 第一步:找接口 你要获得该网站所有新闻数据,第一步当然是获得接口,通过接口

爬虫-认识爬虫

爬虫 - 认识爬虫 什么是上网?爬虫要做的是什么? 我们所谓的上网便是由用户端计算机发送请求给目标计算机,将目标计算机的数据下载到本地的过程. 用户获取网络数据的方式是: 浏览器提交请求->下载网页代码->解析/渲染成页面. 而爬虫程序要做的就是: 模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中 定义 通过编写程序,模拟浏览器上网,向网站发起请求,让其去互联网上获取数据后分析并提取有用数据的程序爬虫的基本流程 """

python3下scrapy爬虫(第一卷:安装问题)

一般爬虫都是用urllib包,requests包 配合正则.beautifulsoup等包混合使用,达到爬虫效果,不过有框架谁还用原生啊,现在我们来谈谈SCRAPY框架爬虫, 现在python3的兼容性上来了,SCRAPY不光支持python2版本了,有新的不用旧的,现在说一下让很多人望而止步的安装问题,很多人开始都安装不明白, 当前使用的版本是PYTHON3.5,安装时用PIP3 安装步骤: 1 安装wheel pip3 install wheel 2 安装twisted pip3 insta

拉勾网爬虫Python代码实现

爬虫目的:爬取拉勾网上数据分析岗的数据,以便分析当前数据分析岗的需求现状. 爬虫实现的功能:根据城市名称.岗位名称关键字,即可爬取拉勾网上所需的数据信息. 爬虫的主要模块: 主函数与信息存储模块main.py 网页下载模块https.py 网页解析模块parse.py IP代理池setting.py # main.py''' 拉钩网对于同一ip的大量请求行为肯定会进行封禁,所以需要准备代理池. 为了实现高自动化,需要对一系列可能出现的异常情况进行处理,断点处理,确保程序不挂. 为了提高效率,加入

2017年最新Python3.6网络爬虫实战案例基础+实战+框架+分布式高清视频教程

课程简介: 这是一套目前为止我觉得最适合小白学习的体系非常完整的Python爬虫课程,使用的Python3.6的版本,用到anaconda来开发python程序,老师讲解的很细致,课程体系设置的也非常棒,完全是从浅入深一点点讲解,从Python爬虫环境的安装开始,讲解了最最基本的urllib包如何使用,如何解析request请求内容,刷选有用数据,像ajax,post,html,json等等都非常细致的一一讲解,然后逐步深入到如何利用cookie,ip代{过}{滤}理池的技术,来解决登陆验证与防

简单的实现一个python3的多线程爬虫,爬取p站上的每日排行榜

大概半年前我开始学习python,也就是半年前,我半抄半改的同样的爬虫写了出来,由于是单线程的程序,当中出了一点的小错就会崩溃,但是那个爬虫中的header之类的东西现在依旧还是能够使用的,于是我就把之前那份的保留了下来.由于有一半是抄的,自己得到的并不多,这次重写,我相当于又重新学习了一遍.,当中有可能有认识不足的,欢迎指正. 首先我们要想登陆p站,得构造一个请求,p站登陆的请求包括: request = urllib.request.Request( #创建请求 url=login_url,

python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页)

上一卷中介绍了安装过程,现在我们开始使用这个神奇的框架 跟很多博主一样我也先选择一个非常好爬取的网站作为最初案例,那么我先用屌丝必备网站http://www.shaimn.com/xinggan/作为这一卷的案例,不用想有图,有字 第一步: 创建爬虫文件: 现在切换到scrapy_test的根目录下: 我们现在创建了爬虫文件,这个网页正常情况下就可以直接抓取,不像糗事啊,天猫啊需要到SETTING里去设置对抗ROBOT cookie user-AGENT这样的反爬手段 现在开始创建代码 现在在终

python3下scrapy爬虫(第五卷:利用cookie模拟登陆抓取个人中心页面)

之前我们爬取的都是那些无需登录就要可以使用的网站但是当我们想爬取自己或他人的个人中心时就需要做登录,一般进入登录页面有两种 ,一个是独立页面登陆,另一个是弹窗,我们先不管验证码登陆的问题 ,现在试一下直接登陆的爬取: 爬虫是模拟人的行为来请求网页读取数据的现在我们划分一下过程,从登陆到获取: 先看一下我们到个人中心的过程: 登陆界面->输入账号密码->进入个人中心 1 进入登陆页面 可以说是第一次请求 此时会产生相应的COOKIE值,因为你只要先进入到页面才可以进行密码输入等行为 cookie