（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据

又是一年双十一了，不知道从什么时候开始，双十一从“光棍节”变成了“双十一购物狂欢节”，最后一个属于单身狗的节日也成功被攻陷，成为了情侣们送礼物秀恩爱的节日。

翻着安静到死寂的聊天列表，我忽然惊醒，不行，我们不能这样下去，光羡慕别人有什么用，我们要行动起来，去找自己的幸福！！！

我也想“谈不分手的恋爱” ！！！内牛满面！！！

注册登陆一气呵成~

筛选条件，嗯...性别女，年龄...18到24岁，身高嘛，无所谓啦，就按默认155-170吧，地区...嗯北京好，北京近一点，照片？那肯定要啊，必须的！！！

小姐姐们我来了~

哇，好多小姐姐啊，到底该选哪个搭讪啊.......

这时候就该我们的爬虫出场了

爬虫部分

爬虫部分还是我们之前的四步：分析目标网页，获取网页内容，提取关键信息，输出保存

1. 首先分析目标网页

按F12召唤开发者工具页面，切换到Network选项，然后在翻页的时候抓包，成功截获请求URL。

不过，这个请求是 POST 方法的，和我们之前见到的 GET 方法的请求有点不同。哪里不同呢......它有点短？

没错，它太短了，少了很多信息，比如我们搜索的条件，甚至连页码的信息都没有，光靠它怎么可能正确的找到小姐姐嘛！

别急，往下翻，其实， POST 方法请求的参数是放在 Form Data 的地方（怎么可能没有嘛是吧）

PS：除了这些之外，还有更多更细的筛选条件

更多筛选条件及其对应的编号
1 2 3 4 5 6 7 8 9 10
地区 年龄 身高 学历 月薪 婚史 购房 购车 籍贯 户口
11 12 12 14 15 16 17 18 22 23
民族 宗教信仰 有无子女 职业 公司类型 生肖 星座 血型 诚信等级 照片

构造完整的请求的 URL ,

http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=1:11,2:18.24,3:155.170,23:1&sn=default&sv=1&p=1&f=select

访问，没问题，改变p的值，访问，没问题，OK本阶段完成。

2.  解析网页内容

通过上面的url，我们可以获取到服务器返回的 json格式的用户信息。代码如下：

import requests

def fetchURL(url):
‘‘‘
功能：访问 url 的网页，获取网页内容并返回
参数：
url ：目标网页的 url
返回：目标网页的 html 内容
‘‘‘
headers = {
‘accept‘: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8‘,
‘user-agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36‘,
‘Cookie‘: ‘guider_quick_search=on; SESSION_HASH=f09e081981a0b33c26d705c2f3f82e8f495a7b56; PHPSESSID=e29e59d3eacad9c6d809b9536181b5b4; is_searchv2=1; save_jy_login_name=18511431317; _gscu_1380850711=416803627ubhq917; stadate1=183524746; myloc=11%7C1101; myage=23; mysex=m; myuid=183524746; myincome=30; COMMON_HASH=4eb61151a289c408a92ea8f4c6fabea6; sl_jumper=%26cou%3D17%26omsg%3D0%26dia%3D0%26lst%3D2018-11-07; last_login_time=1541680402; upt=4mGnV9e6yqDoj%2AYFb0HCpSHd%2AYI3QGoganAnz59E44s4XkzQZ%2AWDMsf5rroYqRjaqWTemZZim0CfY82DFak-; user_attr=000000; main_search:184524746=%7C%7C%7C00; user_access=1; PROFILE=184524746%3ASmartHe%3Am%3Aimages1.jyimg.com%2Fw4%2Fglobal%2Fi%3A0%3A%3A1%3Azwzp_m.jpg%3A1%3A1%3A50%3A10; pop_avatar=1; RAW_HASH=n%2AazUTWUS0GYo8ZctR5CKRgVKDnhyNymEBbT2OXyl07tRdZ9PAsEOtWx3s8I5YIF5MWb0z30oe-qBeUo6svsjhlzdf-n8coBNKnSzhxLugttBIs.; pop_time=1541680493356‘
}

try:
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = ‘unicode_escape‘
print(r.url)
return r.text
except requests.HTTPError as e:
print(e)
print("HTTPError")
except requests.RequestException as e:
print(e)
except:
print("Unknown Error !")

if __name__ == ‘__main__‘:
url = ‘http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=2:18.24,3:155.170,23:1&sn=default&sv=1&p=1&f=select‘
html = fetchURL(url)
print(html)

　　

在这里有几个需要注意的点：

① 网站的搜索功能是需要登陆的，否则会一直弹框提示登陆，所以我只好注册了个账号，登陆后将 cookie 放入爬虫的请求头中，这样便可正确访问数据（不过在爬虫爬取过程中，我发现其实不需要登陆也可以获取，我是不是亏了？！！）

②直接打开请求返回的结果，其实是不能“看”的，通篇没一个汉字，都是各种类似于乱码的东西，这其实是一种 unicode 编码，将汉字转化成 \u 开头的一串字符。

想要解码成汉字也很容易，只需要将 response 的编码方式 encoding 设定为 unicode_escape 即可。

r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = ‘unicode_escape‘
print(r.text)

　　

③为了尽可能多一点的寻找，我决定将“地区”这一条件限制去掉，重新访问，果然，搜到的小姐姐由原先的 3229 瞬间涨到了 59146 ，这下可以开心的爬了。

３.提取关键信息

通过分析上面获取到的 josn 文件，我们可以知道，这里面包含了用户的相当多的信息，包括用户ID，昵称，性别，年龄，身高，照片，学历，城市，择偶标准，以及个性宣言等（不过有些信息在这里是获取不到的，需要进入个人主页才能查看，比如收入等）。

import json

def parserHtml(html):
‘‘‘
功能：根据参数 html 给定的内存型 HTML 文件，尝试解析其结构，获取所需内容
参数：
html：类似文件的内存 HTML 文本对象
‘‘‘
s = json.loads(html)

usrinfo = []

for key in s[‘userInfo‘]:

blist = []

uid = key[‘uid‘]
nickname = key[‘nickname‘]
sex = key[‘sex‘]
age = key[‘age‘]
work_location = key[‘work_location‘]
height = key[‘height‘]
education = key[‘education‘]

matchCondition = key[‘matchCondition‘]
marriage = key[‘marriage‘]
income = key[‘income‘]
shortnote = key[‘shortnote‘]
image = key[‘image‘]

blist.append(uid)
blist.append(nickname)
blist.append(sex)
blist.append(age)
blist.append(work_location)
blist.append(height)
blist.append(education)
blist.append(matchCondition)
blist.append(marriage)
blist.append(income)
blist.append(shortnote)
blist.append(image)

usrinfo.append(blist)
print(nickname,age,work_location)

#writePage(usrinfo)
print(‘---‘ * 20)

　　

部分运行结果如下：

http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=2:18.24,3:155.170,23:1&sn=default&sv=1&p=1&f=select
小文文 23 西安
还单身的糖豆 18 济南
小了白了兔 24 怀化
小雅xy 24 深圳
惜梦缘 23 杭州
冬季 24 南京
qian141 21 石家庄
浪人心伤 24 闵行
高挑的柠檬 24 长沙
甜甜 23 郑州
------------------------------------------------------------
http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=2:18.24,3:155.170,23:1&sn=default&sv=1&p=2&f=select
蘑菇 24 武汉
低调宅女 24 南京
女士 21 南京
远处的一抹光 23 南京
娜娜 24 河北
我最喜欢你 24 洛阳
爱笑的香菇 24 广州
LLS 24 惠州
值得 24 无锡
宿媛 23 江北
------------------------------------------------------------

4. 保存输出文件

最后，只需要把提取出的信息写入csv文件，即可完成本次爬取的工作。下面是完整代码：

import requests
import json
import time

def fetchURL(url):
‘‘‘
功能：访问 url 的网页，获取网页内容并返回
参数：
url ：目标网页的 url
返回：目标网页的 html 内容
‘‘‘
headers = {
‘accept‘: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8‘,
‘user-agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36‘,
‘Cookie‘: ‘guider_quick_search=on; SESSION_HASH=f09e081981a0b33c26d705c2f3f82e8f495a7b56; PHPSESSID=e29e59d3eacad9c6d809b9536181b5b4; is_searchv2=1; save_jy_login_name=18511431317; _gscu_1380850711=416803627ubhq917; stadate1=183524746; myloc=11%7C1101; myage=23; mysex=m; myuid=183524746; myincome=30; COMMON_HASH=4eb61151a289c408a92ea8f4c6fabea6; sl_jumper=%26cou%3D17%26omsg%3D0%26dia%3D0%26lst%3D2018-11-07; last_login_time=1541680402; upt=4mGnV9e6yqDoj%2AYFb0HCpSHd%2AYI3QGoganAnz59E44s4XkzQZ%2AWDMsf5rroYqRjaqWTemZZim0CfY82DFak-; user_attr=000000; main_search:184524746=%7C%7C%7C00; user_access=1; PROFILE=184524746%3ASmartHe%3Am%3Aimages1.jyimg.com%2Fw4%2Fglobal%2Fi%3A0%3A%3A1%3Azwzp_m.jpg%3A1%3A1%3A50%3A10; pop_avatar=1; RAW_HASH=n%2AazUTWUS0GYo8ZctR5CKRgVKDnhyNymEBbT2OXyl07tRdZ9PAsEOtWx3s8I5YIF5MWb0z30oe-qBeUo6svsjhlzdf-n8coBNKnSzhxLugttBIs.; pop_time=1541680493356‘
}

try:
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = ‘unicode_escape‘
print(r.url)
return r.text
except requests.HTTPError as e:
print(e)
print("HTTPError")
except requests.RequestException as e:
print(e)
except:
print("Unknown Error !")

def parserHtml(html):
‘‘‘
功能：根据参数 html 给定的内存型 HTML 文件，尝试解析其结构，获取所需内容
参数：
html：类似文件的内存 HTML 文本对象
‘‘‘
s = json.loads(html)

usrinfo = []

for key in s[‘userInfo‘]:

blist = []

uid = key[‘uid‘]
nickname = key[‘nickname‘]
sex = key[‘sex‘]
age = key[‘age‘]
work_location = key[‘work_location‘]
height = key[‘height‘]
education = key[‘education‘]

matchCondition = key[‘matchCondition‘]
marriage = key[‘marriage‘]
income = key[‘income‘]
shortnote = key[‘shortnote‘]
image = key[‘image‘]

blist.append(uid)
blist.append(nickname)
blist.append(sex)
blist.append(age)
blist.append(work_location)
blist.append(height)
blist.append(education)
blist.append(matchCondition)
blist.append(marriage)
blist.append(income)
blist.append(shortnote)
blist.append(image)

usrinfo.append(blist)
print(nickname,age,work_location)

writePage(usrinfo)
print(‘---‘ * 20)

def writePage(urating):
‘‘‘
Function : To write the content of html into a local file
html : The response content
filename : the local filename to be used stored the response
‘‘‘

import pandas as pd
dataframe = pd.DataFrame(urating)
dataframe.to_csv(‘Jiayuan_UserInfo.csv‘, mode=‘a‘, index=False, sep=‘,‘, header=False)

if __name__ == ‘__main__‘:
for page in range(1, 5916):
url = ‘http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=2:18.24,3:155.170,23:1&sn=default&sv=1&p=%s&f=select‘ % str(page)
html = fetchURL(url)
parserHtml(html)

# 为了降低被封ip的风险，每爬100页便歇5秒。
if page%100==99:
time.sleep(5)

　　

后续工作

1. 文件去重

花了两个多小时，爬了5千多页，爬到了接近六万条数据，本来是一个相当开心的事情，但是当我打开文件，按 用户ID 排序之后，发现！！！！

神魔鬼！！！居然有大量重复的数据，单就这个叫 “名芳” 的用户，便有两千多条，这能得了？！！！

为了验证是不是我程序哪儿出错了，我反复检查调试了很久。

我发现，如果只爬前100页的数据，则重复率较低，而100页之后，便开始大量的出现重复用户了；而且重复的数据并不是同一页中连续出现，而是来自不同页。

百思不得其解，遂求助大佬，大佬听完我的描述之后说，会不会是网站的数据本身便是有问题的？

为了解开这个疑惑，我决定去网站上手动查找，一探究竟，到底在100页之后，发生了什么事儿。

此网站的翻页功能用的相当蹩脚，只有首页，上一页和下一页，页码跳转也每次只能选择前后5页。点了好久终于到了一百多页之后，发现了一件令人震惊的事情。

这是我随手截的三页的截图，108页，109页，和110页，图片下方有截图为证，来感受一下，跟连连看似的。

好吧，同样的用户换个顺序来凑页数是吗，我现在就想看看去重之后究竟还剩多少个。

import pandas as pd

inputfile = "Jiayuan_UserInfo.csv"
outputfile = "Jiayuan_UserInfo_output.csv"

df = pd.read_csv(inputfile,encoding=‘utf-8‘,names=[‘uid‘,‘nickname‘,‘sex‘,‘age‘,‘work_location‘,‘height‘,‘education‘,‘matchCondition‘,‘marriage‘,‘income‘,‘shortnote‘,‘image‘])

datalist = df.drop_duplicates()
datalist.to_csv(outputfile,encoding=‘utf-8‘,index=False, header=False)
print("Done!")

　　

下面是运行结果：

堂堂接近6万人的搜索结果，去重之后居然只剩下不到1000人，再回头看看看看网站上 “有 59352 人符合条件”，是不是感觉啪啪打脸呢。用这种手段来营造用户量很大的假象，高明的很呐。

2.照片下载

抛开数据作假不说，我们此行的目的可是看小姐姐来的呢！

言归正传，我们来下载小姐姐们的照片咯，照片的链接在我们之前保存的csv文件中就有。

import requests
import pandas as pd

# 读取csv文件
userData = pd.read_csv("Jiayuan_UserInfo_output.csv",names=[‘uid‘,‘nickname‘,‘sex‘,‘age‘,‘work_location‘,‘height‘,‘education‘,‘matchCondition‘,‘marriage‘,‘income‘,‘shortnote‘,‘image‘])

for line in range(len(userData)):
url = userData[‘image‘][line]
img = requests.get(url).content
nickname = re.sub("[\s+\.\!\/_,$%^*(+\"\‘?|]+|[+——！，。？、~@#￥%……&*（）▌]+", "",userData[‘nickname‘][line])

filename = str(line) + ‘-‘ + nickname + ‘-‘ + str(userData[‘height‘][line]) + ‘-‘ + str(userData[‘age‘][line]) + ‘.jpg‘
try:
with open(‘images_output/‘ + filename, ‘wb‘) as f:
f.write(img)
except:
print(filename)

print("Finished!")

　　

为了方便辨认，我这里将 序号 + 用户昵称 + 身高 + 年龄 作为图片的文件名

这里有一点需要注意的是，用户昵称中可能会包含一些奇形怪状的字符，以它们作为文件名的话，在保存文件的时候会出现异常，所以这里先将用户名做了一些处理，剔除其中的标点符号等字符，并且做了一个异常处理，即如果出现异常，则输出该文件名，并继续保存下一个。

于是乎，我得到了 996 张小姐姐的照片。。。

不过，这些已经不重要了，

这次，我不仅顺利爬到了全部小姐姐的数据，还发现了网站的一点“小秘密”。

此时的我无比的膨胀，我觉得我很牛逼

我觉得她们都配不上我。
---------------------
作者：机灵鹤
来源：CSDN
原文：https://blog.csdn.net/wenxuhonghe/article/details/83904396
版权声明：本文为博主原创文章，转载请附上博文链接！

原文地址：https://www.cnblogs.com/telwanggs/p/10410319.html

时间： 2024-10-10 08:19:07

（转）Python网络爬虫实战：世纪佳缘爬取近6万条数据的相关文章

爬虫学习 Python网络爬虫第三弹《爬取get请求的页面数据》

爬虫学习 Python网络爬虫第三弹<爬取get请求的页面数据> 一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib.parse,在Python2中是urllib和urllib2. 二.由易到难的爬虫程序: 1.爬取百度首页面所有数据值 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 #导包 4

【Python网络爬虫四】通过关键字爬取多张百度图片的图片

最近看了女神的新剧<逃避虽然可耻但有用>,同样男主也是一名程序员,所以很有共鸣 被大只萝莉萌的一脸一脸的,我们来爬一爬女神的皂片. 百度搜索结果:新恒结衣 本文主要分为4个部分: 1.下载简单页面 2.爬取多张图片 3.页面解码 4.爬取过程排错处理 1.下载简单页面 通过查看网页的html源码,分析得出,同一张图片共有4种链接: {"thumbURL":"http://img5.imgtn.bdimg.com/it/u=2243348409,3607039200

python网络爬虫之scrapy 调试以及爬取网页

Shell调试: 进入项目所在目录,scrapy shell "网址" 如下例中的: scrapy shell http://www.w3school.com.cn/xml/xml_syntax.asp 可以在如下终端界面调用过程代码如下所示: 相关的网页代码: 我们用scrapy来爬取一个具体的网站.以迅读网站为例. 如下是首页的内容,我想要得到文章列表以及对应的作者名称. 首先在items.py中定义title, author. 这里的Test1Item和Django中的modul

python网络爬虫之使用scrapy自动爬取多个网页

前面介绍的scrapy爬虫只能爬取单个网页.如果我们想爬取多个网页.比如网上的小说该如何如何操作呢.比如下面的这样的结构.是小说的第一篇.可以点击返回目录还是下一页 对应的网页代码: 我们再看进入后面章节的网页,可以看到增加了上一页 对应的网页代码: 通过对比上面的网页代码可以看到. 上一页,目录,下一页的网页代码都在<div>下的<a>元素的href里面.不同的是第一章只有2个<a>元素,从二章开始就有3个<a>元素.因此我们可以通过<div>

Python3网络爬虫实战-9、APP爬取相关库的安装：Appium的安装

Appium 是移动端的自动化测试工具,类似于前面所说的 Selenium,利用它我们可以驱动 Android.iOS 等设备完成自动化测试,比如模拟点击.滑动.输入等操作,其官方网站为:http://appium.io/,本节来了解一下 Appium 的安装方式. 1. 相关链接 GitHub:https://github.com/appium/appium 官方网站:http://appium.io 官方文档:http://appium.io/introduction... 下载链接:htt

Python3网络爬虫实战-6、APP爬取相关库的安装：Charles的安装

除了 Web 网页,爬虫也可以对 APP 的数据进行抓取,APP 中的页面要加载出来,首先需要获取数据,那么这些数据一般是通过请求服务器的接口来获取的,由于 APP 端没有像浏览器一样的开发者工具直接比较直观地看到后台的请求,所以对 APP 来说,它的数据抓取主要用到一些抓包技术. 本书介绍的抓包工具有 Charles.MitmProxy.MitmDump,APP 一些简单的接口我们通过 Charles 或 MitmProxy 分析找出规律就可以直接用程序模拟来抓取了,但是如果遇到更复杂的接口我

Python3网络爬虫实战-7、APP爬取相关库的安装：MitmProxy的安装

MitmProxy 是一个支持 HTTP 和 HTTPS 的抓包程序,类似 Fiddler.Charles 的功能,只不过它是一个控制台的形式操作.同时 MitmProxy 还有两个关联组件,一个是 MitmDump,它是 MitmProxy 的命令行接口,利用它我们可以对接 Python 脚本,用 Python 实现监听后的处理.另一个是 MitmWeb,它是一个 Web 程序,通过它我们可以清楚地观察到 MitmProxy 捕获的请求.本节我们来了解一下 MitmProxy.MitmDump

Python3网络爬虫实战-8、APP爬取相关库的安装：MitmProxy的安装

MitmProxy 是一个支持 HTTP 和 HTTPS 的抓包程序,类似 Fiddler.Charles 的功能,只不过它是一个控制台的形式操作.同时 MitmProxy 还有两个关联组件,一个是 MitmDump,它是 MitmProxy 的命令行接口,利用它我们可以对接 Python 脚本,用 Python 实现监听后的处理.另一个是 MitmWeb,它是一个 Web 程序,通过它我们可以清楚地观察到 MitmProxy 捕获的请求.本节我们来了解一下 MitmProxy.MitmDump

Python网络爬虫实战视频教程

Python网络爬虫实战教程(全套完整版) 课程观看地址:http://www.xuetuwuyou.com/course/168课程出自学途无忧网:http://www.xuetuwuyou.com 课程目录:课时1:课程介绍课时2:Python初识课时3:Python语法基础 课时4:Python控制流与小实例 课时5:答疑环节 课时6:Python函数详解 课时7:Python模块实战 课时8:Python文件操作实战 课时9:Python异常处理实战 课时10:Python面向对象编程