-
- 前言
- 查找的过程
- 核心
- 总结
前言
微博数据基本上可以说是社交圈里面最大的了。但是单纯的使用urllib，是不足以获取数据的。
今天来使用Cookie的方式绕开微博权限验证这一关卡， 爬取一下数据。
查找的过程
打开Chrome 的F12之后，刷新页面，真的是眼花缭乱的数据流啊，飞流直下。找了好久，发现大部分数据都是通过JavaScript脚本渲染到页面上的。
这也就是为什么单纯的使用urllib抓不到的原因了。因为这是动态页面，而Urllib则是抓取静态页面。明白了这一点，就找到了方向了。
那就是找到数据源接口。后来经过我的仔细审核，发现了类似于这样的一个URL。
http://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=103505&is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=2&pagebar=0&pl_name=Pl_Official_MyProfileFeed__23&id=1035051198367585&script_uri=/kqdpku&feed_type=0&pre_page=2&domain_op=103505&__rnd=1495367966928- 1
然后发现服务器端返回的数据内容是JSON格式的。大致内容如下；
然后这姑且算是找到一个人的数据了吧。那么问题接着来了，如果我想看其他人的页面怎么办呢？
思路有如下两个：
- 一是按照刚才的方法，一个个的去查找。（费时费力，不赞同）
- 二是走捷径，对比URL，我们会发现一个domain的参数，而对应的值就是目标博主的ID。
比如我要看刘强东的主页，http://weibo.com/p/1003061866402485/home?from=page_100306&mod=TAB&is_hot=1#place
里面的from参数的page值后面的数据就是我们需要的domain值了。拿过来就可以直接使用。
核心
经过了刚才的各种铺垫，下面直接上代码。体验一把吧。
# coding: utf8
# @Author: 郭 璞
# @File: login.py
# @Time: 2017/5/21
# @Contact: [email protected]
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 新浪微博登录测试
import requests
import json
from bs4 import BeautifulSoup
headers = {
‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36‘,
‘Host‘: ‘weibo.com‘
}
Cookies = {
"Cookie": "SCF=Asl3BNSxfmhmaP2cIVfnvOp-mmfHwOPYfdoMZIz6y4WtkH4xK0jdB0Hr0Tll4RzJ0xUHIi5HOLBAjEASrqSGDiQ.; SUB=_2A250JQA2DeThGeNI41UX8ifJyziIHXVXU3b-rDV8PUNbmtBeLWbGkW9yh-AUBKZFFYCHZ2zA0zH1I-l4dg..; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5yNOfs44nTEDRpARDUs7Yl5JpX5K2hUgL.Fo-c1hMceo.fehB2dJLoIcBLxK-LBo5L12qLxK-LBo5L12qLxK-LBo5L12qLxK-LBo5L12qLxK-LBo5L12qpi--fi-z7iKysi--fi-z7iKysi--Ni-z0i-8si--Ni-zpi-z0i--fiKLFi-2Ei--fi-82iK.7; SUHB=0HTxO_F0SbtSsP; ALF=1526899685; SSOLoginState=1495363686; YF-V5-G0=8d4d030c65d0ecae1543b50b93b47f0c; _s_tentry=my.sina.com.cn; Apache=9206065364153.127.1495363942807; SINAGLOBAL=9206065364153.127.1495363942807; ULV=1495363942825:1:1:1:9206065364153.127.1495363942807:; YF-Page-G0=fc0a6021b784ae1aaff2d0aa4c9d1f17; YF-Ugrow-G0=ea90f703b7694b74b62d38420b5273df; wvr=6; wb_publish_fist100_5687629504=1; UOR=blog.csdn.net,widget.weibo.com,www.sina.com.cn"
}
# 刘强东
url = ‘http://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=103505&is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=2&pagebar=0&pl_name=Pl_Official_MyProfileFeed__23&id=1035051198367585&script_uri=/kqdpku&feed_type=0&pre_page=1&domain_op=100306&__rnd=1495367966928‘
response = requests.get(url=url, headers=headers, cookies=Cookies)
data = json.loads(response.text)
result = data[‘data‘]
soup = BeautifulSoup(result, ‘html.parser‘)
blogs = soup.find_all(‘div‘, {‘class‘: ‘WB_detail‘})
for blog in blogs[0:8]:
print("微博发文：", blog.find_all(‘div‘)[2].get_text())
# 为了减少控制台内容输出，这里注释掉即可
# print("配图：", blog.find_all(‘div‘, {‘class‘: ‘media_box‘}))
print(‘=======‘*36)
# WB_innerwrap
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
运行结果如何呢？
C:\Users\biao\Desktop\network\env\Scripts\python.exe C:/Users/biao/Desktop/network/code/sina/login.py
微博发文：
骗人，南通没有普洱！//@普洱玫瑰汤:啊哈，我也是南通人呢。
===========================================================
微博发文：
回复@流氓无产者刘爷:即使那样死了，无耻的看客们还要说不过瘾哩。//@流氓无产者刘爷:不仅不应该收费，还应该累死饿死是不？还应该绑着炸弹跟恐怖分子对炸去是不？还应该拎着菜刀跟汉奸对砍去是不？说话之前掂量掂量自己，考虑考虑别人不行么？
===========================================================
微博发文：
给队里多买点。
===========================================================
微博发文：
聪明。//@遇见那兵荒马乱:还是那天红场阅兵那天您阅的未名湖吗？
===========================================================
微博发文：
你这眼神啊！//@鐵匠--孫:上面怎么还有肉渣渣，还是馋嘴
===========================================================
微博发文：
这哥俩才超过五百。
===========================================================
微博发文：
顺也是一种孝，但不可机械教条。//@夜半有人私语时:以前只知道“以顺行孝”，原来也可以“以谏行孝”。谢谢孔老师。
===========================================================
微博发文：
美梦与歹命。我回答了 @NEW七七 的问题，问题价值￥433.00，大家快来花1元围观~ O微博问答 ????
===========================================================
Process finished with exit code 0
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
如此，微博数据也能搞到手了。
总结
使用Cookie绕开登录选项，确实是一个比较好的捷径。但是由于时效的问题，治标不治本。
从上面的结果也可以看出，这里简单的打印出了前几条数据内容。也算是抛砖引玉了。而且对比网页源码之后，我发现了更多好玩的数据源。图片，短视频，都会是很好的素材。
然后对XX进行文本分析，做成词云啊，或者做一下社交网络分析啊等等。
今天其实真的是太闲了，所以才搞了一下微博数据的爬取。文章内容，排版都挺失败的。(⊙﹏⊙)b
再分享一下我老师大神的人工智能教程吧。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！https://blog.csdn.net/jiangjunshow
原文地址：https://www.cnblogs.com/djuwcnhwbx/p/10326043.html
时间： 2024-09-28 17:20:11