打造最全皮肤,Python采集英雄联盟(LOL)官网数据!

环境:

  • Python3.6.5
  • Windows
  • pycharm

模块:

  • import requests
  • import jsonpath from urllib.request
  • import urlretrieve import os

 

思路:

进入LOL官网的游戏资料-资料库后,可以看到所有的英雄都在里面。

当我们点击英雄头像时,会跳转到皮肤界面。

一般人的做法就是,采集到跳转的url,然后再请求该url获取皮肤数据。

思路没错,但是要想一下,如果源代码中没有跳转的url呢?

elements中确实有该链接,但是源代码中没有:

这个时候,毫无疑问 --抓包吧:

很多人做到这里无从下手了,并没有跳转的url,但是你没发现跳转的url只有一个地方放生了变化吗?(自行观察)

就只有后面的数字发生了变化,而我们的banaudio这个标签当中的url末尾是不是也有个1.ogg???

获取到数字1即可自行构造跳转的url。

到了跳转页面后,会发现网页源代码中同样不存在我们想要的图片数据(继续抓包):

OK,问题已经得到解决,很简单的一个案例。

效果

想得到更多的技术文章推送可以关注我的个人公众号:

原文地址:https://www.cnblogs.com/qdsn/p/11647878.html

时间: 2024-08-30 12:55:49

打造最全皮肤,Python采集英雄联盟(LOL)官网数据!的相关文章

Python爬取王者荣耀官网,实现一对一下载软件!

效果: 我没有弄文件夹保存,因为皮肤与英雄都是一一对应,这样子更加方便操作. 点击下载皮肤后,会自动从官网下载一个json文件,所以出了新英雄.新皮肤软件会自动更新.高清图: 但是有个别新皮肤官网也没有提供数据,找不到新皮肤下载的选择项时,点击影藏皮肤获取按钮输入英雄名字,再点击隐藏皮肤下载即可. 环境: 系统:Windows 模块:requests. json.os.time.tkinter 编辑器:sublime(获取视频教程) tkinter部分代码 界面还算比较简单的,就那么几个组件.

【程序员联盟】官网上线啦!coderunity.com

内容简介 欢天喜地,[程序员联盟]官网上线咯(此处应该有鸡蛋丢过来...) [程序员联盟]官网 大家也许会问:“这几天小编都没出文章,跑哪里happy去啦?是不是偷懒去了?” 小编:“臣妾冤枉啊.” 其实小编这几天都在制作[程序员联盟]的网站.经过设计,找资料,修改,测试,改源代码(PHP),美工,上传文章.终于算是做得基本能见人了. 我们的官网地址就是: coderunity.com 我们的网站是响应式的(Responsive design),所以在电脑,平板和手机上会自适应,而且呈现的内容优

【程序员联盟】官网上线

内容简介 欢天喜地,[程序员联盟]官网上线咯(此处应该有鸡蛋丢过来...) [程序员联盟]官网 大家也许会问:"这几天小编都没出文章,跑哪里happy去啦?是不是偷懒去了?" 小编:"臣妾冤枉啊." 其实小编这几天都在制作[程序员联盟]的网站.经过设计,找资料,修改,测试,改源代码(PHP),美工,上传文章.终于算是做得基本能见人了. 我们的官网地址就是: coderunity.com 我们的网站是响应式的(Responsive design),所以在电脑,平板和手

谈谈Python之Django搭建企业级官网(第三篇下部)

转载请注明来源地址和原作者(CFishHome) 前沿 上一篇文章我们学习了URL与视图函数的映射.传递参数的三种方式.转换器的简单使用和include函数分层映射管理.接下来这一篇文章着重介绍Path.re_path.include.reverse.redirect函数的使用和自定义URL转换器.学完这些内容,相信我们对URL和视图都会有了一定的了解和认识.为了让每篇文章具有一定的独立性,我决定每篇文章都重新新建一个项目,便于测试和调试. 预备 首先,我们在Pycharm重新新建一个名为boo

Python下载英雄联盟皮肤图片

import urllib.requestimport jsonimport os save_dir = "D:\英雄联盟皮肤"if not os.path.exists(save_dir): os.mkdir(save_dir) for i in range(99,143): for cnt in range(0,9): #save_file_name = "D:\英雄联盟皮肤\\" +str(hero_json[i]['ename'])+'-'+ hero_js

python爬取银行名称和官网地址

爬取所有银行的银行名称和官网地址(如果没有官网就忽略),并写入数据库.目标网址:http://www.cbrc.gov.cn/chinese/jrjg/index.html(因为此网站做了反爬虫机制,所以这里需要我们将爬虫伪装浏览器进行访问.)关于爬虫伪装成浏览器访问可以参考这篇文章:https://blog.csdn.net/a877415861/article/details/79468878 话不多说直接上代码: import re from urllib import request f

python爬虫案例-爬取当当网数据

输入关键字,爬取当当网中商品的基本数据,代码如下: 1 # Author:K 2 import requests 3 from lxml import etree 4 from fake_useragent import UserAgent 5 import re 6 import csv 7 8 9 def get_page(key): 10 for page in range(1,50): 11 url = 'http://search.dangdang.com/?key=%s&act=in

python爬虫学习教程之兼职网数据爬取

源码分享: 可以对着代码练习,学习编程一定要多动手练习. 代码运行效果截图 学习python.python爬虫过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun:前面是934,中间109,后面是170,与你分享Python企业当下人才需求及怎么从零基础学习Python,和学习什么内容.相关学习视频资料.开发工具都有分享! 原文地址:https://www.cnblogs.com/xiaoxiany/p/11072510.html

谈谈Python之Django搭建企业级官网(第三篇上部)

转载请注明来源地址和原作者(CFishHome) 前沿 上一节的学前准备工作和第一个小牛试刀的Django项目学习,让我们对Django开发越来越感兴趣了.正所谓趁热打铁,让我们继续来学习网站开发必备的视图函数和URL映射等知识,跟着步伐一起学习,我相信你会收获很多.噔~噔,新闻播报时间:9月12-9月16有两个超强台风在广东湛江登陆,沿途影响众多城市,包括深圳!!所以很遗憾,前几天打算和舍友去深圳游玩的计划泡汤了,也只能推迟几天前往深圳度中秋.看月亮了~ DEBUG模式 无论是使用命令行还是P