足球竞猜网页的信息进行爬取并且对信息分析

说明

一.项目介绍

对于足球竞猜网页的信息进行爬取并且对信息分析

二.部分代码展示

import requests
from lxml.html import etree

headers = {'Referer': 'http://www.okooo.com/jingcai/',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}

url = 'XXXXXXXXXXX'
response = requests.get(url, headers=headers)
response.encoding = response.apparent_encoding
response_html = etree.HTML(response.text)

id_xpath = '//*[@class="touzhu_1"]/@data-mid'
hname_xpath = '//*[@class="touzhu_1"]/@data-hname'
aname_xpath = '//*[@class="touzhu_1"]/@data-aname'

id_list = response_html.xpath(id_xpath)
hname_list = response_html.xpath(hname_xpath)
aname_list = response_html.xpath(aname_xpath)

三.完整代码至于压缩文件夹中

项目链接:https://github.com/a568972484/Crawl_for_football_infor

核心动态代码也至于压缩文件夹中

需要请联系作者

作者名称:a568972484

作者博客:小小咸鱼ywy

博客链接https://www.cnblogs.com/pythonywy

原文地址:https://www.cnblogs.com/pythonywy/p/11209323.html

时间: 2024-10-10 23:00:42

足球竞猜网页的信息进行爬取并且对信息分析的相关文章

团队-张文然-需求分析-python爬虫分类爬取豆瓣电影信息

首先要明白爬网页实际上就是:找到包含我们需要的信息的网址(URL)列表通过 HTTP 协议把页面下载回来从页面的 HTML 中解析出需要的信息找到更多这个的 URL,回到 2 继续其次还要明白:一个好的列表应该:包含足够多的电影的 URL通过翻页,可以遍历到所有的电影一个按照更新时间排序的列表,可以更快抓到最新更新的电影最后模拟过程知道豆瓣网站不能一次性爬取所有信息,只能分类爬取使用工具pyspider分析完成实现代码,测试模拟运行,按照时间列表爬取每类最新电影资讯 代码分解,便于加入团队后组员

Python爬虫入门 | 爬取豆瓣电影信息

这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬虫的大门啦~好啦,正式开始我们的第二节课<爬取豆瓣电影信息>吧!啦啦哩啦啦,都看黑板~1. 爬虫原理1.1 爬虫基本原理听了那么多的爬虫,到底什么是爬虫?爬虫又是如何工作的呢?我们先从"爬虫原理"说起.爬虫又称为网页蜘蛛,是一种程序或脚本.但重点在于:它能够按照一定的规则,自动

[Python学习] 简单爬取CSDN下载资源信息

这是一篇Python爬取CSDN下载资源信息的例子,主要是通过urllib2获取CSDN某个人所有资源的资源URL.资源名称.下载次数.分数等信息:写这篇文章的原因是我想获取自己的资源所有的评论信息,但是由于评论采用JS临时加载,所以这篇文章先简单介绍如何人工分析HTML页面爬取信息. 源代码 # coding=utf-8 import urllib import time import re import os #****************************************

python利用selenium+requests+beautifulsoup爬取12306火车票信息

在高速发展的时代.乘车出远门是必不可少的,有些查询信息是要收费的.这里打造免费获取火车票信息 想要爬取12306火车票信息,访问12306官方网站,输入出发地,目的地  ,时间  之后点击确定,这是我们打开谷歌浏览器开发者模式找到   https://kyfw.12306.cn/otn/resources/js/framework/station_name.js    这里包含了所有城市的信息和所有城市的缩写字母.想要获取火车票信息  https://kyfw.12306.cn/otn/left

python爬虫实践——爬取京东商品信息

1 ''' 2 爬取京东商品信息: 3 请求url: 4 https://www.jd.com/ 5 提取商品信息: 6 1.商品详情页 7 2.商品名称 8 3.商品价格 9 4.评价人数 10 5.商品商家 11 ''' 12 from selenium import webdriver 13 from selenium.webdriver.common.keys import Keys 14 import time 15 16 17 def get_good(driver): 18 try

对于房天下租房信息进行爬取

对于房天下租房信息进行爬取 代码 import re import requests from lxml.html import etree url_xpath = '//dd/p[1]/a[1]/@href' title_xpath = '//dd/p[1]/a[1]/@title' data_xpaht = '//dd/p[2]/text()' headers = { 'rpferpr': 'https://sh.zu.fang.com/', 'User-Agent': 'Mozilla/5

Python爬虫实例:爬取B站《工作细胞》短评——异步加载信息的爬取

<工作细胞>最近比较火,bilibili 上目前的短评已经有17000多条. 先看分析下页面 右边 li 标签中的就是短评信息,一共20条.一般我们加载大量数据的时候,都会做分页,但是这个页面没有,只有一个滚动条. 随着滚动条往下拉,信息自动加载了,如下图,变40条了.由此可见,短评是通过异步加载的. 我们不可能一次性将滚动条拉到最下面,然后来一次性获取全部的数据.既然知道是通过异步来加载的数据,那么我们可以想办法直接去获取这些异步的数据. 打开 Network 查看分析 http 请求,可以

Python练习【爬取银行网站信息】

功能实现 爬取所有银行的银行名称和官网地址(如果没有官网就忽略),并写入数据库: 银行链接: http://www.cbrc.gov.cn/chinese/jrjg/index.html 编程思路 1.利用url访问页面并获取页面信息 2.利用正则表达式对页面信息进行筛选,获取我们需要的信息 3.保存至Mysql数据库中 1.获取网页信息并保存至文件 from urllib.request import urlopen # 获取页面信息 def getPageInfo(url): pageInf

爬取彩票中奖信息

(1) http://www.zhcw.com/ssq/kaijiangshuju/index.shtml?type=0,打开此网址,并通过浏览器中“检查”选项发现此网页数据来源规律: (2)发现他的这些信息都存在标签<tr>中 (3)代码展示: 爬取 1-5 页的中所有中奖的<开奖时间>.<期号>.<中奖号 码>.<销售额>. <一等奖>. <二等奖>信息存储至 CSV 文件. #将信息爬取出来并存在列表中 form =