校花网爬取

1、堆糖校花网API：

获取数据的api：

 https://www.duitang.com/napi/blog/list/by_search/?kw=%E6%A0%A1%E8%8A%B1&start=0&limt=1000

图片路径 "path":

 https://b-ssl.duitang.com/uploads/item/201509/18/20150918195615_JfdKm.jpeg

2、简要介绍爬虫：

（1）从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用；

（2）从解析过程来说：

方式1：浏览器提交请求--->下载网页代码--->解析成页面

方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

爬虫要做的就是方式2；

爬虫过程图

3、过程各个阶段的主要介绍：

（1）发起请求

使用http库向目标站点发起请求，即发送一个Request

Request包含：请求头、请求体等

Request模块缺陷：不能执行JS 和CSS 代码

（2）获取响应内容

如果服务器能正常响应，则会得到一个Response

Response包含：html，json，图片，视频等

（3）解析内容

解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等

解析json数据：json模块

解析二进制数据:以wb的方式写入文件

（4）保存数据

数据库（MySQL，Mongdb、Redis）或文件

参考博客：http://www.cnblogs.com/linhaifeng/articles/7773496.html

***************小福利Tip***************

https://cdn.yangju.vip/k/?url=
https://cdn.yangju.vip/k/?url=?
https://jx.lache.me/cc/?url=?
https://api.653520.top/vip/?url=?
https://jx.ab33.top/vip/?url=?
https://vip.mpos.ren/v/?url=?
https://jx.000180.top/jx/?url=?
https://jx.km58.top/jx/?url=

原文地址：https://www.cnblogs.com/haoxinchen/p/10099232.html

时间： 2024-10-10 00:39:11

校花网爬取的相关文章

爬虫----爬取校花网视频

import requests import re import time import hashlib def get_page(url): print('GET %s' %url) try: response=requests.get(url) if response.status_code == 200: return response.content except Exception: pass def parse_index(res): obj=re.compile('class="i

爬取校花网大学校花代码

import re import os import requests count = 0 for i in range(10): url = f"http://www.xiaohuar.com/list-1-{count}.html" response = requests.get(url) data = response.text result_list = re.findall('src="(.*?)" /></a>',data) # pri

轻松入门Python爬虫，三个爬虫版本，带你以各种方式爬取校花网

爬虫是什么? 如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛, 沿着网络抓取自己的猎物(数据)爬虫指的是:向网站发起请求,获取资源后分析并提取有用数据的程序: 从技术层面来说就是通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片.视频) 爬到本地,进而提取自己需要的数据,存放起来使用: 为了帮助大家更轻松的学好Python开发,爬虫技术,Python数据分析等相关知识,给大家分享一套Python学习资料,小编推荐

基本文件处理-爬取豆瓣电影排行榜

目录文件的类型什么是文件? 文件的分类文件的打开与关闭文件处理的三个步骤使用方式爬虫 requests库的使用文件的类型什么是文件? 一堆.py/.txt 存储着文字信息文件, 文件的分类二进制文件:由0.1组成,例如.png文件文本文件:由单一特定编码组成的文件,如utf8,例如 .txt文件文件的打开与关闭文件处理的三个步骤打开(找到路径打开) 打开模式描述 r 只读不可写 w 只写不可读(会清空文件) a 追加不可读 r+ 可读可写 w+ 可读可写(会清空文件)

python爬虫：爬取易迅网价格信息，并写入Mysql数据库

本程序涉及以下方面知识: 1.python链接mysql数据库:http://www.cnblogs.com/miranda-tang/p/5523431.html 2.爬取中文网站以及各种乱码处理:http://www.cnblogs.com/miranda-tang/p/5566358.html 3.BeautifulSoup使用 4.原网页数据信息不全用字典的方式,把不存在的字段设置为空详细代码: #!/usr/bin/python # -*- encoding:utf-8 -*

教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

欢迎加入Python学习交流群:535993938 禁止闲聊 ! 名额有限 ! 非喜勿进 ! 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. Scrapy吸引人的地方在于

Scrapy爬取照片

本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改.它也提供了多种类型爬虫的基类,如BaseSpide

【转载】教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

原文:教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. Scrapy吸引人的地方在于它是一个框架,任何人都可

Python-定时爬取指定城市天气(一)-发送给关心的微信好友

一.背景上班的日子总是3点一线,家里,公司和上班的路径,对于一个特别懒得我来说,经常遇到上班路上下雨了,而我却没带伞,多么痛的领悟.最近对python有一种狂热的学习热情,写了4年多的C++代码,对于python我不能说简单,但是他做东西确实太快了,现有的第三方资源真的炒鸡多,用的我也是不亦乐乎.除了上班忘记带伞,每天重复性的工作还有很多,比如上下班打卡.每个礼拜的周报,还有如果有关心的女神,也可以做定时发送心里话,或者定时提醒等各种服务.有时候想如果有一个人能按时提醒我就好了,这种想法也就停