【转】Python 代码批量抓取免费高清图片!

import requests
from bs4 import BeautifulSoup
import random
import time
from fake_useragent import UserAgent

for page in range(1, 11):
    fst_url = r‘https://colorhub.me/search?tag=data&page={}‘.format(page)
    UA = UserAgent()
    fst_response = requests.get(fst_url, headers={‘User-Agent‘: UA.random})
    fst_soup = BeautifulSoup(fst_response.text, ‘lxml‘)
    # print(fst_soup.findAll(name=‘div‘))
    # exit()
    sec_urls = [i.find(‘a‘)[‘href‘] for i in fst_soup.findAll(name=‘div‘, attrs={‘class‘: ‘card‘})]
    pic_names = [i.find(‘a‘)[‘title‘] for i in fst_soup.findAll(name = ‘div‘, attrs={‘class‘:‘card‘})]
    for sec_url, pic_name in zip(sec_urls, pic_names):
        UA = UserAgent()
        ua = UA.random
        sec_response = requests.get(sec_url, headers={‘User-Agent‘: ua})
        sec_soup = BeautifulSoup(sec_response.text, ‘lxml‘)
        pic_url = ‘https:‘+sec_soup.find(‘img‘, {‘class‘: ‘card-img-top‘})[‘src‘]
        pic_response = requests.get(pic_url, headers={‘User-Agent‘: ua})
        with open(pic_name+‘.jpg‘, mode=‘wb‘) as fn:
            fn.write(pic_response.content)
            print(pic_name)
            seconds = random.uniform(1,3)
            time.sleep(seconds)
            fn.close()

请各位大虾赐教!

原文地址:https://www.cnblogs.com/zhzhang/p/11239645.html

时间: 2024-10-05 09:56:49

【转】Python 代码批量抓取免费高清图片!的相关文章

整理了二十多个免费高清图片素材网站,送给你

用心分享,共同成长 没有什么比你每天进步一点点更重要的了 本文已经收录至我的github,欢迎大家踊跃star 和 issues. https://github.com/midou-tech/articles  我要写公众号难免会用到很多素材,那天我想找个图片作为文章封面,找了好多网站,要么没有版权,要么需要付费.找了好久找到下面这些免费.高清.无版权的图片素材网站. ?一口气整理了2十多个免费高清图片素材网站,不管你是作为写作素材.商业素材.还是找桌面.找背景,都收藏它吧 <h3 align=

使用python来批量抓取网站图片

今天"无意"看美女无意溜达到一个网站,发现妹子多多,但是可恨一个page只显示一张或两张图片,家里WiFi也难用,于是发挥"程序猿"的本色,写个小脚本,把图片扒下来再看,类似功能已有不少大师实现了,但本着学习锻炼的精神,自己折腾一遍,涨涨姿势! 先来效果展示下: python代码: # -*- coding:utf8 -*- import urllib2 import re import requests from lxml import etree import

Python批量抓取商品数据

(批量抓取pids.csv文件中商品数据)pids.csv 文件内容:pid733641371225907336415 报错: 解决后代码: 原文地址:http://blog.51cto.com/2290153/2125131

Hibernate批量抓取

1.应用场景 当我们想获取全部的商品类别,然后在获取所有类别下面的商品时,为了提高效率,就可以考虑使用批量抓取. 批量抓取使用映射文件中的set标签的batch-size属性来设置,其值是任意一个整数,值越大效率越高. (1)不使用批量抓取实现效果: 代码: @Test public void Test(){ SessionFactory sessionFactory = null; Session session = null; Transaction tx = null; try { ses

利用Python网络爬虫抓取微信好友的所在省位和城市分布及其可视化

前几天给大家分享了如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,感兴趣的小伙伴可以点击链接进行查看.今天小编给大家介绍如何利用Python网络爬虫抓取微信好友的省位和城市,并且将其进行可视化,具体的教程如下. 爬取微信好友信息,不得不提及这个itchat库,简直太神奇了,通过它访问微信好友基本信息可谓如鱼得水.下面的代码是获取微信好友的省位信息: 程序运行之后,需要扫描进行授权登录,之后在Pycharm的控制台上会出现如下图的红色提示,这些红色的字体并不是我们通常遇到的Py

利用Python网络爬虫抓取微信好友的签名及其可视化展示

前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所在省位和城市分布及其可视化,感兴趣的小伙伴可以点击进去看看详情,内容方面不是很难,即使你是小白,也可以通过代码进行实现抓取.今天,小编继续给大家分享如何利用Python网络爬虫抓取微信好友的签名及其可视化展示,具体的教程如下所示. 1.代码实现还是基于itchat库,关于这个神奇的库,在之前的文章中

用Python进行网页抓取

引言 从网页中提取信息的需求日益剧增,其重要性也越来越明显.每隔几周,我自己就想要到网页上提取一些信息.比如上周我们考虑建立一个有关各种数据科学在线课程的欢迎程度和意见的索引.我们不仅需要找出新的课程,还要抓取对课程的评论,对它们进行总结后建立一些衡量指标.这是一个问题或产品,其功效更多地取决于网页抓取和信息提取(数据集)的技术,而非以往我们使用的数据汇总技术. 网页信息提取的方式 从网页中提取信息有一些方法.使用API可能被认为是从网站提取信息的最佳方法.几乎所有的大型网站,像Twitter.

python多线程实现抓取网页

Python实现抓取网页 下面的Python抓取网页的程序比较初级,只能抓取第一页的url所属的页面,只要预定URL足够多,保证你抓取的网页是无限级别的哈,下面是代码: ##coding:utf-8 ''' 无限抓取网页 @author wangbingyu @date 2014-06-26 ''' import sys,urllib,re,thread,time,threading ''' 创建下载线程类 ''' class download(threading.Thread): def __

Hibernate学习---第十一节:Hibernate之数据抓取策略&amp;批量抓取

1.hibernate 也可以通过标准的 SQL 进行查询 (1).将SQL查询写在 java 代码中 /** * 查询所有 */ @Test public void testQuery(){ // 基于标准的 sql 语句查询 String sql = "select * from t_person"; // 通过 createSQLQuery 获取 SQLQuery,而 SQLQuer 是 Query的子类 SQLQuery query = session.createSQLQue