[python][爬虫]从网页中下载图片

说明:仅为测试下载图片、正则表达式

测试url为钢铁侠贴吧的一个介绍mark各代盔甲帖子

以下代码将第一页的图片全部下载到本程序根目录


#!/usr/bin/env python
#! -*- coding: utf-8 -*-
import urllib,urllib2
import re
#返回网页源代码
def getHtml(url):
    html = urllib2.urlopen(url)
    srcCode = html.read()
    return srcCode

def getImg(srcCode):
    #通过分析网页中的图片地址,对其片建立正则
    pattern = re.compile(r‘src="(.*?\.jpg)".*?pic_ext="jpeg"‘)
    #图片完整路径存储为list
    imgSrc = pattern.findall(srcCode)
    num = 0
    for i in imgSrc:
        urllib.urlretrieve(i,‘%s.jpg‘ % num)
        num += 1
        print "正则下载"
        print i
    print ‘全部任务完成!‘
myUrl = ‘http://tieba.baidu.com/p/3698756921?see_lz=1&pn=1‘
getImg(getHtml(myUrl))

时间: 2024-11-08 06:32:27

[python][爬虫]从网页中下载图片的相关文章

Python抓取网页中的图片到本地

今天在网上找了个从网页中通过图片URL,抓取图片并保存到本地的例子: 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 # Author: xixihuang 5 # Date : 2016/08/28 10:12 AM 6 # Desc: 抓取网页,获取图片URL,抓取图片内容并保存到本地. 7 8 import os 9 import uuid 10 import urllib2 11 import cookielib 12 '''获取

下载网页中的图片到本地

简单的一个下载如下 : string url = "http://avatar.csdn.net/A/2/6/2_yefengzhixia.jpg"; string filepath = "D:\\pic.jpg"; WebClient mywebclient = new WebClient(); mywebclient.DownloadFile(url, filepath); MessageBox.Show("OK"); 下面演示一个从网站中下

Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup) (转)

Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup) 最近两周都在学习Python抓取网页方法,任务是批量下载网站上的文件.对于一个刚刚入门python的人来说,在很多细节上都有需要注意的地方,以下就分享一下我在初学python过程中遇到的问题及解决方法. 一.用Python抓取网页 基本方法: [python] view plaincopyprint? import urllib2,urllib url = 'http://www.baidu.com' req 

python爬虫抓网页的总结

python爬虫抓网页的总结 更多 python 爬虫 学用python也有3个多月了,用得最多的还是各类爬虫脚本:写过抓代理本机验证的脚本,写过在discuz论坛中自动登录自动发贴的脚本,写过自动收邮件的脚本,写过简单的验证码识别的脚本,本来想写google music的抓取脚本的,结果有了强大的gmbox,也就不用写了. 这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,再加上simplecd这个半爬虫半网站的项目,累积不少爬虫抓站的经验,在此总结一下,那么以后做东西也就不

imagesLoaded – 检测网页中的图片是否加载

imagesLoaded 是一个用于来检测网页中的图片是否载入完成的 JavaScript 工具库.支持回调的获取图片加载的进度,还可以绑定自定义事件.可以结合 jQuery.RequireJS 使用. 插件下载     效果演示 使用示例: // element imagesLoaded( document.querySelector('#container'), function( instance ) { console.log('all images are loaded'); });

python怎么处理html中的图片

在使用的是 Template(open(file)) 引入的 html, 在处理静态文件的时候,怎么处理图片? 可以这样: def imgFile(environ, start_response): ext = environ['PATH_INFO'].split('.') for n in ext: mime = n m = [('content-type', 'image/'+mime)] start_response('200 OK', m) image = open(os.getcwd(

网页中的图片查看器viewjs使用

需求分析: 对于网页中的图片进行连续放大(便于用户清晰查看内容).缩小,旋转等操作,可以使用viewjs图片查看器插件实现. viewjs官方网址:https://github.com/fengyuanchen/viewerjs 具体使用方法请参照官网说明. 下面做2个简单的示例: 1.示例一:单一图片 1 <!DOCTYPE html> 2 <html lang="zh"> 3 4 <head> 5 <meta charset="U

Python爬虫学习之爬美女图片

最近看机器学习挺火的,然后,想要借助业余时间,来学习Python,希望能为来年找一份比较好的工作. 首先,学习得要有动力,动力,从哪里来呢?肯定是从日常需求之中来.我学Python看网上介绍.能通过Python来编写爬虫,于是,我也的简单的看了一下Python的介绍,主要是Python的一些语法,还有正则表达式. 好了,学习使用Python之前,来给大家看一下我们需要进行爬去的网站: 看到这个网站,感谢美女很养眼的同时,网站的图片也不太过,就是比较性感而已.看到这个多的美女,你想不想要将这些爬取

[python][爬虫]暴漫gif下载

说明:和上一个下载百度贴吧图片差不多,修改了正则,加入了页码控制 #!/usr/bin/env python #! -*- coding: utf-8 -*- #图片地址样例:src="http://ww2.sinaimg.cn/large/005Yan1vjw1erf95qkbfog307e08uu0y.gif" style="width:460px" import urllib,urllib2 import re #返回网页源代码 def getHtml(url