python爬取某个网页的图片-如百度贴吧

python爬取某个网页的图片-如百度贴吧

作者:vpoet

日期:大约在冬季

注:随意copy,不用告诉我

#coding:utf-8
import urllib
import urllib2
import re

if __name__ =="__main__":
    rex=r'src="(http://imgsrc.baidu.com/forum/w%3D580.*?\.jpg)"';
    Response=urllib2.urlopen("http://tieba.baidu.com/p/3842835603?fr=frs");
    Html=Response.read();
    lists = re.findall(rex, Html);
    x=0;
    for picurl in lists:
        urllib.urlretrieve(picurl,'C:\Users\Administrator\Desktop\pic\%s.jpg' % x);
        x=x+1;
        print picurl;

    print 'DownLoadPicOver'
# 图片存储路径:C:\Users\Administrator\Desktop\pic
#测试爬取网址:http://tieba.baidu.com/p/3842835603?fr=frs

运行截图:

因为图片是一张张下载,可能会有点慢,等后面用了多线程，那下载飕飕的

时间： 2024-10-24 14:06:14

python爬取某个网页的图片-如百度贴吧的相关文章

python爬取某个网站的图片并保存到本地

python爬取某个网站的图片并保存到本地 #coding:utf-8 import urllib import re import sys reload(sys) sys.setdefaultencoding('gb2312') #获取整个页面的数据 def getHtml (url): page = urllib.urlopen(url) html = page.read() return html #保存图片到本地 def getImg(html): reg = r'src="(.+?\.

python爬取动态网页

静态网页:根据url即可方便的爬取动态网页:分为两种:一种是通过F12查看控制台的xhr等文件,找到包含所要爬取的内容的文件,发现这个文件的url路径跟页码有联系,那么就可以根据构造的url来进行访问爬取了.还有一种情况是查看了包含所要爬取内容的文件,发现文件url是固定不变的或者跟页码没有关系,这个时候可以通过简单的模拟浏览器点击行为来请求网页再爬取,这种方案执行效率较慢,不适于多页爬取的情况.代码如下: 1 def parse(self, response): 2 print 'parse

python爬取基础网页图片

python基础爬虫总结 1.爬取信息原理与浏览器客户端类似,向网站的服务器发送一个请求,该请求一般是url,也就是网址.之后服务器响应一个html页面给客户端,当然也有其他数据类型的信息,这些就是网页内容.我们要做的就是解析这些信息,然后选择我们想要的,将它爬取下来按要求写入到本地. 2. 爬虫基本流程 1.获取网页的响应的信息这里有两个常用的方法 html = requests.get(url) return html.text 或者 html = urllib.request.urlo

Python 爬取简单网页

1 import urllib.request 2 url = "http://www.baidu.com/s?wd=" #get网址格式:"https://www.baidu.com/s?wd=关键字" 3 key="周杰伦" 4 key_code=urllib.request.quote(key) # 汉字编码转化 5 url_all=url+key_code 6 req=urllib.request.Request(url_all) 7 d

python爬取简单网页

requets requests是python实现的简单易用的HTTP库,使用起来比urllib简洁很多因为是第三方库,所以使用前需要cmd安装 pip install requests 安装完成后import一下,正常则说明可以开始使用了. 基本用法: requests.get()用于请求目标网站,类型是一个HTTPresponse类型 mport requests response = requests.get('http://www.baidu.com') print(response.

python爬取煎蛋网图片

py2版本: #-*- coding:utf-8 -*-#from __future__ import unicode_literimport urllib,urllib2,timeimport re,sys,osheaders={'Referer':'http://jandan.net/','User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2

python 爬取煎蛋网图片

__author__ = mkdir(path): os path = path.strip() path = path.rstrip() mkfile = os.path.exists(path) mkfile: () : os.makedirs(path) () urllib, urllib2, re geturl(url): file_lists = [] req = urllib2.Req

没有内涵段子可以刷了，利用Python爬取段友之家贴吧图片和小视频(含源码)

由于最新的视频整顿风波,内涵段子APP被迫关闭,广大段友无家可归,但是最近发现了一个"段友"的app,版本更新也挺快,正在号召广大段友回家,如下图,有兴趣的可以下载看看(ps:我不是打广告的,没收广告费的) 同时,之前同事也发了一个贴吧的段子聚居地,客官稍等,马上奉上连接:段友之家?https://tieba.baidu.com/f?ie=... 然后呢,看到上面,确实好多段友在上面,于是乎,我就想爬取他们的图片和小视频,就有了这篇文章的主题: 其实吧,用Python爬取网站数据是最基

python爬取网站美女图片

今天周五,项目刚刚上线完,有些时间,闲着无聊,继续复习爬虫,这次打算爬取网站的美女图片.得先找到目标,然后目标网站还不会反爬虫,因为自己只是小白,好了开始. 寻找目标,发现了目标,哈哈 http://www.meizitu.com 里面图片按专题分类.先看下页面找出相关源码页面源码即只要抓出来图片集的link跟图片集里面的link对应的jpg就可以了, 可以用beautifulsoup或者正则匹配,我这里用正则匹配需要的link.然后遍历整个网站就可以了请看源码解释 #!bin/pyth