python3爬虫初探(四)之文件保存

  接着上面的写,抓取到网址之后,我们要把图片保存到本地,这里有几种方法都是可以的。

  #-----urllib.request.urlretrieve-----

  

import urllib.request

imgurl = ‘http://img.ivsky.com/img/tupian/t/201411/01/xiaohuangren_tupian-007.jpg‘#前面获取网址中的一个。
urllib.request.urlretrieve(imgurl, ‘F:\\Techonolgoy\\Python\\file\\s.jpg‘)#这里urlretrieve有两个参数,第一个是图片网址;第二个是文件路径,注意‘是\\‘。如果不指定路径(s.jpg)即默认保存在当前文件夹下(.py所在文件夹)

  #------open.write------

import requests

imgurl = ‘http://img.ivsky.com/img/tupian/t/201411/01/xiaohuangren_tupian-007.jpg‘
f = open(‘s.jpg‘, ‘wb‘)#这里open的两个参数,前者同样是路径,后者是文件的打开模式,这里选择‘wb‘代表以二进制的格式写入imgdata = requests.get(imgurl).content#这里需要获取图片的二进制源码
f.write(imgdata)#写入二进制源码到文件
f.close()#关闭文件,如果没有这一步,则文件不能成功保存到本地。

  #------with open-------------

  相比open来说,with有一个优点就是不用close(),其写入后自动关闭。

import requests

imgurl = ‘http://img.ivsky.com/img/tupian/t/201411/01/xiaohuangren_tupian-007.jpg‘
imgdata = requests.get(imgurl).content
with open(‘s.jpg‘, ‘wb‘) as f:
	f.write(imgdata)

  

时间: 2024-10-19 07:54:07

python3爬虫初探(四)之文件保存的相关文章

python3爬虫初探(五)之从爬取到保存

想一想,还是写个完整的代码,总结一下前面学的吧. import requests import re # 获取网页源码 url = 'http://www.ivsky.com/tupian/xiaohuangren_t21343/' data = requests.get(url).text #正则表达式三部曲 #<img src="http://img.ivsky.com/img/tupian/t/201411/01/xiaohuangren-009.jpg" width=&q

python3爬虫初探

---恢复内容开始--- #小白一个,在此写下自己的python爬虫初步的知识.如有错误,希望谅解并指出. #欢迎和大家交流python爬虫相关的问题 #2016/6/18 #----第一把武器-----urllib.request--------- urllib.request是python3自带的库(python3.x版本特有),我们用它来请求网页,并获取网页源码.话不多说,上代码. import urllib.request #调入要使用的库 url = 'http://www.baidu

python3爬虫初探(二)之requests

关于请求网页,不得不提requests这个库,这是爬虫经常用到的一个第三方库,用pip安装即可. requests用法很多,这里只写一些基础的,其他高级功能可参考官方文档. import requests url = 'http://www.baidu.com' #这里用get方法用来请求网页,其他还有post等方法来请求网页 data = requests.get(url) print(data) #<Response [200]> print(data.text)#这里的 .text 就等

Python3爬虫(四)请求库的使用requests

Infi-chu: http://www.cnblogs.com/Infi-chu/ 一.基本用法: 1. 安装: pip install requests 2. 例子: import requests url = 'http://www.baidu.com' r = requests.get(url) print(type(r)) # 类型是str(JSON格式) print(r.status_code) print(r.text) print(r.cookies) [注]其余请求方法也是一样

python3爬虫初探(三)之正则表达式

前面已经写了如何获取网页源码,那么接下来就是该解析网页并提取需要的数据了.这里简单写一下正则表达的用法. 首先,找个要抓取图片的网站,获取源码. import requests import re # 获取网页源码 url = 'http://www.ivsky.com/tupian/xiaohuangren_t21343/' data = requests.get(url).text 小黄人的图...接下来浏览器检查元素,发现图片源码格式,前面均为<img ,结尾均为 .jpg 而我们要提取的

Python爬虫利器四之PhantomJS的用法

前言 大家有没有发现之前我们写的爬虫都有一个共性,就是只能爬取单纯的html代码,如果页面是JS渲染的该怎么办呢?如果我们单纯去分析一个个后台的请求,手动去摸索JS渲染的到的一些结果,那简直没天理了.所以,我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面. 其中有一个比较常用的工具,那就是 PhantomJS Full web stack No browser required PhantomJS is a headless WebKit scriptable with a Ja

Python爬虫实战四之抓取淘宝MM照片

福利啊福利,本次为大家带来的项目是抓取淘宝MM照片并保存起来,大家有没有很激动呢? 最新动态 更新时间:2015/8/2 最近好多读者反映代码已经不能用了,原因是淘宝索引页的MM链接改了.网站改版了,URL的索引已经和之前的不一样了,之前可以直接跳转到每个MM的个性域名,现在中间加了一个跳转页,本以为可以通过这个页面然后跳转到原来的个性域名,而经过一番折腾发现,这个跳转页中的内容是JS动态生成的,所以不能用Urllib库来直接抓取了,本篇就只提供学习思路,代码不能继续用了. 之后博主会利用其它方

Python3 爬虫(八) -- BeautifulSoup之再次爬取CSDN博文

序 我的Python3爬虫(五)博文使用utllib基本函数以及正则表达式技术实现了爬取csdn全部博文信息的任务. 链接:Python3 爬虫(五) -- 单线程爬取我的CSDN全部博文 上一篇,我们学习了BeautifulSoup这样一个优秀的Python库,必须有效利用起来.那么我们就利用BeautifulSoup4重新实现一次爬取csdn博文的任务. 由于我修改了博客配置,首页主题换了一下,我们基于新的主题查看网页,如下图所示: 同样的,确认要提取的信息,以及博文总页数. 分析网页源码

Python3爬虫实战:实战源码+博客讲解

Python Spider 贵有恒,何必三更起五更睡:最无益,只怕一日暴十寒. Python3爬虫实战:实战源码+博客讲解 个人网站 CSDN博客 CSDN爬虫专栏 学习交流群[328127489] 声明 代码.教程仅限于学习交流,请勿用于任何商业用途! 文章首发声明 文章在自己的个人网站首发,其他平台文章均属转发,如想获得最新更新进展,欢迎关注我的个人网站:http://cuijiahua.com/ 目录 爬虫小工具 文件下载小助手 爬虫实战 笔趣看小说下载 百度文库免费文章下载助手_rev1