requests实例4:图片的爬取与保存

requests实例4:图片的爬取与保存

代码框架:

 1 # coding=gbk
 2 import requests
 3 import os
 4 url = "http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
 5 root = "D://pics//"
 6 path = root + url.split(‘/‘)[-1]
 7 try:
 8     if not os.path.exists(root):
 9         os.mkdir(root)
10     if not os.path.exists(path):
11         r = requests.get(url)
12         with open(path, ‘wb‘) as f:
13             f.write(r.content)
14             f.close()
15             print("文件保存成功")
16     else:
17         print("文件已存在")
18 except:
19     print("爬取失败")

原文地址:https://www.cnblogs.com/Shiko/p/10840910.html

时间: 2024-09-28 19:13:50

requests实例4:图片的爬取与保存的相关文章

python爬虫实例详细介绍之爬取大众点评的数据

python 爬虫实例详细介绍之爬取大众点评的数据 一. Python作为一种语法简洁.面向对象的解释性语言,其便捷性.容易上手性受到众多程序员的青睐,基于python的包也越来越多,使得python能够帮助我们实现越来越多的功能.本文主要介绍如何利用python进行网站数据的抓取工作.我看到过利用c++和Java进行爬虫的代码,c++的代码很复杂,而且可读性.可理解性较低,不易上手,一般是那些高手用来写着玩加深对c++的理解的,这条路目前对我们不通.Java的可读性还可以,就是代码冗余比较多,

Python3 爬虫实例(三) -- 爬取豆瓣首页图片

序 前面已经完成了简单网页以及伪装浏览器的学习.下面,实现对豆瓣首页所有图片爬取程序,把图片保存到本地一个路径下. 首先,豆瓣首页部分图片展示 这只是截取的一部分.下面给出,整个爬虫程序. 爬虫程序 这个爬取图片的程序采用伪装浏览器的方式,只不过是加了处理图片的模块. ''' 批量下载豆瓣首页的图片 采用伪装浏览器的方式爬取豆瓣网站首页的图片,保存到指定路径文件夹下 ''' #导入所需的库 import urllib.request,socket,re,sys,os #定义文件保存路径 targ

scrapy图片数据爬取

需求:爬取站长素材中的高清图片 ?一.数据解析(图片的地址)? 通过xpath解析出图片src的属性值.只需要将img的src的属性值进行解析,提交到管道, 管道就会对图片的src进行请求发送获取图片 spider文件 class ImgSpider(scrapy.Spider): name = 'img' # allowed_domains = ['www.xxx.com'] start_urls = ['http://sc.chinaz.com/tupian/'] def parse(sel

用requests库和BeautifulSoup4库爬取新闻列表

1.用requests库和BeautifulSoup4库,爬取校园新闻列表的时间.标题.链接.来源. import requests from bs4 import BeautifulSoup mt="http://news.gzcc.cn/html/xiaoyuanxinwen/" res=requests.get(mt) res.encoding='utf-8' soup=BeautifulSoup(res.text,"html.parser") for new

requests库和BeautifulSoup4库爬取新闻列表

画图显示: import jieba from wordcloud import WordCloud import matplotlib.pyplot as plt txt = open("zuihou.txt","r",encoding='utf-8').read() wordlist = jieba.lcut(txt) wl_split=" ".join(wordlist) mywc = WordCloud().generate(wl_spl

requests之肯德基座位爬取

import requestsimport jsonif __name__ =='__main__': headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' } # 1进行UA伪装,指定url url = 'http://www.kfc.com.cn/kfccda/ashx/G

python3爬虫初探(五)之从爬取到保存

想一想,还是写个完整的代码,总结一下前面学的吧. import requests import re # 获取网页源码 url = 'http://www.ivsky.com/tupian/xiaohuangren_t21343/' data = requests.get(url).text #正则表达式三部曲 #<img src="http://img.ivsky.com/img/tupian/t/201411/01/xiaohuangren-009.jpg" width=&q

使用Httpclient实现网页的爬取并保存至本地

程序功能实现了爬取网页页面并且将结果保存到本地,通过以爬取页面出发,做一个小的爬虫,分析出有利于自己的信息,做定制化的处理. 其中需要的http*的jar文件,可以在网上自行下载 import java.io.DataOutputStream; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import org.apache

Python2.7 基于bs4与requests库的网页图片简单爬取

爬虫入门新手,自学笔记,如果理解有错误请指正. import requests from bs4 import BeautifulSoup import urllib url = 'http://www.nipic.com/index.html' #图片网站 data = requests.get(url) #获取网站响应 soup = BeautifulSoup(data.text,'html.parser') #解析 imgs = soup.find_all('img') Beautiful