urllib使用三--urlretrieve下载文件

下载文件

urllib.urlretrieve()

参数:

url:远程地址

filename:要保存到本地的文件

reporthook:下载状态报告

data:有就变成POST请求,有格式要求

返回值:

返回元组(filename, HTTPMessage)

import urllib

def print_list(lists):
    for i in lists:
        print(i)
fname,msg = urllib.urlretrieve("http://blog.kamidox.com/",‘index.html‘)

print_list(msg.items())

reporthook:

参数1:当前传输的块数

参数2:块大小

参数3:数据总大小

注意:content-length不是必须的

自定义一个下载进度函数,然后urlretrieve中赋值给reporthook参数即可

import urllib

def print_list(lists):
    for i in lists:
        print(i)
fname,msg = urllib.urlretrieve("http://blog.kamidox.com/",‘index.html‘,reporthook=fun)

print_list(msg.items())

原文地址:https://www.cnblogs.com/chillytao-suiyuan/p/9147752.html

时间: 2024-11-09 02:45:29

urllib使用三--urlretrieve下载文件的相关文章

【android】下载文件至本应用程序的file文件夹或者sdcard

 一.推断是否有sdcard卡 //推断是否有SD卡 //ture:有SD卡 //false:没有SD卡 public boolean avaiableMedia(){ String status=Environment.getExternalStorageState(); if(status.equals(Environment.MEDIA_MOUNTED)){ return true; } else { return false; } } 二.下载文件至sdcard卡 if(avaiab

【android】下载文件至本应用程序的file目录或者sdcard

 一.判断是否有sdcard卡 //判断是否有SD卡 //ture:有SD卡 //false:没有SD卡 public boolean avaiableMedia(){ String status=Environment.getExternalStorageState(); if(status.equals(Environment.MEDIA_MOUNTED)){ return true; } else { return false; } } 二.下载文件至sdcard卡 if(avaiab

python下载文件的三种方法

Python开发中时长遇到要下载文件的情况,最常用的方法就是通过Http利用urllib或者urllib2模块. 当然你也可以利用ftplib从ftp站点下载文件.此外Python还提供了另外一种方法requests. 下面来看看三种方法是如何来下载zip文件的:方法一: import urllib import urllib2 import requests print "downloading with urllib" url = 'http://***/test/demo.zip

【Python】Python的urllib模块、urllib2模块进行网页下载文件

由于需要从某个网页上下载一些PDF文件,但是需要下载的PDF文件有几百个,所以不可能用人工点击来下载.正好Python有相关的模块,所以写了个程序来进行PDF文件的下载,顺便熟悉了Python的urllib模块和ulrllib2模块. 1.问题描述 需要从http://www.cvpapers.com/cvpr2014.html上下载几百个论文的PDF文件,该网页如下图所示: 2.问题解决 通过结合Python的urllib模块和urllib2模块来实现自动下载.代码如下: test.py #!

【331】python 下载文件:wget / urllib

参考:python下载文件的三种方法(去掉-) 方法一:wget import wget, os # 设置下载路径 os.chdir(r"D:/tmp") url="https://files.cnblogs.com/files/alex-bn-lee/ESRI_01.zip" # 获取下载文件名称 filename = wget.detect_filename(url) # 文件下载 wget.download(url) 方法二:urllib import url

Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup) (转)

Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup) 最近两周都在学习Python抓取网页方法,任务是批量下载网站上的文件.对于一个刚刚入门python的人来说,在很多细节上都有需要注意的地方,以下就分享一下我在初学python过程中遇到的问题及解决方法. 一.用Python抓取网页 基本方法: [python] view plaincopyprint? import urllib2,urllib url = 'http://www.baidu.com' req 

以下三种下载方式有什么不同?如何用python模拟下载器下载?

问题始于一个链接https://i1.pixiv.net/img-zip-...这个链接在浏览器打开,会直接下载一个不完整的zip文件 但是,使用下载器下载却是完整文件 而当我尝试使用python下载的时候 from urllib import request import sys request.urlretrieve('https://i1.pixiv.net/img-zip-ugoira/img/2017/04/05/00/24/41/62259492_ugoira600x600.zip'

python(25)下载文件

利用程序自己编写下载文件挺有意思的.Python中最流行的方法就是通过Http利用urllib或者urllib2模块.当然你也可以利用ftplib从ftp站点下载文件.此外Python还提供了另外一种方法requests. 来看看三种方法是如何来下载zip文件的: import urllib import urllib2 import requests url = 'http://www.blog.pythonlibrary.org/wp-content/uploads/2012/06/wxDb

Python HTTP下载文件并显示下载进度条

下面的Python脚本中利用request下载文件并写入到文件系统,利用progressbar模块显示下载进度条. 其中利用request模块下载文件可以直接下载,不需要使用open方法,例如: import urllib import requests.packages.urllib3 requests.packages.urllib3.disable_warnings() url = "https://raw.githubusercontent.com/racaljk/hosts/maste