python 批量下载文件

file.txt 的内容为:

http://183.xxx.xxx.54:188/my/qqq.ico::qq.exe::0::
http://183.xxx.xxx.54:186/my/ddnf.ico::dnf.exe::0::

 1 import re
 2 import os.path
 3 import urllib.request
 4 import socket
 5
 6 #Python读写文件
 7 #使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。
 8
 9 n=0
10 file_object = open(‘file.txt‘)  #读文本文件,第二个参数默认为r
11 #all_the_text = file_object.read( )
12 for line in file_object: #如果文件是文本文件,还可以直接遍历文件对象获取每行:
13     try:
14         n = n+1
15         #print (line,end="") #python 3.x  print 不换行
16         pattern = re.compile(r‘(.+?)::.+‘)
17         match = pattern.search(line)
18         if match:
19             url = match.group(1)
20             p,filename = os.path.split(url)
21             socket.setdefaulttimeout(10) #设置超时
22             data = urllib.request.urlretrieve(url,filename)
23             print(url)
24     except Exception as e:
25         print(e,url)
26         n = n-1
27 print(n)
28 file_object.close( ) #注:不能把open语句放在try块里,因为当打开文件出现异常时,文件对象file_object无法执行close()方法。
时间: 2024-12-24 15:15:32

python 批量下载文件的相关文章

python批量下载文件

#!/usr/bin/python # _*_ coding: utf-8 _*_ ''' Created on 2018年8月22日 ''' import urllib import urllib2 import re req = urllib2.Request('http://repo.zabbix.com/zabbix/3.5/rhel/7/x86_64/') # req = urllib2.Request('http://www.cvpapers.com/cvpr2014.html')

Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup) (转)

Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup) 最近两周都在学习Python抓取网页方法,任务是批量下载网站上的文件.对于一个刚刚入门python的人来说,在很多细节上都有需要注意的地方,以下就分享一下我在初学python过程中遇到的问题及解决方法. 一.用Python抓取网页 基本方法: [python] view plaincopyprint? import urllib2,urllib url = 'http://www.baidu.com' req 

<<< JS实现网页批量下载文件,支持PC/手机

//把下载链接放入集合里 var downloadData = new Array{"http://www.empli.com/data1.apk","http://www.empli.com/data1.apk","http://www.empli.com/data1.apk","http://www.empli.com/data1.apk"}; var downloadNum=0;//方法执行次数 circularWind

php批量下载文件

最近用codeigniter开发一个图片网站,发现单文件下载很容易实现,批量下载的话,不是很容易实现. 以下是参考网上的例子,编写的一个测试文件,遇到同样问题而不知道如何处理的朋友们可以参考下. 思路: ① 把要下载的图片信息组合到$imgs数组中 ② 把要下载的图片打包成zip压缩包 ③ 下载压缩包,删除服务器上的临时zip文件 <?php $imgs[] = 'http://demo.pic.com/column_f/large/IMG_Af8P_15.jpg'; $imgs[] = 'ht

C#异步批量下载文件

C#异步批量下载文件 实现原理:采用WebClient进行批量下载任务,简单的模拟迅雷下载效果! 废话不多说,先看掩饰效果: 具体实现步骤如下: 1.新建项目:WinBatchDownload 2.先建一个Windows窗体:FrmBatchDownload,加载事件FrmBatchDownload_Load 3.放置一个Button按钮:btnStartDownLoad,单机事件btnStartDownLoad_Click 4.放置一个DataGridView:dgvDownLoad. 5.具

七牛云存储批量下载文件

public class UploadFile {         //设置好账号的ACCESS_KEY和SECRET_KEY      String ACCESS_KEY = "akey";      String SECRET_KEY = "skey";      //要上传的空间      String bucketname = "bucketname";//         //下载路径(空间里的外链复制过来)      String d

使用kettle批量下载文件

使用kettle批量下载文件 最新有项目中需要批量下载文件并把结果导入到数据中,通过一些实验测试,kettle确实可以胜任.问题是关键是如果通过http批量下载文件,本文将详细说明,假设你已经了解了kettle的基本知识,如果需要可以查看我的系列入门教程. 本文的示例代码可以在这里下载. 主作业 kettle的转换中没有通过http下载文件的步骤,但是job的有对应的步骤,所以在主job调用子job(Download.kjb),需要下载的文件列表通过一个转换提供. 文件列表转换 这里我仅仅使用数

用python批量下载贴吧图片 附源代码

环境:windows 7 64位:python2.7:IDE pycharm2016.1 功能: 批量下载百度贴吧某吧某页的所有帖子中的所有图片 使用方法: 1.安装python2.7,安装re模块,安装urllib2模块 2.复制以下源代码保存为tbImgiDownloader.py文件 3.打开某个贴吧并复制其网址 4.打开文件tbImgiDownloader.py在第37行的单引号中输入网址,保存  5.双击tbImgiDownloader.py 说明: 1.本程序每次可以下载大概50个贴

自从会了Python在群里斗图就没输过,Python批量下载表情包!

导语 最近图慌,于是随便写了个表情包批量下载的脚本,没什么技术含量,纯娱乐性质. 让我们愉快地开始吧~ 开发工具 Python版本:3.6.4 相关模块: requests模块: fake_useragent模块: 以及一些Python自带的模块. 环境搭建 安装Python并添加到环境变量,pip安装需要的相关模块即可. 原理简介 爬的站长之家的表情包,链接: http://sc.chinaz.com/biaoqing/index.html 非常好爬,思路也很简单: ① 获得表情包所在地址: