python 批量请求url

import urllib2
from urllib import quote

f = open("data.in", "r")
out = file("data2.out","w+")
a = 1.0
for line in f:
        #print line
        stri = quote(line)
        url =‘*******‘+stri
        #print url
        try:
                data = urllib2.urlopen(url)
        except:
                date = ‘error‘
        no = str(a)
        out.writelines(no+‘  ‘+ data.read())

        a = a+ 1
        if (a%1000==0):
                print a
        #print data.read()

f.close()

out.close()
时间: 2024-10-12 03:00:09

python 批量请求url的相关文章

Python网络请求urllib和urllib3详解

Python网络请求urllib和urllib3详解 urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib. 而urllib3则是增加了连接池等功能,两者互相都有补充的部分. urllib urllib作为Python的标准库,基本上涵盖了基础的网络请求功能. urllib.request urllib中,request这个模块主要负责构造和发起网络请求,并在其中加入Headers.Proxy等. 发

利用Python批量保存51CTO博客

一.背景 最近在整理博客,近在51CTO官网存在文章,想将之前写的全部保存到本地,发现用markdown写的可以导出,富文本的则不行,就想利用Python批量保存自己的博客到本地. 二.代码 git地址 #!/bin/env python # -*- coding:utf-8 -*- # _auth:kaliarch import requests import time from bs4 import BeautifulSoup from selenium import webdriver c

python批量执行paramiko

puppet 分发软件  同步文件 ssh-批量执行-paramiko-比较好的模块 直接修改远端主机的host文件 python批量执行paramiko,布布扣,bubuko.com

Python批量修改一个目录文件名

#!/usr/bin/env python # -*- coding:utf-8 -*- import re  import os import time # str.split(string) 分割字符串 # '连接符'.join(list) 将列表组成字符串 def change_name(path): global i if not os.path.isdir(path) and not os.path.isfile(path): return False if os.path.isfil

关于cas-client单点登录客户端拦截请求和忽略/排除不需要拦截的请求URL的问题(不需要修改任何代码,只需要一个配置)

前言:今天在网上无意间看到cas单点登录排除请求的问题,发现很多人在讨论如何通过改写AuthenticationFilter类来实现忽略/排除请求URL的功能:突发奇想搜了一下,还真蛮多人都是这么干的,原谅我是个耿直的boy,当时我笑的饭都喷出来了,只需要一个配置的问题,被你们搞的这么麻烦:虽然很想回复他们"你们这帮人用别人的东西都不看源码的吗?",转念一想,这也要怪作者不给力,文档里压根没有提到这个配置,在这里用少量篇幅讲解如何配置排除不需要拦截的请求URL,后面用大量篇幅介绍我是如

批量替换url,指定内容不替换

如果需要批量替换url的某几部分,当然是用正则了比如在CI框架中要把 <img src="pc/baidu/aa.jpg"> 替换成 <img src="<?php echo base_url('pc/baidu/aa.jpg');?>"> 对应的正则式是这样写的: 1 src="(.*?)" //正则匹配这样写 2 src="<?php echo base_url\('$1'\);?>&

Python批量处理CSV文件

#encoding: utf-8 __author__ = 'DELL' import csv import glob import datetime import sys import os reload(sys) #中文错误 sys.setdefaultencoding( "utf-8" ) ''' @author likehua CSV批处理 ''' class BatchProcessCSV: def __init__(self,inputfolder="c:\\in

http post请求url封装相应的key token 及校验码

post请求本来是一种很常见的web请求方式,相信许多项目都有一系列的封装工具类. 今天遇着一个特殊的需求. 需要在post的请求url内封装相应的token 与及key相关的值,这就奇怪了,url封装相应的参数值不是get的做法么,post可以支持么 ,试试,例如Postman等常用的restful接口测试工具都能够调用成功,但是原来封装的普通的http的post方法,便不再能够正常支持参数的 封装,要么校验报错,或者说是直接提示url不符合规范. 常用的请求方式是httpClient 与Ht

springMVC框架在js中使用window.location.href请求url时IE不兼容问题解决

是使用springMVC框架时,有时候需要在js中使用window.location.href来请求url,比如下面的路径: window.location.href = 'forecast/download.do' 在谷歌浏览器下,实际请求的路径是:项目名/forecast/download.do 而在IE下访问时在中间多了好几层文件夹: 造成这种情况的原因是各种浏览器在使用window.localtion.href请求相对路径时处理方法不同 IE是从当前当前路径开始跳转 谷歌是从根目录开始跳