urllib2 request 模拟伪装浏览器

直接上代码吧

 1 # -*- coding:utf-8 -*-
 2
 3 import urllib2
 4 import random
 5
 6 url = "http://www.baidu.com/"
 7
 8 # 可以是User-Agent列表,也可以是代理列表
 9 ua_list = [
10         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
11         "Mozilla/5.0 (Windows NT 6.1; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
12         "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
13         "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
14         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
15 ]
16
17 # 在User-Agent列表里随机选择一个User-Agent
18 user_agent = random.choice(ua_list)
19
20 # 构造一个请求
21 request = urllib2.Request(url)
22
23 # add_header()方法 添加/修改 一个HTTP报头
24 request.add_header("User-Agent", user_agent)
25
26 # get_header() 获取一个已有的HTTP报头的值,注意只能是第一个字母大写,其他的必须小写
27 print request.get_header("User-agent")

打印出来是:

Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11
[Finished in 1.4s]

时间: 2024-10-28 03:33:01

urllib2 request 模拟伪装浏览器的相关文章

python爬虫之伪装浏览器

问题描述:File "D:\python\Lib\httplib.py", line 417, in _read_status                         raise BadStatusLine(line) 首先我们得对这两行代码并对此进行解释 user_agent='Mozilla/4.0(compatible;MSIE 5.5; Windows NT)'headers ={ 'User-Agent':user_agent} User-Agent是http协议中的

在PC上测试移动端网站和模拟手机浏览器的5大方

查了很多资料,尝试了大部分方法,下面将这一天的努力总结下分享给大家,也让大家免去看那么多文章,以下介绍的方法,都是本人亲自测试成功的方法,测试环境winxp. 一.Chrome*浏览器 chrome模拟手机总共有四种方法,原理都一样,通过伪装User-Agent,将浏览器模拟成Android设备.以下标星的为推荐方法. 1.新建Chrome快捷方式 右击桌面上的Chrome浏览器图标,在弹出的右键菜单中选择"复制",复制一个图标副本到桌面.右击该副本,选择"属性",

在PC上测试移动端网站和模拟手机浏览器的5大方法

查了很多资料,尝试了大部分方法,下面将这一天的努力总结下分享给大家,也让大家免去看那么多文章,以下介绍的方法,都是本人亲自测试成功的方法,测试环境winxp. 一.Chrome*浏览器 chrome模拟手机总共有四种方法,原理都一样,通过伪装User-Agent,将浏览器模拟成Android设备.以下标星的为推荐方法. 1.新建Chrome快捷方式 右击桌面上的Chrome浏览器图标,在弹出的右键菜单中选择"复制",复制一个图标副本到桌面.右击该副本,选择"属性",

零基础自学用Python 3开发网络爬虫(三): 伪装浏览器君

原文出处: Jecvay Notes (@Jecvay) 上一次我自学爬虫的时候, 写了一个简陋的勉强能运行的爬虫alpha. alpha版有很多问题. 比如一个网站上不了, 爬虫却一直在等待连接返回response, 不知道超时跳过; 或者有的网站专门拦截爬虫程序, 我们的爬虫也不会伪装自己成为浏览器正规部队; 并且抓取的内容没有保存到本地, 没有什么作用. 这次我们一个个解决这些小问题. 此外, 在我写这系列文章的第二篇的时候, 我还是一个对http的get和post以及response这些

Python3 爬虫实例(二) -- 伪装浏览器

一.伪装浏览器 对于一些需要登录的网站,如果不是从浏览器发出的请求,则得不到响应.所以,我们需要将爬虫程序发出的请求伪装成浏览器正规军.具体实现:自定义网页请求报头. 二.使用Fiddler查看请求和响应报头 打开工具Fiddler,然后再浏览器访问"https://www.douban.com/",在Fiddler左侧访问记录中,找到"200 HTTPS www.douban.com"这一条,点击查看其对应的请求和响应报头具体内容: 三.访问豆瓣 我们自定义请求报

伪装浏览器根据经纬度解析地理位置

#!/usr/bin/env python # -*- coding: utf-8 -*- """ 作者:昨夜星辰 脚本作用:伪装浏览器根据经纬度解析地理位置 创建时间:2017-01-11 """ import re import requests lat = '23.0300000000' lng = '113.7500000000' url = 'http://www.gpsspg.com/apis/maps/geo/' '?output=

python伪装浏览器爬虫

待完善 import urllib2,urllib,cookielib urllib.getproxies_registry=lambda:{} request=urllib2.Request("http://tuan.qunar.com/hotel/kunming_7133?in_track=home_tuan_content&list=rexiaojingxuan") request.add_header("User-Agent","Mozil

在GOOGLE浏览器中模拟移动浏览器 调试Web app

在此记录下,以便在今后的工作中用到. 首先通过F12 or Ctrl+Shift+i,打开开发者工具,点击开发者工具面板的 (show  drawer)按钮,出现如下图所示的面板: 切换至Emulation选项卡中,在这里我们就可以自由地模拟各种各样的移动浏览器了,该功能支持了包括iPhone.ipad.google nexus系列等机型.   感兴趣的同学赶紧去试试吧.你会发现chrome是最好的web app开发利器.   温馨提示:需要在chorme 32版本后,才有些设置哦.   最后还

用PC浏览器模拟手机浏览器(一):无扩展版

想浏览手机版,打开对应网址却跳转到PC版?怎么办? 下面咱们来说下在只是安装了浏览器,无需其他安装操作的情况下来怎么用PC浏览器模拟手机浏览器,然后访问手机站点. 浏览器众多,IE系列的咱就不考虑了,相信你也不用他浏览手机站点,否侧太没品位了,那咱今天就说说其他的:Chrome和Safari两个浏览器,在无任何扩展的情况下怎么来模拟手机浏览器. 其实,还是如前言里说的,就是修改浏览器的User Agent,来让那些以User Agent为判断标准的站点认为你当前的浏览器为手机浏览器,从而呈现手机