Python-urlparse

如何把get请求的参数转成字典 (Map)

urlparse.parse_qs(params) //str 需要转成字典的 请求参数
//{‘phone‘: [‘075988888888‘], ‘id‘: [‘10‘], ‘name‘: [‘\xe4\xb8\xad\xe6\x96\x87‘]}

  

获取一个网站的get 请求需要的参数

result = urlparse.urlparse(url)
urlparse.parse_qs(result.query)

例如 百度搜索  


urls = ‘https://www.baidu.com/s?wd=%E5%87%BB%E6%B2%89&rsv_spt=1&rsv_iqid=0xc24a2e7700020d3c&issp=1&f=8&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=18&rsv_sug1=23&rsv_sug7=101&rsv_sug2=0&inputT=6850&rsv_sug4=7802‘

result = urlparse.urlparse(urls)

    结果是

    result---> ParseResult(scheme=‘https‘, netloc=‘www.baidu.com‘, path=‘/s‘, params=‘‘, query=‘wd=%E5%87%BB%E6%B2%89&rsv_spt=1&rsv_iqid=0xc24a2e7700020d3c&issp=1&f=8&rsv_bp=0&rsv_idx=2&ie=utf-                    8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=18&rsv_sug1=23&rsv_sug7=101&rsv_sug2=0&inputT=6850&rsv_sug4=7802‘, fragment=‘‘)

params =urlparse.parse_qs(result.query)

结果

params---> {‘wd‘: [‘\xe5\x87\xbb\xe6\xb2\x89‘], ‘rsv_spt‘: [‘1‘], ‘rsv_iqid‘: [‘0xc24a2e7700020d3c‘], ‘inputT‘: [‘6850‘], ‘f‘: [‘8‘], ‘rsv_enter‘: [‘1‘], ‘rsv_bp‘: [‘0‘], ‘rsv_idx‘: [‘2‘], ‘tn‘: [‘baiduhome_pg‘], ‘rsv_sug4‘: [‘7802‘], ‘rsv_sug7‘: [‘101‘], ‘rsv_sug1‘: [‘23‘], ‘issp‘: [‘1‘], ‘rsv_sug3‘: [‘18‘], ‘rsv_sug2‘: [‘0‘], ‘ie‘: [‘utf-8‘]}

  


  

时间: 2024-10-06 17:28:30

Python-urlparse的相关文章

python urlparse模块

urlparse模块主要是把url拆分为6部分,并返回元组.并且可以把拆分后的部分再组成一个url.主要有函数有urljoin.urlsplit.urlunsplit.urlparse等. urlparse.urlparse(urlstring[, scheme[, allow_fragments]]) 将urlstring解 析成6个部分,它从urlstring中取得URL,并返回元组 (scheme, netloc, path, parameters, query, fragment),但是

python urlparse模块的实用手册

#!/usr/bin/env python # -*- coding: utf-8 -*- import urlparse cve = 'CVE-2012-2143' path = '/' + cve + '.html' cveUrl = "http://cve.scap.org.cn/CVE-2015-2976.html"    #URL parsedUrl = urlparse.urlparse(cveUrl)                   #解构为tuple元组 print

python爬虫主要就是五个模块:爬虫启动入口模块,URL管理器存放已经爬虫的URL和待爬虫URL列表,html下载器,html解析器,html输出器 同时可以掌握到urllib2的使用、bs4(BeautifulSoup)页面解析器、re正则表达式、urlparse、python基础知识回顾(set集合操作)等相关内容。

本次python爬虫百步百科,里面详细分析了爬虫的步骤,对每一步代码都有详细的注释说明,可通过本案例掌握python爬虫的特点: 1.爬虫调度入口(crawler_main.py) # coding:utf-8from com.wenhy.crawler_baidu_baike import url_manager, html_downloader, html_parser, html_outputer print "爬虫百度百科调度入口" # 创建爬虫类class SpiderMai

Python中的urlparse、urllib抓取和解析网页(一)

对搜索引擎.文件索引.文档转换.数据检索.站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理.事实上,通过Python 语言提供的各种模块,我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文档.本文将详细介绍如何利用Python抓取和解析网页.首 先,我们介绍一个可以帮助简化打开位于本地和Web上的HTML文档的Python模块,然后,我们论述如何使用Python模块来迅速解析在HTML文 件中的数据,从而处理特定的内容,如链接.图像和Cookie等.最后,

python之web模块学习-- urlparse

继续学习python的web模块,urlparse 是一个比较简单的模块,主要是用来 解析URL字符串的 1  urlparse简介 python使用urlparse来解析URL字符串 主要方法: urlprase 次要方法: urljoin urlsplit  urlunsplit等 2  urlparse详解 urlparse模块主要是把url拆分为6部分,并返回元组.并且可以把拆分后的部分再组成一个url.主要有函数有urljoin.urlsplit.urlunsplit.urlparse

使用Python中的urlparse、urllib抓取和解析网页(一)(转)

对搜索引擎.文件索引.文档转换.数据检索.站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理.事实上,通过Python 语言提供的各种模块,我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文档.本文将详细介绍如何利用Python抓取和解析网页.首 先,我们介绍一个可以帮助简化打开位于本地和Web上的HTML文档的Python模块,然后,我们论述如何使用Python模块来迅速解析在HTML文 件中的数据,从而处理特定的内容,如链接.图像和Cookie等.最后,

urlparse模块(python模块)

一.urlparse模块简介 urlparse模块主要是把url拆分为6部分,并返回元组.并且可以把拆分后的部分再组成一个url.主要有函数有urljoin.urlsplit.urlunsplit.urlparse等. 二.urljoin函数使用 urljoin主要是拼接URL,它以base作为其基地址,然后与url中的相对地址相结合组成一个绝对URL地址.函数urljoin在通过为URL基地址附加新的文件名的方式来处理同一位置处的若干文件的时候格外有用.需要注意的是,如果基地址并非以字符/结尾

python 中 urlparse 模块介绍

urlparse模块主要是用于解析url中的参数  对url按照一定格式进行 拆分或拼接 1.urlparse.urlparse 将url分为6个部分,返回一个包含6个字符串项目的元组:协议.位置.路径.参数.查询.片段. import urlparse url_change = urlparse.urlparse('https://i.cnblogs.com/EditPosts.aspx?opt=1') print url_change 输出结果为: ParseResult(scheme='h

Python URL处理模块urlparse介绍

from urlparse import urlparse url=urlparse(' url.port  #80  端口号 url.scheme #http 协议 url.path  #/5581274/1613289

python实现网页登录时的rsa加密流程

对某些网站的登录包进行抓包时发现,客户端对用户名进行了加密,然后传给服务器进行校验. 使用chrome调试功能断点调试,发现网站用javascript对用户名做了rsa加密. 为了实现网站的自动登录,需要模拟这个加密过程. 网上搜了下关于rsa加密的最简明的解释: rsa加密是非对称加密算法,该算法基于一个十分简单的数论事实:将两个大素数相乘十分容易,但那时想要对其乘积进行因式分解却极其困难,因此可以将乘积公开作为加密密钥,即公钥,而两个大素数组合成私钥.公钥是可发布的供任何人使用,私钥则为自己