HttpFox

HttpFox是Firefox的插件,可以用于HTTP分析。

https://addons.mozilla.org/en-US/firefox/addon/httpfox/

  安装  

1. 打开Firefox浏览器

2. 点击浏览器右上角 "打开菜单"——"附加组件"

3. 搜索 "httpfox"——点击 "安装" 即可

4. 重启浏览器

  打开  

1. 打开Firefox浏览器

2. 点击浏览器右上角 "打开菜单"——右下角"定制"

3. 将HttpFox拖到导航栏

或快捷键:ctrl + shift + F2

   HTTP请求头(Request Header)  

一个HTTP请求报文由请求行(request line)、请求头部(header)、空行和请求数据4个部分组成


HTTP客户请求

    说明 实例
请求行    请求方法 请求网址 协议 GET / HTTP/1.1
消息头      
Host

 对应网址URL中的Web名称和端口号
Host www.baidu.com


User-Agent

 是客户浏览器名称
User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0

Accept
MIME文件格式

MIME (Multipurpose Internet Mail Extensions) 是描述消息内容类型的因特网标准

MIME 消息能包含文本、图像、音频、视频以及其他应用程序专用的数据

Accept text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Charset 浏览器可以接受的字符编码  
Accept-Language 指出浏览器可以接受的语言种类 Accept-Language zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3
Accept-Encoding
指出浏览器可以接受的编码方式

编码方式不同于文件格式,它是为了压缩文件并加速文件传递速度。浏览器在接收到Web响应之后先解码,然后再检查文件格式

Accept-Encoding gzip,deflate,br
Cookie 浏览器用这个属性向服务器发送Cookie

Cookie是在浏览器中寄存的小型数据体,它可以记载和服务器相关的用户信息,也可以用来实现会话功能

Cookie
Connection  告诉服务器是否可以维持固定的HTTP连接

HTTP/1.1使用Keep-Alive为默认值,当浏览器需要多个文件时(比如一个HTML文件和相关的图形文件),不需要每次都建立连接

 
请求数据    附加在请求后的文本或二进制文件,只有请求方式为post时,实体才会有数据(请求参数)

 

   HTTP响应头(Response Header)  

HTTP响应由三个部分组成,分别是:状态行、消息报头、响应正文。

服务器响应头     说明 实例
状态行 服务器HTTP协议的版本 响应状态代码 状态代码的文本描述 HTTP/1.1 200 OK
消息报头 server 服务器应用程序软件的名称和版本 bfe/1.0.8.18
Date 原始服务器消息发出的时间 Thu, 08 Dec 2016 09:34:40 GMT
Content-Type 返回内容的MIME类型 text/html
Content-Length 响应体的长度 0
Accept-Ranges 表明服务器是否支持指定范围请求及哪种类型的分段请求 bytes
Cache-Control 告诉所有的缓存机制是否可以缓存及哪种类型 private, max-age=0, no-cache
ETag 请求变量的实体标签的当前值 "4280832337"
Expires 响应过期的日期和时间 Thu, 08 Dec 2016 09:34:40 GMT
Last-Modified 请求资源的最后修改时间 Fri, 23 Oct 2009 08:06:04 GMT
Pragma 包括实现特定的指令,它可应用到响应链上的任何接收方 no-cache
Transfer-Encoding 文件传输编码 chunked
响应正文      

  响应状态代码  

状态码 说明 常用
1XX 指示信息--表示请求已接收,继续处理  
2XX 成功--表示请求已被成功接收、理解、接受 200 OK:客户端请求成功
3XX 重定向--要完成请求必须进行更进一步的操作。  
4XX 客户端错误--请求有语法错误或请求无法实现。 400 Bad Request:客户端请求有语法错误,不能被服务器所理解。
401 Unauthorized:请求未经授权,这个状态代码必须和WWW-Authenticate报头域一起使用。
403 Forbidden:服务器收到请求,但是拒绝提供服务。
404 Not Found:请求资源不存在,例:输入了错误的URL。
5XX 服务器端错误--服务器未能实现合法的请求 500 Internal Server Error:服务器发生不可预期的错误。
503 Server Unavailable:服务器当前不能处理客户端的请求,一段时间后可能恢复正常,举个例子:HTTP/1.1 200 OK(CRLF)。

  参考文章  

[1] HTTP Header 详解

[2] request请求数据包组成:请求行(request line)消息头(header)实体内容(Body)

[3] HTTP请求报文和HTTP响应报文

时间: 2024-11-10 14:32:47

HttpFox的相关文章

火狐浏览器中一个插件-httpfox

今天突然想到保存有以前老师上课录的唯一音频,就打开听了听,是讲http协议的,里面涉及到一个查看协议的插件httpfox,所以,如下就是httpfox的安装和打开. HttpFox是Firefox的插件,可以用于HTTP分析. 安装   1. 打开Firefox浏览器 2. 点击浏览器右上角 "打开菜单"--"附加组件" 3. 搜索 "httpfox"--点击 "安装" 即可 4. 重启浏览器 打开   1. 打开Firefo

Linux中Firefox——Httpfox插件安装及使用

Httpfox插件安装步骤: 1.打开firefox浏览器,点击左上方"工具"中的"附加组件" 2.在弹出页中搜索"Httpfox",点击下载 3.重启浏览器即安装成功 打开Httpfox插件方法: 1."Ctrl+Shift+F2"快捷键 2.点击左上角"查看"中的"Httpfox" Httpfox使用指南: 点击Start,开始抓包.然后可以在左下角的各个标签下查询自己需要的数据.

火狐调试ajax组件httpfox安装及使用

最近使用jquery和ajax时,有时候想看看json串的值.使用火狐自带的httpfox非常方便. 1.安装 点击火狐浏览器开始菜单,选择添加组件 搜索httpfox,添加组件并重启火狐. 把httpfox添加至开始菜单,把菜单拖拽过来即可. 2.使用 打开httpfox,点击start,即可开始监控浏览器请求. 访问某个网站,httpfox就会显示去浏览器和网址之间进行交互的数据. 查看向服务器提交的数据记录,选择需要查看post的请求,点击POST Data就可以看到提交到浏览器的数据.

由爬虫引发的思考

前言 花了两天时间写一个简单的爬虫程序.目前所用的技术十分简单.就是获得目标页面的html文档内容,然后解析其中有用的内容.既没有实现模拟登陆,也没有任何防止反爬虫的措施,甚至没有使用多线程.不过在其中遇到的问题还是引发了我很多的思考与问题,比如爬虫的合法性问题以及爬虫的危害等.于是写下这篇文章记录一下.由于本人经验有限,引用参考了大量文章,有问题请指出. 爬虫的作用与危害 爬虫的作用 网络爬虫(Web Crawler),又称网络蜘蛛(Web Spider)或网络机器人(Web Robot),是

网络传输协议

网络传输协议 1.常见协议 1.HTTP.HTTPS 超文本传输协议 2.FTP 文件传输协议 3.SMTP 简单邮件传输协议 2.http协议 超文本传输协议(HTTP,HyperText Transfer Protocol) 网站是基于HTTP协议的, 例如网站的图片.CSS.JS等都是基于HTTP协议进行传输的. HTML Hypertext Markup Language HTTP协议是由从客户机到服务器的请求(Request)和从服务器到客户机的响应(Response)进行了约束和规范

转载:用python爬虫抓站的一些技巧总结

原文链接:http://www.pythonclub.org/python-network-application/observer-spider 原文的名称虽然用了<用python爬虫抓站的一些技巧总结>但是,这些技巧不仅仅只有使用python的开发可以借鉴,我看到这篇文章的时候也在回忆自己做爬虫的过程中也用了这些方法,只是当时没有系统的总结而已,谨以此文为鉴,为以前的爬虫程序做一个总结. 转载原文如下: 学用python也有3个多月了,用得最多的还是各类爬虫脚本:写过抓代理本机验证的脚本,

[应用]来点实际,利用CB刷简历更新时间程序(python)

实际上就是一个python的curl应用.应tom的要求,现在公布给大家.希望能对大家有用. http://onefishum.blog.163.com/bl ... 052013324114213898/ 目前高端的工作是越来越难找了.本人做了51.zhaopin.猎聘网的刷简历程序,都和此类似,但目前这几个号称最大的招聘网站,根据我一段时间的跟踪分析,发现从去年开始,人员需求基本为0,大部招聘都是假的.所以开发才想做一个刷新简历更新时间程序,以便加大自身机会(工作不换工资不涨,为了活呀,只能

python 爬虫抓取心得

quanwei9958 转自 python 爬虫抓取心得分享 urllib.quote('要编码的字符串') 如果你要在url请求里面放入中文,对相应的中文进行编码的话,可以用: urllib.quote('要编码的字符串') query = urllib.quote(singername) url = 'http://music.baidu.com/search?key='+query response = urllib.urlopen(url) text = response.read()

Python爬虫实战七之计算大学本学期绩点

大家好,本次为大家带来的项目是计算大学本学期绩点.首先说明的是,博主来自山东大学,有属于个人的学生成绩管理系统,需要学号密码才可以登录,不过可能广大读者没有这个学号密码,不能实际进行操作,所以最主要的还是获取它的原理.最主要的是了解cookie的相关操作. 本篇目标 1.模拟登录学生成绩管理系统 2.抓取本学期成绩界面 3.计算打印本学期成绩 1.URL的获取 恩,博主来自山东大学~ 先贴一个URL,让大家知道我们学校学生信息系统的网站构架,主页是 http://jwxt.sdu.edu.cn: