浅谈HTTPS以及Fiddler抓取HTTPS协议

最近想尝试基于Fiddler的录制功能做一些接口的获取和处理工作,碰到的一个问题就是简单连接Fiddler只能抓取HTTP协议,关键的登录请求等HTTPS协议都没有捕捉到,所以想让Fiddler能够同时抓取到HTTPS和HTTP协议,设置只是很小的一步,关键是了解HTTPS协议的原理、Fiddler抓取HTTPS协议的原理,然后才能更好的理解如何进行设置。本文主要由三部分组成,第一部分用比较通俗形象的方式简述了HTTPS的原理,第二部分则是在第一部分的基础上介绍Fiddler抓取HTTPS协议的原理,最后第三部分就是如何对Fiddler及手机进行设置让其捕捉HTTPS协议。

一、浅谈HTTPS

我们都知道HTTP并非是安全传输,在HTTPS基础上使用SSL协议进行加密构成的HTTPS协议是相对安全的。目前越来越多的企业选择使用HTTPS协议与用户进行通信,如百度、谷歌等。HTTPS在传输数据之前需要客户端(浏览器)与服务端(网站)之间进行一次握手,在握手过程中将确立双方加密传输数据的密码信息。网上有诸多资料,有些写得过于晦涩难懂,尤其是需要密码学的一些知识。我做了一下简单的整理,刨除复杂的底层实现,单从理解SSL协议的角度宏观上认识一下HTTPS。一言以弊之,HTTPS是通过一次非对称加密算法(如RSA算法)进行了协商密钥的生成与交换,然后在后续通信过程中就使用协商密钥进行对称加密通信。HTTPS协议传输的原理和过程简图如下所示:

HTTPS协议传输原理

一共有8个步骤,我们针对每一步,具体看看发生了什么事:

  1. 第一步,客户端发起明文请求:将自己支持的一套加密规则、以及一个随机数(Random_C)发送给服务器。
  2. 第二步,服务器初步响应:服务器根据自己支持的加密规则,从客户端发来的请求中选出一组加密算法与HASH算法,生成随机数,并将自己的身份信息以证书(CA)的形式发回给浏览器。CA证书里面包含了服务器地址,加密公钥,以及证书的颁发机构等信息。这时服务器给客户端的包括选择使用的加密规则、CA证书、一个随机数(Random_S)。
  3. 第三步,客户端接到服务器的初步响应后做四件事情:
    (1)证书校验: 验证证书的合法性(颁发证书的机构是否合法,证书中包含的网站地址是否与正在访问的地址一致等)。
    (2)生成密码:浏览器会生成一串随机数的密码(Pre_master),并用CA证书里的公钥加密(enc_pre_master),用于传给服务器。
    (3)计算协商密钥:
    此时客户端已经获取全部的计算协商密钥需要的信息:两个明文随机数 Random_C 和 Random_S 与自己计算产生的 Pre-master,计算得到协商密钥enc_key。
                              enc_key=Fuc(random_C, random_S, Pre-Master)

    (4)生成握手信息:使用约定好的HASH计算握手消息,并使用协商密钥enc_key及约定好的算法对消息进行加密。

  4. 第四步,客户端将第三步产生的数据发给服务器:
    这里要发送的数据有三条:
    (1)用公钥加密过的服务器随机数密码enc_pre_master
    (2)客户端发给服务器的通知,"以后我们都要用约定好的算法和协商密钥进行通信的哦"。
    (3)客户端加密生成的握手信息。
  5. 第五步,服务器接收客户端发来的数据要做以下四件事情:(1)私钥解密:使用自己的私钥从接收到的enc_pre_master中解密取出密码Pre_master。
    (2)计算协商密钥:此时服务器已经获取全部的计算协商密钥需要的信息:两个明文随机数 Random_C 和 Random_S 与Pre-master,计算得到协商密钥enc_key。
                              enc_key=Fuc(random_C, random_S, Pre-Master)

    (3)解密握手消息:使用协商密钥enc_key解密客户端发来的握手消息,并验证HASH是否与客户端发来的一致。
    (4)生成握手消息使用协商密钥enc_key及约定好的算法加密一段握手消息,发送给客户端。

  6. 第六步,服务器将第五步产生的数据发给客户端:
    这里要发的数据有两条:
    (1)服务器发给客户端的通知,”听你的,以后我们就用约定好的算法和协商密钥进行通信哦“。
    (2)服务器加密生成的握手信息。
  7. 第七步,客户端拿到握手信息解密,握手结束。
    客户端解密并计算握手消息的HASH,如果与服务端发来的HASH一致,此时握手过程结束。
  8. 第八步,正常加密通信
    握手成功之后,所有的通信数据将由之前协商密钥enc_key及约定好的算法进行加密解密。

这里客户端与服务器互相发送加密的握手消息并验证,目的是为了保证双方都获得了一致的密码,并且可以正常的加密解密数据,为后续真正数据的传输做一次测试。另外,HTTPS一般使用的加密与HASH算法如下:非对称加密算法:RSA,DSA/DSS对称加密算法:AES,RC4,3DESHASH算法:MD5,SHA1,SHA256其中非对称加密算法用于在握手过程中加密生成的密码,对称加密算法用于对真正传输的数据进行加密,而HASH算法用于验证数据的完整性。由于浏览器生成的密码是整个数据加密的关键,因此在传输的时候使用了非对称加密算法对其加密。非对称加密算法会生成公钥和私钥,公钥只能用于加密数据,因此可以随意传输,而服务器的私钥用于对数据进行解密,所以服务器都会非常小心的保管自己的私钥,防止泄漏。

二、Fiddler抓取HTTPS协议原理

我们都知道,Fiddler是个很好的代理工具,可抓取协议请求用于调试。关于Fiddler抓取HTTP协议的原理和配置比较简单,对Fiddler和客户端稍作配置,便能使得Fiddler轻易地获取HTTP请求。但是由于HTTPS协议的特殊性,要进一步地配置Fiddler,我们首先要了解一下fiddler抓取HTTPS协议的原理才能更好地理解如何对fiddler进行配置。Fiddler本身就是一个协议代理工具,在上一节HTTPS原理图上,客户端与服务器端进行通信的过程全部都由Fiddler获取到,也就是如下图所示:

Fiddler抓取HTTPS协议原理图

我们看到Fiddler抓取HTTPS协议主要由以下几步进行:

  1. 第一步,Fiddler截获客户端发送给服务器的HTTPS请求,Fiddler伪装成客户端向服务器发送请求进行握手 。
  2. 第二步,服务器发回相应,Fiddler获取到服务器的CA证书, 用根证书公钥进行解密, 验证服务器数据签名, 获取到服务器CA证书公钥。然后Fiddler伪造自己的CA证书, 冒充服务器证书传递给客户端浏览器。
  3. 第三步,与普通过程中客户端的操作相同,客户端根据返回的数据进行证书校验、生成密码Pre_master、用Fiddler伪造的证书公钥加密,并生成HTTPS通信用的对称密钥enc_key。
  4. 第四步,客户端将重要信息传递给服务器, 又被Fiddler截获。Fiddler将截获的密文用自己伪造证书的私钥解开, 获得并计算得到HTTPS通信用的对称密钥enc_key。Fiddler将对称密钥用服务器证书公钥加密传递给服务器。
  5. 第五步,与普通过程中服务器端的操作相同,服务器用私钥解开后建立信任,然后再发送加密的握手消息给客户端。
  6. 第六步,Fiddler截获服务器发送的密文, 用对称密钥解开, 再用自己伪造证书的私钥加密传给客户端。
  7. 第七步,客户端拿到加密信息后,用公钥解开,验证HASH。握手过程正式完成,客户端与服务器端就这样建立了”信任“。

在之后的正常加密通信过程中,Fiddler如何在服务器与客户端之间充当第三者呢?

服务器—>客户端:Fiddler接收到服务器发送的密文, 用对称密钥解开, 获得服务器发送的明文。再次加密, 发送给客户端。
客户端—>服务端:客户端用对称密钥加密,被Fiddler截获后,解密获得明文。再次加密,发送给服务器端。由于Fiddler一直拥有通信用对称密钥enc_key, 所以在整个HTTPS通信过程中信息对其透明。

从上面可以看到,Fiddler抓取HTTPS协议成功的关键是根证书(具体是什么,可Google),这是一个信任链的起点,这也是Fiddler伪造的CA证书能够获得客户端和服务器端信任的关键。
接下来我们就来看如果设置让Fiddler抓取HTTPS协议。

文/隋胖胖(简书作者)
原文链接:http://www.jianshu.com/p/54dd21c50f21
著作权归作者所有,转载请联系作者获得授权,并标注“简书作者”。

时间: 2024-10-11 19:08:38

浅谈HTTPS以及Fiddler抓取HTTPS协议的相关文章

浅谈HTTPS以及Fiddler抓取HTTPS协议(摘抄)

一.浅谈HTTPS 我们都知道HTTP并非是安全传输,在HTTPS基础上使用SSL协议进行加密构成的HTTPS协议是相对安全的.目前越来越多的企业选择使用HTTPS协议与用户进行通信,如百度.谷歌等.HTTPS在传输数据之前需要客户端(浏览器)与服务端(网站)之间进行一次握手,在握手过程中将确立双方加密传输数据的密码信息.网上有诸多资料,有些写得过于晦涩难懂,尤其是需要密码学的一些知识.我做了一下简单的整理,刨除复杂的底层实现,单从理解SSL协议的角度宏观上认识一下HTTPS.一言以弊之,HTT

Fiddler抓取https设置及其原理

iddler抓取https设置及其原理 2018-02-02 目录 1 HTTPS握手过程2 Fiddler抓取HTTPS过程3 Fiddler抓取HTTPS设置参考 1 HTTPS握手过程 HTTPS 并非是应用层的一种新协议.只是 HTTP 通信接口部分用 SSL (安全套接字层)和TLS (安全传输层协议)代替而已.即添加了加密及认证机制的 HTTP 称为 HTTPS ( HTTP Secure ). HTTPS = HTTP + 认证 + 加密 + 完整性保护 握手过程如下: 第一步:客

fiddler抓取HTTPS请求

Https即 Http over ssl,使用ssl加密传输数据,Http是明文传输数据的,所以Https必然比Http更安全.即使传输数据被劫持,劫持者也无法获取传输明文.从而保证了系统的安全性,尤其对于交易支付类业务来说,https的安全性尤为重要. 作为测试免不了会使用工具抓取请求,但是fiddler默认置灰抓取http请求,那么如何抓取HTTPS请求呢,下面根据自己的使用总结一下如何使用fiddler抓取HTTPS请求: 前置:fiddler可以抓取http请求 一.fiddler如何抓

【转】抓包工具Fiddler的使用教程(十二)下:Fiddler抓取HTTPS

在教程十二(上),我们也了解了HTTPS协议,该教程就和大家分享Fiddler如何抓取HTTPS 抓包工具Fiddler的使用教程(十二):[转载]HTTPS协议 再次回忆一下关键内容: iddler如何在服务器与客户端之间充当第三者呢? 服务器->客户端:Fiddler接收到服务器发送的密文, 用对称密钥解开, 获得服务器发送的明文.再次加密, 发送给客户端. 客户端->服务端:客户端用对称密钥加密,被Fiddler截获后,解密获得明文.再次加密,发送给服务器端.由于Fiddler一直拥有通

fiddler抓取https请求(android/ios)

本文转载自:http://blog.csdn.net/songer_xing/article/details/53841401 备注:本人有这样的一个需求,先记录下,以后再进行整理. 在抓包过程中发现小米5MIUI7系统无法安装Fiddler的证书,百般尝试无果,最后换了一个测试手机,可以安装成功,实现了:Fiddler抓取安卓手机HTTPS请求!!! 在测试过程中,抓包是必不可少的测试分析手段,Fiddler不但能截获PC端数据包, 也可以截获移动端的.特别是你对某些api接口不是很理解或不知

在服务器上用Fiddler抓取HTTPS流量

转自:http://yoursunny.com/t/2011/FiddlerHTTPS/在服务器上用Fiddler抓取HTTPS流量 阳光男孩 发表于2011-03-19 开发互联网应用的过程中,常常会设立或利用网络接口.为了调试对网络接口的使用,往往需要查看流入和流出网络接口的网络流量或数据包.“抓包工具”就是一类用于记录通过网络接口的数据的工具. 我们知道,网络协议是分层设计的,OSI模型将网络协议分为了7个层次.不同的抓包工具,可以在网络协议的不同层次上工作.常用的Wireshark就是一

Fiddler抓取https数据包

Wireshark和Fiddler的优缺点: ①Wireshark是一种在网络层上工作的抓包工具,不仅自带大量的协议分析器,而且可以通过编写Wireshark插件来识别自定义的协议.虽然Wireshark功能强大,但是却并不能解决所有的抓包问题,其原因在于:Wireshark工作在网络层:如果计算机配置了IPSec传输层加密,则在网络层的流量都已经被加密,什么也看不到.当今大量网络接口使用HTTPS加密,Wireshark不能抓取到HTTPS流量的明文内容. ②Fiddler工作在应用层上,作为

Fiddler抓取https请求 & Fiddler抓包工具常用功能详解

大家好,我是TT,互联网测试行业多年,没有牛逼的背景,也没有什么可炫耀的,唯独比他人更努力,在职场打拼.遇到过的坑,走过的弯路,愿意与大家分享,分享自己的经验,少走弯路.首发于个人公众号[测试架构师] 原文如下: 先来看一个小故事: 小T在测试APP时,打开某个页面展示异常,于是就跑到客户端开发小A那里说:"你这个页面做的有问题,页面展示异常":小A说:"这哪是我的问题,你去找后台吧,后台接口返回数据有问题":小T就屁颠屁颠的跑到后台接口开发小M那里说:"

Fiddler抓取https相关设置

转自:https://www.cnblogs.com/joshua317/p/8670923.html 很多使用fiddler抓包,对于http来说不需太多纠结,随便设置下就能用,但是抓取https就死活抓不了. 出现诸如以下问题: unable to generate certificate creation of the root certificate was not successful; Failed to find the root certificate in User Root