爬虫基础1 怎么使用浏览器查看网络请求

推荐使用火狐和谷歌浏览器,一般两个对照着看。

下面是两个浏览器对同一个网址的页面进行检查的,对比,火狐直接是中文显示,谷歌则是英文显示。

如下页面是火狐的

如下是谷歌浏览器的

下面是这些字段的介绍:

  1.Name:请求的名称,一般是会将URL的最后一部分内容当做名称

  2.Satus:响应的状态码,200代表响应成功。

  3.Type:请求的文档类型,这里是document,代表请求的是一个html文档,内容就是一些HTML代码。

  4.Initiator:请求源,用来标记请求是由那个对象或进程发起的。

  5.Size:从服务器下载的文件和请求资源的大小。如果是从缓冲中取得的资源,则该列会显示from memory cache

  6.Time:发起请求到获取响应所用的总时间

  7.Waterfall:网络请求的可视化pubuliu

 点击名字进去后,就可以看到更详细的内容,上面分别是Header,Preview,Response,Cookies,Timing等四个字段。请求头,预览,响应,cookies储存在用户本地终端上的数据,时间。

 主要看消息头里面的东西

  General:  

    Requests URL:请求的url

    Request Method:请求方法

    Status Code:显示状态码

    Remote Address:域名对应的真实ip:port

    Referrer Policy:按照浏览器的默认值执行。默认值为 no-referrer-when-downgrade。部分标签可重定义此安全策略,当发生降级(比如从 https:// 跳转到 http:// )时,不传递 Referrer 报头。但是反过来的话不受影响。通常也会当作浏览器的默认安全策略。

    

   

原文地址:https://www.cnblogs.com/AlfredZKY/p/9952477.html

时间: 2024-11-13 09:06:49

爬虫基础1 怎么使用浏览器查看网络请求的相关文章

移动端页面 iPhone + Safari 页面调试 之 正确查看网络请求的姿势

如题 本文主要将 Safari + iPhone 前端开发调试  之 正确查看网络请求的 姿势 惯例 说下问题场景: 早知道safari(Mac) + iPhone 调试的方便 能解决很多日常调试问题,但有次帮人调试问题 发现是接口报错 但不知道接口数据 和传参数 在哪里查看 强行装b失败. 场景介绍完毕 作为一个尽量做到不 不求甚解的软件从业者 我是不会就此退缩呢.(其实是因为装B失败 要扳回一城)故有本文的由来 其实本文的东西也很简单. 下面简单说下: 首先那 一般调试的教程 网上搜了一通

爬虫基础框架 之urllib(一) --- urllib post请求

反爬问题 1. 反爬 [用户代理] web开发中,同一个url往往可以对应若干套不同的数据(或者界面,如手机.电脑),后台可以根据发起请求的前端的用户代理的不同,而决定应该给前端做出什么样的响应 如果检测到没有用户代理可以拒绝访问 解决方案:伪装请求头 2. 解决 创建 Request 对象req = request.Request(url=url, headers={用户代理}) 1 req = request.Request(url=url,headers={'UserAgent':'Moz

使用Fiddler针对Android手机网络请求抓包

本文转载自大牛Trinea的博文:Android利用Fiddler进行网络数据抓包 主要介绍Android及IPhone手机上如何利用Fiddler进行网络数据抓包,比如我们想抓某个应用(微博.微信.墨迹天气)的网络通信请求就可以利用这个方法. Mac 下请使用 Charles 代替 Fiddler,Charles 免费激活码为Registered name: a!nthony ortolani   License key: a!4036b2761c9583fda (需要将 name 和 key

基于Retrofit+RxJava的Android分层网络请求框架

目前已经有不少Android客户端在使用Retrofit+RxJava实现网络请求了,相比于xUtils,Volley等网络访问框架,其具有网络访问效率高(基于OkHttp).内存占用少.代码量小以及数据传输安全性高等特点. Retrofit源码更是经典的设计模式教程,笔者已在之前的文章中分享过自己的一些体会,有兴趣的话可点击以下链接了解:<Retrofit源码设计模式解析(上)>.<Retrofit源码设计模式解析(下)> 但在具体业务场景下,比如涉及到多种网络请求(GET/PU

Volley,小并发网络请求的好帮手

不得不说,当不了解一件事情的时候,就会像当然的认为,其很神秘.但是当真正的接触到了这些神秘的item,就不会有这种感觉了.作为一个android开发新手的我,刚接触到了Volley这个开源的网络请求框架,就瞬间被她打动了.下面我就谈一谈我对Volley的一些理解. Volley是什么? Volley是谷歌在2013年的I/O大会上发布的一个网络请求的框架,Volley在性能方面进行了大幅度的调整,它的设计目标就是非常适合去进行数据量不大,但通信频繁的网络操作,而对于大数据量的网络操作,比如说下载

网络爬虫基础一

爬虫的分类 按使用场景: 通用爬虫:指搜索引擎的爬虫 聚焦爬虫:指针对特定网站的爬虫 聚焦爬虫又可以分为大致3种: 累积式爬虫: 从开始到结束,一直不断爬取,过程中会进行去重操作: 增量式爬虫: 对已经下载的网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫: 深度爬虫: 不能通过静态链接获取的.隐藏在搜索表单后的,只有用户提交一些关键词才能获得的Web面: requests模块的使用 说明:Requests是一个用于网络请求的第三方模块,继承了urllib的所有特性,但是其API比u

Python网络爬虫学习手记(1)——爬虫基础

1.爬虫基本概念 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.--------百度百科 简单的说,爬虫就是获取目标网页源代码,并提取和保存网页信息的自动化程序或者脚本.网络爬虫脚本或者程序一般包含如下几个步骤: A.获取网页源代码 爬虫首要的任务就是获取需要爬取的目标网页,也就是网页源代码,一般网页源代码就是一系列HTML代码 B.提取信息 得到了网页源代码后,接下来就是分析该HTML代码,按照一

java网络爬虫基础学习(三)

尝试直接请求URL获取资源 豆瓣电影 https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&page_limit=20&page_start=0 浏览器打开该地址: 发现是这样的 在这里我们需要用java抓取电影的信息,首先要找到资源链接,浏览器右键->检查打开谷歌调试工具 我们可以看到下图 有很多的资源请求,在这里我是一个个搜索,看那个是电影信息的Headers 发

iOS开发UI基础—简单的浏览器查看程序

iOS开发UI基础-简单的浏览器查看程序 一.程序实现要求 1.要求 2. 界面分析 (1) 需要读取或修改属性的控件需要设置属性 序号标签 图片 图片描述 左边按钮 右边按钮 (2) 需要监听响应事件的对象,需要添加监听方法 左边按钮 右边按钮 二.实现基本功能的程序 1 // 2 // YYViewController.m 3 // 03-图片浏览器初步 4 // 5 // Created by apple on 14-5-21. 6 // Copyright (c) 2014年 itcas