crawler_URL编码原理详解

经常写爬虫的童鞋,难免要处理含有中文的url,大部分时间,都知道url_encode,各个语言也都有支持,今天简单整理下原理,供大家科普

1、特征:

  如果URL中含有非ASCII字符的话, 浏览器会对URL进行URL_ENCODE, 然后发送给服务器. URL_ENCODE的过程就是把URL作为字符按照某种编码方式(GBK, UTF-8等)编码成二进制的字节码,然后每个字节用一个包含3个字符的字符串 "%xy" 表示,其中xy为该字节的两位十六进制表示形式。

URLencode到底按照那种编码方式对字符编码?这里就是浏览器的事情了,而且不同的浏览器有不同的做法,中文版的浏览器一般会默认的使用GBK,通过设置浏览器也可以使用UTF-8,不同的用户就有不同的浏览器设置,也就造成不同的编码方式,所以很多网站的做法都是先把url里面的中文或特殊字符用javascript做URL encode,然后再拼接url提交数据,也就是替浏览器做了URLencode,好处就是网站可以统一get方法提交数据的编码方式。 完成了URLencode

网页的charset是告诉浏览器用什么编码对网页进行解释, 而且也可以

2、流程图:

原URL---->GET时浏览器根据HTTP头的Content-Type的charset,POST根据(<meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>)对URL进行编码或者利用JavaScript(如果JavaScript编码了则浏览器一看都是ASCII字符就不再编码)使用GBK或者UTF-8等编码对URL进行编码---->全为ASCII字符---->以iso-8859-1编码方式转换为二进制---->随请求头一起发送出去(GET没有请求实体, POST有)---->服务器接收到经过iso-8859-1编码后的URL---->服务器用iso-8859-1编码进行解码---->网页一般都有meta头的charset选项, 服务器根据此进行再次解码(POST表单提交过去的时候也会根据此编码进行编码)---->得到正确的值

时间: 2024-10-28 14:13:48

crawler_URL编码原理详解的相关文章

编码原理详解(五)---熵编码(CAVAL)

上一篇我们讲到了ZigZag扫描,经过这一扫描之后,发现原本是4*4的像素矩阵,就变成了一连串的数字,可以说是二维到一维的一个转换吧,而且经过ZigZag扫描后,一连串的数字的最后大部分为0,以及一些+1,-1.针对这一系列的数字,从概率的角度,再进行一次编码,这个过程称之为熵编码,熵编码主要分为CAVLC,和CABAC,分别代表基于上下文的自适应可变长编码和基于上下文的自适应二进制算术编码,本节介绍CAVLC. 一.简介 CAVLC(Context-Adaptive Variable Leng

编码原理详解(一)----简介

本节开始,给大家系列介绍一下关于编码原理的相关知识,可能会涉及到部分算法的知识,也就意味着会相对枯燥一些,笔者尽自己所能,努力的追求简单,同时把原理清晰的呈现给大家. 一.编码 编码已经是一个老声长谈的问题了,为什么会有编码,原因是原始图像视频的数据量很惊人,不便于传输,之前的文章有介绍,感兴趣可以回去温习下哦:为什么可以编码,原因是图像与图像之间有很多的相似,也就冗余的信息,单一图像内部,相邻区域的像素,相关性也很强,这就为编码创造了前提. 二.编码原理简单介绍 编码的前提是冗余,那么编码的目

LZ77压缩算法编码原理详解(结合图片和简单代码)

前言 LZ77算法是无损压缩算法,由以色列人Abraham Lempel发表于1977年.LZ77是典型的基于字典的压缩算法,现在很多压缩技术都是基于LZ77.鉴于其在数据压缩领域的地位,本文将结合图片和源码详细介绍其原理. 原理介绍: 首先介绍几个专业术语. 1.lookahead buffer(不知道怎么用中文表述,暂时称为待编码区): 等待编码的区域 2. search buffer: 已经编码的区域,搜索缓冲区 3.滑动窗口: 指定大小的窗,包含“搜索缓冲区”(左) + “待编码区”(右

编码原理详解(三)---量化

本节开始介绍编码过程中的量化环节.还记得上一篇的变换吗?变换之后得到了一个新的矩阵,一个经过从空域变换到频域的一个矩阵.那么,量化呢,就是基于变换后得到的矩阵,再做进一步的处理,本质也就是进一步的压缩. 一.原理 量化的原理是把变换后的DCT系数除以一个常量,经过量化后的结果是量化步长的整数倍或者为更多的零值,从而达到了压缩的目的. 二.量化公式 q(x, y) = round(F(x, y) / Q + 0.5); 公式说明:F(x, y)为经过DCT变换后的DCT系数, Q为量化步长,在x2

编码原理详解(六)--CABAC

本篇介绍一下熵编码的另外一种方式CABAC,基于上下文的自适应二进制编码,其同样是对经过ZigZag扫描后的数据从概率的角度进行再编码,但是由于CABAC编码过程中涉及到诸多的概率模型以及其他算法,由于篇幅原因,本篇只做提及,不详细展开,本篇希望从梗概的角度让大家明白CABAC是怎样的一个过程. 一.简介 CABAC编码的目的是从概率的角度再做一次压缩,编码的过程主要分为二值化,上下文建模,二进制算术编码. 二.二值化 在图像处理的世界中,所谓二值化就是将像素点的值根据一定的算法,将像素分别修改

[转]utf8编码原理详解

from : http://blog.csdn.net/baixiaoshi/article/details/40786503 很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合成不同的状态,以表示世界上的万物.他们认为8个开关状态作为原子单位很好,于是他们把这称为"字节". 再后来,他们又做了一些可以处理这些字节的机器,机器开动了,可以用字节来组合出更多的状态,状态开始变来变去.他们看到这样是好的,于是它们就这机器称为"计算机". 开始计算机只在美国用.

编码原理详解(四)---之字形扫描

上一篇我们讲到,经过量化后得到了诸多零值和整数值,本篇接下来讲讲编码过程中过对这些值如何组织和处理,那就是ZigZag扫描喽. 一.简介 ZigZag扫描也称作之字形扫描,何以得此称谓,是因为其扫描的路径特别像汉字中的之字.ZigZag扫描的工作就是按照一定的路径,将量化后的系数从二维变到了一维的过程,废话不多说,上图. 二.示意 三.说明: (1) 上图中左侧的图展示了ZigZag的扫描顺序,因为经过DCT变换和量化之后,实际上矩阵的右下角基本上都已经变为零值,非零值基本集中在矩阵的左上角,经

Linux下FFMPEG--H264--编码&&解码的C实现与相关原理详解

FFMPEG是很强大的一套视频音频处理库,不过,强大的功能一般免不了复杂的实现,或者更加现实地说,"麻烦"的部署和使用流程 关于"FFMPEG怎么部署"这事就放在另一篇文章啦,下面入正题.. 编码encoder模块和解码decoder模块都有init初始化方法和资源free方法 init初始化方法主要是进行ffmpeg所必需的编解码器的初始化和部分功能方法的参数配置,而free资源释放方法则是相应地进行必要的回收 Encoder模块的实现和细节分析 #include

KVC/KVO原理详解及编程指南

http://blog.csdn.net/wzzvictory/article/details/9674431 2.KVC/KVO实现原理 键值编码和键值观察是根据isa-swizzling技术来实现的,主要依据runtime的强大动态能力.下面的这段话是引自网上的一篇文章: http://blog.csdn.net/kesalin/article/details/8194240 当某个类的对象第一次被观察时,系统就会在运行期动态地创建该类的一个派生类,在这个派生类中重写基类中任何被观察属性的