转义、编码和加密

转义、编码和加密是开发中很常见也很基础的概念。对于初学开发的开发者,可能有时会无法准确的区分着几个词。我们将通过这篇文章来了解一下“转义、编码和加密”这几个词的关联和区别。

转义

第一种转义场景

绝大多数的开发者都曾经在自己学习第一个编程语言时,就遇到了这个概念。以经典的C语言中字符串中的字符转义为例。

如果在一个字符串中存在一个",那么就需要在"前添加\才能够正常的表示,比如下面这样。

char* universal_law = "月老板说:\"世界上本也不存在‘银弹‘。一套框架解决不了所有问题。\""

之所以需要这样,是因为对于字符串来说,"本身就是表示一个字符串的起止符号。如果不进行转义,那么编译器将无法正确的识别其中的"哪些是分隔符,哪些是字符串内部的"

所以,第一种需要转义的场景就是:如果不进行转义就可能与语法规定的某些内容产生混淆,所以这些内容都被设计为需要转义。

基于这种场景,可以在很多的编程语言和概念中找到这种场景的体现:

  • java

    String honor = "月老板-\"赛博坦首席技术官\"";

    "进行转义

  • C#
    var proverbs = "月老板:\"这里不要写死,下次需求必改\"";

    "进行转义

  • XML
    <nb>月老板的衬衫价格>99磅6便士</nb>

    &gt;是对>的转义,>是XML的边界符

  • 正则表达式
    \d+\\\.\d+

    \.表示一个.,因为在正则表达式中.表示匹配除\n\r之外的任何单个字符。 \\表示一个\,转义字符的转义表示。

第二种转义场景

当然,另外还有一种场景,同样还是以C语言为例,看一下下面这个例子:

char* hammurabi_no1 = "月落大佬:\"业务复杂度不会因为系统设计变化而减少,\r\n它只是从一个地方转移到了另外的地方。\""

其中的\r\n也是一种转义场景的使用。他们分别表示一个回车符和换行符。之所以要转义,是因为正常情况下,这样的字符是不可见的,对于这种字符,不过不采用转义的形式进行表达,那么会比较困难,因为语言设计者设计了这种转义的方式来表达不容易表达的字符。

因此,可以总结出第二种需要转义的场景:转义可以使得表达内容的方式更加容易,更加容易理解,所以设计了这类转义规则。

基于这种场景,也可以在很多编程语言和概念中找到对应的体现:

  • C#

    var colorOfYueluoShirt = 0xFFFFFF;

    0xFFFFFF表示一个十六进制数,对应的十进制数是16777215。0xFFFFFF的表达形式更容易阅读。

  • HTML
    <nb>月老板的衬衫价格>966¥</nb>

    &yen;是对的转义,因为在期初的HTML中,只能用ASCII表中的字符进行表达,所以当时设计了这种方式。

除了在IT领域,在其他领域其实也存在类似第二场景的应用。例如在中国的航空领域,对于数字的念法有特殊的处理:7读作拐,0读作洞,1读作幺,2读作两。经过这样的“转义”处理,可以避免误听而造成的困扰。

转义的总结

总结来说,转义规则的设计,主要解决了两种场景下对代码的表达问题:

  1. 如果不进行转义就可能与语法规定的某些内容产生混淆,所以这些内容都被设计为需要转义。
  2. 转义可以使得表达内容的方式更加容易,更加容易理解,所以设计了这类转义规则。

值得一提的是,很多名称中包含有escape或者unescape的函数或者方法都表明了它们与转义有关。

编码

编码也是一个非常常见的概念。比如经常会听到UTF8编码、GBK编码、Base64编码、URL编码、HTML编码、摩斯电码等等一些和编码有关的概念。

生活化地理解编码

在了解编码之前,首先通过一个生活化的例子来了解一下“什么是信息,什么是信息的载体”。

全世界,对于“我爱你”这样一句话的表达方式千差万别。口头表达,书面表达,肢体表达,普通话表达,英语表达,音乐表达,绘画表达。甚至有生之年我们可以脑电波表达。但不论表达方式是如何的,其中包含的信息可以是一致的。都是为了传达“我爱你”这样的一个核心价值。

在以上这段表述中,可以将“我爱你”这样的概念理解为“信息”。而各种表达方式理解为这个信息的各种载体。

那么,回到编程的世界中来。计算机中的信息主要的载体是以电磁信号的物理载体存在于计算机世界中。那么如果要将现实世界复杂的内容都依靠这种载体来表达,就需要进行转化,我们可以将这种转化理解为编码。结合前文生活化的例子,使用普通话来表达“我爱你”这个信息,就可以理解为使用普通话来编码这个信息。

因此,编码,其可以理解为,采用一种新的载体来表示前一个载体所表达的信息。

可以套用类似这样一个公式来理解:XX编码,将A编码为B,以实现通过B进行存储或传输传输的目的。

技术相关的编码

那么,采用这样的概念,我们来理解一下以往见到的各种技术概念:

  • 文本文件编码,将“文本数据”编码为“二进制数据”,以实现通过“二进制数据”进行存储或者传输的目的

    文本文件在计算机中,最终的载体是二进制文件的形式存在。早起,由于计算机诞生在美国,文本内容也只包含有英文内容。因此当时只要使用ASCII进行编码就可以了。但是后来随着计算机的普及,需要表达的信息越来越多了。因此诞生了Unicode、GB2312等等编码形式。但不论如何,这些编码其实都是对文本信息的编码形式。

  • Base64编码,将“二进制数据”编码为“64个可打印字符的组合”,以实现通过“可打印字符的形式”进行存储或者传输的目的

    在Web场景中,在有些地方限制了数据传输的方式。例如,在URL,只能传递文本。因此,如果想要传输一组二进制数据。那么可以选用Base64编码,将二进制数据编码为可打印的字符串。这样才能完成URL上二进制数据的传输。

  • URL编码,将“非数字字母字符”编码为“十六进制转义序列”,以实现通过“十六进制转义序列”进行传输的目的

    如果需要在URL中传递中文作为参数,或者需要在URL中传递空格、&?=等等特殊符号。这个时候就需要进行URL编码。例如月老板会被编码为%E6%9C%88%E8%80%81%E6%9D%BF。编码的目的HTTP协议的内在要求,通过这种形式,可以浏览器表单数据的打包。

总的来说,通过编码,可以转化信息表达的载体。这样就可以利用新载体带来的好处。这里也有一些生活化的例子:

  • 摩斯电码,将“文本数据”编码为“点横组成的电信号”,以实现通过“电报”进行传输的目的。

    例如:

    -·-- ··- · ·-·· ··- ---   ·· ···   - ···· ·   -- --- ··· -   ··-· ·- -- --- ··- ···   -·· ·- ·-·· ·- ---
  • 社会主义核心价值观编码,将“文本数据”编码为“社会主义核心价值观组成的字符”,以实现通过“社会主义核心价值观”进行传输的目的。

    例如:

    诚信自由公正敬业友善公正爱国爱国友善爱国爱国爱国富强爱国民主友善爱国公正敬业诚信和谐诚信民主友善敬业友善爱国公正诚信民主富强诚信民主爱国友善爱国爱国诚信民主友善敬业敬业诚信文明友善爱国公正敬业爱国诚信富强诚信平等诚信自由公正敬业诚信文明爱国富强诚信自由平等诚信民主友善公正诚信民主友善自由诚信自由法治敬业友善自由爱国自由

    社会主义核心价值观编码工具:http://www.atoolbox.net/Tool.php?Id=850

值得一提的是,很多名称中包含有encode或者decode的函数或者方法都表明了它们与编码有关。

什么是乱码

根据上文提到的公式,编码是完成A->B的载体转化过程。那么同样可以定义A->B的逆过程B->A为“解码”。

一般,如果解码之后无法正确还原原来A所表达的信息,我们会说出现了乱码。例如,使用GB2312的方式去解码一个UTF8编码的文件,那么就会出现乱码。

当然,更加常见的情况是,当开发者,特别是初入的新晋工程师,看到自己无法理解的文本,就说:“这是乱码。”

总的来说,乱码通常来说只是因为选用的解码方式和编码方式不同,而导致信息失真的情况。选用正确的编码就能够解读出正确的信息。

加密

加密很好理解,在日常生活中也不乏加密的使用场景。特别是在以前的战争中的无线电技术应用历史中,确保己方军事信息不被敌方破解,采用优秀的加密算法是极为重要的军事内容。

加密,可以这样概括:按照一定的算法,将需要表达的信息进行处理,以达到除了信息的发送者和接收者之外,其他人无法识别信息真实内容的目的。

技术上,有需要使用加密的场景:

  • HTTPS,安全的HTTP通信通道,通过加密算法来确保浏览器接收到的数据没有被篡改,未被泄露
  • SSH,为建立在应用层基础上的安全协议。SSH 是较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。
  • SSR。SSR是各种集换式卡牌游戏中,卡牌稀有度级别分类的一种。(大雾)

这里需要特别说的是编码和加密的区别和联系:

  • 编码的目的是为了转换信息的载体,使得转换后的载体更好传输或者存储。但是加密是为了安全,防止被识别。
  • 加密需要一个或者一份密钥进行加密和解密处理。安全是加密算法,在没有密钥的情况下,几乎不可能被破解。但是编码并不需要密钥。

所以要简单区分是编码还是加密,可以简单套用这个理解:在算法完全公开的情况下,如果还需要密钥,那么是加密。如果不需要密钥,只能算是编码。

结合生活例子理解一下加密和编码的区别:存在这样一段字符串Мистер Мун, Навсегда Бог.这并不是加密,因为这是一段正常的俄语。不能因为看不懂就说他是加密,因为如果懂俄语,会用俄语解码这段信息,就能知道他表达的意思是:“月先生,永远的神”。

值得一提的是,很多名称中包含有encrypt或者decrypt的函数或者方法都表明了它们与加密有关。

下饭小测

以下是关于本文章的一些概念的测试题,以便读者更好的理解。

不必担心这些语言你没有学过,因为概念其实和语言关系不大。

所有的问题都只有三个选项:

  1. 转义
  2. 编码
  3. 加密

小测1

在很多编程语言中都存在“字符串内插”的语法,例如:C#、ES6、Powershell。

以C#为例,以下就是一个示例:

var dalao = "月落大佬";
var hammurabi_no1 = [email protected]"{dalao}:
""业务复杂度不会因为系统设计变化而减少,
它只是从一个地方转移到了另外的地方。""
";
Console.WriteLine(hammurabi_no1);

那么,以上代码中""输出时只表示一个",这是(A)处理。

如果需要在[email protected]开头的“多行字符串内插”字符串中,输出一个},那么需要使用}}来进行(B)处理。

A:转义

B:转义

小测2

在Powershell中如果要定义一个多行字符串变量,那么需要采用下面这样的写法:

$template = @"
## [version]

[content]

"@

那么,如果需要在这个字符串中插入一个@或者",可以直接写进去,因为powershell是使用@""@,作为多行字符串的起止符,而且要求起止符需要单行。因此中间出现的@#都不需要进行(A)处理。

A:转义

小测3

在javascript中有一个函数名称为escape。按照MDN的解释,该函数已经被标记为弃用了。建议使用encodeURIencodeURIComponent代替。从相应的函数解释上也可以看出,原来的escape是进行表达的意思是进行(A)处理。或许就是大佬们意识到这个名字其实不对,所以换了函数?新函数看名字直接理解应该是对URI进行(B)处理,似乎更加准确哟。

A:转义

B:编码

小测4

曾经有的网站使用 base64 的方式,处理登录票据,并且保存在 Cookie 中。尽管这似乎比明文保存要高明一点,但这是不安全的,因为 base64 只是一种(A)算法,不能够安全的防止信息被篡改。可以选用例如 DES 这样的(B)算法,来确保信息不被篡改。

A:编码

B:加密

总结

转义、编码和加密都是在开发过程中常常遇到的概念。注意区分学习,进行正确的表达能够更好沟通。

成稿粗浅,定有缺漏。承蒙君阅,还望指教。

最近正好在找工作,有没有工作介绍呢?点击此处查看我的简历吧。

  • 本文作者: Newbe36524
  • 版权声明: 本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!

原文地址:https://www.cnblogs.com/newbe36524/p/12153868.html

时间: 2024-10-09 08:28:27

转义、编码和加密的相关文章

转 Encoding is Not Encryption 编码和加密的区别

昨天跟别人聊天的时候,别人把base64说成了加密. 我并不是扣字眼,但是做为一个IT技术人员我认为分辨加密和编码的区别算是一个常识. It's unfortunate that the words encryption and encoding tend to get used as synonyms. In cryptography they mean two different things. In short: Encryption = encipherment = make secre

网址URL中特殊字符转义编码

网址URL中特殊字符转义编码 字符    -    URL编码值 空格    -    %20 "          -    %22 #         -    %23 %        -    %25 &         -    %26 (          -    %28 )          -    %29 +         -    %2B ,          -    %2C /          -    %2F :          -    %3A ;  

浏览器url地址殊字符转义编码

网址URL中特殊字符转义编码字符    -    URL编码值 空格    -    %20"          -    %22#         -    %23%        -    %25&         -    %26(          -    %28)          -    %29+         -    %2B,          -    %2C/          -    %2F:          -    %3A;          -  

Python中的Base64编码的加密与解密

Base64 可以干些啥? Base64编码的作用: 由于某些系统中只能使用ASCII字符.Base64就是用来将非ASCII字符的数据转换成ASCII字符的一种方法. 图片(and种子)base64编码传输 一种常用的内容快速加密方法(不安全,防君子不防小人) 为什么要使用 Base64 编码? 在网页图片传输中,一般在处理极小.极简的一些图片的时候可以使用到base64编码将图片直接写入css文件展示到网站上. 快速加密,常用与邮件内容传输,网站简单内容加密,跟MD5加密算法的区别在于这种算

编码和加密

在用javascript对URL字符串进行编码 中,虽然escape().encodeURI().encodeURIComponent()三种方法都能对一些影响URL完整性的特殊字符进行过滤. 但后两者是将字符串转换为UTF-8的方式来传输,解决了页面编码不一至导致的乱码问题.例如:发送页与接受页的编码格式(Charset)不一致(假设 发送页面是GB2312而接收页面编码是UTF-8),使用escape()转换传输中文字串就会出现乱码问题. 以下是JS下对URL进行编/解码的各种方法: 1.e

CTF中那些脑洞大开的编码和加密

0x00 前言 正文开始之前先闲扯几句吧,玩CTF的小伙伴也许会遇到类似这样的问题:表哥,你知道这是什么加密吗?其实CTF中脑洞密码题(非现代加密方式)一般都是各种古典密码的变形,一般出题者会对密文进行一些处理,但是会给留一些线索,所以写此文的目的是想给小伙伴做题时给一些参考,当然常在CTF里出现的编码也可以了解一下.本来是想尽快写出参考的文章,无奈期间被各种事情耽搁导致文章断断续续写了2个月,文章肯定有许多没有提及到,欢迎小伙伴补充,总之,希望对小伙伴们有帮助吧! 0x01 目录 1 2 3

Base64编码 - Md5加密 - url编码

#pragma mark --------编码-------------- + (NSString * )encodeBase64:(NSString * )text { NSData * data = [text dataUsingEncoding:NSUTF8StringEncoding allowLossyConversion:YES]; // 转换到base64 data = [GTMBase64 encodeData:data]; NSString * base64String = [

Java 关于密码处理的工具类[MD5编码][AES加密/解密]

项目中又遇到了加密问题,又去翻了半天,然后做测试,干脆就把常用的两类小结一下. 1.第一种所谓的MD5加密 其实也不算加密,只是基于Hash算法的不可逆编码而已,等于说,一旦经过MD5处理,是不可能从编码后的字符串反推回去的. MD5的方法是基于散列的.本身信息不全.理论上是不能还原成唯一字符串的. 网上所谓的解密,也只是拥有一个足够大的字典映射,将编码前的源字符和编码后的目标字符关联起来而已,大多数常见的还行,复杂点的估计就会话费很长时间,有兴趣的可以试试. 至于MD5的用法,在初次录入的时候

ios开发Base64编码以及加密相关学习

一:.Base64补充 ```objc 1.Base64简单说明 描述:Base64可以成为密码学的基石,非常重要. 特点:可以将任意的二进制数据进行Base64编码 结果:所有的数据都能被编码为并只用65个字符就能表示的文本文件. 65字符:A~Z a~z 0~9 + / = 对文件进行base64编码后文件数据的变化:编码后的数据~=编码前数据的4/3,会大1/3左右. 2.命令行进行Base64编码和解码 编码:base64 123.png -o 123.txt 解码:base64 123