[转帖]hex,base64,urlencode编码方案对比
https://www.jianshu.com/p/4d701c09d44e
原创:打码日记,欢迎分享,转载请保留出处。
简介
在工作过程中,我们慢慢会了解到hex、base64、urlencode这3种常见的字节编码方案,它们是如此的熟悉,可是经常我们自己也说不清为啥要使用它们,下面我会详细解释下。
hex编码
hex编码,又称十六进制编码(也称base16),一般用于方便人们查看二进制文件内容,它将字节数据中的每4个bit使用数字(0-9)、字母(A-F)共16个字符等效表示,由于一个字节有8个bit,所以一个字节会被编码为2个hex字符,具体规则如下:
Linux中可使用xxd来做hex编解码,如下:
# abc这3个英文字符会被echo编码为3个字节,然后被xxd编码为6个hex字符
$ echo -n abc|xxd -ps
616263
# 解码hex数据
$ echo 616263|xxd -ps -r
abc
base64编码
base64编码,它将字节数据中的每6个bit使用字母(a-zA-Z)、数字(0-9)、+、/总共64个字符等效表示,故每3个字节(8bit)会被编码为4个base64中的字符。
由于数据中的字节数不一定是3的整数倍,当字节数对3求模后,多1个字节时,那个字节会被编码为2个字符加2个=号(填充字符),多2个字节时,这2个字节会被编码为3个字符加1个=号(填充字符),刚好整除时,则不需要=号填充,具体规则如下:
Linux下可以使用base64这个命令做base64编解码
# 3个字母等于3个字节,所以会编码为4个base64字符,并没有=号
$ echo -n abc | base64
YWJj
# 1个字节会被编码为2个base64字符,另加2个=号填充
$ echo -n a | base64
YQ==
# 2个字节会被编码为3个base64字符,另加1个=号填充
$ echo -n ab|base64
YWI=
# 解码base64数据
$ echo YWI= | base64 -d
ab
另外,base64编码有一些常见的变种,以下3种是常见的:
MimeBase64
每76个字符后会添加换行符\r\n
,便于阅读。UrlBase64
由于Base64编码使用了+ /
两个字符,这与url命名规则冲突(/
在url中是路径分隔符,+
会被urldecode为空格字符),这个变种将+ /
这两个字符更换为- _
,如下:image_2021-09-05_base64_urlsafe_codec.jpgNoPaddingBase64
由于Base64编码是对6bit进行编码,数据以8bit存储,当字节数不是3的整数倍时需要=号填充,这种方案就是去掉了=号,从上面的编码示例中也可以看出,加=号填充纯粹是为了保持base64编码字符串长度为4的整数倍,去掉=号其实不影响解析。
urlencode编码
urlencode编码,看名字就知道是设计用来给url编码的,对于a-z
,A-Z
,0-9
,.
,-
和_
,urlencode都不会做任何处理原样输出,而其它字节会被编码为%xx
(16进制)的形式,其中xx
就是这个字节对应的hex编码。
Linux下gridsite-clients
包实现了urlencode命令,如下:
$ sudo apt install gridsite-clients
$ urlencode 'a b'
a%20b
$ urlencode -d a%20b
a b
使用python也很容易实现urlencode,可将其定义为 Linux 命名别名,方便使用,如下:
alias urlencode='python -c "import sys, urllib as ul; print ul.quote_plus(sys.argv[1])"'
alias urldecode='python -c "import sys, urllib as ul; print ul.unquote_plus(sys.argv[1])"'
另外,不同的urlencode实现上也有些差异,比如某些urlencode会将空格
编码为+
(W3C标准规定),而另外一些实现中,空格
会被编码为%20
(RFC 2396)。
注:java中的URLEncoder、javascript中的encodeURIComponent、html表单提交中的application/x-www-form-urlencode,这些都会将空格编码为
+
,而一些web服务器在进行某些urldecode时会不认识+
号,所以在使用这些函数进行urlencode编码时,最好将编码后的+
替换为%20
,如URLEncoder.encode(bytes, "UTF-8").replace("+", "%20")
两次urlencode解决乱码
在最开始遇到乱码问题时,在网上搜到一种 “客户端两次urlencode,服务端一次urldecode” 的乱码解决方案,并声称这样能彻底解决乱码。
然后很长一段时间我都是这样实践的,但一直不知道为什么,直到有一次我调试乱码问题调试到tomcat里面去才发现真相,原来web服务器对url都会自动做一次urldecode,urldecode后的字节使用server.xml中配置的uri-encoding字符编码转换成字符串,而如果uri-encoding这个字符编码配置与客户端使用的不同,就会出现乱码,下面用2个示例模拟一下:
- 客户端使用UTF-8进行一次urlencode,服务端tomcat使用uri-encoding的默认编码ISO-8859-1为例:
String sendParam = "好";
// 使用UTF-8进行urlencode,'好'编码为 %E5%A5%BD
String urlencodeSendParam = URLEncoder.encode(sendParam, "UTF-8");
//....这里表示数据从客户端传至服务端
String urlencodeReceivedParam = urlencodeSendParam;
// 使用ISO-8859-1进行urldecode后,%E5%A5%BD解码为乱码 好 ,注意这个解码是web服务器自动进行的
String receivedParam = URLDecoder.decode(urlencodeReceivedParam, "ISO-8859-1");
// 会输出乱码 好
System.out.println(receivedParam);
- 如果客户端做两次urlencode,服务端做一次urldecode,过程如下:
String sendParam = "好";
// 使用UTF-8进行urlencode,'好'编码为%E5%A5%BD
String urlencodeSendParam = URLEncoder.encode(sendParam, "UTF-8");
// 再使用UTF-8进行urlencode,%E5%A5%BD 编码为 %25E5%25A5%25BD
String urlencodeSendParam2 = URLEncoder.encode(urlencodeSendParam, "UTF-8");
//....这里表示数据从客户端传至服务端
String urlencodeReceivedParam2 = urlencodeSendParam2;
// 使用ISO-8859-1进行urldecode后,%25E5%25A5%25BD 解码为%E5%A5%BD,注意这个解码是web服务器自动进行的
String urlencodeReceivedParam = URLDecoder.decode(urlencodeReceivedParam2, "ISO-8859-1");
// 使用UTF-8进行urldecode后,%E5%A5%BD解码为'好'
String receivedParam = URLDecoder.decode(urlencodeReceivedParam, "UTF-8");
// 会输出正确的'好'字
System.out.println(receivedParam);
从上面的两个示例中,应该不难看出,之所以前端2次编码,后端1次解码不会出现乱码,是因为前端在第1次urlencode后,数据就已经变成了纯英文,而纯英文先使用UTF-8的urlencode编码,再使用ISO-8859-1的urldecode解码,是可以完全还原数据的。另外,由于服务端的第二次urldecode是你自己写的,字符编码当然会和前端使用一致的UTF-8,故好
字被无误的还原回来了。
为什么说英文可以先使用UTF-8的urlencode编码,再使用ISO-8859-1的urldecode解码呢?原因是java中的URLEncoder
类其实是做了两件事,先使用字符编码将字符串转换为字节,然后对字节进行urlencode编码,因为urlencode算法本质作用就是将字节数据编码为等效的英文字符表示,只不过URLEncoder
类将其封装为一步了,等效代码如下:
// 1. 使用字符编码,将字符串转换为字节串,因为urlencode是用来处理字节数据的
byte[] bytes=str.getBytes(charset);
// 2. 将字节数据,使用urlencode算法,编码为英文字符串
String urlencodeStr = urlencode(bytes);
而对于UTF-8与ISO-8859-1来说,它们都是兼容ASCII码的,所以对于纯英文的urlencode编解码,编码数据是可以正确解码的,不信你可以把ISO-8859-1变成UTF-16试试,由于UTF-16是不兼容ASCII的,所以上面的方案处理后依然为乱码。
ps,虽然这种方案基本可以完美解决乱码(基于大多数主流字符编码兼容ASCII),但由于第二次urlencode编码又会将%
编码为%25
,使得数据体积增大不少,所以非必要情况下,还是不要滥用比较好,能都用UTF-8就都用UTF-8吧。我以前经历过的项目都比较奇葩,多种编码混搭,才导致我要如此了解编码机制[-_-]
。
这些编码有啥用?
这些编码的本质作用都是将字节数据转换为等效的纯英文形式,主要用在那些不方便查看、存储或传输原始字节数据的地方。
比如在html中,因为html本身就是纯文本的,不能直接放入原始字节数据,这时,我们可以将一些小图标(非文本数据)通过base64编码的方式内嵌到html中,以使得html页面与图标数据能在一次网络交互中返回,这种方案也称Data URI。
对比
- hex编码
就算原文件是纯英文内容,编码后内容也和原文完全不一样,普通人难以阅读,但由于只有16个字符,听说一些程序员大牛能够记下他们的映射关系,从而达到读hex编码和读原文一样的效果。另外,数据在经过hex编码后,空间占用变成了原来的2倍。 - base64编码
由64个字符组成,比hex编码更难阅读,但由于每3个字节会被编码为4个字符,所以,空间占用会是原来的4/3,比hex要节省空间。另外要注意的是,虽然Base64编码后的数据难以阅读,但不能将其做为加密算法使用,因为它解码都不需要你提供密钥啊。 - urlencode编码
由于英文字符原样保留,对于以英文为主的内容,可读性最好,空间占用几乎不变,而对于非英文内容,每个字节会被编码为%xx的3个字符,空间占用是原来的3倍,所以urlencode是一个对英文友好的编码方案。
总结
除了hex,base64,urlencode编码之外,其实还有base32,base58这样的编码,但它们只是编码方式不同罢了,本质作用是相同的,即将字节数据转换为等效的纯英文表示,方便传输与存储
。
[转帖]hex,base64,urlencode编码方案对比的更多相关文章
- 空间搜索(圆范围)中Geohash编码方案和网格编码方案对比探讨
文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1.背景 多个项目中实现范围(圆)搜索的方案为:依赖库表中的X和Y字段构 ...
- [硬件项目] 2、汽车倒车雷达设计——基于专用倒车雷达芯片GM3101的设计方案与采用CX20106A红外线检测芯片方案对比
前言 尽管每辆汽车都有后视镜,但不可避免地都存在一个后视镜的盲区,倒车雷达则可一定程度帮助驾驶员扫除视野死角和视线模糊的缺陷,提高驾驶安全性.上一节已经分析清倒车雷达的语音模块(上一节),本节将深入分 ...
- Js/Jquery- Base64和UrlEncode编码解码
最近几天遇到一些URL参数明文显示的问题,因为是明文显示,容易让人通过改变参数查看到他没有权限看到内容. 一开始我的做法是自定义了规则,然后原始的那种URL编码.可是URL编译后效果不理想,他无法编译 ...
- ASCII码、base64编码 为什么有的代码要用 base64 进行编码?
百度百科 ASCII码:http://baike.baidu.com/link?url=bNtzytBhlSUt_l3pwpfICxCxqgAfqsBMaeWX6QF7gH46Tg4pQtKM2aAV ...
- 011_如何decode url及图片转为base64文本编码总结
一.咱们经常会遇到浏览器给encode后的url,如何转换成咱们都能识别的url呢?很简单,talk is easy,Please show me your code,如下所示: (1)英文decod ...
- 三维重建:深度相机方案对比-KinectFusion的基本原理(尺度)
算法原理请参考此文: kinect fusion 3D重建基本算法 http://log.csdn.net/xiaohu50/article/details/51592503 三维重建为三维空间实 ...
- Base64的编码转换方式
下面,详细介绍Base64的编码转换方式. 所谓Base64,就是说选出64个字符----小写字母a-z.大写字母A-Z.数字0-9.符号"+"."/"(再加上 ...
- 哪些字符需要urlencode编码?具体怎么处理?
哪些字符需要urlencode编码?具体怎么处理? JS用escape()/encodeURI()/encodeURIComponent()方法编码,用unescape()/decodeURI()/e ...
- C#中Base64之编码,解码方法
原文:C#中Base64之编码,解码方法 1.base64 to string string strPath = "aHR0cDovLzIwMy44MS4yOS40Njo1NTU3L1 ...
- 刨根究底字符编码之四——EASCII及ISO 8859字符编码方案
EASCII及ISO 8859字符编码方案 1. 计算机出现之后,从美国发展到欧洲,由于欧洲很多国家中所用到的字符中,除了基本的美国也用的那128个ASCII字符之外,还有很多衍生的拉丁字母等字符 ...
随机推荐
- 开源:Taurus.DTC 微服务分布式事务框架,支持 .Net 和 .Net Core 双系列版本
前言: 在经过1年多的深思,十几年的框架编写技术沉淀下,花了近一个月的时间,终于又为 .Net 及 .Net Core 的微服务系列框架贡献当中的一个重要组件. 1.开源地址: https://git ...
- Spring源码学习笔记4——BeanFactoryPostProcessor执行
一丶BeanFactoryPostProcessor是什么 Spring留给我们的一个扩展接口,在BeanDefinition加载注册完之后,并执行一些前置操作(笔记3)之后会反射生产所有的BeanF ...
- vscode 启动go
{ "version": "0.2.0", "configurations": [ { "name": "La ...
- PPT 文字太多如何处理
Piti 插件 http://www.piti.fun
- PPT 工作需求:如何利用PPT做活动海报&H5?
PPT 工作需求:如何利用PPT做活动海报? 图片素材 + 字体 + 封面排版 PPT 工作需求:如何利用PPT制作H5? https://www.maka.im/muban http://www.p ...
- Nacos 1.2.1 集群搭建(一)环境准备
虚机准备.Nacos 文件准备.MySQL 5.7 安装 https://nacos.io/zh-cn/docs/cluster-mode-quick-start.html 根据官网要求,至少3个节点 ...
- pyshorteners 长短链接转换
import requests import pyshorteners as psn def long_to_short(url): url = psn.Shortener().chilpit.sho ...
- 一个IT老码农的创业和生活(一)抑郁和自杀
2019年2月18日,离我的38周岁生日还差两个月,我的编程培训班"源栈"开张了. 在此之前,从我2002年大学毕业,6年时间,我先后做过英语教师.实习律师.公司法务.装修公司 ...
- web应用模式 api接口 接口测试工具postman restful规范
目录 web应用模式 前后端混合开发 流程说明(重要) 前后端分离开发 流程说明(重要) api接口 接口测试工具postman 基本介绍 编码格式 restful规范(重要) 简介 主要内容 练习 ...
- #1010:Tempter of the Bone(DFS + 奇偶剪枝)
Problem Description The doggie found a bone in an ancient maze, which fascinated him a lot. However, ...