编码转换 | 咸鱼

# Unicode 编码

世界上存在着多种编码方式，同一个二进制数字可以被解释成不同的符号。因此，要想打开一个文本文件，就必须知道它的编码方式，否则用错误的编码方式解读，就会出现乱码。为什么电子邮件常常出现乱码？就是因为发信人和收信人使用的编码方式不一样。

可以想象，如果有一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是 Unicode，就像它的名字都表示的，这是一种所有符号的编码。

Unicode 是一个很大的集合，现在的规模可以容纳 100 多万个符号。每个符号的编码都不一样，U+0041表示英语的大写字母A，U+6211表示汉字我

具体的符号对应表，可以查询Unicode官网 (opens new window)，或者专门的汉字对应表 (opens new window)

# Unicode 的问题

需要注意的是，Unicode 只是一个符号集，它只规定了符号的16进制代码，却没有规定这个代码应该如何存储。

比如，汉字我的 Unicode 码点为U+6211)

U+表示这是Unicode编码

6211表示我的16进制编码

转换成二进制数足足有 15 位（110 0010 0001 0001），也就是说，这个符号的表示至少需要 2 个字节。表示其他更大的符号，可能需要 3 个字节或者 4 个字节，甚至更多。

这里就有两个严重的问题

第一个问题是，如何才能区别 Unicode 和 ASCII ？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？

第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果 Unicode 统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的。

它们造成的结果是：

出现了 Unicode 的多种存储方式，也就是说有许多种不同的二进制格式，可以用来表示 Unicode。
Unicode 在很长一段时间内无法推广，直到互联网的出现。

# UTF-8

互联网的普及，强烈要求出现一种统一的编码方式。UTF-8 就是在互联网上使用最广的一种 Unicode 的实现方式。其他实现方式还包括 UTF-16（字符用两个字节或四个字节表示）和 UTF-32（字符用四个字节表示），不过在互联网上基本不用。这里的关系是，UTF-8 是 Unicode 的实现方式之一。

UTF-8 最大的一个特点，就是它是一种变长的编码方式。它可以使用 1~4 个字节表示一个符号，根据不同的符号而变化字节长度。

UTF-8 的编码规则很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面 7 位为这个符号的 Unicode 码。因此对于英语字母，UTF-8 编码和 ASCII 码是相同的。

2）对于n字节的符号（n > 1），第一个字节的前n位都设为1，第n + 1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的 Unicode 码。

下表总结了编码规则，字母x表示可用编码的位。

Unicode 符号范围（十六进制）	UTF-8 编码方式（二进制）
0000 0000-0000 007F	0xxxxxxx
0000 0080-0000 07FF	110xxxxx 10xxxxxx
0000 0800-0000 FFFF	1110xxxx 10xxxxxx 10xxxxxx
0001 0000-001F FFFF	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

举个栗子：

# 汉字转 UTF-8 编码

以我爱·Java这个字符串为例

查阅汉字对应表 (opens new window)知：我的 Unicode 编码为U+6211，处于0000 0800-0000 FFFF之间，因此，我的UTF-8编码需要 3 个字节，二进制编码格式为1110xxxx 10xxxxxx 10xxxxxx

6用2进制表示为 0110

2用2进制表示为 0010

1用2进制表示为 0001

6211用二进制表示为(去掉高位的0)110 0010 0001 0001

按照格式填充

取后6 位010001放入模版，得1110xxxx 10xxxxxx 10010001；
取后7-12 位001000放入模板，得1110xxxx 10001000 10010001；
剩下的部分110高位补0，补足4位0110，放入模板，得最终结果11100110 10001000 10010001。

这就是我的UTF-8二进制编码

11100110拆分为1110和0110

1110转为10进制为 1×2^3 + 1×2^2 + 1×2^1 + 0×2^0 = 8 + 4 + 2 + 0 = 14，用16进制表示为E

0110转为10进制为 0×2^3 + 1×2^2 + 1×2^1 + 0×2^0 = 0 + 4 + 2 + 0 = 6，用16进制表示为6

所以二进制11100110转为16进制为E6

当然，熟悉的话也可以直接看出1110是16进制的E，0110为16进制的6

这里也能看出，1个16进制字符表示半个字节

然后，将每个字节转为16进制，得到E6 88 91

在Java里，byte是一个 8 位有符号整数，取值范围是从 -128 到 127，字节大于127时会显示为负数

所以，Java里我".getBytes("UTF-8")的结果是[-26, -120, -111]

怎么来的?

11100110，表示10进制的230（无符号），由于最高位是1，所以，他实际代表负数

（为了找到实际的负数值，需要使用补码表示法来计算）

首先对所有位取反（得到 00011001）

然后加 1 得到 00011010，这是 26 的二进制表示。

因此

11100110 表示的是无符号的230，有符号的-26

10001000 表示的是无符号的136，有符号的-120

10010001 表示的是无符号的145，有符号的-111

所以，我".getBytes("UTF-8")的结果是[-26, -120, -111]
byte[] bytes = "我".getBytes("UTF-8");
for (byte b : bytes) {
  System.out.print(b & 0xff);
}
结果：230 136 145
0xFF 是二进制 11111111，用于保留低 8 位，高位补 0，当你对一个负数做 & 0xFF 操作时，Java 会把它当作一个 32 位的补码形式进行位运算，最终得到的是该字节的无符号表示

简单粗暴的理解

有符号的负数，转为无符号的数，直接+256（-26 + 256 = 230）

无符号的数(大于127)，转为有符号的数，直接-256 （230 - 256 = -26）

·的Unicode码点为U+00B7，UTF-8二进制编码为110000010 10110111，16进制表示为C2 B7

爱的Unicode码点为U+7231，UTF-8二进制编码为11100111 10001000 10110001，16进制表示为E7 88 B1

J的Unicode码点为U+004A，UTF-8二进制编码为01001010，16进制表示为4A

004A 用二进制表示为0000 0000 0100 1010，前8位是全是0，去掉，表示为0100 1010

a的Unicode码点为U+0061，UTF-8二进制编码为01100001，16进制表示为61

v的Uncode码点为U+0076，UTF-8二进制编码为01110110，16进制表示为 76

所以，当我用UTF-8编码发送字符串我爱·Java时，就是先去查询每个字符的码点，然后按照编码规则，转为二进制字节流进行传输

实际传输的信息为 [E6 88 91 E7 88 B1 C2 B7 4A 61 76 61]

那么，接收方如何接收并且这组字节流还原为它的本来面目呢？

# UTF-8 编码转汉字

接收方接收到传输过来的字节流 [E6 88 91 E7 88 B1 C2 B7 4A 61 76 61]后（同时还会接收Content-Type: text/plain; charset=UTF-8知道编码格式），开始用UTF-8编码来解读

先转为二进制 11100110 10001000 10010001 11100111 10001000 10110001 11000010 10110111 01001010 01100001 01110110 01100001

拿到这一串二进制数字后，我们从第一个字节开始数 1，数至数到 0，得到111，所以这是1个3字节的字符

根据UTF-8编码规则，对于n字节的符号，第1个字节的前n位均为1

可知11100110 10001000 10010001为一组，他们表示一个字符。

按此规则，可以把这组字节流分为7组，分别是

11100110 10001000 10010001
11100111 10001000 10110001
11000010 10110111
01001010
01100001
01110110
01100001

接下来对每组分别还原

11100110 10001000 10010001 ，这是1个3字节符号，格式为1110xxxx 10xxxxxx 10xxxxxx，把这个格式中占位的 1 和 0 全部去掉，只留下 x。得到 0110 001000 010001，每4位一组0110 0010 0001 0001，用16进制表示为6211，查询Unicode编码得知，码点U+6211代表汉字我
11100111 10001000 10110001 ，代表汉字爱
11000010 10110111，代表符号·
01001010 表示字母J
01100001 表示字母a
01110110 表示字母v
01100001 表示字母a

所以，整个字节流代表字符串我爱Java

← Ascii码 Base64编码 →