前言

由于字符集和字符编码的种类比较多、历史也很久远，在许多方面不好理解。在此梳理总结我对字符集和字符编码的认识与理解，以供查阅。若有不对，欢迎指正！。

一、字符集和字符编码的理解

关于字符编码相关的专业术语甚多，这里就谈谈对字符集和字符编码两种的理解足矣。

字符集（Character Set）：从名字上说就是收纳了许多字符的集合，会对每个字符进行编号（有些字符集称为码点Code Point），可能以坐标或者数字等方式进行编号。这样就形成了一个抽象的字符集，一个编号对应一个字符。但是要存储在只能识别0或1的计算机中，就需要进行字符编码。

字符编码（Character Encoding）：为了方便传输或存储在计算机中，需要对字符集中的字符进行编码。我的理解是会对字符在字符集中的编号进行编码，这样就会形成字符编码到字符的映射，如下图。

我的理解：不管在计算的内存中还是硬盘中，都是存储的字符编码，只是在需要显示字符的时候通过编码方式反向解析出该二进制编码在字符集中的编号（解码过程），然后通过编号在字符集中寻找对应的字符，调用显示器显示该字符。

对于ASCII、ISO-8859-1等字符集没有声明字符对应的编号规则的，我把它简单理解为编码和编号是一致的。

二、常用字符集和字符编码

下面主要收集归纳一些常见字符集与字符编码的制定规范，以便以后查阅（搬运工）。

1.ASCII

ASCII字符集常被称为ASCII码((American Standard Code for Information Interchange): 美国信息交换标准代码）。ASCII码又分为标准ASCII码和扩展ASCII码。

1.1.标准ASCII

标准ASCII码也叫基础ASCII码，使用7 位二进制数（剩下的1位二进制为0）来表示所有的大写和小写字母，数字0 到9、标点符号，以及在美式英语中使用的特殊控制字符。其中：
0～31及127(共33个)是控制字符或通信专用字符（其余为可显示字符），如控制符：LF（换行）、CR（回车）、FF（换页）、DEL（删除）、BS（退格)、BEL（响铃）等；通信专用字符：SOH（文头）、EOT（文尾）、ACK（确认）等；ASCII值为8、9、10 和13 分别转换为退格、制表、换行和回车字符。它们并没有特定的图形显示，但会依不同的应用程序，而对文本显示有不同的影响
32～126(共95个)是字符(32是空格），其中48～57为0到9十个阿拉伯数字。
65～90为26个大写英文字母，97～122号为26个小写英文字母，其余为一些标点符号、运算符号等。

1.2.扩展ASCII

扩展ASCII码：由于标准ASCII码只用到了一个字节中的前7位来表示128种字符，为了表示更多的欧洲常用字符，使用了1个字节所能表示的后128个数对ASCII进行了扩展，所以这128个称为扩展ASCII码。

2. ISO-8859-1

ISO-8859-1，别名Latin1，有些环境下写作Latin-1。

ISO-8859-1编码是单字节编码，向下兼容¹标准ASCII，其编码范围是0x00-0xFF，0x00-0x7F之间完全和ASCII一致，0x80-0x9F之间是控制字符，0xA0-0xFF之间是文字符号。

图片解释：表格第一行第一列对应十进制的0，依次往又递增。一行有16个字符，共有16行。

这里可能会有疑问，0～31及127位置上的字符和标准ASCII的不同，正如前面说的这些是控制字符或通信专用字符（非打印字符），它们并没有特定的图形显示，但会依不同的应用程序，而对文本显示有不同的影响。

3. GB2312

GB2312编码适用于汉字处理、汉字通信等系统之间的信息交换，通行于中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持GB2312。

基本集共收入汉字6763个和非汉字图形字符682个。整个字符集分成94个区，每区有94个位。每个区位上只有一个字符，因此可用所在的区和位来对汉字进行编码，称为区位码。

GB 2312中对所收汉字进行了“分区”处理，每区含有94个汉字/符号。这种表示方式也称为区位码。
01-09区为特殊符号。
16-55区为一级汉字，按拼音排序。
56-87区为二级汉字，按部首/笔画排序。
10-15区及88-94区则未有编码。
举例来说，“啊”字是GB2312之中的第一个汉字，它的区位码就是1601。

区位码即可以理解为前面所说的字符集中字符的编号，只是这种编号不从0开始而已。

那既然有了编号，还需要编码规则，编码规则如下：
GB2312中用两个字节来编码每个汉字及符号。第一个字节称为“高位字节”（也称“区字节）”，第二个字节称为“低位字节”（也称“位字节”）。
“高位字节”使用了0xA1-0xF7(把01-87区的区号加上0xA0)，“低位字节”使用了0xA1-0xFE(把01-94加上 0xA0)。

例：“啊”字区位码为1601，第16区第1区，对应16进制即0x10区0x01位，那么编码则为：0xB0A1

GB2312汉字编码字符集对照表

GB2312也是兼容ASCII码的，原理是标准ASCII编码只用了后7位，第1位永远是0，GB2312的编码规则第一位总是1。那么在编码的时候遇到ASCII中的字符就以ASCII编码方式写入1字节，在解码的时候遇到字节是以0开头的就用ASCII编码来解码，以1开头就用GB2312来解码。 所以我认为GB2312准确的来说是单双字节变长编码。

4. GBK

GBK是扩展的GB2312，那么GBK也是采用单双字节变长编码，英文使用单字节编码，完全兼容ASCII字符编码，中文部分采用双字节编码。

GBK 采用双字节表示，总体编码范围为 8140-FEFE，首字节在 81-FE 之间，尾字节在 40-FE 之间，剔除 xx7F 一条线。总计 23940 个码位，共收入 21886 个汉字和图形符号，其中汉字（包括部首和构件）21003 个，图形符号 883 个。
全部编码分为三大部分：

1. 汉字区。包括：
   a. GB 2312 汉字区。即 GBK/2: B0A1-F7FE。收录 GB 2312 汉字 6763 个，按原顺序排列。
   b. GB 13000.1 扩充汉字区。包括：
   (1) GBK/3: 8140-A0FE。收录 GB 13000.1 中的 CJK 汉字 6080 个。
   (2) GBK/4: AA40-FEA0。收录 CJK 汉字和增补的汉字 8160 个。CJK 汉字在前，按 UCS 代码大小排列；增补的汉字（包括部首和构件）在后，按《康熙字典》的页码/字位排列。
2. 图形符号区。包括：
   a. GB 2312 非汉字符号区。即 GBK/1: A1A1-A9FE。其中除 GB 2312 的符号外，还有 10 个小写罗马数字和 GB 12345 增补的符号。计符号 717 个。
   b. GB 13000.1 扩充非汉字区。即 GBK/5: A840-A9A0。BIG-5 非汉字符号、结构符和“○”排列在此区。计符号 166 个。
3. 用户自定义区：分为(1)(2)(3)三个小区。
   (1) AAA1-AFFE，码位 564 个。
   (2) F8A1-FEFE，码位 658 个。
   (3) A140-A7A0，码位 672 个。
   第(3)区尽管对用户开放，但限制使用，因为不排除未来在此区域增补新字符的可能性。

5. Unicode字符集

Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。目前的Unicode字符编号从 0x00 0000至0x10 FFFF，总共1114112个码位，可以分为17个组，每组称为平面（Plane），而每平面拥有65536（2^16）个码位。
第0平面： 0x00 0000 ~ 0x00 FFFF
第1平面： 0x01 0000 ~ 0x01 FFFF
依此类推…

Unicode 到目前（Unicode 13.0.0）为止所定义的十七个平面中，第0平面最为重要，第0平面也被称为基本多文种平面/基本平面（Basic Multilingual Plane，BMP）。第1至第16平面都称为辅助平面。

上面就是Unicode字符集的编号规则，这种编号在Unicode中也被称为码点。

有了编号也需要编码方案，Unicode字符集有三种字符编码方案: UTF-8、UTF-16、UTF-32。

5.1. UTF-8编码

UTF-8使用1~4字节为每个字符编码，以1字节为单位的可变长编码。

Unicode码点(十六进制)	UTF-8 字节流(二进制)
0x00 0000 ~ 0x00 007F	0xxxxxxx
0x00 0080 ~ 0x00 07FF	110xxxxx 10xxxxxx
0x00 0800 ~ 0x00 FFFF	1110xxxx 10xxxxxx 10xxxxxx
0x01 0000 ~ 0x10 FFFF	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与标准ASCII编码完全相同，所以兼容标准ASCII。UTF-8编码的最大长度是4个字节。从上表可以看出，4字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。

例1（编码）：“汉”字的Unicode码点是0x6C49。0x6C49在0x0800-0xFFFF之间，使用3字节模板：1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是：0110 1100 0100 1001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。

例2（解码）：Unicode编码0x20C30在0x010000-0x10FFFF之间，使用4字节模板：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字（不足21位就在前面补0）：0 0010 0000 1100 0011 0000，用这个比特流依次代替模板中的x，得到：11110000 10100000 10110000 10110000，即F0 A0 B0 B0。

解码的过程：如果一个字节的第一位是 0 ，则说明这个字节对应一个字符；如果一个字节的第一位1，那么连续有多少个 1，就表示该字符占用多少个字节。

5.2. UTF-16编码

UTF-16 编码介于 UTF-32 与 UTF-8 之间，UTF-16也是变长编码方式，以2个字节（WORD、字）为单位，每个字符编码为2个字节或4个字节。编码规则如下：

假设某个字符在Unicode字符集中的码点为U。
如果U < 0x10000，即在基本平面的字符，则U的UTF-16编码就是本身，此时字符编码占用2个字节。
如果U ≥ 0x10000，即处于辅助平面，2个字节无法直接表示码点，需要使用4个字节才能完全表示，需先计算U’ = U - 0x10000，然后将U’写成20位的二进制形式：yyyy yyyy yyxx xxxx xxxx，U的UTF-16编码（二进制）就是：110110yy yyyyyyyy 110111xx xxxxxxxx。

为什么U’可以被写成20个二进制位？Unicode的最大码位是0x10FFFF，减去0x10000后，U’的最大值是0xFFFFF，所以肯定可以用20个二进制位表示。例如：Unicode码点0x20C30，减去0x10000后，得到0x10C30，写成二进制是：0001 0000 1100 0011 0000。用前10位依次替代模板中的y，用后10位依次替代模板中的x，就得到：1101100001000011 1101110000110000，即0xD843 0xDC30。

按照上述规则，Unicode码点0x10000-0x10FFFF的UTF-16编码有4个字节，前两个字节组成的高6位是110110，后两个个字节组成的高6位是110111。可见，前两个字节的取值范围（二进制）是11011000 00000000到11011011 11111111，即0xD800-0xDBFF。后两个字节的取值范围（二进制）是11011100 00000000到11011111 11111111，即0xDC00-0xDFFF。

为了解码的时候能区分一个码点是由四个字节组成还是两个字节就是，Unicode编码的设计者将基础平面码点范围0xD800-0xDFFF保留下来不映射字符，并称为代理区（Surrogate）：

Unicode码点	meaning	含义
0xD800－0xDB7F	High Surrogates	高位替代
0xDB80－0xDBFF	High Private Use Surrogates	高位专用替代
0xDC00－0xDFFF	Low Surrogates	低位替代

当读取2个字节发现其位于高位替代或高位专用替代区域（0xD800 ~ 0xDBFF），那么就知道还需再读取后面2个字节，一共4个字节组成一个编码。

高位替代就是指4字节的UTF-16编码的前2字节所处的范围。低位替代是指4字节的UTF-16编码的后2字节所处的范围。那么，高位专用替代是什么意思？我们来解答这个问题，顺便看看怎么由UTF-16编码推导Unicode编码。

如果一个字符的UTF-16编码的前2字节在0xDB80到0xDBFF之间，那么它的Unicode码点在什么范围内？我们知道第二个WORD的取值范围是0xDC00-0xDFFF，所以这个字符的UTF-16编码范围应该是0xDB80 0xDC00到0xDBFF 0xDFFF。我们将这个范围写成二进制：
1101101110000000 11011100 00000000 - 1101101111111111 1101111111111111
按照编码的相反步骤，取出前后2字节的后10位，并拼在一起，得到
1110 0000 0000 0000 0000 - 1111 1111 1111 1111 1111即0xE0000-0xFFFFF，按照编码的相反步骤再加上0x10000，得到0xF0000-0x10FFFF，这就是UTF-16编码的前2个字节在0xDB80到0xDBFF之间的Unicode码点范围，即是第15平面和第16平面。因为Unicode标准将平面15和平面16都作为专用区，所以0xDB80到0xDBFF之间的保留码位被称作高位专用替代。

5.3. UTF-32编码

UTF-32编码直接用4字节定长编码，这样则可涵盖Unicode字符集中所有的码点，即UTF-32编码和Unicode码点相同。

5.4. 字节序

字节序有两种，分别是“大端”（Big Endian, BE）和“小端”（Little Endian, LE）。
根据字节序的不同，UTF-16可被实现为UTF-16LE或UTF-16BE，UTF-32可被实现为UTF-32LE或UTF-32BE。例如：

编码	UTF-16LE	UTF-16BE	UTF32-LE	UTF32-BE
0x00 6C49	49 6C	6C 49	49 6C 00 00	00 00 6C 49
0x02 0C30	30 DC 43 D8	D8 43 DC 30	30 0C 02 00	00 02 0C 30

Unicode标准建议用BOM（Byte Order Mark）来区分字节序，即在传输字节流前，先传输被作为BOM的字符“零宽无中断空格”。这个字符的编码是FEFF，而反过来的FFFE（UTF-16）和FFFE0000（UTF-32）在Unicode中都是未定义的码位，不应该出现于实际传输中。

下表是各种UTF编码的BOM：

UTF编码	Byte Order Mark (BOM)
UTF-8 without BOM	无
UTF-8 with BOM	EF BB BF
UTF-16LE	FF FE
UTF-16BE	FE FF
UTF-32LE	FF FE 00 00
UTF-32BE	00 00 FE FF

常见疑问

1、 经常可以看到这句话，“在Java中，字符在内存中是用unicode编码的”。

从上面的分析中知道Unicode只是一个字符集并不是具体的编码，所以这样说只是说采用的是Unicode字符集，具体的编码其实是UTF-16BE。

2、Windows 记事本的 ANSI、Unicode 编码具体指的何种编码？

https://www.zhihu.com/question/20650946

3、为什么GBK和UTF-8没有字节序问题，而UTF-16就有？

https://zhidao.baidu.com/question/554750118.html
https://www.zhihu.com/question/55140986
https://blog.csdn.net/wangjun5159/article/details/49178439
这我也还没搞明白，先附上一些相关解答链接，请大神指教。

---

1. ISO-8859-1向下兼容标准ASCII，同样的字符在标准ASCII和ISO-8859-1中编码是一致的，表现形式即ASCII编码的文件用ISO-8859-1打开也不会乱码。 ↩︎