ASCII

• ASCII 码使用指定的7 位或8 位二进制数组合来表示128 或256 种可能的字符
  • 标准ASCII 码也叫基础ASCII码，使用7 位二进制数（剩下的1位二进制为0）来表示所有的大写和小写字母，数字0 到9、标点符号，以及特殊控制字符
• 编号从0开始的32种状态分别规定了特殊的用途，这些0×20以下的字节状态称为控制码
  • 例如 0x10 表示换行，0x07b表示蜂鸣等
• 127号之后的空位来表示新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状
  • 从128 到255这一页的字符集被称扩展字符集

GBK

• 为了表示中文，我们把127号之后的奇异符号取消掉，并规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，这样我们就可以组合出大约7000多个简体汉字了
• 我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的”全角”字符，而原来在127号以下的那些就叫”半角”字符了

Unicode

• unicode是一个字符集，里面几乎包含了目前世界上已知的所有字符，且该字符集将二进制代码和字符形成一一映射，即一个字符对应且只对应一个二进制代码，反过来，一个二进制代码对应且只对应一个字符
  • Unicode字符码是32位，4个字节
  • 这个编号范围从 0x000000 到 0x10FFFF(十六进制)
• Unicode字符集中对字符的编码是长度不确定的，其中有的字符是两个字符，有的是三个字符，这给计算机进行解码带来了困难
  • 所以我们想给每个字符对应的二进制码前加上一个标记，让计算机看到这个标记就知道它将要读取几个字节，这样就防止了上述描述的两个字符因为前两个字节编码相同而误将三个字节的字符当成两个字节的字符读取了这种错误
  • 这就是下面的UTF-8编码

UTF-8

• 为解决unicode如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF-8就是每次8个位传输数据，而UTF-16就是每次16个位。
• UTF-8 是以 8 位为一个编码单位的可变长编码。会将一个码位编码为 1 到 4 个字节
• UTF-8 采用了高位保留方式来区别不同变长
  • 由于最高位不同，多字节中不会包含一字节的模式。对于 UTF-8 而言，二字节的模式也不会包含在三字节模式中，也不会在四字节中；三字节模式也不会在四字节模式中，这样就解决了搜索匹配难题
  • 每当进行搜索的时候，每个二字节和三字节的编码没有重叠，因为最高位不同，所以不会出现搜索同一个出现两个的结果。不过就是有效编码空间少了
• UTF-8编码有一个额外的好处，就是ASCII编码实际上可以被看成是UTF-8编码的一部分，所以，大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作
• Go里面内建仅支持UTF8字符串编码，因此如果你用fmt.Printf之类的函数无法将GBK等编码随意转换打印
  • 在 Golang 中转换 UTF-8 与 GBK 编码的文本，可以使用 Go 官方的 golang.org/x/text包实现