Unicode字符集的UTF-32、UTF-16和UTF-8编码
什么是Unicode字符集？简单地说，它就是把全世界人类发明和使用的现有的所有字符进行了集中收集和逐一编码，这个过程就像把上学时老师把班里学生都叫到一起，统计总数后给每个学生分配一个唯一的学号一样。Unicode字符集里收录的字符可以是文字（如：‘α’、‘魍’等），也可以是符号（如：‘@’、‘$’），还可以是图形（如'☺'等）。 那它有什么用呢？它有两个重要的用途： 一是解决了人们和机器之间的字符交互问题。每个字符不再是一个个抽象的文字、符号或图形，而是变成了一个个的数字，每个数字对应一个唯一的字符，而每个字符也有一个唯一的数字，两者之间是一一对应关系，而且不同字符和不同数字都各不相同，避免了“重名重姓”问题。这里，提到的表示字符的数字，我们也称之为 码点 ，后面我们还会详细介绍。 二是解决了不用语言国家字符集编码不统一的问题，提供了一个统一的编码方式，避免“各自为政，政出多门”的问题，方便相互之间的数据交流。 有了基本概念，那么我们看看Unicode字符集是如何实现对所有字符编码的。根据官网公布的Unicode 最新版本（9.0）介绍，Unicode字符集现在共包括 128,172 个字符，可查看 http://www.unicode.org/versions/Unicode9.0.0/ 。如此大量的字符，该如何编码？最笨的办法就是把所有字符列出来，然后一个一个编个号，但这样不利于查找，也不利于分类，更不利于进行存储空间优化编码（后面会介绍一些优化编码方案）。 那Unicode字符集怎么解决这个编码问题呢？它采用的是“分块编码”。按照国籍、地区、用途、功能等不同属性，把字符先进行分类，然后再根据每个小字符类的字符个数，确定一个个大小不同的 码块 ，下面节选了几种字符及其对应的 码点 。 （节选） 0000..007F; Basic Latin（基本拉丁字母） 4E00..9FFF; CJK Unified Ideographs（CJK统一表意文字） 1D100..1D1FF; Musical Symbols（音乐符号） 100000..10FFFF; Supplementary Private Use Area-B（补充专用区域-B） 注意，“0000”、“007F”、“1D100”以及“100000”等，都是十六进制，这是每个字符在Unicode字符集中的编号，也就是相当于每个字符的“学号”。 可以看出，要表示一个字符，最长需要6位十六进制数，换算一下就是24位二进制数；而短的，比如基本拉丁字母，前面的“0”省去，只要2位十六进制（8位二进制数）就行了。 有了字符集，下面就要谈谈如何表示和使用这些字符（码点）了。毕竟，谁也不会闲了没事把字符编个号就为了练自己认字和数数的能力。 最重要的当然是为了让不同信息受体间交换信息 。 于是，就出现了UTF。所谓UTF是Unicode Transformation Format的缩写，意为Unicode转换格式。UTF具体分为3类，分别是UTF-32，UTF-16和UTF-8。 先看UTF-32。UTF-32是 定长编码 ，也就是说每个字符的编码长度都是固定的，‘32‘是其所使用的二进制编码的位数，即： 32位 。但通常以字节数进行量化，所以32位对应的字节数为 4字节 。 我们的Unicode字符集每个字符的码点最长也就是24位，相当于3个字节，而UTF-32给了4个字节（32位）来表示，给了字符集非常大的扩展空间（有兴趣的童鞋可以算算32位二进制数最大可以表示多大的数，这个数基本就对应了可以表示多少字符）。 没这时间计算这些的童鞋你就简单理解为，UTF-32就是一个“运超大箱”的快递公司，不管你寄什么，它都统一拿装冰箱的盒子寄（觉得不够大的，自行脑补一个），保证能一次装下你要寄的东西。 它的优点是被表示的Unicode字符都是固定长度的，易于查找和解码；但缺点是表示常用字符时内存占用太大，本地存储利用率或传输效率太低。 UTF-16是 变长编码 ，也就是说每个字符的编码长度是变化的，不是一成不变的。它的编码算法为： 在UTF-16中，2字节是字符的基本表示单元，低码点的用 2字节 表示，高码点的拆开后用 2个2字节 表示。 还是拿快递公司的例子类比，UTF-16是家提供了一种“运中等箱子”的快递公司，中等箱子能装下的就直接寄，装不下的，做个标记，分两个箱子寄，收件人需要特别注意下标记，如果没有标记，直接就用，如果有，就把两个箱子东西取出来拼起来后再用。 UTF-8也是 变长编码 ，它的编码算法与UTF-16并无本质区别，都是对Unicode进行分段，然后加上标识码，唯一的区别是分段更多。其算法如下： 在UTF-8中，1字节是字符的基本表示单元，最低的码点（ 000000-0000FF ）用1字节表示，高的码点（ 000080-10FFFF ）进一步分段，分别拆开为2个、3个和4个1字节。 可见，相比较而言，UTF-8是家只能“运小箱子”的快递公司，少数能装下的就用1个箱子运，不能装下的就拿2个、3个甚至4个来运。作为收件人，会非常辛苦的进行逐一判别，基本上都是需要拆箱组装后才能使用的（下面讲到也会有特例）。 当然，UTF-8在对于拉丁语系国家或者字符为主的信息传递和数据处理时，效率是非常高的，因为刚才Unicode字符集节选中提到的基本拉丁语范围刚好是 0000..007F ，在UTF-8中只要1个字节就够了。但是，对于中日韩（CJK，China-Japan-Korea）语系或字符为主的信息传递和数据处理时，效率就不那么好了，因为刚才节选的中日韩表意文字范围是 4E00..9FFF ，那在UTF-8中进行编解码时必须按照上面UTF-8算法的 第3条 进行处理，也就是要用 3个字节 来表示（还不如UTF-16的 2字节 ），所以国内很多中文数据较多的网站一般也不会采用UTF-8来进行编码，但作为程序猿还是比较喜欢用这种的编码方式。 完。
Unicode编码和UTF-8编码解析
根据该文 Unicode编码和UTF-8编码的关系 粗略的写了个思维导图，并摘抄了一部分内容。 UTF-8编码把一个Unicode字符根据不同的数字大我码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间： （ UTF 是英文 Unicode Transformation Format 的缩写，意为把 Unicode 字符转换为某种格式。UTF 系列编码方案（UTF-8、UTF-16、UTF-32）均是由 Unicode 编码方案衍变而来，以适应不同的数据存储或传递，它们都可以完全表示 Unicode 标准中的所有字符。目前，这些衍变方案中 UTF-8 被广泛使用，而 UTF-16 和 UTF-32 则很少被使用。） 从上面的表格还可以发现，UTF-8编码有一个额外的好处，就是ASCII编码实际上可以被看成是UTF-8编码的一部分，所以，大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。 在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。
Unicode 与 UTF-8 之间的转换
在讨论 Unicode 的时候，我们不得不提及 ASCII 码。
从它的名字中我们可以了解这是美国人定义的标准，迄今为止一共定义了 128 个字符，主要支持英文字母的编码，而没有考虑到其它国家的语言，比如我国的汉字。所以，为了解决传统字符编码方案的局限诞生了 Unicode。
Unicode 为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。
Unicode 虽然解决了 ASCII 码的兼容性问题，但是它又带来了新的问题。ASCII 只需要 1 个字节就能解决英文世界的字符编码，而 Unicode 为了支持多语言，最多需求 4 个字节的编码空间。也就是说，一篇纯英文文章以 Unicode 编码存储在计算机中所消耗的内存是要大于以 ASCII 编码进行存储的，这不就造成内存资源的浪费了吗？所以这就有了 UTF-8。
UTF-8（8-bit Unicode Transformation Format）是一种针对 Unicode 的可变长度实现方式。准确来的说，UTF-8 并不是一种编码方式，什么是编码方式？我们上面提到的 ASCII 和 Unicode 就是编码方式，而 UTF-8 是 Unicode 的其中一种实现方式。实现方式不同于编码方式，一个字符的 Unicode 编码是确定的。但是在实际传输过程中，由于不同系统平台的设计不一定一致，以及处于节省空间的目的，对 Unicode 编码的实现方式有所不同。Unicode 的实现方式称为 Unicode 转换格式 （Unicode Transformation Format，简称为 UTF）。Unicode 的实现方式还包括 UTF-7、Punycode、CESU-8、SCSU、UTF-32、GB18030 等。
接下来我们就来看一下 UTF-8 是如何解决 Unicode 的空间浪费问题。根据最新的规范，UTF-8 使用一至四个字节为每个字符编码，也就是说是可变长度的。其编码中的第一个字节仍与 ASCII 兼容，这使得原来处理 ASCII 字符的软件无须或只须做少部分修改，就可以继续使用。
我们以 汉字“码” 为例，根据上表（表格来自于维基百科）进行转换。首先“码”的 Unicode 编码为 U+7801，显然位于表中第三行的 U+0800 和 U+FFFF 之间。U+7801 对应的 16 进制编码为 7801，将其转换为二进制 111 1000 0000 0001。然后，我们把得到的二进制编码从右到左依次替换到 1110xxxx 10xxxxxx 10xxxxxx 里的 x 位置上，不够的位置用 0 来补足。最终我们得到一串二进制数据 1110 0111 1010 0000 1000 0001，这串数据就是汉字“码”对应的 UTF-8 编码。
