什么是 ASCII 和 Unicode?

你敲下的每个字母背后的简单编码,Unicode 和 UTF-8 是如何由它发展而来的,以及文字为什么有时会变成奇怪的符号。

字符编码 阅读约 7 分钟

计算机只认识数字,所以屏幕上的每个字母、数字和符号,在内部都是以数字形式保存的。ASCII 就是一套经典的约定,规定了哪个数字代表哪个字符,至今仍藏在几乎所有文本文件、网页和程序里。

本文将带你了解 ASCII 是什么、它的编码如何组织、为什么带重音的字母曾经会出错、Unicode 和 UTF-8 如何解决这个问题,以及如何在几秒内查到任意字符的编码。

查询任意 ASCII 码 查看完整的 ASCII 码表,包含十进制、十六进制、二进制数值和对应字符。免费使用,在浏览器中直接运行。 打开 ASCII 码表

ASCII 是什么?

ASCII 是 American Standard Code for Information Interchange(美国信息交换标准代码)的缩写。它诞生于 20 世纪 60 年代,目的是让不同的机器能够无歧义地交换文本,为每个字符分配一个数字。

它是 7 位编码,共有 128 个取值,范围是 0 到 127。这足以表示英文大小写字母、数字 0 到 9、标点符号,以及一组控制码。

控制字符与可打印字符

这 128 个编码分为两类。0 到 31 以及 127 是控制字符:它们不显示任何图形,而是向设备发出指令。32 到 126 是 95 个可打印字符,也就是你真正能看到的那些。

几个值得记住的数值:

  • 32 是空格。
  • 48 到 57 是数字 0 到 9(所以“0”是 48)。
  • 65 到 90 是大写字母 A 到 Z(所以“A”是 65)。
  • 97 到 122 是小写字母 a 到 z(所以“a”是 97)。
  • 10 是换行(line feed),13 是回车,9 是制表符。
  • 0 是空字符,27 是 Escape,127 是 Delete。

大小写之间的规律

对比“A”(65)和“a”(97):它们正好相差 32。所有字母对都是如此,“B”是 66,“b”是 98。在二进制中,这个差值只是一个二进制位,所以计算机转换大小写的成本很低。

数字也有规律。因为“0”是 48,把数字字符的编码减去 48,就得到它的数值。这是编程中的经典技巧。

小提示:在 ASCII 中,把字母转为小写就给编码加 32,转为大写就减 32。

扩展 ASCII 与代码页:为什么重音字符会出错

计算机以 8 位字节存储数据,因此还多出 128 个取值(128 到 255)。不同厂商和国家用不同方式填充这部分空间,形成了各种“代码页”,例如面向西欧语言的 ISO-8859-1 或 Windows-1252。

它们常被称为扩展 ASCII,但并没有统一标准:同一个数字在一个代码页里可能是“é”,在另一个里却是完全不同的符号。在一个系统中写的文本,换到另一个系统就可能显示错误,而拥有成千上万个字符的语言根本放不下。

Unicode:为每个字符分配一个编号

Unicode 解决了这个问题:它给每种文字系统中的每个字符分配唯一的编号,称为码点(code point),例如“A”写作 U+0041。它涵盖拉丁文、西里尔文、汉字、阿拉伯文、天城文、孟加拉文等众多文字,还包括符号和表情符号。

Unicode 的前 128 个码点与 ASCII 完全相同,所以“A”在两者中都是 65。Unicode 是字符的目录;这些数字如何存成字节,则由编码方式决定。

UTF-8:征服网络的编码

UTF-8 是存储 Unicode 最常用的方式。它为每个字符使用 1 到 4 个字节:ASCII 字符只占一个字节,和旧的 ASCII 完全一致;带重音的字母通常占两个字节,包括常用汉字在内的许多文字占三个字节,表情符号占四个字节。

由于纯 ASCII 文本本身就是合法的 UTF-8,旧文件和新文件可以和平共处。这种兼容性是 UTF-8 成为网页、源代码和大多数现代系统默认编码的主要原因。

乱码(mojibake)为什么会出现

当文本用一种编码保存、却用另一种编码读取时,就会出现乱码。一个经典例子:单词“café”以 UTF-8 保存,却按 Windows-1252 打开,就会显示成“café”,因为“é”的两个字节被当成了两个独立字符。

解决办法几乎总是让两端保持一致:在网页中声明 UTF-8,把文件保存为 UTF-8,并确认数据库和工具使用相同的编码。

ASCII 今天仍然有用的地方

了解 ASCII 对日常技术工作很有帮助。开发者利用字符编码来比较和排序文本、校验输入、编写解析器,以及书写转义序列,例如用 \n 表示换行,用 \t 表示制表符。

  • HTTP 头、JSON 和 CSV 等协议和格式,用 ASCII 字符来构建结构。
  • 终端使用 Escape 字符(27)来开始颜色和光标控制命令。
  • 密码、URL 和标识符常被限制为 ASCII,以避免兼容性问题。
  • 调试:查看某个神秘字符的编码,就能判断它是空格、制表符还是不可见符号。

三步查到字符编码

  1. 在浏览器中打开免费的 ASCII 码表。
  2. 找到你想要的字符,或按十进制、十六进制或二进制数值搜索。
  3. 复制所需格式的编码,例如编程用十进制,字节编辑器用十六进制。

需要避免的常见错误

  • 以为“扩展 ASCII”是一个统一标准。其实不是,它取决于代码页。
  • 用一种编码保存文件,却用另一种编码打开。
  • 把字符和字节混为一谈:在 UTF-8 中,一个字符最多可占 4 个字节。
  • 混淆数字字符“0”(编码 48)、数值 0 和空字符(编码 0)。
  • 比较来自不同系统的文本时,忘了回车(13)和换行(10)这类不可见的控制字符。

总结

ASCII 是一套小巧而优雅的 128 字符编码,至今仍是现代计算的基础。Unicode 把这一思路扩展到所有语言和表情符号,而 UTF-8 在兼容 ASCII 的同时让它变得实用。遇到奇怪的符号,或需要查某个字符的编码时,请记住:这只是让编码对上号的问题,而免费的码表就在一键之间。

常见问题

ASCII 有多少个字符?

标准 ASCII 有 128 个字符,编号 0 到 127:33 个控制码(0 到 31 以及 127)和 95 个可打印字符(含空格)。

ASCII 和 Unicode 有什么区别?

ASCII 只涵盖 128 个字符,主要面向英语。Unicode 为几乎所有文字系统的字符以及符号和表情符号分配唯一编号。Unicode 的前 128 个码点与 ASCII 相同。

UTF-8 和 Unicode 是一回事吗?

不是。Unicode 是字符及其编号的目录,UTF-8 则是把这些编号存成字节的一种方式。还有 UTF-16 等其他编码,但 UTF-8 是网络上使用最广泛的。

字母 A 的 ASCII 码是多少?

大写“A”的十进制是 65(十六进制 41),小写“a”是 97(十六进制 61)。两者之差始终是 32。

为什么文字会变成奇怪的符号?

通常是因为文本用某种编码(如 UTF-8)保存,却用另一种编码(如 Windows-1252)打开。两端使用同一种编码,最好是 UTF-8,就能解决。

本文提到的免费工具

继续阅读

全部文章