Что такое ASCII и Unicode?

Простой код за каждой буквой, которую вы печатаете, как из него выросли Unicode и UTF-8 и почему текст иногда превращается в странные символы.

Кодировки 6 мин. чтения

Компьютеры понимают только числа, поэтому каждая буква, цифра и символ на экране хранится в виде числа. ASCII — классическая договорённость о том, какое число какому символу соответствует, и она до сих пор скрыта почти в каждом текстовом файле, веб-странице и программе.

В этом руководстве вы узнаете, что такое ASCII, как устроены его коды, почему раньше ломались буквы с диакритикой и кириллица, как это решили Unicode и UTF-8 и как за секунды найти код любого символа.

Найдите код любого символа ASCII Полная таблица ASCII со значениями в десятичном, шестнадцатеричном и двоичном виде и самим символом. Бесплатно, прямо в браузере. Открыть таблицу ASCII

Что такое ASCII?

ASCII расшифровывается как American Standard Code for Information Interchange — «американский стандартный код для обмена информацией». Его разработали в 1960-х годах, чтобы разные машины могли обмениваться текстом без путаницы. Он сопоставляет каждому символу число.

Это 7-битный код, то есть у него 128 возможных значений, от 0 до 127. Этого хватает для английского алфавита в верхнем и нижнем регистре, цифр от 0 до 9, знаков препинания и набора управляющих кодов.

Управляющие и печатаемые символы

Все 128 кодов делятся на две группы. Коды от 0 до 31 и код 127 — управляющие символы: они ничего не рисуют, а передают устройству команды. Коды от 32 до 126 — это 95 печатаемых символов, которые вы действительно видите.

Несколько значений, которые полезно знать:

  • 32 — пробел.
  • От 48 до 57 — цифры от 0 до 9 (то есть «0» имеет код 48).
  • От 65 до 90 — заглавные буквы от A до Z (то есть «A» имеет код 65).
  • От 97 до 122 — строчные буквы от a до z (то есть «a» имеет код 97).
  • 10 — перевод строки (line feed), 13 — возврат каретки, 9 — табуляция.
  • 0 — нулевой символ, 27 — Escape, 127 — Delete.

Закономерность между заглавными и строчными

Сравните «A» (65) и «a» (97): разница ровно 32. Так со всеми парами букв: «B» — 66, «b» — 98. В двоичном виде это один-единственный бит, поэтому компьютеру очень дёшево переводить регистр.

У цифр тоже есть закономерность. Так как «0» — это 48, числовое значение символа-цифры получается вычитанием 48. Это классический приём в программировании.

Совет: чтобы перевести букву в нижний регистр в ASCII, прибавьте 32 к её коду. Чтобы перевести в верхний, вычтите 32.

Расширенный ASCII и кодовые страницы: почему ломались буквы

Компьютеры хранят данные в 8-битных байтах, поэтому оставалось место ещё для 128 значений (от 128 до 255). Производители и страны заполняли его по-разному, появились «кодовые страницы»: ISO-8859-1 для западноевропейских языков, Windows-1252, а для кириллицы — KOI8-R и Windows-1251.

Их часто называют расширенным ASCII, но единого стандарта нет: одно и то же число могло означать одну букву в одной кодовой странице и совсем другой символ в другой. Текст, написанный в одной системе, в другой выглядел неправильно, а языки с тысячами символов просто не помещались.

Unicode: число для каждого символа

Unicode решил проблему, присвоив каждому символу каждой письменности уникальный номер — кодовую позицию (code point), которая записывается, например, как U+0041 для «A». Он охватывает латиницу, кириллицу, китайские иероглифы, арабское письмо, деванагари, бенгальское письмо и многие другие, а также символы и эмодзи.

Первые 128 кодовых позиций Unicode совпадают с ASCII, поэтому «A» — это 65 и там, и там. Unicode — это каталог символов; как именно эти числа записываются в байты, определяет кодировка.

UTF-8: кодировка, завоевавшая веб

UTF-8 — самый распространённый способ хранения Unicode. Он использует от 1 до 4 байт на символ: символы ASCII занимают один байт, точно как в старом ASCII, кириллица и буквы с диакритикой обычно занимают два, многие другие письменности — три, а эмодзи — четыре.

Поскольку обычный ASCII-текст уже является корректным UTF-8, старые и новые файлы прекрасно уживаются. Эта совместимость — главная причина, почему UTF-8 стал стандартом для веб-страниц, исходного кода и большинства современных систем.

Почему появляются «кракозябры» (mojibake)

Кракозябры (по-японски mojibake) возникают, когда текст сохранён в одной кодировке, а прочитан в другой. Классический пример: слово «café», сохранённое в UTF-8, но открытое как Windows-1252, выглядит как «café», потому что два байта буквы «é» читаются как два отдельных символа.

Решение почти всегда одно: заставить обе стороны договориться. Укажите UTF-8 на веб-странице, сохраняйте файлы в UTF-8 и проверьте, что базы данных и инструменты используют ту же кодировку.

Где ASCII полезен до сих пор

Знание ASCII помогает в повседневной технической работе. Разработчики используют коды символов, чтобы сравнивать и сортировать текст, проверять ввод, писать парсеры и экранирующие последовательности вроде \n для перевода строки или \t для табуляции.

  • Протоколы и форматы, такие как заголовки HTTP, JSON и CSV, строят свою структуру на символах ASCII.
  • Терминалы используют символ Escape (27) для команд цвета и управления курсором.
  • Пароли, URL и идентификаторы часто ограничивают символами ASCII, чтобы избежать проблем совместимости.
  • Отладка: код загадочного символа показывает, пробел это, табуляция или невидимый символ.

Как найти код символа за 3 шага

  1. Откройте бесплатную таблицу ASCII в браузере.
  2. Найдите нужный символ или выполните поиск по десятичному, шестнадцатеричному или двоичному значению.
  3. Скопируйте код в нужном формате: десятичный для программирования или шестнадцатеричный для редактора байтов.

Частые ошибки

  • Считать «расширенный ASCII» единым стандартом. Это не так: всё зависит от кодовой страницы.
  • Сохранять файл в одной кодировке, а открывать в другой.
  • Путать символ и байт: в UTF-8 один символ может занимать до 4 байт.
  • Путать цифру «0» (код 48) с числом 0 или нулевым символом (код 0).
  • Забывать про невидимые управляющие символы, такие как возврат каретки (13) и перевод строки (10), при сравнении текстов из разных систем.

Вывод

ASCII — небольшой и элегантный код из 128 символов, который до сих пор лежит в основе современных вычислений. Unicode распространил эту идею на все языки и эмодзи, а UTF-8 сделал её практичной, сохранив совместимость с ASCII. Когда вы встретите странные символы или вам понадобится код символа, помните: нужно лишь согласовать кодировки, а бесплатная таблица всегда под рукой.

Частые вопросы

Сколько символов в ASCII?

В стандартном ASCII 128 символов с номерами от 0 до 127: 33 управляющих кода (от 0 до 31 и 127) и 95 печатаемых символов, включая пробел.

В чём разница между ASCII и Unicode?

ASCII охватывает только 128 символов, в основном для английского языка. Unicode присваивает уникальный номер символам практически всех письменностей, а также символам и эмодзи. Первые 128 кодовых позиций Unicode совпадают с ASCII.

UTF-8 и Unicode — это одно и то же?

Нет. Unicode — это каталог символов и их номеров, а UTF-8 — один из способов записать эти номера в байты. Есть и другие кодировки, например UTF-16, но UTF-8 чаще всего используется в вебе.

Какой код ASCII у буквы A?

Заглавная «A» — 65 в десятичной системе (41 в шестнадцатеричной), строчная «a» — 97 (61 в шестнадцатеричной). Разница между ними всегда равна 32.

Почему вместо букв появляются странные символы?

Обычно потому, что текст сохранили в одной кодировке, например UTF-8, а открыли в другой, например Windows-1252 или Windows-1251. Если использовать одну кодировку с обеих сторон, лучше всего UTF-8, проблема исчезает.

Бесплатные инструменты из этой статьи

Читайте также

Все статьи