Кодировки 6 мин. чтения
Компьютеры понимают только числа, поэтому каждая буква, цифра и символ на экране хранится в виде числа. ASCII — классическая договорённость о том, какое число какому символу соответствует, и она до сих пор скрыта почти в каждом текстовом файле, веб-странице и программе.
В этом руководстве вы узнаете, что такое ASCII, как устроены его коды, почему раньше ломались буквы с диакритикой и кириллица, как это решили Unicode и UTF-8 и как за секунды найти код любого символа.
Найдите код любого символа ASCII Полная таблица ASCII со значениями в десятичном, шестнадцатеричном и двоичном виде и самим символом. Бесплатно, прямо в браузере. Открыть таблицу ASCIIЧто такое ASCII?
ASCII расшифровывается как American Standard Code for Information Interchange — «американский стандартный код для обмена информацией». Его разработали в 1960-х годах, чтобы разные машины могли обмениваться текстом без путаницы. Он сопоставляет каждому символу число.
Это 7-битный код, то есть у него 128 возможных значений, от 0 до 127. Этого хватает для английского алфавита в верхнем и нижнем регистре, цифр от 0 до 9, знаков препинания и набора управляющих кодов.
Управляющие и печатаемые символы
Все 128 кодов делятся на две группы. Коды от 0 до 31 и код 127 — управляющие символы: они ничего не рисуют, а передают устройству команды. Коды от 32 до 126 — это 95 печатаемых символов, которые вы действительно видите.
Несколько значений, которые полезно знать:
- 32 — пробел.
- От 48 до 57 — цифры от 0 до 9 (то есть «0» имеет код 48).
- От 65 до 90 — заглавные буквы от A до Z (то есть «A» имеет код 65).
- От 97 до 122 — строчные буквы от a до z (то есть «a» имеет код 97).
- 10 — перевод строки (line feed), 13 — возврат каретки, 9 — табуляция.
- 0 — нулевой символ, 27 — Escape, 127 — Delete.
Закономерность между заглавными и строчными
Сравните «A» (65) и «a» (97): разница ровно 32. Так со всеми парами букв: «B» — 66, «b» — 98. В двоичном виде это один-единственный бит, поэтому компьютеру очень дёшево переводить регистр.
У цифр тоже есть закономерность. Так как «0» — это 48, числовое значение символа-цифры получается вычитанием 48. Это классический приём в программировании.
Совет: чтобы перевести букву в нижний регистр в ASCII, прибавьте 32 к её коду. Чтобы перевести в верхний, вычтите 32.
Расширенный ASCII и кодовые страницы: почему ломались буквы
Компьютеры хранят данные в 8-битных байтах, поэтому оставалось место ещё для 128 значений (от 128 до 255). Производители и страны заполняли его по-разному, появились «кодовые страницы»: ISO-8859-1 для западноевропейских языков, Windows-1252, а для кириллицы — KOI8-R и Windows-1251.
Их часто называют расширенным ASCII, но единого стандарта нет: одно и то же число могло означать одну букву в одной кодовой странице и совсем другой символ в другой. Текст, написанный в одной системе, в другой выглядел неправильно, а языки с тысячами символов просто не помещались.
Unicode: число для каждого символа
Unicode решил проблему, присвоив каждому символу каждой письменности уникальный номер — кодовую позицию (code point), которая записывается, например, как U+0041 для «A». Он охватывает латиницу, кириллицу, китайские иероглифы, арабское письмо, деванагари, бенгальское письмо и многие другие, а также символы и эмодзи.
Первые 128 кодовых позиций Unicode совпадают с ASCII, поэтому «A» — это 65 и там, и там. Unicode — это каталог символов; как именно эти числа записываются в байты, определяет кодировка.
UTF-8: кодировка, завоевавшая веб
UTF-8 — самый распространённый способ хранения Unicode. Он использует от 1 до 4 байт на символ: символы ASCII занимают один байт, точно как в старом ASCII, кириллица и буквы с диакритикой обычно занимают два, многие другие письменности — три, а эмодзи — четыре.
Поскольку обычный ASCII-текст уже является корректным UTF-8, старые и новые файлы прекрасно уживаются. Эта совместимость — главная причина, почему UTF-8 стал стандартом для веб-страниц, исходного кода и большинства современных систем.
Почему появляются «кракозябры» (mojibake)
Кракозябры (по-японски mojibake) возникают, когда текст сохранён в одной кодировке, а прочитан в другой. Классический пример: слово «café», сохранённое в UTF-8, но открытое как Windows-1252, выглядит как «café», потому что два байта буквы «é» читаются как два отдельных символа.
Решение почти всегда одно: заставить обе стороны договориться. Укажите UTF-8 на веб-странице, сохраняйте файлы в UTF-8 и проверьте, что базы данных и инструменты используют ту же кодировку.
Где ASCII полезен до сих пор
Знание ASCII помогает в повседневной технической работе. Разработчики используют коды символов, чтобы сравнивать и сортировать текст, проверять ввод, писать парсеры и экранирующие последовательности вроде \n для перевода строки или \t для табуляции.
- Протоколы и форматы, такие как заголовки HTTP, JSON и CSV, строят свою структуру на символах ASCII.
- Терминалы используют символ Escape (27) для команд цвета и управления курсором.
- Пароли, URL и идентификаторы часто ограничивают символами ASCII, чтобы избежать проблем совместимости.
- Отладка: код загадочного символа показывает, пробел это, табуляция или невидимый символ.
Как найти код символа за 3 шага
- Откройте бесплатную таблицу ASCII в браузере.
- Найдите нужный символ или выполните поиск по десятичному, шестнадцатеричному или двоичному значению.
- Скопируйте код в нужном формате: десятичный для программирования или шестнадцатеричный для редактора байтов.
Частые ошибки
- Считать «расширенный ASCII» единым стандартом. Это не так: всё зависит от кодовой страницы.
- Сохранять файл в одной кодировке, а открывать в другой.
- Путать символ и байт: в UTF-8 один символ может занимать до 4 байт.
- Путать цифру «0» (код 48) с числом 0 или нулевым символом (код 0).
- Забывать про невидимые управляющие символы, такие как возврат каретки (13) и перевод строки (10), при сравнении текстов из разных систем.
Вывод
ASCII — небольшой и элегантный код из 128 символов, который до сих пор лежит в основе современных вычислений. Unicode распространил эту идею на все языки и эмодзи, а UTF-8 сделал её практичной, сохранив совместимость с ASCII. Когда вы встретите странные символы или вам понадобится код символа, помните: нужно лишь согласовать кодировки, а бесплатная таблица всегда под рукой.
Частые вопросы
Сколько символов в ASCII?
В стандартном ASCII 128 символов с номерами от 0 до 127: 33 управляющих кода (от 0 до 31 и 127) и 95 печатаемых символов, включая пробел.
В чём разница между ASCII и Unicode?
ASCII охватывает только 128 символов, в основном для английского языка. Unicode присваивает уникальный номер символам практически всех письменностей, а также символам и эмодзи. Первые 128 кодовых позиций Unicode совпадают с ASCII.
UTF-8 и Unicode — это одно и то же?
Нет. Unicode — это каталог символов и их номеров, а UTF-8 — один из способов записать эти номера в байты. Есть и другие кодировки, например UTF-16, но UTF-8 чаще всего используется в вебе.
Какой код ASCII у буквы A?
Заглавная «A» — 65 в десятичной системе (41 в шестнадцатеричной), строчная «a» — 97 (61 в шестнадцатеричной). Разница между ними всегда равна 32.
Почему вместо букв появляются странные символы?
Обычно потому, что текст сохранили в одной кодировке, например UTF-8, а открыли в другой, например Windows-1252 или Windows-1251. Если использовать одну кодировку с обеих сторон, лучше всего UTF-8, проблема исчезает.
Бесплатные инструменты из этой статьи
Читайте также
- Как создать надёжный парольДлина, случайность и уникальность: простые правила, которые действительно защищают ваши аккаунты, и как их соблюдать, ничего не запоминая.
- Техника Помодоро: полное руководствоРаботайте блоками по 25 минут с короткими перерывами. Как устроен метод, как начать сегодня и как подстроить его под свой режим.
- Что такое хеш? MD5, SHA-256 и для чего они нужныХеш — это короткий отпечаток любых данных. Как он работает, каким алгоритмам доверять и как с его помощью проверять файлы и защищать пароли.