Картинки и звук: как пиксели и волны становятся числами

Картинка в памяти компьютера — это таблица чисел: для каждой точки записан её цвет. Звук — длинный ряд чисел: высота звуковой волны, измеренная десятки тысяч раз в секунду. Видео — это картинки, которые быстро сменяют друг друга. Всё, что Вы видите на экране и слышите в наушниках, сначала было числами.

Картинка — это сетка точек

Откройте фотографию в графическом редакторе и увеличьте её до предела. Плавные линии рассыплются на одноцветные квадратики. Каждый такой квадратик — пиксель, наименьшая точка изображения. Картинку, составленную из пикселей, называют растровой.

Цвет пикселя задают три числа: яркость красной, зелёной и синей составляющих. На каждую уходит один байт, то есть значение от 0 до 255. Это те самые три байта, которые в уроке Шестнадцатеричная система мы записывали кодом вроде #F8CA73.

Чтобы сохранить картинку, достаточно записать её ширину и высоту, а затем цвета всех пикселей подряд, строка за строкой.

Разрешение и размер

Число пикселей по ширине и высоте называют разрешением. У экрана Full HD оно равно 1920 × 1080. Посчитаем, сколько места займёт такая картинка, если ничего не сжимать.

Пикселей:   1920 · 1080 = 2 073 600
Байтов:     2 073 600 · 3 = 6 220 800
Примерно:   6,2 МБ, если считать по миллиону байтов

Камера смартфона на 12 мегапикселей делает снимок из 12 миллионов точек. Без сжатия он занял бы 36 МБ. Но файл с фотографией обычно весит примерно в десять раз меньше — почему, станет ясно чуть ниже.

Глубина цвета

Количество битов, отведённых на один пиксель, называют глубиной цвета. Правило знакомое: n битов дают 2ⁿ вариантов.

При глубине 8 битов в пикселе хранится не сам цвет, а его номер в палитре — списке из 256 заранее выбранных цветов. Встречается и глубина 32 бита: к трём байтам цвета добавлен четвёртый, который задаёт прозрачность.

Сжатие: та же картинка в меньшем файле

Хранить каждый пиксель отдельно расточительно. Есть два способа сократить запись.

Сжатие без потерь записывает те же данные короче. Если в строке подряд идут 500 белых пикселей, можно не повторять белый цвет 500 раз, а записать «белый, 500 штук». После распаковки получается исходная картинка, бит в бит. Так работают формат PNG для изображений, FLAC для музыки и архивы ZIP для любых файлов.

Сжатие с потерями выбрасывает детали, которые человек почти не замечает: едва различимые оттенки, очень тихие звуки рядом с громкими. Так устроены JPEG для фотографий и MP3 для музыки. Файл получается во много раз меньше, но вернуть выброшенное уже нельзя. Поэтому картинка, которую много раз пересохраняли и пересылали, становится мутной.

Настоящие алгоритмы сжатия гораздо хитрее, но идеи у них именно такие.

Звук — это волна

Звук — это колебания воздуха. Микрофон превращает их в электрический сигнал, который меняется плавно, как линия на графике. Сохранить плавную линию целиком нельзя: в ней бесконечно много точек. Поэтому компьютер измеряет высоту волны через равные промежутки времени и записывает только результаты. Это называют дискретизацией.

Качество записи определяют два числа.

• Частота дискретизации — сколько измерений делается за секунду. Её указывают в герцах.
• Разрядность — сколько битов занимает одно измерение. На схеме уровней всего шестнадцать: на них хватает четырёх битов. А 16 битов дают 65 536 уровней.

На компакт-диске звук записан с частотой 44 100 Гц и разрядностью 16 битов, причём дважды: отдельно для левого и для правого наушника. Такие параллельные записи называют каналами.

В секунду:   44 100 · 2 байта · 2 канала = 176 400 байт
В минуту:    176 400 · 60 = 10 584 000 байт, около 10,6 МБ

Откуда взялось число 44 100? Чем выше звук, тем чаще колеблется воздух. Человек слышит колебания примерно до 20 000 раз в секунду. Чтобы заметить колебание, его нужно застать хотя бы дважды: на гребне и во впадине. Значит, измерять нужно более чем вдвое чаще самой высокой частоты — больше 40 000 раз в секунду. У числа 44 100 есть небольшой запас. Это правило называют теоремой Котельникова: советский инженер Владимир Котельников доказал его в 1933 году.

В телефонной связи долго хватало 8000 измерений в секунду. Для речи этого достаточно, а музыка в трубке звучит глухо: высокие звуки в такую запись не попадают.

Видео — много картинок подряд

Видео состоит из кадров — отдельных картинок, которые сменяются 25, 30 или 60 раз в секунду. Посчитаем минуту несжатого видео Full HD при 30 кадрах в секунду.

Один кадр:   6 220 800 байт
Секунда:     6 220 800 · 30 = 186 624 000 байт, около 187 МБ
Минута:      186 624 000 · 60 = 11 197 440 000 байт, около 11,2 ГБ

Двухчасовой фильм занял бы больше терабайта — на диск обычного ноутбука он бы не поместился. На деле такой фильм весит несколько гигабайтов: его сжимают в сотни раз. Главная хитрость в том, что соседние кадры почти одинаковы, и достаточно хранить только то, что изменилось.

Частые вопросы

Почему при сильном увеличении картинка становится нечёткой?

Потому что в файле нет ничего, кроме пикселей. Когда один пиксель растягивают на большой участок экрана, новых деталей не появляется: видны либо квадратики, либо размытые пятна.

Бывают ли картинки не из пикселей?

Да. В векторной графике хранятся не точки, а описания фигур: «круг с таким-то центром и радиусом». Так устроены шрифты и логотипы, поэтому буквы остаются чёткими при любом увеличении.

Можно ли улучшить запись, сохранив MP3 в формате без потерь?

Нет. Файл станет больше, но выброшенные при сжатии детали не вернутся.

Коротко

• Растровая картинка — сетка пикселей; цвет пикселя обычно занимает три байта: красный, зелёный, синий.
• Размер несжатой картинки — ширина, умноженная на высоту и на число байтов в пикселе. Для Full HD это около 6,2 МБ.
• Глубина цвета в n битов даёт 2ⁿ цветов; 24 бита — это 16 777 216 цветов.
• Звук хранят как ряд измерений волны. На компакт-диске их 44 100 в секунду, по 16 битов на каждый из двух каналов.
• Частота дискретизации должна быть более чем вдвое выше самой высокой частоты звука.
• Минута несжатого видео Full HD занимает около 11 ГБ, поэтому картинки, звук и видео сжимают — без потерь или с потерями.

Теперь Вы знаете, как нулями и единицами записывают числа, текст, картинки и звук. Но компьютер не только хранит данные, он их обрабатывает — и все его вычисления складываются из трёх простейших действий, о которых рассказывает урок Логические операции И, ИЛИ, НЕ.