Калькулятор CRC32

Что показывает CRC32 и чем он не является

CRC32 — контрольная сумма из восьми шестнадцатеричных знаков. Считается она делением данных на фиксированный многочлен, и её задача одна: заметить, что файл или пакет испортился при передаче. Изменение одного бита меняет сумму целиком, поэтому повреждение видно сразу.

Это не криптография. CRC32 легко подделать: подобрать другие данные с той же суммой дело нескольких секунд, поэтому для проверки подлинности она не годится совсем. Для этого берут криптографические хеши вроде SHA-256, а CRC остаётся там, где нужно быстро и дёшево ловить случайные искажения.

Сумма зависит от порядка байтов и от выбранного варианта алгоритма: в мире их несколько, и значения у них разные. Самый распространённый — тот, что используют ZIP, Ethernet и PNG. Если ваша сумма не совпала с чужой, первым делом проверьте, один ли вариант вы считаете.

История: код Питерсона 1961 года и его путь в ZIP и Ethernet

Идею контрольных сумм придумали для передачи данных по ненадёжным линиям. Циклический избыточный код описал американский инженер Уэсли Питерсон в 1961 году: математика позволяла ловить не только одиночные ошибки, но и пакеты подряд идущих искажений — типичную беду телефонных линий и магнитной ленты.

Дальше CRC разошёлся по всей технике. Он лежит в кадре Ethernet, в архиве ZIP, в блоке PNG, в протоколах модемов и в файловых системах: везде, где данные едут или лежат и могут испортиться сами по себе. Причина живучести проста — считается он очень быстро, аппаратно реализуется несколькими логическими элементами и ловит подавляющее большинство реальных сбоев.

Как считать сумму и где она обманывает

Совпадение сумм не гарантирует, что файлы идентичны: у CRC32 всего четыре миллиарда значений, и на больших наборах совпадения случаются. Для дедупликации миллионов файлов её используют как быстрый первый фильтр, а совпавшие пары сверяют побайтно. В архивах CRC32 хранится рядом с каждым файлом, поэтому распаковщик сразу говорит, что архив побился: сумма посчитана при упаковке и не сошлась при чтении. Та же логика в сети: кадр Ethernet с несошедшейся суммой просто отбрасывается, и отправитель шлёт его заново — пользователь этого никогда не замечает. Заметно становится только при массовых потерях: скорость падает, потому что половина трафика уходит на повторные передачи. Тот же механизм работает в файловых системах: контрольная сумма блока показывает, что диск начал сыпаться, задолго до того, как это заметит пользователь. Именно поэтому дисковые массивы проверяют сами себя фоном: сумма считается заново и сверяется с записанной. Для домашнего архива тот же приём работает вручную: посчитайте суммы при записи на диск и сверьте через год — так видно, что копия ещё цела.