CSV в Excel и обратно

Что ломается при открытии CSV в Excel и как это чинится

Семь типичных картин после двойного щелчка по файлу. Первые две про кодировку, третья про разделитель, остальные про то, как Excel сам «улучшает» данные.

Как открыть CSV в Excel без иероглифов и сохранить обратно

Двойной щелчок по файлу отдаёт разбор на откуп настройкам Windows: кодировка берётся системная, разделитель из региональных параметров. Поэтому один и тот же файл у коллеги открывается ровно, а у вас одной колонкой с кракозябрами. Мастер импорта убирает эту лотерею.

Импорт с выбором кодировки

В Excel 2016 и новее: Данные → Получить данные → Из файла → Из текста/CSV. В окне предпросмотра есть список «Источник файла»: для UTF-8 выберите 65001: Юникод (UTF-8), для файлов из старых программ 1251: Кириллица (Windows). Разделитель подставляется сам, его можно поменять тут же, а после «Загрузить» таблица ложится на лист уже по колонкам.

В старых версиях тот же путь называется Данные → Из текста: мастер из трёх шагов, на первом кодировка, на втором разделитель, на третьем формат каждого столбца. Третий шаг стоит пройти вручную: столбцам с артикулами, телефонами и индексами поставьте «текстовый», иначе нули и длинные номера пострадают.

Сохранить лист в CSV, который откроется у всех

Файл → Сохранить как, тип файла CSV UTF-8 (разделители — запятые). Несмотря на слово «запятые» в названии, на русской Windows Excel поставит точку с запятой, потому что запятая занята под десятичную часть. Этот вариант кладёт в начало файла BOM, и другой Excel откроет его ровно. Тип «CSV (разделители — запятые)» без UTF-8 сохраняет в Windows-1251: такой файл нужен 1С и старым складским программам, зато сайты и скрипты покажут его иероглифами.

Сохраняется только активный лист, формулы превращаются в значения, форматирование и объединённые ячейки пропадают. Если нужно отдать несколько листов, сохраняйте каждый отдельно или переведите книгу здесь: список листов появляется после загрузки .xlsx.

Когда файл нужен один раз и без настроек, быстрее загрузить его в поле выше: кодировка и разделитель определятся сами, а .xlsx откроется двойным щелчком где угодно.

Как конвертер угадывает кодировку и разделитель

Конвертер читает CSV как поток байтов, и в этом главное отличие от простого «открыть в Excel». Сначала он смотрит на метку порядка байтов в начале файла, потом пробует строгий разбор UTF-8, а если тот падает, сравнивает четыре кириллические кодировки, Windows-1251, KOI8-R, CP866 и ISO-8859-5, по тому, сколько строчных русских букв получается в тексте: у верной кодировки слова состоят из строчных с редкими заглавными в начале, у неверной выходит каша из заглавных посреди слова. Разделитель определяется по первым двадцати строкам: побеждает знак, который встречается в каждой строке одинаковое число раз.

Дальше текст разбирается по правилам RFC 4180: значение в кавычках может содержать разделитель, перенос строки и удвоенную кавычку. Таблица показывается на экране, а в .xlsx уходит с типами: цены и количества числами, артикулы с ведущими нулями и телефоны текстом, чтобы артикул 00123 не потерял нули и телефон не превратился в 8,9E+10. Обратный режим читает .xlsx, .xls и .ods через библиотеку SheetJS, даёт выбрать лист и собирает CSV с нужным разделителем в одной из трёх кодировок; значения с разделителем и кавычками берутся в кавычки сами. Соседний конвертер CSV в JSON делает то же для скриптов и API.

История: от Fortran до салфетки с UTF-8

Значения через запятую появились раньше самого термина: в 1972 году компилятор IBM Fortran умел читать числа списком, разделённым запятыми, и такие файлы кочевали между программами без имени. Слово CSV закрепилось в документации к бухгалтерским пакетам начала 1980-х, а стандартом формат обзавёлся только в октябре 2005 года, когда Яков Шафранович описал его в RFC 4180: запятая между полями, кавычки вокруг полей с запятыми и переносами, удвоенная кавычка внутри. Стандарт закрепил практику, которая к тому времени сложилась в Excel и Lotus 1-2-3.

Кодировки развивались отдельно и стали второй половиной проблемы. Windows-1251 Microsoft ввела в начале 1990-х для русских версий Windows, и на ней до сих пор работает часть учётных программ. UTF-8 придумали Кен Томпсон и Роб Пайк в сентябре 1992 года, по легенде набросав схему на салфетке в закусочной; к 2008 году она стала основной кодировкой веба, а Excel научился сохранять «CSV UTF-8» только в 2016 году, добавляя в начало файла метку BOM. Именно эта метка и отличает файл, который откроется двойным щелчком, от файла с кракозябрами.

Разделитель тоже зависит от страны. В локалях, где дробная часть отделяется запятой, Excel разделяет поля точкой с запятой, иначе 3,14 разъезжалось бы на две ячейки. Поэтому один и тот же «CSV» из немецкой, русской и американской версии Excel выглядит по-разному, а библиотеки и сервисы вынуждены угадывать разделитель по содержимому, как это делает конвертер выше.

Как открыть проблемный CSV и собрать правильный