
Разбор для бизнеса · Опубликовали 08.10.2026
Очистка данных начинается с единиц и форматов: агенты пишут преобразования с протоколом ошибок
Как согласовать смысл полей, поручить агентам преобразования и принять результат вместе с очередью спорных строк.
Текст собрала машина агентов под надзором инженера vibecoding.ru · факты проверены 8 октября 2026
Очистка данных начинается с договорённости о единицах и форматах: файл без ошибок чтения всё ещё может давать неверный отчёт.
ИИ-агентам можно поручить код преобразований, если вместе с результатом они сохраняют исходные значения и протокол спорных строк.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
1. Одинаковая запись не гарантирует одинаковый смысл.
Отчёты расходятся, когда системы по-разному понимают одно поле. Дата может поменять месяц, число потерять дробную часть, масса остаться без единицы.
Microsoft показывает это на датах в Power Query: преобразование зависит от региональных настроек. Выбрать тип «Дата» недостаточно, нужно знать формат источника.
Начать стоит со словаря полей одной выгрузки. В нём владелец данных задаёт смысл значения и решает, что делать, если этого смысла не хватает.
Сначала согласуйте смысл поля, затем меняйте запись.
Учебные значения редакции, 08.10.2026; механизм региональных настроек проверен по документации Microsoft. Перевод килограммов в граммы: умножение на 1 000. Это не клиентская выгрузка.
2. Агент пишет преобразования по правилам владельца данных.
В постановке задачи агенту нужен ожидаемый результат для каждого типа поля. Формулировка «почистить таблицу» оставляет ему выбор, считать ли пустую сумму нулём.
Агент может написать скрипт и проверки, а загрузки затем выполняет этот код. Обращаться к модели за толкованием каждой строки для согласованных форматов не требуется.
Правила работы агента отделяют код от бизнес-решений. Он переводит килограммы в граммы по заданному коэффициенту, а неизвестную единицу возвращает владельцу данных.
Код пишет агент, смысл значений подтверждает владелец.
План приёмки редакции, 08.10.2026. Это состав заказа разработки, сроки и эффект не измерены.
3. Протокол ошибок сохраняет строку и объясняет остановку.
Спорная строка должна оставаться доступной для разбора. Если скрипт заменил неизвестное значение нулём, отчёт выглядит законченным, а ошибка стала частью расчёта.
Документация pandas показывает похожую развилку: параметр errors='coerce' заменяет неразобранную дату пустым значением NaT. Пустое значение само по себе не объясняет причину.
У очереди исключений нужен ответственный, как и у организации работы агентов. Его решение возвращается в правило преобразования и проверочный пример следующей загрузки.
Протокол объясняет ошибку и возвращает к исходной записи.
Предложенный формат протокола, 08.10.2026. Microsoft документирует сохранение строк с ошибками через Keep errors. Исходные значения с персональными данными не копируются в общий журнал ошибок.
4. Наш конвейер ломался на символе, поле и ложном нуле.
Наш опыт относится к vibecoding.ru, где работает открытая машина агентов. Клиентского кейса очистки данных у нас нет.
Здесь полезен механизм поломки. Корректный на вид текст остановил обработку, ручное перечисление потеряло поле, а ошибка чтения превратилась в число.
При преобразовании данных из источников фиксируют соответствия полей и судьбу отвергнутых строк.
После этих случаев появились проверки конкретных причин. Ни успешный запуск, ни заполненная ячейка отдельно не доказывают, что вход сохранил смысл.
05.07
Обрезка текста разрезала эмодзи, обработка повторяла одну неудачную пачку. Исправили обрезку и добавили тест на повреждённый символ.
31.07
Поле описания обложки терялось на отдельных путях создания новости. Добавили единый маппинг полей и проверку, которая ловит обход общего преобразования.
02.09
Обрыв страницы источника сборщик принял за ноль. После исправления сбой чтения получает статус ошибки, а проверка останавливает выпуск при провале сигнала.
Записи машины vibecoding.ru от 05.07, 31.07 и 02.09.2026, проверены 08.10.2026. Это обработка контента и рыночных сигналов собственного сайта.
5. Приёмка проверяет смысл, остаток и повторную загрузку.
Принимать нужно совпадение с заранее утверждёнными примерами. Проверку, которую агент написал после собственного преобразования, дополните примерами владельца данных.
Сводка показывает судьбу каждой входной записи. Число принятых строк, строк на проверке и обоснованных исключений должно совпасть с числом входных записей.
Ответственность за ошибки ИИ включает решение о выпуске результата. Если пропал обязательный столбец или файл не прочитан, загрузку останавливают целиком.
Успешный запуск подтверждается сверкой строк и значений.
Чек приёмки редакции, 08.10.2026. Для пересчёта валют вместе с версией правил фиксируют таблицу курсов. Сверка сумм идёт отдельно по валютам и единицам, с согласованным округлением.
6. Разработка нужна там, где правила повторяются и меняются.
Для разовой таблицы с понятными форматами начните с Power Query. Он поддерживает региональные настройки и сохранение ошибочных строк для разбора.
Разработка по подписке нужна при постоянной очереди изменений. Тариф «Один проект» стоит 250 000 ₽ в месяц на 08.10.2026.
Инженер ведёт машину агентов и может получить задачу на нормализацию с очередью ручной проверки. Состав работ согласуется по выгрузке, готовые изменения остаются в репозитории клиента.
Выбирайте разработку по частоте изменений.
Редакционное правило выбора, 08.10.2026. Условия сверены с /services: один поток, одна задача в работе, пауза в любой месяц. Цена не означает срок очистки конкретного массива.
Первой задачей закажите преобразование одной выгрузки и отчёт исключений. В заказе должны быть исходный файл, правила полей и утверждённые примеры результата.
Эффект измеряйте на следующих загрузках. Смотрите, какие причины повторяются и сколько строк ждёт решения, а закрытые исключения превращайте в правила и тесты.
Следующий шаг для руководителя начинается с обсуждения задачи для компании.
Что и как мы проверяли
| Факт | Что известно | Проверено |
|---|---|---|
| Форматы | Официальная документация Microsoft Power Query: региональные настройки влияют на разбор дат и преобразование типов. | 2026-10-08 |
| Ошибки | Microsoft Keep errors сохраняет ошибочные строки. В pandas.to_datetime режим coerce заменяет неразобранные даты на NaT. Сверены официальные страницы. | 2026-10-08 |
| Свой опыт | Первичные записи машины от 05.07, 31.07 и 02.09.2026. Это собственный конвейер сайта. Клиентского кейса очистки данных у нас нет. | 2026-10-08 |
| Подписка | Живые /services и /open прочитаны на дату сдачи. На /services сверены 250 000 ₽ за месяц «Один проект», правила потока и код в репозитории клиента. | 2026-10-08 |
| Примеры и приёмка | Таблицы правил и проверок составлены редакцией. Значения условные, не клиентская выгрузка. Ускорение и экономию на очистке данных не измеряли. | 2026-10-08 |
7. Частые вопросы
Какие этапы очистки данных нужны бизнесу?+
Сначала проверяют входной файл, затем задают правила полей, выполняют преобразования и разбирают исключения. Приёмка сверяет результат с примерами, а следующая загрузка показывает, какие ошибки вернулись.
Можно ли автоматически удалить все дубли?+
Только после определения ключа записи и правила выбора оставленной версии. Одинаковое имя или сумма не доказывают, что две операции являются дублем. Исключённая запись сохраняет связь с оставленной.
Можно ли заменить пропуски нулями?+
Если владелец поля подтвердил, что пропуск означает ноль. «Неизвестно» и «равно нулю» дают разные выводы в отчёте. При отсутствии правила значение возвращается на проверку.
Как поступить с разными валютами?+
Сохранить исходную сумму и валюту. Для пересчёта нужны дата курса, источник и правило округления. Пока это не согласовано, суммы сверяются отдельно по каждой валюте.
Нужно ли отправлять каждую строку ИИ-модели?+
Для известных форматов агент пишет код, который выполняет преобразования при следующих загрузках. Неоднозначный смысл подтверждает владелец данных. Использование модели для чтения свободного текста требует отдельной проверки результата.
Источники
- Microsoft: Data types in Power Query — документация
- Microsoft: Dealing with errors — документация
- pandas: pandas.to_datetime — документация
- Публичный контур машины vibecoding.ru — наш опыт
- Условия разработки по подписке — наш продукт
Запомнить
1. Согласуйте смысл поля до преобразования: формат, единицу и действия при неизвестном значении.
2. Поручите агенту код и проверки, сохраните исходную выгрузку отдельно от результата.
3. Принимайте результат вместе с протоколом и судьбой каждой входной записи.
4. Проверьте повторную загрузку: она не должна создавать копии или менять значения.
5. Назначьте владельца исключений. Его решения становятся правилами и тестами следующих загрузок.