16 сентября 2026 г.
Софт для клиентов, собранный с ИИ, нужно уметь защищать: объяснить, где он сломается
16 сентября 2026 года @mitchellh назвал главным тестом ответственного использования ИИ способность объяснить любую выпущенную для клиентов систему. Нужно ясно рассказать, как она работает, и защитить принятые решения. Вопросы о выборе X вместо Y, вредоносном участнике и месте сбоя должны иметь уверенный ответ.
Mitchell Hashimoto
@mitchellh
«Защита у доски»: я должен в любой момент иметь возможность отозвать вас в сторону и попросить объяснить любую систему для клиентов, которую вы выпустили. Вы должны ясно объяснить, как она работает, и защитить принятые решения. Для меня это и есть проверка ответственного использования ИИ. Я не жду знания кода построчно. Неважно, помните ли вы точное имя функции или деталь реализации. Возможно, вы этого даже не знаете. Мне всё равно. Но если я спрошу: «Почему вы выбрали X, а не Y?», «Что произойдёт, если этот участник начнёт действовать злоумышленно?», «Какую структуру данных вы здесь использовали и почему?» или «Где это ломается?», вы должны уверенно ответить. Для PoC, демо, экспериментов и всего подобного мне всё равно. Сгенерируйте 100% результата и не понимайте из него ничего. В таких сценариях скорость всегда важнее качества. Но если вы выпускаете систему для клиентов, нельзя выпускать то, чего вы не понимаете хотя бы на уровне устройства.
· 31,5 тыс. просмотров
Для PoC, демо и экспериментов автор допускает сгенерировать весь результат и не разбираться в коде. Для системы, которой пользуются клиенты, нужно на уровне устройства объяснить выбор X вместо Y, реакцию на вредоносного участника и место сбоя. Точного имени функции знать не требуется.
Граница ответственности проходит между экспериментом и системой для клиентов.
Первоисточник
