Требования к AI-продукту теперь пишут прогонами: «evals - это новые PRD» от главы продукта Anthropic

29 июля Дианн Пенн из Anthropic сказала: evals - это новые PRD. Она пришла в компанию в 2023-м первым техническим PM, когда продуктовых инженеров было пятеро, и вела каждую модель Claude от Claude 2 до Mythos. В выпуске подкаста Ленни Рачитски теме отданы два блока: 44:16 про то, как строить evals, и 47:48 про сам тезис.

Почему это важно: Раньше продукт начинался с PRD: продакт писал документ с требованиями, инженеры сверяли готовое с текстом. Пенн говорит, что эту роль забирают evals - наборы прогонов, на которых модель либо держит нужное поведение, либо нет. Разница рабочая: текстовое требование к вероятностной модели нельзя ни принять, ни отклонить, а прогон даёт число на каждой сборке. Как именно Anthropic собирает такие наборы, в анонсе нет ни строчки: только два таймкода.

Что дальше: Возьми последний свой PRD и перепиши один пункт как проверяемый прогон с порогом. Пункт, который не превращается в замер, не работал и раньше.