3 сентября 2026 г.
Дешёвая модель пишет красиво и ошибается: на юридических бенчмарках сильны только топовые
Записка юротдела, собранная с помощью ИИ, пропустила два основания, по которым сделка вообще запрещена законом.
Ethan Mollick
@emollick
Prinz прогоняет юридические бенчмарки на ИИ-системах: свежие модели очень хороши, а дешёвые модели с низким уровнем рассуждений — не очень. И как теперь добиться, чтобы поставщику, который продаёт вам ИИ-решение, было выгодно подавать хорошие (а значит, дорогие) модели?
prinz @deredleritt3r
Читаю меморандум, который юридический департамент клиента написал при активной помощи ИИ: - выглядит очень нарядно; красивый шрифт; аккуратное форматирование; есть даже симпатичная (хотя и ненужная) оргсхема - полностью неверный вывод о том, требуется ли для сделки разрешение регулятора - и что хуже, упущены два отдельных основания, по которым сделка на самом деле законодательно *запрещена* Такое встречается всё чаще и успеет наделать последствий, прежде чем штатные юристы наконец научатся пользоваться *хорошими* моделями вместо дешёвого слопа, который им подают.
· 22,5 тыс. просмотров
Записка юротдела, собранная с помощью ИИ, пропустила два основания, по которым сделка вообще запрещена законом.
Следующий прогон юридических бенчмарков Prinz покажет, сузился ли разрыв с дешёвыми моделями.
Первоисточник