thdxr: если новые версии моделей не дают разницы, инструмент выбран неверно

Dax (@thdxr) утверждает: если между версиями моделей вы почти не видите разницы, дело в инструменте, а не в модели. По его словам, модели натренированы под конкретные поведения и раскрываются только при правильной структуре вокруг них.

Почему это важно: Это ставит проверку на сам инструмент, а не на выбор модели. Апгрейд модели без разницы в выдаче - сигнал, что обвязка (промпты, tool-calls, контекст) не использует то, под что модель обучали. Конкретных инструментов, метрик или примеров структуры в твите нет.

Что дальше: Прогони одну и ту же задачу на старой и новой версии модели в своём инструменте. Нет разницы в выдаче - смотри, как инструмент строит контекст и вызовы, а не меняй модель.