Ловить ошибки в ответах нейросети теперь можно готовой библиотекой: Сбер открыл код SIRIN

31 июля Сбер выложил библиотеку SIRIN в открытый доступ. Собрала её команда учёных центра практического искусственного интеллекта Сбербанка, задача библиотеки - искать ошибки в ответах нейросетей.

Почему это важно: Раньше команда, которой нужно было отлавливать вранье своей модели, писала проверки сама или брала зарубежный инструмент. Теперь рядом со своей моделью можно поставить открытый российский код. Что именно SIRIN считает ошибкой, какими методами её ищет и на каких моделях проверялась, в сообщении не сказано - библиотеку выложили, методологию оставили при себе.

Что дальше: Взять сотню собственных ответов модели, прогнать через SIRIN и сверить её вердикты с ручной разметкой. Расхождение и покажет, годится ли библиотека в ваш контур.