Действия оператора можно размечать через API: Pegasus 1.6 понимает видео от первого лица

По описанию TwelveLabs, модель размечает действия, сверяет поведение с ожидаемым образцом и прогнозирует следующее действие оператора. Для разработчика роботов это задачи разбора записей, на которых человек показывает системе, что делать.

Как подключить новую модель

Переход с 1.5. Обновите Python SDK командой `pip install --upgrade twelvelabs` и задайте `model_name="pegasus1.6"`. Остальные параметры запросов менять не требуется.

Раньше изображения требовали отдельного инструмента. Теперь Pegasus анализирует их через тот же API, что и видео: в запросе можно передать от 1 до 20 изображений размером до 20 MB каждое.

Поле `time_array` извлекает события с временными метками внутри сегмента. В руководстве TwelveLabs так выделяет каждую реплику внутри сцены.

Какие записи можно обрабатывать и сколько это стоит

Pegasus 1.6 анализирует видео длительностью до 2 часов. Из исходника длительностью до 4 часов нужно выбрать фрагмент от 1 секунды до 2 часов. На вход и ответ вместе отведено 261 120 токенов.

Для сегментации длинных записей можно задать `max_tokens="unlimited"`. Задача возвращает извлечённые сегменты даже при неполном результате, а предупреждение записывает в поле `error`.

Стоимость разметки. По тарифу Developer на 6 октября анализ стоит $1,75 за час входного видео. Для изображений цена составляет $3 за 1 млн входных токенов, для ответа модели — $7,50 за 1 млн выходных токенов.

В Segment каждый заданный тип сегмента оплачивается отдельно. Час записи с 4 `segment definitions` тарифицируется как 240 минут обработки. Параметры `start` и `end` сокращают оплачиваемый фрагмент.

Batch analysis остаётся на Pegasus 1.5, и запросы без `model_name` тоже используют версию 1.5.