TRELLIS.2: LoRA улучшила форму обуви на всех 9 проверочных объектах

Базовую модель сравнили с версией после LoRA, которая обучает небольшие добавки к модели. По замерам авторов, F-score@0.02 вырос с 0,276 до 0,803, а Chamfer distance снизилась с 0,174 до 0,033. Обе метрики оценивают совпадение с исходной формой: у дообученной версии геометрия оказалась ближе к образцу.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Что обучали. Авторы взяли 188 объектов обуви из набора GSO. Blender подготовил по 16 ракурсов каждого объекта. Обучение затронуло около 9,3 млн параметров LoRA: rank 8 для sparse-structure, отвечающего за общую структуру, и rank 16 для shape, отвечающего за форму. Часть модели, создающую текстуры, оставили без изменений.

Как повторить. В репозитории suvadityamuk/trellis2-finetuning доступны два Docker-образа. trellis2-finetuning-prep готовит данные, trellis2-finetuning-train запускает обучение. README содержит команды для HF Jobs и локального запуска. Для своих данных нужны 3D meshes, HF_TOKEN с правом записи и одобренный доступ к DINOv3.

Обучение проходит двумя отдельными запусками с `--config ss` и `--config shape`. Подготовку демонстрационного набора можно пропустить, передав `--latents suvadityamuk/gso-footwear-trellis2-latents`: это уже рассчитанные представления объектов для обучения.

На A100 с 80 ГБ памяти подготовка набора заняла около часа. Обучение sparse-structure потребовало 7,2 часа, shape ещё 3,6 часа. Для GPU с 24 ГБ автор рекомендует `--set batch_size=2 grad_accum=8`: эффективный размер пакета остаётся 16. Эта настройка прошла пробный запуск на L4.

Источники: [руководство Hugging Face от 12 ноября](https://huggingface.co/blog/3d-lora-finetuning), [репозиторий с командами запуска](https://github.com/suvadityamuk/trellis2-finetuning).

Готовые LoRA-адаптеры для обуви опубликованы в Hugging Face под именем suvadityamuk/trellis-2-finetune-gso.