Сбер выложил в open source быструю LLM GFusion

Сбер открыл исходный код GFusion — экспериментальной языковой модели из линейки GigaChat. Это не просто очередная LLM: GFusion использует диффузионный подход и генерирует текст не по одному токену, а сразу блоками, параллельно редактируя их в процессе. Такой способ работы может заметно ускорять генерацию при относительно небольшой потере качества.

Что показала команда GigaChat

По описанию проекта, GFusion — это диффузионная LLM на базе GigaChat. В отличие от привычных авторегрессионных моделей, которые выводят текст последовательно, символ за символом или токен за токеном, здесь применяется другой принцип: модель формирует текст блоками и дорабатывает их по ходу генерации.

Это делает проект интересным не только как исследовательский эксперимент, но и как попытку найти более быстрый способ работы больших языковых моделей. Команда сообщает, что по результатам тестов GFusion:

• •оказалась до 70% быстрее GigaChat3-10B-A1.8B
• •на 39% быстрее версии с MTP
• •показала просадку качества всего на 2–4 процентных пункта

Для таких систем это важный компромисс: ускорение обычно требует заметных уступок по качеству, но в случае GFusion падение метрик, по данным разработчиков, оказалось умеренным.

Open source и вклад стажёра

Отдельно в анонсе подчеркивается, что проект целиком сделал стажёр команды GigaChat Pretrain. Речь идет не об отдельной части работы, а о полном цикле:

• •от идеи
• •до обучения модели