Google представила DiffusionGemma — экспериментальную открытую модель для генерации текста. Вместо стандартного авторегрессионного подхода, при котором текст создаётся по одному токену слева направо, она применяет текстовую диффузию и генерирует блоки текста параллельно. По данным Google, на выделенных GPU скорость выдачи токенов в их условиях выросла до четырёх раз.
Модель рассчитана на разработчиков и исследователей, которым важны скорость и интерактивная работа на локальном компьютере. Среди возможных задач — редактирование текста прямо в строке, быстрое внесение изменений и создание нелинейных текстовых структур. Веса опубликованы по лицензии Apache 2.0.
Что такое DiffusionGemma
DiffusionGemma — модель архитектуры Mixture of Experts (MoE) на 26 млрд параметров, из которых во время вывода активны 3,8 млрд. Она построена на основе Gemma 4 26B-A4B: Google добавила к этой архитектуре диффузионную «голову».
Модель обрабатывает чередующиеся входные данные — текст, изображения и видео — и генерирует текст. Контекстное окно составляет 256 тысяч токенов; поддерживается более 140 языков.
В квантованном виде модели требуется до 18 ГБ видеопамяти. На одной NVIDIA H100 её производительность превышает 1000 токенов в секунду, а на NVIDIA GeForce RTX 5090 в опубликованном примере — около 700 токенов в секунду.
У скорости есть компромисс: качество ответов DiffusionGemma ниже, чем у стандартной Gemma 4. Для задач, где важнее всего качество результата, Google рекомендует авторегрессионную Gemma 4.
Как работает текстовая диффузия
Текстовая диффузия использует принцип, знакомый по генераторам изображений: сначала создаётся зашумлённая заготовка, которая затем постепенно уточняется. В DiffusionGemma процесс можно условно разделить на три этапа:
- Модель начинает с «холста» из случайных токенов-заполнителей.
- За несколько проходов она фиксирует токены с высокой уверенностью и использует их как контекст для уточнения остальных позиций.
- Текст постепенно сходится к итоговому результату.
Основной механизм Google называет Uniform State Diffusion. Уверенные токены помогают определить соседние позиции при устранении шума. За один прямой проход модель финализирует примерно 15–20 токенов на холсте из 256 токенов.
Во время устранения шума применяется двунаправленное внимание: каждый токен на холсте может учитывать все остальные. Это отличается от авторегрессионных моделей, которые при генерации опираются только на предыдущие токены.
Двунаправленный контекст позволяет модели исправлять себя в процессе работы. Если уверенность в токене снижается, алгоритм может снова зашумить его, а на следующем проходе модель заменит его другим. Авторегрессионная модель после фиксации токена так сделать не может.
Архитектура и использование GPU
Ключевая особенность DiffusionGemma — способ распределения нагрузки на оборудование. При локальном выводе на GPU узким местом часто становится пропускная способность памяти: авторегрессионная модель заново загружает веса для каждого токена, и во время обслуживания одного пользователя GPU значительную часть времени ожидает данных.
DiffusionGemma переносит узкое место с пропускной способности памяти на вычисления: модель параллельно создаёт и уточняет холст из 256 токенов, загружая работой тензорные ядра GPU.
При выводе чередуются два режима внимания. На этапе предварительной обработки запроса (prefill) используется причинное внимание: модель обрабатывает запрос и записывает данные в KV-кэш. При устранении шума применяется двунаправленное внимание для уточнения холста.
Для длинных текстов используется Block Autoregressive Diffusion. Когда блок из 256 токенов полностью очищен от шума, он фиксируется в KV-кэше. Затем модель начинает новый холст с учётом предыдущего контекста. Такой подход сочетает параллельную обработку блоков с последовательностью авторегрессионной генерации.
Архитектура использует ту же базовую модель, что и Gemma 4 26B-A4B. Для интеграции разработчикам в основном требуется реализовать шаг устранения шума, что упрощает подключение к существующим системам обслуживания моделей.
Производительность и качество
По сравнению со стандартной Gemma 4 модель меняет способ генерации и профиль нагрузки. DiffusionGemma обрабатывает параллельно холст из 256 токенов, тогда как авторегрессионная модель выдаёт по одному токену за шаг. В диффузионном режиме внимание двунаправленное, а в авторегрессионном — причинное.
| Параметр | DiffusionGemma 26B-A4B | Стандартная Gemma 4 26B-A4B |
|---|---|---|
| Способ генерации | Текстовая диффузия, параллельная обработка | Авторегрессионная, по одному токену |
| Основное ограничение | Вычислительная мощность | Пропускная способность памяти |
| Обработка при генерации | Холст из 256 токенов за проход | Один токен за шаг |
| Внимание при декодировании | Двунаправленное | Причинное, с учётом предыдущих токенов |
| Самокоррекция | Возможна повторным зашумлением токена | Зафиксированный токен не пересматривается |
| Скорость на выделенном GPU | До четырёх раз выше | Базовый уровень |
| Качество результата | Ниже, чем у Gemma 4 | Выше; рекомендуется для производственных задач |
| Наиболее подходящие задачи | Локальная интерактивная работа при небольшом числе одновременных запросов | Задачи, требующие высокого качества, и облачное обслуживание с большим числом запросов |
| Лицензия | Apache 2.0 | Условия Gemma |
Заявленное ускорение рассчитано на локальный вывод при небольшом числе одновременных запросов. В облачных системах с высокой нагрузкой авторегрессионные модели эффективно используют вычислительные ресурсы; в таких условиях преимущества параллельного декодирования уменьшаются, а стоимость обслуживания может вырасти.
Применение и доступность
DiffusionGemma предназначена для определённых типов задач, а не для универсальной генерации с максимальным качеством. В числе подходящих сценариев:
- Редактирование текста и заполнение кода. Двунаправленное внимание подходит для нелинейных структур, в которых нужно работать с фрагментами внутри текста.
- Быстрая итеративная работа. Низкая задержка при локальном запуске удобна для интерактивных задач разработчика.
- Анализ документов с длинным контекстом. Контекстное окно в 256 тысяч токенов позволяет обрабатывать большие входные материалы.
- Распознавание текста и разбор документов. Мультимодальный ввод позволяет работать с изображениями и отсканированными документами.
- Генерация кода, вызов инструментов и агентные сценарии. Эти задачи указаны среди поддерживаемых в материалах Unsloth.
- Задачи с жёсткими ограничениями. Параллельное внимание может быть полезно для судоку, математических графов и последовательностей аминокислот.
В примере из руководства для разработчиков Google базовая DiffusionGemma решает примерно 0% задач судоку. После контролируемой донастройки по простой методике на JAX доля правильных решений достигает 80%. Дообученная модель также останавливается раньше, сокращая число шагов вывода.
Веса доступны на Hugging Face под названием google/diffusiongemma-26B-A4B-it. Модель поддерживается в vLLM, Transformers, MLX и Unsloth; для дообучения также упоминается NeMo. Развёртывание возможно через Google Cloud Model Garden и NVIDIA NIM. Для квантованной версии заявлена работа в пределах 18 ГБ видеопамяти.