Google DeepMind выпустила версии Gemma 4, обученные с учётом квантования (QAT). Они предназначены для локального запуска на периферийных устройствах и потребительских видеокартах. Ниже сравниваются три формата моделей Gemma 4 E2B и E4B по опубликованным данным — прежде всего по объёму памяти, а также по сохранению качества и пригодности для запуска на устройстве.
Что такое QAT
Квантование уменьшает модель, снижая точность представления её весов. При обычном посттренировочном квантовании (PTQ) сжимают уже готовую модель, что может ухудшить её качество. При QAT квантование имитируется во время обучения, и модель учится компенсировать потери точности.
По заявлению команды Google, результаты QAT обеспечивают более высокое общее качество, чем базовые варианты PTQ. Для Gemma 4 Google не опубликовала численных результатов бенчмарков качества QAT. В качестве примера для предыдущего поколения: при оценке с помощью llama.cpp QAT для Gemma 3 сократил рост перплексии при квантовании Q4_0 на 54%. Это результат для предыдущей версии модели, а не замер Gemma 4.
Объём памяти
| Формат | E2B | E4B | Основание |
|---|---|---|---|
| BF16, 16 бит | 9,6 ГБ | 15 ГБ | Документация Gemma 4 |
| Q4_0, 4 бита, QAT | 3,2 ГБ | 5 ГБ | Документация Gemma 4 |
| Мобильный QAT | около 1 ГБ | — | Данные о выпуске QAT |
Для Q4_0 объём памяти такой же, как у соответствующего формата PTQ: QAT не уменьшает размер модели при заданном формате, а помогает лучше сохранить качество. Дополнительное сокращение памяти обеспечивает новый мобильный формат. С ним Gemma 4 E2B занимает около 1 ГБ. Текстовая версия без послойных эмбеддингов (PLE) требует менее 1 ГБ: в ней нет аудио- и визуального энкодеров.
Особенности форматов
BF16
BF16 служит базовым вариантом для сравнения качества. Gemma 4 E2B занимает 9,6 ГБ, а E4B — 15 ГБ. Это точка отсчёта, но не практичный вариант для запуска на телефоне.
Q4_0 QAT
Этот формат предназначен для локального запуска общего назначения. E2B занимает 3,2 ГБ, E4B — 5 ГБ. QAT позволяет сохранить больше качества, чем PTQ при том же размере. Формат подходит для пользовательских видеокарт. В предыдущих тестах E2B также запускали на Raspberry Pi 5 в INT4.
Мобильный QAT
Этот формат разработан для периферийных устройств и сокращает размер E2B примерно до 1 ГБ. В нём используются статические активации, поканальное квантование и выборочное сжатие до 2 бит.
Как устроен мобильный формат
Команда Google разработала для мобильного оборудования четыре приёма. Статические активации позволяют заранее вычислить масштабы во время обучения и сократить вычисления на устройстве. Поканальное квантование учитывает архитектуру мобильных ускорителей. Выборочное 2-битное квантование сжимает только слои генерации токенов. Оптимизация эмбеддингов и KV-кэша уменьшает объём активной памяти.
Ключевые слои рассуждений сохраняют более высокую точность, чтобы не терять возможности модели при сокращении объёма хранения. Для задач, которым не нужна мультимодальность, можно также использовать только текстовую модель без аудио- и визуального энкодеров.
Сравнение форматов
При выборе формата учитывают объём памяти, целевое устройство и поддержку в программе запуска.
Итог сравнения
Q4_0 QAT и мобильный QAT рассчитаны на разное оборудование. Для телефонов предпочтителен мобильный формат: E2B занимает около 1 ГБ, а схема ориентирована на мобильные ускорители. Для ноутбуков и пользовательских видеокарт практичным выбором будет Q4_0 QAT. BF16 остаётся эталоном качества, а не вариантом для локального запуска на большинстве устройств.
Методика и ограничения
Данные об объёме памяти взяты из документации Google по Gemma 4; оценка примерно в 1 ГБ для E2B — из описания выпуска QAT. Утверждение о качестве основано на заявлении Google. Независимые численные оценки качества Gemma 4 с QAT не опубликованы. Для этого сравнения модели локально не запускались. Перед разработкой приложения следует самостоятельно проверить модель с выбранным квантованием и на целевой нагрузке.
Веса доступны на Hugging Face. Для llama.cpp и LM Studio Google предлагает Q4_0 GGUF. Для vLLM и SGLang предусмотрены версии Compressed Tensors, а для мобильных сценариев — варианты для Transformers.
