Zyphra представила семейство открытых визуально-языковых моделей Zamba2-VL трёх размеров: 1,2, 2,7 и 7 млрд параметров. Все они построены на гибридной архитектуре Zamba2, сочетающей модели пространства состояний (SSM) и Transformer.
Визуально-языковые модели (VLM) одновременно обрабатывают изображения и текст и могут отвечать на вопросы о диаграммах, документах и фотографиях. В отличие от многих открытых VLM, использующих плотный Transformer в качестве языковой модели, Zamba2-VL опирается на гибридную архитектуру. Её цель — обеспечить конкурентную точность при меньшей задержке.
Как устроена Zamba2-VL
В основе модели — распространённая схема LLaVA: предварительно обученный визуальный энкодер преобразует участки изображения в признаки, а компактный MLP-адаптер переводит их в пространство языковой модели. Затем языковая модель обрабатывает чередующуюся последовательность визуальных и текстовых токенов. Модели поддерживают понимание одного и нескольких изображений, а также визуальную привязку объектов.
В качестве энкодера Zyphra использует Vision Transformer из Qwen2.5-VL. Он поддерживает двумерные вращательные позиционные эмбеддинги и обработку изображений с динамическим разрешением. Энкодер соединён с базовой моделью двухслойным MLP-адаптером.
Гибридная архитектура и обучение
От типичных VLM Zamba2-VL отличается прежде всего языковой основой. Она объединяет слои пространства состояний Mamba2 с небольшим числом общих блоков Transformer. Слои Mamba2 работают за линейное время и используют состояние фиксированного размера. Между ними расположены общие слои внимания; каждый такой блок имеет собственный LoRA-адаптер на каждом слое.
Слои Mamba2 выполняют основную часть вычислений с низкими затратами. Общие слои внимания сохраняют возможность извлекать информацию из контекста — способность, которой чистые SSM-модели лишены. Такая схема представляет собой компромисс между выразительностью полного внимания и эффективностью моделей пространства состояний.
Zamba2-VL использует токенизатор Mistral v0.1. Модель обучали на 100 млрд токенов из открытых веб-наборов данных: как текстовых, так и содержащих изображения и текст.
Качество моделей и результаты тестов
Модели оценили по 14 тестам на понимание диаграмм, схем и документов, общее зрительное восприятие, рассуждение и подсчёт объектов. Результаты получены с помощью оценочного набора, основанного на VLMEvalKit; сравнение охватывает семейства Molmo2, Qwen3-VL и InternVL3.5.
| Тест | Zamba2-VL-2.7B | InternVL3.5-2B | Qwen3-VL-2B | Molmo2-4B | Qwen3-VL-4B |
|---|---|---|---|---|---|
| DocVQA (тестовая выборка) | 90,9 | 89,4 | 93,3 | 87,8 | 95,3 |
| ChartQA (тестовая выборка) | 79,6 | 81,6 | 78,7 | 86,1 | 81,8 |
| OCRBench | 73,6 | 83,4 | 84,1 | 62,0 | 84,1 |
| CountBenchQA | 87,5 | 70,0 | 87,9 | 91,2 | 87,3 |
| PixMoCount (тестовая выборка) | 82,5 | 32,8 | 55,7 | 87,0 | 89,2 |
| MMMU (валидационная выборка) | 37,7 | 49,9 | 40,9 | 48,8 | 51,4 |
| MathVista (mini) | 51,0 | 61,4 | 51,8 | 56,5 | 63,6 |
InternVL3.5-2B и Qwen3-VL-2B близки к модели Zamba2-VL-2.7B по размеру, тогда как Molmo2-4B и Qwen3-VL-4B крупнее.
Результаты неоднородны. Сильнее всего модель показывает себя в задачах подсчёта: для Zamba2-VL-1.2B приводится результат 62,5 на PixMoCount против 32,8 у InternVL3.5-1B и 17,7 у PerceptionLM-1B. Модель на 2,7 млрд параметров также хорошо справляется с пониманием документов, набрав 90,9 на DocVQA. В задачах, требующих обширных знаний и рассуждений, включая MMMU и MathVista, она уступает более крупным моделям. На OCRBench результат ниже, чем у Qwen3-VL и InternVL3.5 сопоставимого размера.
Почему инференс быстрее
Внимание в Transformer масштабируется квадратично с ростом длины последовательности, а мультимодальные входные данные быстро её увеличивают. Одно изображение высокого разрешения может добавить несколько тысяч визуальных токенов, а короткий видеоролик — десятки тысяч.
Слои Mamba2 хранят рекуррентное состояние фиксированного размера. Гибридная модель также включает блоки внимания; сокращение затрат не означает, что кэша внимания нет вообще. В сравнении для prefill длиной 32 тыс. токенов модель показывает лучшее соотношение качества и времени до первого токена (TTFT); Transformer-VLM в сопоставлении не достигают такого же качества при близкой задержке. Приведённый выигрыш относится к условиям этого сравнения, а не ко всем запросам и устройствам.
Наибольшее преимущество по эффективности проявляется у моделей на 1,2 и 2,7 млрд параметров. Эти размеры ориентированы на запуск непосредственно на устройствах и на периферийных вычислительных системах. Особенно полезна линейная обработка длинных визуальных входных данных, например многостраничных PDF.
Возможные сценарии применения
- Обработка документов и форм. Высокий результат DocVQA может быть полезен для извлечения данных из счетов и оцифровки чеков.
- Подсчёт товаров и запасов. Эта задача соответствует сильным результатам на PixMoCount и CountBenchQA.
- Визуальная привязка. Модель может указывать на объекты на изображениях товаров или пользовательских интерфейсов.
- Помощники на устройствах. Низкое время до первого токена и версия на 1,2 млрд параметров рассчитаны, в частности, на телефоны и периферийные устройства.
- Длинные визуальные входы. Предварительная обработка за линейное время может быть особенно полезна для многостраничных документов.
Как запустить модель
Три модели доступны в коллекции Zyphra Zamba2-VL на Hugging Face. Для инференса используется форк библиотеки Transformers от Zyphra, основанный на transformers v4.57.1. Для хорошей производительности оптимизированным ядрам Mamba2 требуется графический процессор CUDA.
Установите форк и основные зависимости:
pip install "transformers @ git+https://github.com/Zyphra/transformers.git@zamba2-vl"
pip install qwen-vl-utils==0.0.2
pip install flash_attn
Для оптимизированных ядер Mamba2 установите ещё два пакета:
pip install --no-build-isolation "causal-conv1d @ git+https://github.com/Zyphra/z-causal-conv1d.git@zamba2-vl"
pip install --no-build-isolation "mamba-ssm @ git+https://github.com/Zyphra/mamba.git@zamba2-vl"
Загрузите модель и задайте запрос по одному изображению:
from transformers import Zamba2_VLForConditionalGeneration, Zamba2_VLProcessor
import torch
from PIL import Image
from qwen_vl_utils import process_vision_info
import requests
device = "cuda"
processor = Zamba2_VLProcessor.from_pretrained("Zyphra/Zamba2-VL-2.7B", temporal_patch_size=1)
model = Zamba2_VLForConditionalGeneration.from_pretrained(
"Zyphra/Zamba2-VL-2.7B",
device_map=device,
torch_dtype=torch.bfloat16,
attn_implementation="flash_attention_2",
)
url = "https://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True, timeout=15).raw)
question = "What do you see in the image? Give us some detail."
num_img_tokens = 3400
conversation = [
{"role": "user", "content": [
{"type": "image", "image": image,
"max_pixels": num_img_tokens * 28 * 28, "min_pixels": 10 * 28 * 28},
{"type": "text", "text": question},
]},
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
images, _ = process_vision_info(conversation)
inputs = processor(text=prompt, images=images, add_special_tokens=True, return_tensors="pt")
inputs = {key: value.to(device) for key, value in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=100)
print(processor.tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))
Чтобы выбрать другой размер, замените идентификатор модели на Zyphra/Zamba2-VL-1.2B или Zyphra/Zamba2-VL-7B.
Преимущества и ограничения
- Гибридная основа сочетает слои пространства состояний Mamba2 с блоками Transformer.
- Время до первого токена примерно на порядок меньше, чем у сопоставимых Transformer-моделей.
- Сильные стороны — визуальный подсчёт и понимание документов.
- Три размера подходят для периферийных устройств, систем среднего класса и задач, требующих модели на 7 млрд параметров.
- Модели распространяются по лицензии Apache 2.0; веса и рабочий код для инференса доступны публично.
- Разработка представлена как исследовательский артефакт.
- В рассуждениях, требующих знаний, включая MMMU и MathVista, модели уступают более крупным конкурентам.
- Оптимизированным ядрам требуется CUDA GPU; на CPU работа выполняется медленно.
- Для развёртывания необходимо самостоятельно запускать модель с использованием опубликованного кода.