Zamba2-VL сочетает Mamba2 и Transformer и ускоряет обработку визуальных запросов

Zyphra представила семейство открытых визуально-языковых моделей Zamba2-VL трёх размеров: 1,2, 2,7 и 7 млрд параметров. Все они построены на гибридной архитектуре Zamba2, сочетающей модели пространства состояний (SSM) и Transformer.

Визуально-языковые модели (VLM) одновременно обрабатывают изображения и текст и могут отвечать на вопросы о диаграммах, документах и фотографиях. В отличие от многих открытых VLM, использующих плотный Transformer в качестве языковой модели, Zamba2-VL опирается на гибридную архитектуру. Её цель — обеспечить конкурентную точность при меньшей задержке.

Как устроена Zamba2-VL

В основе модели — распространённая схема LLaVA: предварительно обученный визуальный энкодер преобразует участки изображения в признаки, а компактный MLP-адаптер переводит их в пространство языковой модели. Затем языковая модель обрабатывает чередующуюся последовательность визуальных и текстовых токенов. Модели поддерживают понимание одного и нескольких изображений, а также визуальную привязку объектов.

В качестве энкодера Zyphra использует Vision Transformer из Qwen2.5-VL. Он поддерживает двумерные вращательные позиционные эмбеддинги и обработку изображений с динамическим разрешением. Энкодер соединён с базовой моделью двухслойным MLP-адаптером.

Гибридная архитектура и обучение

От типичных VLM Zamba2-VL отличается прежде всего языковой основой. Она объединяет слои пространства состояний Mamba2 с небольшим числом общих блоков Transformer. Слои Mamba2 работают за линейное время и используют состояние фиксированного размера. Между ними расположены общие слои внимания; каждый такой блок имеет собственный LoRA-адаптер на каждом слое.

Слои Mamba2 выполняют основную часть вычислений с низкими затратами. Общие слои внимания сохраняют возможность извлекать информацию из контекста — способность, которой чистые SSM-модели лишены. Такая схема представляет собой компромисс между выразительностью полного внимания и эффективностью моделей пространства состояний.

Zamba2-VL использует токенизатор Mistral v0.1. Модель обучали на 100 млрд токенов из открытых веб-наборов данных: как текстовых, так и содержащих изображения и текст.

Качество моделей и результаты тестов

Модели оценили по 14 тестам на понимание диаграмм, схем и документов, общее зрительное восприятие, рассуждение и подсчёт объектов. Результаты получены с помощью оценочного набора, основанного на VLMEvalKit; сравнение охватывает семейства Molmo2, Qwen3-VL и InternVL3.5.

Тест Zamba2-VL-2.7B InternVL3.5-2B Qwen3-VL-2B Molmo2-4B Qwen3-VL-4B
DocVQA (тестовая выборка) 90,9 89,4 93,3 87,8 95,3
ChartQA (тестовая выборка) 79,6 81,6 78,7 86,1 81,8
OCRBench 73,6 83,4 84,1 62,0 84,1
CountBenchQA 87,5 70,0 87,9 91,2 87,3
PixMoCount (тестовая выборка) 82,5 32,8 55,7 87,0 89,2
MMMU (валидационная выборка) 37,7 49,9 40,9 48,8 51,4
MathVista (mini) 51,0 61,4 51,8 56,5 63,6

InternVL3.5-2B и Qwen3-VL-2B близки к модели Zamba2-VL-2.7B по размеру, тогда как Molmo2-4B и Qwen3-VL-4B крупнее.

Результаты неоднородны. Сильнее всего модель показывает себя в задачах подсчёта: для Zamba2-VL-1.2B приводится результат 62,5 на PixMoCount против 32,8 у InternVL3.5-1B и 17,7 у PerceptionLM-1B. Модель на 2,7 млрд параметров также хорошо справляется с пониманием документов, набрав 90,9 на DocVQA. В задачах, требующих обширных знаний и рассуждений, включая MMMU и MathVista, она уступает более крупным моделям. На OCRBench результат ниже, чем у Qwen3-VL и InternVL3.5 сопоставимого размера.

Почему инференс быстрее

Внимание в Transformer масштабируется квадратично с ростом длины последовательности, а мультимодальные входные данные быстро её увеличивают. Одно изображение высокого разрешения может добавить несколько тысяч визуальных токенов, а короткий видеоролик — десятки тысяч.

Слои Mamba2 хранят рекуррентное состояние фиксированного размера. Гибридная модель также включает блоки внимания; сокращение затрат не означает, что кэша внимания нет вообще. В сравнении для prefill длиной 32 тыс. токенов модель показывает лучшее соотношение качества и времени до первого токена (TTFT); Transformer-VLM в сопоставлении не достигают такого же качества при близкой задержке. Приведённый выигрыш относится к условиям этого сравнения, а не ко всем запросам и устройствам.

Наибольшее преимущество по эффективности проявляется у моделей на 1,2 и 2,7 млрд параметров. Эти размеры ориентированы на запуск непосредственно на устройствах и на периферийных вычислительных системах. Особенно полезна линейная обработка длинных визуальных входных данных, например многостраничных PDF.

Возможные сценарии применения

  • Обработка документов и форм. Высокий результат DocVQA может быть полезен для извлечения данных из счетов и оцифровки чеков.
  • Подсчёт товаров и запасов. Эта задача соответствует сильным результатам на PixMoCount и CountBenchQA.
  • Визуальная привязка. Модель может указывать на объекты на изображениях товаров или пользовательских интерфейсов.
  • Помощники на устройствах. Низкое время до первого токена и версия на 1,2 млрд параметров рассчитаны, в частности, на телефоны и периферийные устройства.
  • Длинные визуальные входы. Предварительная обработка за линейное время может быть особенно полезна для многостраничных документов.

Как запустить модель

Три модели доступны в коллекции Zyphra Zamba2-VL на Hugging Face. Для инференса используется форк библиотеки Transformers от Zyphra, основанный на transformers v4.57.1. Для хорошей производительности оптимизированным ядрам Mamba2 требуется графический процессор CUDA.

Установите форк и основные зависимости:

pip install "transformers @ git+https://github.com/Zyphra/transformers.git@zamba2-vl"
pip install qwen-vl-utils==0.0.2
pip install flash_attn

Для оптимизированных ядер Mamba2 установите ещё два пакета:

pip install --no-build-isolation "causal-conv1d @ git+https://github.com/Zyphra/z-causal-conv1d.git@zamba2-vl"
pip install --no-build-isolation "mamba-ssm @ git+https://github.com/Zyphra/mamba.git@zamba2-vl"

Загрузите модель и задайте запрос по одному изображению:

from transformers import Zamba2_VLForConditionalGeneration, Zamba2_VLProcessor
import torch
from PIL import Image
from qwen_vl_utils import process_vision_info
import requests

device = "cuda"
processor = Zamba2_VLProcessor.from_pretrained("Zyphra/Zamba2-VL-2.7B", temporal_patch_size=1)
model = Zamba2_VLForConditionalGeneration.from_pretrained(
    "Zyphra/Zamba2-VL-2.7B",
    device_map=device,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
)

url = "https://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True, timeout=15).raw)
question = "What do you see in the image? Give us some detail."
num_img_tokens = 3400

conversation = [
    {"role": "user", "content": [
        {"type": "image", "image": image,
         "max_pixels": num_img_tokens * 28 * 28, "min_pixels": 10 * 28 * 28},
        {"type": "text", "text": question},
    ]},
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
images, _ = process_vision_info(conversation)
inputs = processor(text=prompt, images=images, add_special_tokens=True, return_tensors="pt")
inputs = {key: value.to(device) for key, value in inputs.items()}

outputs = model.generate(**inputs, max_new_tokens=100)
print(processor.tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Чтобы выбрать другой размер, замените идентификатор модели на Zyphra/Zamba2-VL-1.2B или Zyphra/Zamba2-VL-7B.

Преимущества и ограничения

  • Гибридная основа сочетает слои пространства состояний Mamba2 с блоками Transformer.
  • Время до первого токена примерно на порядок меньше, чем у сопоставимых Transformer-моделей.
  • Сильные стороны — визуальный подсчёт и понимание документов.
  • Три размера подходят для периферийных устройств, систем среднего класса и задач, требующих модели на 7 млрд параметров.
  • Модели распространяются по лицензии Apache 2.0; веса и рабочий код для инференса доступны публично.
  • Разработка представлена как исследовательский артефакт.
  • В рассуждениях, требующих знаний, включая MMMU и MathVista, модели уступают более крупным конкурентам.
  • Оптимизированным ядрам требуется CUDA GPU; на CPU работа выполняется медленно.
  • Для развёртывания необходимо самостоятельно запускать модель с использованием опубликованного кода.