MiMo-V2.5-Pro-UltraSpeed: более 1000 токенов в секунду на узле с восемью GPU

Скорость генерации влияет на то, сколько времени пользователь ждёт ответа модели. Команда MiMo компании Xiaomi совместно с группой систем TileRT представила MiMo-V2.5-Pro-UltraSpeed — режим, который, по заявлению разработчиков, позволяет модели с триллионом параметров генерировать более 1000 токенов в секунду. В демонстрациях пиковая скорость приближается к 1200 токенам в секунду. Система работает на стандартном оборудовании, без специализированных ускорителей; команда Xiaomi называет результат первым достижением такого уровня для модели с триллионом параметров.

Что такое MiMo-V2.5-Pro-UltraSpeed

UltraSpeed — высокоскоростной режим обслуживания существующей модели MiMo-V2.5-Pro. Базовая модель использует архитектуру «смесь экспертов» (Mixture of Experts, MoE) и насчитывает триллион параметров. UltraSpeed нацелен прежде всего на ускорение генерации, а не на расширение возможностей модели: он меняет скорость выдачи токенов.

Ускорение обеспечивают три согласованных решения на уровне модели и системы исполнения. Xiaomi называет такой подход совместной оптимизацией модели и системы. Весь стек работает на одном стандартном узле с восемью GPU.

Три составляющие ускорения

Квантование FP4

При триллионе параметров веса в форматах FP8 или FP16 создают высокую нагрузку на память и пропускную способность. Меньшая разрядность ускоряет передачу весов из памяти и тем самым повышает скорость декодирования. Xiaomi использует формат MXFP4 выборочно — только для экспертов MoE. Остальные модули, по сведениям TileRT, сохраняют более высокую точность FP8.

На экспертов приходится большая часть параметров, и именно они лучше всего переносят квантование. Обучение с учётом квантования (QAT) позволяет сохранить качество на уровне, практически сопоставимом с исходной моделью.

DFlash: параллельное построение черновика

При стандартном спекулятивном декодировании небольшая черновая модель предсказывает следующие токены, а большая модель параллельно проверяет эти предположения. Отклонение неподходящих вариантов с помощью выборки с отбрасыванием позволяет сохранить результат таким же, как при обычном декодировании. Однако черновая модель по-прежнему генерирует токены по одному.

DFlash, метод, разработанный исследовательским сообществом, устраняет это ограничение с помощью параллельного предсказания блоков с масками: за один проход черновая модель заполняет целый блок позиций. Xiaomi настроила DFlash с помощью оптимизатора второго порядка Muon и самодистилляции модели. Черновая модель использует только внимание с раздвижным окном (Sliding Window Attention, SWA), как и MiMo-V2. Благодаря этому вычислительная стоимость одного предсказания остаётся постоянной, а не растёт вместе с длиной контекста. Размер блока ограничен восемью токенами, чтобы снизить стоимость проверки и повысить параллелизм.

Длина принятия показывает, сколько черновых токенов в среднем проходит проверку за один раунд:

Сценарий Длина принятия
Программирование 6,30
Математика и рассуждения 5,56
Агентные задачи 4,29

В задачах программирования за раунд принимаются шесть-семь из восьми черновых токенов. В отдельных примерах показатель достигает 7,14.

TileRT: исполнение за микросекунды

При скорости 1000 токенов в секунду каждый оператор выполняется всего несколько микросекунд. В традиционных системах операторы запускаются по очереди, и каждый запуск требует времени. Возникающие паузы разрывают поток вычислений и становятся основным узким местом.

TileRT заменяет такой подход постоянным ядром исполнения (Persistent Engine Kernel), которое остаётся на GPU. Технология Warp Specialization распределяет перемещение данных, вычисления и обмен данными между согласованными ролями. На этой скорости узкими местами становятся даже небольшие операции, такие как RMSNorm, RoPE и запись в кэш ключей и значений (KV cache). Систему исполнения проектировали совместно с решениями FP4 и DFlash, а не добавляли к ним постфактум.

Каждого из трёх методов по отдельности недостаточно: для результата свыше 1000 токенов в секунду все они должны работать согласованно.

Для каких задач предназначен режим

UltraSpeed рассчитан на задачи, чувствительные к задержкам, в которых ожидание прерывает рабочий процесс:

  • Параллельные рассуждения: запуск множества вариантов Best-of-N или ветвей поиска по дереву за то же реальное время.
  • Агенты для программирования: более быстрая генерация кода сокращает паузы между шагами агента.
  • Системы принятия решений в реальном времени: генерация торговых сигналов, блокировка мошеннических операций и диалог в реальном времени.
  • Интерактивное прототипирование: в демонстрациях игра «Змейка» создана примерно за 10 секунд, а интерфейс macOS — примерно за минуту.

Во всех этих случаях ограничивающим фактором становится пропускная способность — скорость выдачи токенов.

Сравнение подходов и режимов

Ниже сопоставлены два подхода к достижению высокой скорости декодирования:

Подход Оборудование За счёт чего достигается скорость
Cerebras Специализированная интеграция на уровне пластины Масштабирование на одной специализированной пластине
Groq Специализированная архитектура Полностью внутрикристальная SRAM
MiMo × TileRT Стандартные GPU, узел с восемью GPU Совместная оптимизация модели и системы: FP4, DFlash и TileRT

Следующая таблица сравнивает стандартную модель и режим UltraSpeed:

Параметр MiMo-V2.5-Pro MiMo-V2.5-Pro-UltraSpeed
Скорость декодирования Базовая Примерно в 10 раз выше, более 1000 токенов в секунду
Цена Базовая В 3 раза выше
Точность весов Стандартная FP4 для экспертов MoE с QAT
Декодирование Стандартное авторегрессионное Спекулятивное декодирование DFlash
Доступ Стандартные тарифные планы модели Только API, по заявке
Тарифный план Token Plan Поддерживается Не поддерживается

Доступ, стоимость и открытый код

В анонсе Xiaomi предложила доступ к UltraSpeed ограниченному числу пользователей по заявке. Пробный период API рассчитан на ограниченное окно доступа; стоимость составляет втрое больше стандартной цены MiMo-V2.5-Pro при скорости примерно в десять раз выше. Режим доступен только через API, тарифный план Token Plan не поддерживается. Одобренным пользователям также предоставляется бесплатный доступ к чату на время испытания. Для чата действуют ограничения: до 10 постановок в очередь в день, сеанс длительностью 30 минут и автоматическое освобождение ресурсов после пяти минут бездействия.

Xiaomi опубликовала на Hugging Face веса MiMo-V2.5-Pro-FP4-DFlash. Команда TileRT разместила код отдельных модулей на GitHub.

Преимущества и ограничения

Преимущества

  • Более 1000 токенов в секунду для модели с триллионом параметров без специализированного оборудования.
  • Спекулятивное декодирование DFlash сохраняет результат благодаря выборке с отбрасыванием неподходящих вариантов.
  • FP4 применяется только к компонентам, которые лучше всего переносят снижение точности, что помогает сохранить качество.
  • Опубликованные веса позволяют сравнить качество с базовой моделью. Для проверки скорости нужна сопоставимая конфигурация запуска.

Ограничения

  • На этапе запуска доступ ограничен, краткосрочен и предоставляется после одобрения заявки.
  • Стоимость каждого токена втрое выше, чем у стандартной модели.
  • В открытом диалоге длина принятия снижается.
  • Публичной независимой проверки скорости третьей стороной пока нет.

Главное

  • MiMo от Xiaomi и TileRT заявляют о скорости свыше 1000 токенов в секунду для модели с триллионом параметров на стандартном узле с восемью GPU.
  • Ускорение обеспечивают три решения: квантование FP4, спекулятивное декодирование DFlash и система исполнения TileRT.
  • Формат MXFP4 применяется только к экспертам MoE; QAT помогает сохранить возможности модели практически на исходном уровне.
  • DFlash предсказывает целый блок позиций с масками за один проход; средняя длина принятия в задачах программирования составляет 6,30.
  • UltraSpeed доступен через API по заявке; тарифный план Token Plan не поддерживается.