В производственных системах инференса нагрузка меняется, поэтому число реплик приходится гибко масштабировать. Холодный запуск инференса в Kubernetes может занимать несколько минут: всё это время GPU уже выделены, но простаивают — не генерируют токены и не обрабатывают запросы. Из-за задержки система может не успеть справиться с резким ростом нагрузки и нарушить соглашение об уровне обслуживания (SLA).
Холодный запуск включает получение образа контейнера, загрузку весов модели в память GPU, прогрев ядер CUDA, компиляцию или захват графов CUDA и регистрацию сервиса в механизме обнаружения служб. Команда исследователей NVIDIA представила NVIDIA Dynamo Snapshot — систему контрольных точек и восстановления для рабочих процессов ИИ-инференса в Kubernetes. Она сохраняет состояние работающего процесса, включая состояние процесса на стороне хоста и GPU, и позволяет восстановить его на том же или другом узле, пропуская обычную последовательность холодного запуска.
Время холодного запуска vLLM на одном GPU (версии 0.20.0) складывается из трёх этапов: получения образа контейнера, инициализации движка — загрузки весов, прогрева ядер и компиляции графов — и запуска распределённой среды выполнения.
CRIU и cuda-checkpoint
Контрольная точка рабочего процесса инференса охватывает два вида состояния. Состояние на GPU включает контексты и потоки CUDA, память устройства и виртуальные адреса. Оно недоступно непосредственно со стороны хоста. Утилита cuda-checkpoint использует возможности драйвера CUDA и сохраняет состояние устройства в память CPU процесса, которому принадлежит каждый контекст CUDA.
Состояние на стороне хоста включает память CPU, потоки, файловые дескрипторы и пространства имён. CRIU (Checkpoint/Restore in Userspace) анализирует данные, которые ведёт ядро Linux, и записывает на диск состояние дерева процессов.
При создании контрольной точки сначала cuda-checkpoint переносит состояние GPU в память CPU, затем CRIU сохраняет состояние процессов на стороне хоста в папку на хранилище. При восстановлении порядок обратный: CRIU сначала воссоздаёт дерево процессов из распределённого хранилища, например NFS или SMB, а затем cuda-checkpoint переносит состояние GPU из памяти CPU на новые GPU.
CRIU замораживает и возобновляет процесс: после восстановления выполнение продолжается с той же инструкции, на которой процесс был сохранён, и сам процесс не знает, что его останавливали. Поэтому необходимую координацию — например, подготовку рабочей нагрузки перед сохранением или восстановление внешнего состояния после него — должен обеспечивать внешний оркестратор либо специальные обработчики рабочей нагрузки.
Как Dynamo Snapshot работает в Kubernetes
В Kubernetes рабочие нагрузки выполняются в контейнерах внутри подов. Поскольку контрольная точка CRIU содержит ссылки на доступный для записи слой файловой системы контейнера, сохранение выполняется на уровне контейнера: состояние дерева процессов и файловая система должны перемещаться вместе.
NVIDIA поставляет привилегированный DaemonSet snapshot-agent, который устанавливается с помощью Helm-чарта. Агент работает на каждом узле и сохраняет или восстанавливает контейнеры под управлением runc, не требуя менять сам runc. При создании контрольной точки агент ждёт, пока проверка готовности рабочей нагрузки подтвердит её готовность, запускает cuda-checkpoint и CRIU со стороны хоста и записывает результат в общее хранилище. После этапа CRIU агент также сохраняет изменения локальной файловой системы контейнера — например, созданные или удалённые файлы в overlay-файловой системе.
При восстановлении агент запускает облегчённый под-заглушку, восстанавливает overlay-файловую систему, а затем возвращает контрольную точку CRIU/CUDA в пространства имён этого пода. Каждый агент работает независимо на своём узле, поэтому сохранение и восстановление могут естественным образом выполняться параллельно в кластере.
Подход с DaemonSet выбрали вместо встроенной в Kubernetes поддержки контрольных точек и восстановления в runc по трём причинам: он переносим и не зависит от флагов функций облачного провайдера; даёт более точный контроль над CRIU для настройки производительности; позволяет хранить контрольные точки в разных хранилищах, а не встраивать их в образы OCI.
Координация рабочей нагрузки: quiesce/resume
Рабочий процесс инференса Dynamo инициализируется в два этапа. Сначала инициализируется движок: настраиваются средства связи, загружаются веса, прогреваются ядра и компилируются графы CUDA. После этого рабочий процесс полностью готов, но ещё не обнаруживается за пределами своего пода. Затем запускается распределённая среда выполнения: процесс подключается к управляющей плоскости Dynamo и регистрируется в серверной части механизма обнаружения. С этого момента существуют открытые TCP-соединения с управляющей плоскостью.
Если сохранить контрольную точку после запуска распределённой среды, в ней окажутся активные TCP-соединения, которые в этой схеме нельзя перенести на новый под без повторного установления. Поэтому рабочий процесс после инициализации движка, но до запуска распределённой среды, создаёт сигнальный файл «готов к сохранению» и переходит в цикл ожидания. Пока агент сохраняет процесс, тот остаётся в этом цикле. После восстановления выполнение продолжается с того же места: процесс обнаруживает файл «восстановление завершено» и запускает распределённую среду без дополнительной синхронизации.
Этот механизм также важен для контрольных точек на нескольких GPU и узлах, поддержка которых запланирована в будущей версии. Исходящие TCP-соединения для RPC нельзя восстановить в установленном состоянии, поскольку IP-адрес пода между сохранением и восстановлением меняется. Кроме того, после восстановления необходимо заново создать регистрации RDMA и состояние сетевых карт.
Оптимизация 1: освобождение памяти KV-кэша
После размещения весов, графов CUDA и других буферов движки инференса выделяют оставшуюся память GPU под большой буфер KV-кэша. Поскольку контрольная точка создаётся до обработки каких-либо запросов, сохранять этот буфер не требуется. Однако виртуальный адрес должен оставаться неизменным: он уже заложен в граф CUDA.
Решение использует API CUDA Virtual Memory Management: KV-кэш выделяется с помощью cuMemCreate и cuMemMap, после чего физическая память освобождается вызовами cuMemUnmap и cuMemRelease. Вызывать cuMemAddressFree нельзя — диапазон виртуальных адресов должен сохраниться. Эта возможность уже доступна в vLLM через sleep() и wake_up(), а в SGLang — через torch_memory_saver.
Для Qwen3-0.6B на B200 этот подход уменьшает общий размер контрольной точки примерно со 190 до 6 ГиБ. Наибольший эффект достигается при большом KV-кэше, то есть когда веса небольшой модели занимают относительно малую часть памяти GPU.
Оптимизация 2: ускорение восстановления памяти CRIU
Даже после уменьшения контрольной точки восстановление в исходном CRIU остаётся узким местом. Для крупных моделей оно может занимать больше времени, чем холодный запуск, и тем самым сводить пользу контрольных точек на нет.
Важно: описанные ниже оптимизации CRIU пока не входят в состав Dynamo Snapshot. Они могут стать доступными после включения изменений в основную версию CRIU.
Параллельное восстановление memfd
Путь sleep()/wake_up() в vLLM и torch_memory_saver в SGLang перемещают выделения памяти GPU, помеченные как память весов, в закреплённые буферы-тени в памяти CPU. CUDA размещает эти выделения в общей анонимной памяти, закреплённой через драйвер NVIDIA. В ядре Linux она представлена объектами memfd — анонимными файлами в оперативной памяти, отображёнными с помощью MAP_SHARED.
Для gpt-oss-120b такие буферы занимали более 120 ГиБ и были разделены на множество независимых буферов размером не более 2 ГиБ. Исходный CRIU восстанавливает их последовательно. Модифицированная версия перечисляет все уникальные объекты общей памяти и восстанавливает их параллельно с помощью пула потоков, используя доступную пропускную способность хранилища и возможности CPU.
Linux native AIO для анонимной памяти
В исходном CRIU восстановление памяти выполняется синхронным циклом preadv: одновременно обрабатывается только одно чтение, и между запросами устройство хранения простаивает. В модифицированной версии используется встроенный механизм асинхронного ввода-вывода Linux — native AIO. CRIU отправляет пакеты iocb через io_submit и поддерживает скользящее окно размером до 128 одновременных чтений. По мере поступления результатов через io_getevents в окно добавляются новые запросы.
Если хранилище это поддерживает, для чтения анонимной и общей памяти используется O_DIRECT, чтобы не создавать лишнюю нагрузку на кэш страниц при последовательном потоке восстановления. Linux native AIO действительно работает асинхронно только для файлов, открытых с O_DIRECT. Если файловая система не поддерживает O_DIRECT — например, в некоторых конфигурациях NFS, — восстановление переходит на буферизованный ввод-вывод с последовательным упреждающим чтением, и выигрыш от AIO существенно сокращается.
Сводные результаты для трёх моделей после освобождения памяти KV-кэша:
| Модель | Размер контрольной точки | CRIU, исходный | CRIU, AIO | CRIU, AIO + параллельный memfd | Ускорение | SOL* |
|---|---|---|---|---|---|---|
| Qwen3-0.6B | 6,2 ГиБ | 6,8 с | 2,9 с | 2,4 с | 2,8× | 0,95 с |
| Qwen3-8B | 26 ГиБ | 24 с | 11 с | 4,7 с | 5,1× | 1,8 с |
| gpt-oss-120b | 129 ГиБ | 119 с | 54 с | 15 с | 7,9× | 11 с |
* SOL (speed of light) — теоретически минимальное время восстановления при доступной пропускной способности хранилища: быстрее этого предела восстановление быть не может.
После этих оптимизаций время восстановления CRIU приближается к SOL, но сквозное восстановление по-прежнему ограничено последовательной передачей крупных весов модели из хранилища через память хоста на GPU. Это последовательный процесс: cuda-checkpoint не может восстановить память GPU, пока CRIU не разместит веса в памяти хоста.
Оптимизация 3: GPU Memory Service
Чтобы устранить узкое место с последовательной передачей весов, исследователи NVIDIA разработали GPU Memory Service (GMS). Он использует API CUDA Virtual Memory Management (VMM), чтобы отделить крупные веса модели от жизненного цикла процесса рабочего процесса инференса и вынести основную часть памяти процесса в отдельный артефакт GMS.
Если убрать веса из основной контрольной точки CRIU, состояние процесса и веса можно восстанавливать одновременно, задействуя разные каналы пропускной способности памяти. Для загрузки весов могут использоваться самые быстрые доступные пути, например GPUDirect Storage (GDS) или RDMA/NVLink между GPU.
| Модель | Контрольная точка CRIU, базовая | Контрольная точка CRIU с GMS | Артефакт весов GMS |
|---|---|---|---|
| Qwen3-0.6B | 6,2 ГиБ | 4,3 ГиБ | 1,2 ГиБ |
| Qwen3-8B | 26 ГиБ | 4,8 ГиБ | 15 ГиБ |
| gpt-oss-120b | 129 ГиБ | 6,7 ГиБ | 74 ГиБ |
В экспериментальной системе восстановления весов, распределяющей их по восьми локальным SSD NVMe, загрузка весов выполняется параллельно с восстановлением процесса CRIU. Для gpt-oss-120b общее время запуска в таком тесте сократилось до менее чем 5 секунд — в 21 раз. Время измеряли от общего момента запуска восстановления, не включая запуск контейнера.
Развёртывание и ограничения
Для развёртывания используются три ресурса Kubernetes. DaemonSet snapshot-agent устанавливается с помощью Helm-чарта. Пользовательский ресурс DynamoCheckpoint (краткое имя dckpt) задаёт конфигурацию модели, для которой создаётся контрольная точка. Ресурс DynamoGraphDeployment ссылается на эту контрольную точку при восстановлении.
Документация указывает следующие предварительные требования: узлы с GPU и архитектурой x86_64 (amd64); драйвер NVIDIA версии 580.xx или новее, а для снимков с несколькими GPU — версии 590.xx или новее; хранилище с режимом ReadWriteMany для восстановления на другом узле. На данный момент поддерживается только серверная часть vLLM, причём в ограниченном предварительном доступе.
Идентификатор DynamoCheckpoint — это 16-символьный хеш SHA256, рассчитанный по полям, влияющим на состояние среды выполнения: model, backendFramework, dynamoVersion, tensorParallelSize, pipelineParallelSize, dtype, maxModelLen и extraParameters. Число реплик, размещение на узлах, ограничения ресурсов и настройки наблюдаемости на хеш не влияют.
Предусмотрены два режима развёртывания. В явном режиме checkpointRef указывает на готовый DynamoCheckpoint по имени. В автоматическом режиме оператор вычисляет хеш, ищет соответствующий DynamoCheckpoint и создаёт его, только если совпадения нет. Поэтому первая реплика запускается с холодного старта, а контрольная точка создаётся в фоне для последующих событий масштабирования.
Текущие ограничения: создание и восстановление контрольных точек поддерживаются только для рабочих процессов vLLM и доступны в ограниченном предварительном режиме; специализированные рабочие процессы для мультимодальных моделей, эмбеддингов и диффузии не поддерживаются; конфигурации tensor parallelism с несколькими GPU прошли ограниченную проверку; восстановление GMS пока недоступно; snapshot-agent должен работать с привилегиями; восстановление чувствительно к состоянию действующих TCP-сокетов. Для восстановления на нескольких GPU и узлах также потребуется заново создавать сетевые соединения и регистрации RDMA.
Основные выводы
- Dynamo Snapshot использует CRIU и cuda-checkpoint для сохранения и восстановления рабочих процессов инференса на одном GPU в Kubernetes, позволяя избежать полного холодного запуска.
- Освобождение KV-кэша с помощью cuMemUnmap и cuMemRelease уменьшает размер контрольной точки для Qwen3-0.6B на B200 примерно со 190 до 6 ГиБ.
- Linux native AIO и параллельное восстановление memfd сокращают время восстановления CRIU до 7,9 раза по сравнению с исходным CRIU. Эти оптимизации пока не включены в Dynamo Snapshot и ожидают включения в основную версию CRIU.
- GPU Memory Service отделяет веса модели от артефакта CRIU и позволяет одновременно восстанавливать состояние процесса и веса, используя, например, GPUDirect Storage.
- В эксперименте с восемью локальными SSD NVMe запуск gpt-oss-120b ускорился в 21 раз и занял менее 5 секунд.