North Mini Code от Cohere: модель для программирования с 30 млрд параметров и MoE-архитектурой

North Mini Code — первая специализированная модель Cohere для задач программирования. Это модель с открытыми весами и архитектурой «смесь экспертов» (MoE): всего в ней 30 млрд параметров, но на каждом токене активируются только 3 млрд. Такой подход призван сократить вычислительные затраты и упростить самостоятельный запуск модели без крупных кластеров графических ускорителей.

Возможности и характеристики

Модель оптимизирована для генерации кода, агентной разработки программного обеспечения и задач в терминале. Она принимает и выдаёт только текст: изображений и видео на вход не поддерживает. Размер контекстного окна — 256 тыс. токенов, максимальная длина генерации — 64 тыс. токенов. Минимальное заявленное требование к оборудованию — один ускоритель H100 при формате FP8.

Характеристика Значение
Название модели North-Mini-Code-1.0
Лицензия В актуальной карточке модели указана Apache 2.0; условия следует сверять у выбранной версии весов
Размер 30 млрд параметров всего, 3 млрд активных
Контекстное окно 256 тыс. токенов; максимальная генерация — 64 тыс. токенов
Оптимизирована для Генерации кода, агентной разработки программного обеспечения и задач в терминале
Доступность Hugging Face, Cohere API, Cohere Model Vault и OpenRouter
Минимальные требования к оборудованию 1 × H100 при FP8

Архитектура и обучение

North Mini Code — декодерный трансформер с разреженными слоями MoE. Внимание чередует два типа слоёв в соотношении 3:1. В скользящем окне для позиционной информации используется RoPE, а глобальное внимание обходится без позиционных эмбеддингов.

Блок прямого распространения включает 128 экспертов, из которых для каждого токена активируются восемь. Каждый эксперт — это сеть прямого распространения с активацией SwiGLU. Перед выбором top-k маршрутизатор применяет сигмоидную функцию. Перед разреженными слоями расположен один плотный слой. Такая архитектура позволяет увеличить общую ёмкость модели, сохраняя небольшое число активных вычислений. Веса выпущены в формате BF16.

Дообучение проходило в два этапа: сначала применялось каскадное обучение с учителем в два этапа (SFT), затем — обучение с подкреплением на проверяемых вознаграждениях (RLVR). Оно было сосредоточено на агентном программировании. Модель также поддерживает чередование рассуждений и нативное использование инструментов.

Тестирование

Cohere сообщает, что модель набрала 33,4 балла в Artificial Analysis Coding Index и занимает конкурентную позицию среди моделей сопоставимого размера. Компания также проверяла её на SWE-Bench Verified, SWE-Bench Pro, Terminal-Bench v2, Terminal-Bench Hard, SciCode и LiveCodeBench v6.

Для SWE-Bench использовалась среда SWE-agent версии 1.1.0. В Terminal-Bench v2 применялась простая схема ReAct с одним терминальным инструментом, а в Terminal-Bench Hard — среда Terminus-2. Каждый тест запускали с тремя начальными значениями, после чего результаты усредняли. Для выборки использовались temperature 1.0 и top_p 0.95.

Скорость

По результатам внутренних испытаний Cohere, при одинаковом уровне параллелизма и на одном и том же оборудовании пропускная способность генерации North Mini Code была до 2,8 раза выше, чем у Devstral Small 2. Задержка между токенами в этом сравнении была примерно на 30% меньше. По времени до первого токена модели показали более близкие результаты: небольшое преимущество осталось за Devstral Small 2.

Метрика North Mini Code в сравнении с Devstral Small 2
Пропускная способность генерации Выше до 2,8 раза при одинаковом уровне параллелизма и на одном оборудовании
Задержка между токенами Меньше примерно на 30%
Время до первого токена Немного больше

Примеры задач

Cohere разработала модель для агентных процессов. Среди подходящих сценариев:

  • Оркестрация подагентов. Главный агент распределяет подзадачи между помощниками: например, один пишет модульные тесты, а другой исправляет код, который их не проходит.
  • Картирование архитектуры систем. Модель изучает репозиторий и описывает его структуру, например прослеживает взаимодействие сервисов перед крупным рефакторингом.
  • Проверка кода. Модель анализирует изменения и ищет проблемы — например, обращение к потенциально пустому значению без проверки перед слиянием кода.
  • Работа в терминале. Модель может перечислить файлы, запустить сборку и разобрать вывод, чтобы найти ошибки.

Как начать работу

Для быстрого запуска можно использовать Hugging Face Transformers. Для этой модели Transformers нужно установить из исходного кода. Рекомендуемые параметры выборки: temperature 1.0 и top_p 0.95.

# Установите Transformers из исходного кода (обязательно для этой модели):
# pip install "git+https://github.com/huggingface/transformers.git"
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/North-Mini-Code-1.0"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

prompt = "Write a python program to check if a string is a palindrome or not."
messages = [{"role": "user", "content": prompt}]

# return_dict=True возвращает словарь (input_ids + attention_mask),
# который можно распаковать через **inputs
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

gen_tokens = model.generate(
    **inputs,
    max_new_tokens=1024,
    do_sample=True,
    temperature=1.0,
    top_p=0.95,
)

# Декодируем только новые токены, а не текст запроса
output = tokenizer.decode(gen_tokens[0][inputs["input_ids"].shape[-1]:])
print(output)

Для запуска сервера подходит vLLM. Нужны основная ветка vLLM и библиотека melody от Cohere: от неё зависит корректный разбор ответов.

uv pip install "git+https://github.com/vllm-project/vllm.git"
uv pip install "cohere_melody>=0.9.0"

vllm serve CohereLabs/North-Mini-Code-1.0 \
  -tp 2 \
  --max-model-len 320000 \
  --tool-call-parser cohere_command4 \
  --reasoning-parser cohere_command4 \
  --enable-auto-tool-choice

Квантованные сборки доступны для Ollama, LM Studio и llama.cpp. Модель также можно попробовать без скачивания: Cohere предоставляет бесплатный доступ через OpenCode и размещённое на Hugging Face пространство.