North Mini Code — первая специализированная модель Cohere для задач программирования. Это модель с открытыми весами и архитектурой «смесь экспертов» (MoE): всего в ней 30 млрд параметров, но на каждом токене активируются только 3 млрд. Такой подход призван сократить вычислительные затраты и упростить самостоятельный запуск модели без крупных кластеров графических ускорителей.
Возможности и характеристики
Модель оптимизирована для генерации кода, агентной разработки программного обеспечения и задач в терминале. Она принимает и выдаёт только текст: изображений и видео на вход не поддерживает. Размер контекстного окна — 256 тыс. токенов, максимальная длина генерации — 64 тыс. токенов. Минимальное заявленное требование к оборудованию — один ускоритель H100 при формате FP8.
| Характеристика | Значение |
|---|---|
| Название модели | North-Mini-Code-1.0 |
| Лицензия | В актуальной карточке модели указана Apache 2.0; условия следует сверять у выбранной версии весов |
| Размер | 30 млрд параметров всего, 3 млрд активных |
| Контекстное окно | 256 тыс. токенов; максимальная генерация — 64 тыс. токенов |
| Оптимизирована для | Генерации кода, агентной разработки программного обеспечения и задач в терминале |
| Доступность | Hugging Face, Cohere API, Cohere Model Vault и OpenRouter |
| Минимальные требования к оборудованию | 1 × H100 при FP8 |
Архитектура и обучение
North Mini Code — декодерный трансформер с разреженными слоями MoE. Внимание чередует два типа слоёв в соотношении 3:1. В скользящем окне для позиционной информации используется RoPE, а глобальное внимание обходится без позиционных эмбеддингов.
Блок прямого распространения включает 128 экспертов, из которых для каждого токена активируются восемь. Каждый эксперт — это сеть прямого распространения с активацией SwiGLU. Перед выбором top-k маршрутизатор применяет сигмоидную функцию. Перед разреженными слоями расположен один плотный слой. Такая архитектура позволяет увеличить общую ёмкость модели, сохраняя небольшое число активных вычислений. Веса выпущены в формате BF16.
Дообучение проходило в два этапа: сначала применялось каскадное обучение с учителем в два этапа (SFT), затем — обучение с подкреплением на проверяемых вознаграждениях (RLVR). Оно было сосредоточено на агентном программировании. Модель также поддерживает чередование рассуждений и нативное использование инструментов.
Тестирование
Cohere сообщает, что модель набрала 33,4 балла в Artificial Analysis Coding Index и занимает конкурентную позицию среди моделей сопоставимого размера. Компания также проверяла её на SWE-Bench Verified, SWE-Bench Pro, Terminal-Bench v2, Terminal-Bench Hard, SciCode и LiveCodeBench v6.
Для SWE-Bench использовалась среда SWE-agent версии 1.1.0. В Terminal-Bench v2 применялась простая схема ReAct с одним терминальным инструментом, а в Terminal-Bench Hard — среда Terminus-2. Каждый тест запускали с тремя начальными значениями, после чего результаты усредняли. Для выборки использовались temperature 1.0 и top_p 0.95.
Скорость
По результатам внутренних испытаний Cohere, при одинаковом уровне параллелизма и на одном и том же оборудовании пропускная способность генерации North Mini Code была до 2,8 раза выше, чем у Devstral Small 2. Задержка между токенами в этом сравнении была примерно на 30% меньше. По времени до первого токена модели показали более близкие результаты: небольшое преимущество осталось за Devstral Small 2.
| Метрика | North Mini Code в сравнении с Devstral Small 2 |
|---|---|
| Пропускная способность генерации | Выше до 2,8 раза при одинаковом уровне параллелизма и на одном оборудовании |
| Задержка между токенами | Меньше примерно на 30% |
| Время до первого токена | Немного больше |
Примеры задач
Cohere разработала модель для агентных процессов. Среди подходящих сценариев:
- Оркестрация подагентов. Главный агент распределяет подзадачи между помощниками: например, один пишет модульные тесты, а другой исправляет код, который их не проходит.
- Картирование архитектуры систем. Модель изучает репозиторий и описывает его структуру, например прослеживает взаимодействие сервисов перед крупным рефакторингом.
- Проверка кода. Модель анализирует изменения и ищет проблемы — например, обращение к потенциально пустому значению без проверки перед слиянием кода.
- Работа в терминале. Модель может перечислить файлы, запустить сборку и разобрать вывод, чтобы найти ошибки.
Как начать работу
Для быстрого запуска можно использовать Hugging Face Transformers. Для этой модели Transformers нужно установить из исходного кода. Рекомендуемые параметры выборки: temperature 1.0 и top_p 0.95.
# Установите Transformers из исходного кода (обязательно для этой модели):
# pip install "git+https://github.com/huggingface/transformers.git"
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "CohereLabs/North-Mini-Code-1.0"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
prompt = "Write a python program to check if a string is a palindrome or not."
messages = [{"role": "user", "content": prompt}]
# return_dict=True возвращает словарь (input_ids + attention_mask),
# который можно распаковать через **inputs
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
gen_tokens = model.generate(
**inputs,
max_new_tokens=1024,
do_sample=True,
temperature=1.0,
top_p=0.95,
)
# Декодируем только новые токены, а не текст запроса
output = tokenizer.decode(gen_tokens[0][inputs["input_ids"].shape[-1]:])
print(output)
Для запуска сервера подходит vLLM. Нужны основная ветка vLLM и библиотека melody от Cohere: от неё зависит корректный разбор ответов.
uv pip install "git+https://github.com/vllm-project/vllm.git"
uv pip install "cohere_melody>=0.9.0"
vllm serve CohereLabs/North-Mini-Code-1.0 \
-tp 2 \
--max-model-len 320000 \
--tool-call-parser cohere_command4 \
--reasoning-parser cohere_command4 \
--enable-auto-tool-choice
Квантованные сборки доступны для Ollama, LM Studio и llama.cpp. Модель также можно попробовать без скачивания: Cohere предоставляет бесплатный доступ через OpenCode и размещённое на Hugging Face пространство.