Harness-1: поисковый агент с отдельной рабочей памятью показал высокий результат на восьми тестах

Большинство поисковых агентов ведут поиск и одновременно сохраняют в растущем контексте историю действий, найденные доказательства и проверенные утверждения. Исследователи из Университета Иллинойса в Урбана-Шампейне, Калифорнийского университета в Беркли и Chroma считают, что такая схема перегружает модель: ей приходится одновременно выбирать поисковые действия и вести рутинный учёт.

В ответ команда разработала Harness-1 — поискового субагента с 20 млрд параметров на базе gpt-oss-20b. Его обучали с подкреплением в среде с сохраняемым состоянием: рабочая среда ведёт учёт, а модель принимает смысловые решения. Harness-1 формирует ранжированный набор документов для другой модели, которая отвечает на вопросы. Сам он на вопросы не отвечает. Веса модели и код среды доступны публично.

Как устроена рабочая среда

Harness-1 работает в среде, построенной как конечный автомат, с рабочей памятью для каждого эпизода поиска. На каждом шаге система показывает модели компактное состояние поиска и недавние действия. Модель выдаёт одно структурированное действие; среда выполняет его, обновляет состояние и формирует следующее наблюдение.

Исследователи называют этот принцип разгрузкой когнитивной работы в среду с сохраняемым состоянием. Модель решает, что искать, какие документы отбирать и какие утверждения проверять, а также когда остановиться. Среда хранит состояние, которое можно восстановить.

В него входят несколько компонентов:

  • пул кандидатов — сжатые и очищенные от дубликатов документы;
  • отобранный набор с оценками важности и ограничением в 30 документов; для оценки используются четыре уровня: very_high, high, fair и low;
  • хранилище полного текста, в котором остаются все найденные фрагменты, не попадая в контекст модели;
  • граф доказательств: регулярные выражения извлекают из фрагментов имена собственные, годы и даты, после чего среда показывает часто встречающиеся сущности, связующие документы и единичные упоминания. Связующие документы содержат две или более часто встречающихся сущности, а единичные упоминания встречаются лишь в одном документе и могут указывать на направления для дальнейшего поиска.

Состояние редактируется с помощью восьми инструментов: fan_out_search, search_corpus, grep_corpus, read_document, review_docs, curate, verify и end_search. Результаты поиска сжимаются методом sentence-BM25: сохраняются четыре наиболее подходящих предложения. Дедупликация в два этапа удаляет повторы по идентификатору фрагмента и его текстовому отпечатку.

Чтобы облегчить начало поиска, после первого успешного запроса среда автоматически добавляет в отобранный набор восемь заново ранжированных документов с оценкой важности fair. Затем модель повышает оценку сильных документов и удаляет слабые. Таким образом, ей нужно улучшать уже подготовленный набор, а не создавать его с нуля.

Команда выделяет три условия для обучения такой системы: предварительно заполненный отбор документов, компактное представление производного состояния и стимулы, сохраняющие разнообразие поисковых действий. Harness-1 реализует все три.

Обучение

Обучение разделили по тому же принципу, что и функции модели и среды. Контролируемая тонкая настройка (SFT) учит модель пользоваться интерфейсом, а обучение с подкреплением (RL) улучшает поисковые решения на основе поддерживаемого состояния.

В качестве единственного учителя использовали GPT-5.4, работавшую непосредственно в полной среде. После фильтрации для SFT осталось 899 траекторий. Модель обучали три эпохи с помощью LoRA ранга 32. Контрольная точка на шаге 550 стала начальной для RL.

Для RL применили on-policy CISPO: ограничение в 40 ходов и вознаграждение только в конце эпизода. Обучение проводили только на запросах по документам Комиссии по ценным бумагам и биржам США (SEC). Группы с одинаковыми вознаграждениями не учитывались при расчёте градиента. Обучение выполняли на платформе Tinker.

Система вознаграждения отдельно учитывает обнаружение документов и их отбор, а также поощряет разнообразие инструментов. Без этого бонуса агент начинает повторять одни и те же поисковые действия, а полнота отобранных документов останавливается примерно на 0,53. С бонусом разнообразие стабилизируется, а показатель полноты достигает примерно 0,60.

Результаты на тестах

Harness-1 оценили на восьми тестах, охватывающих веб-поиск, финансы, патенты и многошаговые вопросы. Основная метрика — полнота отобранных документов: доля всех релевантных документов теста, которые попали в итоговый набор. Полнота траектории учитывает доказательства, найденные в любой момент эпизода.

Модель Категория Средняя полнота отобранных документов Средняя полнота траектории
Harness-1 (20B) Модель с открытыми весами 0,730 0,807
Tongyi DeepResearch 30B Модель с открытыми весами 0,616 0,673
Context-1 (20B) Модель с открытыми весами 0,603 0,756
Search-R1 (32B) Модель с открытыми весами 0,289 0,289
GPT-OSS-20B Модель с открытыми весами 0,262 0,590
Qwen3 (32B) Модель с открытыми весами 0,216 0,446
Opus-4.6 Другая модель сравнения 0,764 0,794
GPT-5.4 Другая модель сравнения 0,709 0,752
Sonnet-4.6 Другая модель сравнения 0,688 0,725
Kimi-K2.5 Другая модель сравнения 0,647 0,794
GPT-OSS-120B Другая модель сравнения 0,496 0,769

В таблице приведены средние результаты по восьми тестам. Модели из второй группы запускали как поисковых агентов в среде Context-1 без дополнительного обучения на этом задании.

Средняя полнота отобранных документов у Harness-1 составила 0,730. Это на 11,4 процентного пункта выше результата ближайшего открытого субагента, Tongyi DeepResearch 30B. Среди испытанных поисковых моделей более высокий средний результат показала только Opus-4.6.

Особенно заметна разница между тестами, близкими к обучающим данным, и отложенными тестами. SFT охватывала четыре семейства тестов, а RL использовало только запросы SEC. На задачах из семейства, использованного при обучении, преимущество Harness-1 над ближайшей открытой моделью составило 7,9 процентного пункта. На четырёх отложенных тестах оно достигло 17,0 пункта — в 2,2 раза больше. Это указывает на перенос освоенных поисковых операций на задачи, далёкие от обучающих данных.

Абляционный анализ также поддерживает роль среды: отключение всех её механизмов уменьшило полноту на BrowseComp+ на 12,2% относительно исходного значения. Обученная модель продолжала искать, но уже не могла ранжировать найденное.

Где может пригодиться подход

Метод рассчитан на поиск доказательств в документах, которые затем используются для подготовки ответа. Он подходит для обзоров научной литературы и патентов: граф доказательств и отобранный набор помогают систематизировать множество источников.

Другой возможный сценарий — анализ финансовой отчётности. В разборе документов SEC система нашла точную дату смены руководителя, сопоставив несколько форм 8-K. Для многошаговой проверки фактов инструменты fan_out_search и verify помогают уточнить неоднозначные сущности до того, как модель сделает вывод. В модульной системе RAG отобранный набор можно передать неизменяемой модели-генератору: более качественный набор документов способен повысить точность ответа.

Сильные стороны и ограничения

Сильные стороны

  • Самая высокая средняя полнота в группе открытых поисковых агентов; среди всех испытанных поисковых моделей впереди только Opus-4.6.
  • Результаты сохраняются на отложенных тестах, что указывает на перенос поисковых операций между областями.
  • Для обучения использовали 4 352 уникальных примера — меньше, чем в нескольких сравниваемых моделях.
  • Веса и код среды открыты; модель можно запускать с распространёнными инструментами.

Ограничения

  • Граф доказательств строится на извлечении регулярными выражениями, а не на полноценном связывании сущностей.
  • Инструмент verify использует языковую модель как посредника и может ошибаться при проверке неоднозначных утверждений.
  • Сжатие sentence-BM25 может отбрасывать контекст, зависящий от структуры текста.
  • Исследователи приводят точечные оценки без полных доверительных интервалов.

Итог

  • Harness-1 — поисковый агент с 20 млрд параметров, который передаёт ведение поискового состояния среде, оставляя модели смысловые решения.
  • Его средняя полнота отобранных документов на восьми тестах — 0,730, на 11,4 процентного пункта выше результата ближайшего открытого субагента.
  • Среди испытанных поисковых моделей выше средний результат только у Opus-4.6.
  • На отложенных тестах преимущество составило 17,0 процентного пункта против 7,9 на задачах из семейств, использованных при обучении.
  • Веса и код среды открыты; для запуска подходят vLLM, SGLang и Transformers.