Большинство поисковых агентов ведут поиск и одновременно сохраняют в растущем контексте историю действий, найденные доказательства и проверенные утверждения. Исследователи из Университета Иллинойса в Урбана-Шампейне, Калифорнийского университета в Беркли и Chroma считают, что такая схема перегружает модель: ей приходится одновременно выбирать поисковые действия и вести рутинный учёт.
В ответ команда разработала Harness-1 — поискового субагента с 20 млрд параметров на базе gpt-oss-20b. Его обучали с подкреплением в среде с сохраняемым состоянием: рабочая среда ведёт учёт, а модель принимает смысловые решения. Harness-1 формирует ранжированный набор документов для другой модели, которая отвечает на вопросы. Сам он на вопросы не отвечает. Веса модели и код среды доступны публично.
Как устроена рабочая среда
Harness-1 работает в среде, построенной как конечный автомат, с рабочей памятью для каждого эпизода поиска. На каждом шаге система показывает модели компактное состояние поиска и недавние действия. Модель выдаёт одно структурированное действие; среда выполняет его, обновляет состояние и формирует следующее наблюдение.
Исследователи называют этот принцип разгрузкой когнитивной работы в среду с сохраняемым состоянием. Модель решает, что искать, какие документы отбирать и какие утверждения проверять, а также когда остановиться. Среда хранит состояние, которое можно восстановить.
В него входят несколько компонентов:
- пул кандидатов — сжатые и очищенные от дубликатов документы;
- отобранный набор с оценками важности и ограничением в 30 документов; для оценки используются четыре уровня: very_high, high, fair и low;
- хранилище полного текста, в котором остаются все найденные фрагменты, не попадая в контекст модели;
- граф доказательств: регулярные выражения извлекают из фрагментов имена собственные, годы и даты, после чего среда показывает часто встречающиеся сущности, связующие документы и единичные упоминания. Связующие документы содержат две или более часто встречающихся сущности, а единичные упоминания встречаются лишь в одном документе и могут указывать на направления для дальнейшего поиска.
Состояние редактируется с помощью восьми инструментов: fan_out_search, search_corpus, grep_corpus, read_document, review_docs, curate, verify и end_search. Результаты поиска сжимаются методом sentence-BM25: сохраняются четыре наиболее подходящих предложения. Дедупликация в два этапа удаляет повторы по идентификатору фрагмента и его текстовому отпечатку.
Чтобы облегчить начало поиска, после первого успешного запроса среда автоматически добавляет в отобранный набор восемь заново ранжированных документов с оценкой важности fair. Затем модель повышает оценку сильных документов и удаляет слабые. Таким образом, ей нужно улучшать уже подготовленный набор, а не создавать его с нуля.
Команда выделяет три условия для обучения такой системы: предварительно заполненный отбор документов, компактное представление производного состояния и стимулы, сохраняющие разнообразие поисковых действий. Harness-1 реализует все три.
Обучение
Обучение разделили по тому же принципу, что и функции модели и среды. Контролируемая тонкая настройка (SFT) учит модель пользоваться интерфейсом, а обучение с подкреплением (RL) улучшает поисковые решения на основе поддерживаемого состояния.
В качестве единственного учителя использовали GPT-5.4, работавшую непосредственно в полной среде. После фильтрации для SFT осталось 899 траекторий. Модель обучали три эпохи с помощью LoRA ранга 32. Контрольная точка на шаге 550 стала начальной для RL.
Для RL применили on-policy CISPO: ограничение в 40 ходов и вознаграждение только в конце эпизода. Обучение проводили только на запросах по документам Комиссии по ценным бумагам и биржам США (SEC). Группы с одинаковыми вознаграждениями не учитывались при расчёте градиента. Обучение выполняли на платформе Tinker.
Система вознаграждения отдельно учитывает обнаружение документов и их отбор, а также поощряет разнообразие инструментов. Без этого бонуса агент начинает повторять одни и те же поисковые действия, а полнота отобранных документов останавливается примерно на 0,53. С бонусом разнообразие стабилизируется, а показатель полноты достигает примерно 0,60.
Результаты на тестах
Harness-1 оценили на восьми тестах, охватывающих веб-поиск, финансы, патенты и многошаговые вопросы. Основная метрика — полнота отобранных документов: доля всех релевантных документов теста, которые попали в итоговый набор. Полнота траектории учитывает доказательства, найденные в любой момент эпизода.
| Модель | Категория | Средняя полнота отобранных документов | Средняя полнота траектории |
|---|---|---|---|
| Harness-1 (20B) | Модель с открытыми весами | 0,730 | 0,807 |
| Tongyi DeepResearch 30B | Модель с открытыми весами | 0,616 | 0,673 |
| Context-1 (20B) | Модель с открытыми весами | 0,603 | 0,756 |
| Search-R1 (32B) | Модель с открытыми весами | 0,289 | 0,289 |
| GPT-OSS-20B | Модель с открытыми весами | 0,262 | 0,590 |
| Qwen3 (32B) | Модель с открытыми весами | 0,216 | 0,446 |
| Opus-4.6 | Другая модель сравнения | 0,764 | 0,794 |
| GPT-5.4 | Другая модель сравнения | 0,709 | 0,752 |
| Sonnet-4.6 | Другая модель сравнения | 0,688 | 0,725 |
| Kimi-K2.5 | Другая модель сравнения | 0,647 | 0,794 |
| GPT-OSS-120B | Другая модель сравнения | 0,496 | 0,769 |
В таблице приведены средние результаты по восьми тестам. Модели из второй группы запускали как поисковых агентов в среде Context-1 без дополнительного обучения на этом задании.
Средняя полнота отобранных документов у Harness-1 составила 0,730. Это на 11,4 процентного пункта выше результата ближайшего открытого субагента, Tongyi DeepResearch 30B. Среди испытанных поисковых моделей более высокий средний результат показала только Opus-4.6.
Особенно заметна разница между тестами, близкими к обучающим данным, и отложенными тестами. SFT охватывала четыре семейства тестов, а RL использовало только запросы SEC. На задачах из семейства, использованного при обучении, преимущество Harness-1 над ближайшей открытой моделью составило 7,9 процентного пункта. На четырёх отложенных тестах оно достигло 17,0 пункта — в 2,2 раза больше. Это указывает на перенос освоенных поисковых операций на задачи, далёкие от обучающих данных.
Абляционный анализ также поддерживает роль среды: отключение всех её механизмов уменьшило полноту на BrowseComp+ на 12,2% относительно исходного значения. Обученная модель продолжала искать, но уже не могла ранжировать найденное.
Где может пригодиться подход
Метод рассчитан на поиск доказательств в документах, которые затем используются для подготовки ответа. Он подходит для обзоров научной литературы и патентов: граф доказательств и отобранный набор помогают систематизировать множество источников.
Другой возможный сценарий — анализ финансовой отчётности. В разборе документов SEC система нашла точную дату смены руководителя, сопоставив несколько форм 8-K. Для многошаговой проверки фактов инструменты fan_out_search и verify помогают уточнить неоднозначные сущности до того, как модель сделает вывод. В модульной системе RAG отобранный набор можно передать неизменяемой модели-генератору: более качественный набор документов способен повысить точность ответа.
Сильные стороны и ограничения
Сильные стороны
- Самая высокая средняя полнота в группе открытых поисковых агентов; среди всех испытанных поисковых моделей впереди только Opus-4.6.
- Результаты сохраняются на отложенных тестах, что указывает на перенос поисковых операций между областями.
- Для обучения использовали 4 352 уникальных примера — меньше, чем в нескольких сравниваемых моделях.
- Веса и код среды открыты; модель можно запускать с распространёнными инструментами.
Ограничения
- Граф доказательств строится на извлечении регулярными выражениями, а не на полноценном связывании сущностей.
- Инструмент verify использует языковую модель как посредника и может ошибаться при проверке неоднозначных утверждений.
- Сжатие sentence-BM25 может отбрасывать контекст, зависящий от структуры текста.
- Исследователи приводят точечные оценки без полных доверительных интервалов.
Итог
- Harness-1 — поисковый агент с 20 млрд параметров, который передаёт ведение поискового состояния среде, оставляя модели смысловые решения.
- Его средняя полнота отобранных документов на восьми тестах — 0,730, на 11,4 процентного пункта выше результата ближайшего открытого субагента.
- Среди испытанных поисковых моделей выше средний результат только у Opus-4.6.
- На отложенных тестах преимущество составило 17,0 процентного пункта против 7,9 на задачах из семейств, использованных при обучении.
- Веса и код среды открыты; для запуска подходят vLLM, SGLang и Transformers.