Исследование Perplexity: как отличаются рабочие сессии агента и поиска

Исследователи сопоставили данные двух продуктов Perplexity: разговорного поискового сервиса Search и агента Computer, который планирует и выполняет задачи от начала до конца. В анализ вошли пользовательские сессии, в которых Computer применял инструменты для выполнения действий: запускал код, работал в браузере, записывал файлы или обращался к подключённым сервисам.

Как устроено исследование

Исследование охватывает 90-дневный период и основано на сравнении пар почти одинаковых запросов. Команда отобрала 10 000 пар сессий с косинусным сходством выше 0,99. Одни и те же пользователи работали с обоими продуктами, что позволило сопоставить подходы к похожим задачам.

Авторы также предложили модель затрат, в которой у каждой задачи есть число шагов, а более длинные задачи имеют несколько большую ценность. Для агента предполагаются более высокие фиксированные затраты на делегирование и проверку результата, но меньшая стоимость каждого дополнительного шага. Поэтому для коротких задач может быть выгоднее обычный поиск, а для длинных процессов — агент.

Автономная работа и качество

В среднем Computer выполнял 26 минут машинной работы за сессию, тогда как Search — 33 секунды. Это 48-кратная разница. Медианная продолжительность составляла соответственно 9 минут и 14 секунд. Разрыв зависел от области: для локальных задач он достигал 75 раз, а для науки составлял 26 раз — там часто достаточно обычного ответа.

Качество ответов напрямую не сравнивали. Авторы использовали косвенный показатель неудовлетворённости по последующим действиям пользователей. Значимый показатель неудовлетворённости составил 1,3% для Computer и 2,9% для Search — на 55% меньше у агента.

В сессиях с Computer пользователи чаще переходили к проверке и расширению результата, хотя изменения были небольшими. Заметнее различалось использование подключённых сервисов: хотя бы один такой сервис вызывался в 7,9% сессий Computer и в 1,8% сессий Search. Иными словами, Computer связывал внешние инструменты, которые пользователям Search пришлось бы запускать вручную.

Время и стоимость выполнения задач

Для оценки эффективности исследователи сравнили два сценария на сопоставимых задачах: человек, использующий только Search, и человек, работающий вместе с Computer. Модель авторов дала 269 минут в первом сценарии и 36 минут во втором. Это оценки общего времени выполнения задач, отличные от измеренного машинного времени отдельных сессий. Это соответствует сокращению времени на 87%, а общих затрат — на 94%. Стоимость снижалась сильнее времени, поскольку на результат влияла оплата труда специалистов в разных областях.

При этом модельные затраты на одну задачу у Computer оценивались в 4–10 долларов, а у Search — примерно в 0,05 доллара. В пересчёте на шаг задачи затраты составляли 0,16 доллара для сценария Computer с участием человека и 2,05 доллара для Search с участием человека. Медианная длина запросов в сопоставленных сессиях также была больше у Computer: 652 символа против 448, что согласуется с предположением о более высоких фиксированных затратах агента.

Согласно анализу точки безубыточности, чтобы сравняться с Computer, специалисту нужно выполнить все ручные шаги менее чем за 20 минут. Исследователи проверили оценку с помощью независимого расчёта на основе большой языковой модели и интервью с пользователями. Метод с языковой моделью дал оценку экономии времени в 84%, а затрат — в 93%. Участники интервью сообщали об ускорении от 5 до 300 раз.

Какие задачи выбирают пользователи

Автономность влияла не только на скорость выполнения, но и на то, за какие задачи пользователи брались. Запросы Computer чаще пересекали профессиональные области: средняя доля межпрофессиональных запросов составила 59% против 50% у Search. Наибольший разрыв — 19 процентных пунктов — наблюдался в менеджменте и предпринимательстве.

Задачи для Computer чаще требовали мышления высокого уровня по пересмотренной таксономии Блума: 76% против 55% для Search. Запросы уровня «создание» составляли 50% запросов Computer и 26% запросов Search.

Запросы к Computer затрагивали в среднем 2,40 области знаний по классификации O*NET, а к Search — 1,74. Почти втрое чаще им требовались знания из трёх и более областей. На более детальном уровне классификации Computer охватывал на 60% больше видов деятельности. Около 23% его запросов относились к рабочим задачам, которые те же пользователи ни разу не отправляли в Search. Среди областей, где особенно заметен этот результат, — разработка программного обеспечения и веб-сервисов, документирование и визуализация данных.

Сравнение Perplexity Search и Computer

Показатель Search Computer
Режим работы Разговорный поисковый сервис Агент, координирующий выполнение задач
Машинная работа за сессию 33 секунды; медиана — 14 секунд 26 минут; медиана — 9 минут
Запросов за сессию 2,8 5,3
Значимая неудовлетворённость 2,9% 1,3%
Сессии с вызовом подключённого сервиса 1,8% 7,9%
Расчётное время на задачу с участием человека 269 минут 36 минут
Стоимость шага с участием человека 2,05 доллара 0,16 доллара
Затраты модели на задачу Около 0,05 доллара 4–10 долларов
Доля межпрофессиональных запросов 50% 59%
Запросы, требующие мышления высокого уровня 55% 76%
Областей знаний O*NET на запрос 1,74 2,40

Результаты указывают на разное назначение инструментов: короткие запросы могут оставаться в разговорном поиске, тогда как многошаговые процессы с более высокой ценой ручного выполнения подходят для передачи агенту. В сопоставленной выборке пользователи обращались к Computer с более сложными запросами. Расчётную экономию нельзя переносить на любую задачу без проверки.