Исследователи сопоставили данные двух продуктов Perplexity: разговорного поискового сервиса Search и агента Computer, который планирует и выполняет задачи от начала до конца. В анализ вошли пользовательские сессии, в которых Computer применял инструменты для выполнения действий: запускал код, работал в браузере, записывал файлы или обращался к подключённым сервисам.
Как устроено исследование
Исследование охватывает 90-дневный период и основано на сравнении пар почти одинаковых запросов. Команда отобрала 10 000 пар сессий с косинусным сходством выше 0,99. Одни и те же пользователи работали с обоими продуктами, что позволило сопоставить подходы к похожим задачам.
Авторы также предложили модель затрат, в которой у каждой задачи есть число шагов, а более длинные задачи имеют несколько большую ценность. Для агента предполагаются более высокие фиксированные затраты на делегирование и проверку результата, но меньшая стоимость каждого дополнительного шага. Поэтому для коротких задач может быть выгоднее обычный поиск, а для длинных процессов — агент.
Автономная работа и качество
В среднем Computer выполнял 26 минут машинной работы за сессию, тогда как Search — 33 секунды. Это 48-кратная разница. Медианная продолжительность составляла соответственно 9 минут и 14 секунд. Разрыв зависел от области: для локальных задач он достигал 75 раз, а для науки составлял 26 раз — там часто достаточно обычного ответа.
Качество ответов напрямую не сравнивали. Авторы использовали косвенный показатель неудовлетворённости по последующим действиям пользователей. Значимый показатель неудовлетворённости составил 1,3% для Computer и 2,9% для Search — на 55% меньше у агента.
В сессиях с Computer пользователи чаще переходили к проверке и расширению результата, хотя изменения были небольшими. Заметнее различалось использование подключённых сервисов: хотя бы один такой сервис вызывался в 7,9% сессий Computer и в 1,8% сессий Search. Иными словами, Computer связывал внешние инструменты, которые пользователям Search пришлось бы запускать вручную.
Время и стоимость выполнения задач
Для оценки эффективности исследователи сравнили два сценария на сопоставимых задачах: человек, использующий только Search, и человек, работающий вместе с Computer. Модель авторов дала 269 минут в первом сценарии и 36 минут во втором. Это оценки общего времени выполнения задач, отличные от измеренного машинного времени отдельных сессий. Это соответствует сокращению времени на 87%, а общих затрат — на 94%. Стоимость снижалась сильнее времени, поскольку на результат влияла оплата труда специалистов в разных областях.
При этом модельные затраты на одну задачу у Computer оценивались в 4–10 долларов, а у Search — примерно в 0,05 доллара. В пересчёте на шаг задачи затраты составляли 0,16 доллара для сценария Computer с участием человека и 2,05 доллара для Search с участием человека. Медианная длина запросов в сопоставленных сессиях также была больше у Computer: 652 символа против 448, что согласуется с предположением о более высоких фиксированных затратах агента.
Согласно анализу точки безубыточности, чтобы сравняться с Computer, специалисту нужно выполнить все ручные шаги менее чем за 20 минут. Исследователи проверили оценку с помощью независимого расчёта на основе большой языковой модели и интервью с пользователями. Метод с языковой моделью дал оценку экономии времени в 84%, а затрат — в 93%. Участники интервью сообщали об ускорении от 5 до 300 раз.
Какие задачи выбирают пользователи
Автономность влияла не только на скорость выполнения, но и на то, за какие задачи пользователи брались. Запросы Computer чаще пересекали профессиональные области: средняя доля межпрофессиональных запросов составила 59% против 50% у Search. Наибольший разрыв — 19 процентных пунктов — наблюдался в менеджменте и предпринимательстве.
Задачи для Computer чаще требовали мышления высокого уровня по пересмотренной таксономии Блума: 76% против 55% для Search. Запросы уровня «создание» составляли 50% запросов Computer и 26% запросов Search.
Запросы к Computer затрагивали в среднем 2,40 области знаний по классификации O*NET, а к Search — 1,74. Почти втрое чаще им требовались знания из трёх и более областей. На более детальном уровне классификации Computer охватывал на 60% больше видов деятельности. Около 23% его запросов относились к рабочим задачам, которые те же пользователи ни разу не отправляли в Search. Среди областей, где особенно заметен этот результат, — разработка программного обеспечения и веб-сервисов, документирование и визуализация данных.
Сравнение Perplexity Search и Computer
| Показатель | Search | Computer |
|---|---|---|
| Режим работы | Разговорный поисковый сервис | Агент, координирующий выполнение задач |
| Машинная работа за сессию | 33 секунды; медиана — 14 секунд | 26 минут; медиана — 9 минут |
| Запросов за сессию | 2,8 | 5,3 |
| Значимая неудовлетворённость | 2,9% | 1,3% |
| Сессии с вызовом подключённого сервиса | 1,8% | 7,9% |
| Расчётное время на задачу с участием человека | 269 минут | 36 минут |
| Стоимость шага с участием человека | 2,05 доллара | 0,16 доллара |
| Затраты модели на задачу | Около 0,05 доллара | 4–10 долларов |
| Доля межпрофессиональных запросов | 50% | 59% |
| Запросы, требующие мышления высокого уровня | 55% | 76% |
| Областей знаний O*NET на запрос | 1,74 | 2,40 |
Результаты указывают на разное назначение инструментов: короткие запросы могут оставаться в разговорном поиске, тогда как многошаговые процессы с более высокой ценой ручного выполнения подходят для передачи агенту. В сопоставленной выборке пользователи обращались к Computer с более сложными запросами. Расчётную экономию нельзя переносить на любую задачу без проверки.
