Perplexity AI представила на выставке Computex систему, которая автоматически распределяет задачи искусственного интеллекта между устройством пользователя и облачными моделями. Пользователю не нужно заранее выбирать, где именно выполнять задачу. Компания планирует добавить эту функцию в Perplexity Computer; сначала она появится в версии для Windows.
Что такое гибридный агентный инференс
ИИ-системам приходится искать баланс между точностью, конфиденциальностью и эффективностью. Наиболее мощные модели способны решать сложные задачи, но их использование обходится дороже. При этом некоторые данные не должны покидать устройство, а простые задачи нет смысла поручать крупной облачной модели, если с ними справится компактная.
Слой, который распределяет работу между устройством и облаком, Perplexity называет гибридным агентным инференсом. Компактная модель запускается локально и оценивает каждую задачу или её часть: содержит ли она чувствительные данные, требует ли больших вычислительных ресурсов и можно ли выполнить её целиком на устройстве. В зависимости от этой оценки задача остаётся локальной или передаётся облачной модели.
По описанию Perplexity, локальная модель определяет, «когда чувствительные данные также следует оставить на устройстве». Перед отправкой такой задачи в облако система должна запросить разрешение пользователя. Это призвано решить важную для компаний проблему управления данными: понимать, куда они передаются и кто принимает такое решение.
Среди данных, которые система должна оставлять на устройстве, — финансовые документы, медицинская информация и личные файлы. Задачи, требующие возможностей наиболее мощных моделей, выполняются на сервере. Поскольку многие реальные задачи сочетают разные виды работы, система разделяет их на части и координирует выполнение.
Как система связана с Perplexity Computer
Perplexity Computer — облачный агентный продукт компании, который работает с несколькими моделями. Изначально основные вычисления выполнялись в облаке.
Отдельный связанный продукт, Personal Computer, перенёс возможности Computer на устройство пользователя. Он работает с локальными файлами, приложениями для Mac, вебом и защищёнными серверами Perplexity. Версия для Mac уже доступна; поддержку Windows планируют добавить, на момент анонса для неё открыли список ожидания.
Новый гибридный оркестратор расширяет возможности Personal Computer. Раньше разделение было сравнительно фиксированным: доступ к локальным файлам обеспечивался на устройстве, а ресурсоёмкие вычисления выполнялись на серверах Perplexity. Теперь система определяет, где выполнять каждую часть задачи: она выбирает не только модель, но и место обработки.
Perplexity Computer может координировать до 20 моделей ИИ в одном рабочем процессе, объединяя агентов, модели, инструменты и файлы. Гибридный оркестратор добавляет к этой координации выбор места выполнения вычислений.
Главное
- Perplexity представила гибридный оркестратор, который автоматически распределяет ИИ-задачи между устройством и облачными моделями.
- Компактная локальная модель оценивает чувствительность данных и требования к вычислительным ресурсам каждой задачи или её части.
- По описанию компании, локальная модель оценивает чувствительность данных. Для передачи чувствительной задачи в облако предусмотрен запрос согласия.
- Система не привязана к конкретной модели или чипу. Компания подтвердила работу на оборудовании Intel Core Ultra Series 3 и NVIDIA RTX Spark.
- Функцию планируют добавить в Perplexity Computer; первоначально она будет доступна в Windows. На момент анонса Personal Computer работал на Mac; для Windows компания открыла список ожидания.