Представьте, что вы просите агента ИИ конвертировать 10 000 долларов США в канадские доллары в конце дня. Агент выполняет это… плохо. Вы неправильно интерпретируете параметры, делаете несанкционированную ставку с кредитным плечом, и ваш капитал испаряется. Кто несет ответственность? Кто вам платит?
Сейчас никто этого делать не обязан. И это, как утверждает группа исследователей, является уязвимостью, которая определяет эпоху агентного ИИ.
В статье, опубликованной 8 апреля, исследователи из Microsoft Research, Колумбийского университета, Google DeepMind, Virtuals Protocol и AI-стартапа t54 Labs предложили широкую новую структуру финансовой защиты под названием «Стандарт агентского риска» (ARS), предназначенную для того, чтобы делать для агентов ИИ то же, что условное депонирование, страхование и клиринговые палаты делают для традиционных финансовых транзакций. Стандарт имеет открытый исходный код и доступен на GitHub через t54 Labs.
Вероятностная проблема
Основная проблема, которую определяет команда, — это то, что они называют «разрывом в гарантиях», который они определяют как «разрыв между вероятностной надежностью, обеспечиваемой методами безопасности ИИ, и осуществимыми гарантиями, которые необходимы пользователям перед делегированием задач с высоким уровнем риска». Это описание перекликается с тем, что эксперт по лидерству Джейсон Уайлд ранее рассказал Fortune о том, что инструменты ИИ являются вероятностными и сбивают с толку менеджеров во всем мире. «Не имея возможности ограничить потенциальные потери, — пишет команда t54, — пользователи рационально ограничивают делегирование ИИ задачами с низким уровнем риска, ограничивая более широкое внедрение агентских сервисов».
Они утверждают, что улучшения безопасности на уровне модели могут снизить вероятность сбоя ИИ, но не могут его устранить. Большие языковые модели по своей сути стохастические, а это означает, что независимо от того, насколько хорошо обучен или настроен агент ИИ, он все равно может галлюцинировать и совершать ошибки. Когда этот брокер контролирует ваш брокерский счет или выполняет вызовы финансового API, даже единичный сбой может привести к немедленным, осознанным убыткам.
«Более надежные исследования в области ИИ направлены на снижение вероятности неудачи», — сказал Вэньюэ Хуа, главный исследователь Microsoft Research. «Эта работа важна, но вероятность не является гарантией. ARS использует дополнительный подход: вместо того, чтобы пытаться сделать модель идеальной, мы финансово формализуем то, что происходит, когда это не так. В результате получается протокол расчетов, в котором защита пользователей является детерминированной, а не вероятностной».
Решение исследователя основано непосредственно на многовековой финансовой инженерии. ARS вводит многоуровневую структуру расчетов: хранилища условного депонирования, в которых хранятся сборы за услуги и которые освобождаются только после выполнения проверенных задач; дополнительные требования, которые поставщики услуг ИИ должны опубликовать перед доступом к средствам пользователей; и необязательная подписка: третья сторона, принимающая на себя риск, которая оценивает опасность сбоя ИИ, взимает премию и соглашается возместить пользователю, если что-то пойдет не так.
В этой структуре различаются два типа должностей ИИ. Стандартные сервисные задачи (создание слайд-шоу, написание отчета) несут ограниченные финансовые риски, поэтому расчет на основе условного депонирования достаточен. Задачи, связанные с обменом средств (торговля на Форекс, позиции с кредитным плечом, вызовы финансового API), требуют, чтобы агент получил доступ к капиталу пользователя, прежде чем результаты могут быть проверены, и именно здесь подписка становится необходимой. Это та же самая логика, которая управляет рынками деривативов, где клиринговые палаты размещаются между контрагентами, чтобы избежать каскадного возникновения единого дефолта.
В документе в таблице прямо связывается ARS с существующими отраслями распределения рисков: в строительстве используются гарантийные обязательства, в электронной коммерции используются условное депонирование платформ, на финансовых рынках используются маржинальные требования и клиринговые палаты, а в DeFi используется обеспечение на основе смарт-контрактов. Исследователи утверждают, что ИИ-агенты — это просто следующая категория сервисов высокого риска, которым нужна собственная версия этой инфраструктуры.
Момент решающий
Финансовые регуляторы уже кружат. В отчете регуляторного надзора FINRA за 2026 год, опубликованном в декабре, впервые был включен раздел о генеративном искусственном интеллекте, предупреждающий брокеров-дилеров о необходимости разработки процедур, специально нацеленных на галлюцинации, и изучения агентов ИИ, которые могут действовать «выходя за рамки фактического или предполагаемого объема и полномочий пользователя». SEC и другие агентства внимательно наблюдают за этим.
Но ARS представлен как нечто, что регуляторы еще не создали: не набор правил, а протокол: стандартизированный государственный автомат, который управляет тем, как блокируются средства, как подаются претензии и как происходит возврат средств в случае сбоя агента ИИ. Исследователи признают, что ARS — это один из уровней более крупного стека доверия, и что настоящим узким местом будет построение точных моделей ценообразования за риск для поведения агентов.
«Этот документ является первым шагом в создании высокоуровневой структуры для отражения сквозного процесса, связанного с транзакциями автономных агентов, и того, как выглядит оценка рисков», — сказал Фанг Fortune. «Позже нам следует представить более конкретные детали, модели и другие исследования, чтобы понять, как мы рассчитываем риск в различных случаях использования».
