«Быстрое внедрение, такое как мошенничество и социальная инженерия в сети, вряд ли когда-либо будет полностью «решено», — написал OpenAI в своем блоге в понедельник, добавив, что «режим агента» в ChatGPT Atlas «расширяет поверхность угроз безопасности».
OpenAI заявила, что цель состоит в том, чтобы пользователи «имели возможность доверять агенту ChatGPT», а директор по информационной безопасности Дэйн Стаки добавил, что компания надеется достичь этого путем «значительных инвестиций в автоматизированные красные команды, обучение с подкреплением и циклы быстрого реагирования, чтобы оставаться впереди наших противников».
«Мы оптимистичны в отношении того, что упреждающий и высокочувствительный цикл быстрого реагирования может продолжать существенно снижать реальные риски с течением времени», — заявили в компании.
Борьба с ИИ с помощью ИИ
Подход OpenAI к проблеме заключается в использовании собственного злоумышленника на базе искусственного интеллекта, по сути, робота, обученного посредством обучения с подкреплением действовать как хакер, ищущий способы передачи вредоносных инструкций агентам искусственного интеллекта. Бот может тестировать атаки в моделировании, наблюдать, как отреагирует целевой ИИ, затем совершенствовать свой подход и повторять попытки снова и снова.
«Наш обученный злоумышленник (обучение с подкреплением) может помочь агенту выполнить сложные и разрушительные долгосрочные рабочие процессы, которые разворачиваются в течение десятков (или даже сотен) шагов», — пишет OpenAI. «Мы также заметили новые стратегии атак, которые не фигурировали в нашей совместной кампании или внешних отчетах».
Однако некоторые эксперты по кибербезопасности скептически относятся к тому, что подход OpenAI может решить фундаментальную проблему.
«Меня беспокоит то, что мы пытаемся адаптировать одну из наиболее чувствительных к безопасности частей потребительского программного обеспечения с помощью технологии, которая по-прежнему является вероятностной, непрозрачной и которой легко манипулировать тонкими способами», — сказал Fortune Чарли Эриксен, исследователь безопасности из Aikido Security.
«Красная команда и поиск уязвимостей на основе искусственного интеллекта могут обнаружить очевидные недостатки, но они не меняют основную динамику. Пока у нас не будет более четких ограничений на то, что эти системы могут делать и какие инструкции они должны выполнять, разумно скептически относиться к тому, что этот компромисс имеет смысл для обычных пользователей прямо сейчас», — сказал он. «Я думаю, что быстрая инъекция останется проблемой в долгосрочной перспективе… Можно даже утверждать, что это особенность, а не ошибка».
Игра в кошки-мышки
Исследователи безопасности также ранее сообщили Fortune, что, хотя многие риски кибербезопасности, по сути, представляют собой постоянную игру в кошки-мышки, глубокий доступ, который необходим агентам ИИ (например, пароли пользователей и разрешение выполнять действия от имени пользователя), представляет собой настолько уязвимую возможность угрозы, что было неясно, стоят ли его преимущества такого риска.
«Вот что делает браузеры с искусственным интеллектом фундаментально рискованными», — сказал Эриксен. «Мы делегируем полномочия системе, которая не была разработана с жесткой изоляцией или четкой моделью разрешений. Традиционные браузеры по умолчанию рассматривают Интернет как ненадежный. Браузеры-агенты стирают эту грань, позволяя контенту формировать поведение, а не просто отображать его».
OpenAI рекомендует пользователям давать агентам конкретные инструкции, а не предоставлять широкий доступ с расплывчатыми инструкциями типа «предпринять необходимые действия». Браузер также имеет дополнительные функции безопасности, такие как «режим выхода из системы», который позволяет пользователям использовать его, не сообщая пароли, и «режим наблюдения», который представляет собой функцию безопасности, требующую от пользователя явного подтверждения конфиденциальных действий, таких как отправка сообщений или осуществление платежей.
«Большая свобода действий позволяет скрытому или вредоносному контенту легче влиять на агента, даже при наличии мер безопасности», — говорится в сообщении OpenAI в блоге.
