Системы управления, которые руководители создавали десятилетиями, были созданы для людей. Агенты ИИ — не люди, и разрыв между этими двумя фактами — это то место, где бизнес-риски накапливаются быстрее всего.
За последний год организации были вынуждены признать тот факт, что ИИ внедряется быстрее, чем им можно управлять. Растущее использование теневого ИИ обнажает пробелы в отношении того, кто или что может действовать. Наше последнее исследование показывает, что 91% организаций уже используют агенты ИИ, но только 10% имеют четкую стратегию управления ими.
Агенты ИИ теперь являются операторами, действующими самостоятельно, без необходимости участия человека-менеджера.
Эти автономные цифровые субъекты могут анализировать данные, инициировать рабочие процессы и действовать внутри компаний. Но хотя преимущества скорости, масштаба и производительности легко увидеть, смена власти менее очевидна.
Реальная угроза при внедрении искусственного интеллекта на предприятиях заключается не в том, насколько умны агенты, а в том, сколько полномочий делегируют им руководители. Речь идет о правах принятия решений и о том, что происходит, когда полномочия делегируются системам, которые организации не могут полностью видеть, а тем более контролировать.
В конечном счете, риск заключается не в том, что агенты ИИ будут вести себя злонамеренно. Скорее, они будут вести себя точно так, как настроено, в системах, которые никогда не были предназначены для учета нечеловеческих личностей.
В течение многих лет компании создавали модели безопасности для работников-людей. Сотрудников нанимают, аттестуют, контролируют и в конечном итоге увольняют, когда они уходят. Управление идентификацией делает это возможным: с его помощью организации проверяют, кем являются сотрудники, к чему они могут подключаться и что им разрешено делать.
Агенты ИИ ломают эту модель. Они не входят в систему в 9:00 утра и не выходят из системы в 17:00. Они непрерывно работают в нескольких системах и облачных средах. Они могут восстановить конфиденциальные данные, активировать финансовые процессы или принять решения по работе с клиентами за считанные секунды.
Однако компании по-прежнему рассматривают агентов как фоновое программное обеспечение, а не как действующих лиц, обладающих реальными полномочиями.
Недавнее исследование Gravitee, платформы управления API, показало, что только 22% организаций рассматривают ИИ-агентов как независимые личности, хотя почти 90% компаний сообщают о предполагаемых или подтвержденных инцидентах безопасности с участием ИИ-агентов.
Рассмотрим распространенный сценарий: компания внедряет внутреннего ИИ-агента для оптимизации управления сотрудниками. Работник просит агента предоставить отпуск, обновить данные о заработной плате и уведомить своего менеджера. Агент автоматически подключается к системам управления персоналом, финансовым платформам и инструментам совместной работы для выполнения запроса.
Подумайте, к скольким системам должен получить доступ агент, чтобы выполнить запрос. Какие разрешения у вас есть? Какие точки доступа вы используете или потенциально оставляете открытыми? Что произойдет, если что-то пойдет не так?
Повышение эффективности реально. Но если каждый шаг не регулируется четкими проверками личности, компания может не знать точно, какие полномочия делегируются и как вмешаться в случае возникновения проблемы.
Вот почему разрыв в идентичности является проблемой лидерства, а не только технической.
Традиционные модели доступа предполагают относительно стабильные роли и предсказуемое поведение человека. Агенты ИИ действуют посредством динамических задач и делегированных полномочий. Им могут потребоваться очень конкретные временные разрешения для выполнения одного действия и немедленного перехода к следующему рабочему процессу.
Без возможности постоянно проверять и санкционировать каждый шаг организации рискуют накопить растущую популяцию нечеловеческих субъектов с широким и постоянным доступом (который во многих случаях никогда не предоставлялся намеренно) к критически важным системам.
Мы уже наблюдаем, как это происходит, поскольку организации начинают развертывать сгенерированный искусственным интеллектом код и автоматизированные действия в реальных средах, часто быстрее, чем могут справиться модели управления. Недавние инциденты, такие как взлом чат-бота McDonald’s, когда из-за слабых средств контроля были раскрыты миллионы записей кандидатов, или когда агент шифрования искусственного интеллекта в Replit удалил действующую производственную базу данных, показывают, как быстро эти нарушения могут обернуться настоящей катастрофой.
Агент искусственного интеллекта, настроенный для оптимизации решений в цепочке поставок, может инициировать крупномасштабные закупочные обязательства. Агент службы поддержки клиентов может раскрыть конфиденциальную информацию об учетной записи. Агент финансовой отчетности может распространять конфиденциальную информацию из нескольких источников среди широких слоев населения.
Все эти случаи возникли бы из-за плохо управляемой автономии.
Регуляторы начинают действовать. На некоторых рынках, таких как Сингапур и Австралия, политики подчеркивают, что организации несут ответственность за свои автоматизированные системы.
Это создает проблему соблюдения требований для бизнес-лидеров. Как доказать, какая система инициировала принятие решения? Как вы можете продемонстрировать, что доступ был надлежащим на момент совершения действия? Как приостановить или отозвать полномочия, если агент ведет себя неожиданно?
Чтобы защитить агентов ИИ, организации должны быть в состоянии ответить на три фундаментальных вопроса: где находятся мои агенты, к чему они могут подключаться и что им разрешено делать?
К счастью, компаниям не нужно изобретать велосипед. У них уже есть необходимые методы управления агентами ИИ: руководителям просто нужно относиться к ним более или менее так же, как они относятся к сотрудникам-людям.
На практике это означает применение установленных правил безопасности труда в новом эксплуатационном контексте. Организациям необходимо управление жизненным циклом агентов. Им необходимо определить объем и продолжительность своих разрешений, постоянно контролировать деятельность и требовать расширенного разрешения на действия с высоким уровнем риска. Вместо широкого и длительного доступа агенты должны работать с одноразовыми учетными данными, привязанными к конкретным задачам.
Организации, которые добьются успеха во внедрении ИИ, не будут теми, которые внедряют больше всего ИИ, или даже теми, которые внедряют самый интеллектуальный ИИ. Это будут те, кто четко заявит, что уполномочен действовать, и надежным способом это докажет. Именно так ИИ перестает быть экспериментом (или риском) и становится настоящим активом.
Мнения, выраженные в комментариях Fortune.com, являются исключительно точками зрения их авторов и не обязательно отражают мнения и убеждения Fortune.
