Саммер Юэ, возможно, работает в сфере безопасности и координации в команде сверхразведки Меты, но даже она признает, что не застрахована от чрезмерной самоуверенности, когда дело касается автономных агентов ИИ.
В сообщении X Monday Юэ описал, как его автономные ИИ-агенты OpenClaw, созданные для локальной работы на компьютере Mac mini, удалили весь его почтовый ящик, игнорируя инструкции сделать паузу и сначала запросить подтверждение.
«Мне пришлось БЕГАТЬ к своему Mac Mini, как будто я обезвреживал бомбу», — сказал он. По его словам, это была «ошибка новичка». По ее словам, рабочий процесс выполнялся в тестовом почтовом ящике, который она использовала для безопасного тестирования агента в течение нескольких недель, но в реальном почтовом ящике агент потерял исходную инструкцию.
Опыт Юэ резко контрастирует с такими вирусными публикациями, как «Революция омаров: почему круглосуточные агенты ИИ просто изменили все», в которых Питер Диамандис утверждает, что постоянно работающий ИИ гораздо более изменчив.
«Позвольте мне рассказать вам, каково это носить это», — написал Диамандис. «Вы просыпаетесь утром, а ваш агент (меня зовут Скиппи, веселый, саркастичный и до абсурда способный) проработал восемь часов, пока вы спали. Он прочитал тысячу страниц продаж. Он систематизировал ваши файлы. Он написал три плана проекта.
«Когда мой Mac mini отключился от сети на шесть часов, я почувствовал отстраненность», — добавил он. «Как будто мой лучший друг исчез».
В совокупности эти противоречивые рассказы о возможностях агентов ИИ отражают напряженность, лежащую в основе нынешнего стремления к «постоянно работающему» ИИ. Поскольку такие инструменты, как OpenClaw и Claude Code, технически позволяют агентам работать в течение длительного времени, растет ажиотаж вокруг идеи искусственного интеллекта, который работает, пока вы спите. Но на практике первые последователи говорят, что автономия остается хрупкой, непредсказуемой и трудоемкой в управлении. Вместо того, чтобы заменять человеческий труд, сегодняшние агенты часто требуют постоянного наблюдения, защитных ограждений и вмешательства, особенно когда ставки выходят за рамки экспериментов с низким уровнем риска.
Агенты ИИ работают лучше всего, когда задачи просты и с низким риском.
Шьямал Анадкат, ранее работавший инженером по прикладному искусственному интеллекту в OpenAI, сказал, что большинству сегодняшних успешных агентов по-прежнему требуются частые человеческие проверки или они ограничиваются четко определенными, узко определенными задачами, хотя он подчеркнул, что это изменится по мере совершенствования методов измерения и оценки.
«Система, точность отдельных этапов которой составляет 95 %, становится хаотичной в автономном рабочем процессе, состоящем из 20 этапов», — сказал Анадкат. «Долгосрочное планирование все еще слабое». В результате, пояснил он, агенты могут хорошо работать в коротких цепочках задач, но имеют тенденцию ломаться, когда их просят управлять сложными, многодневными проектами. Память является еще одним важным ограничением: «У многих агентов память отсутствует или хрупка. Необходимы системы, которые могут поддерживать последовательную модель их контекста, приоритетов и рабочих ограничений».
По словам Йоава Шохама, бывшего главного научного сотрудника Google, почетного профессора Стэнфорда и соучредителя AI21 Labs, это не означает, что обещания агентов ИИ — сплошной дым и зеркала. Но это означает, что существует опасность того, что люди забегут вперед. Нынешние агенты искусственного интеллекта, объяснил он, работают лучше всего, когда задача с низким уровнем риска, расплывчато определена и не допускает ошибок.
«Разработчики любят игрушки, и у нас есть игрушка, которая может делать замечательные вещи», — сказал он Fortune. «Пока то, что они делают, достаточно просто, с низким риском и высокой терпимостью к ошибкам, это нормально». Например, если вы хотите, чтобы ваш агент прочитал 10 000 веб-сайтов и сделал что-то интересное с результатами, чтобы в одночасье предоставить вам фрагменты информации, которые могут быть полезны.
Но для критически важных корпоративных рабочих процессов планка намного выше. Предприятиям нужны системы, которые поддаются проверке, воспроизводимости и экономичности — требования, которые быстро разрушают обещание «установить и забыть» о полностью автономных, постоянно работающих агентах. В высокоструктурированных областях, таких как программирование или математика, более глубокая автоматизация уже возможна. Но для большинства реальных бизнес-процессов, говорит Шохам, работа, необходимая для того, чтобы сделать агентов заслуживающими доверия, часто перевешивает выгоду.
Брет Гринштейн, директор по искусственному интеллекту в консалтинговой фирме West Monroe, отметил, что такие инструменты, как OpenClaw, кажутся переломным моментом, подобным тому, что произошло с генеративным искусственным интеллектом, когда ChatGPT был запущен в 2022 году: он впервые сделал идею агентов искусственного интеллекта доступной. Тем не менее, это не «волшебная пуля», работающая круглосуточно и без выходных.
Возможность делегировать полномочия ИИ-агенту кажется мощной
Тем не менее, нет никаких сомнений в том, что возможность делегировать реальные задачи агенту ИИ очень привлекательна для пользователей, подчеркнул Гринштейн. Он рассказал о своем собственном опыте, когда поручил ИИ-агенту рутинную задачу собрать его одежду в химчистку и наблюдать, как он молча выполняет работу от начала до конца.
«OpenClaw настроен таким образом, что он не должен быть безопасным для большинства людей», — сказал Гринштейн. «Он все еще не кажется достаточно зрелым, чтобы стать надежной частью нашей жизни». Чтобы ИИ был принят в повседневную жизнь или бизнес-операции, добавил он, он должен со временем завоевать доверие, так же, как доверие устанавливается в обществе.
Тем не менее, спрос уже очевиден. Гринштейн рассказал о первых отраслевых встречах, посвященных OpenClaw, и быстром появлении, которое он назвал необычным для такого молодого инструмента. «Это показывает, что люди жаждут действительно полезного ИИ», — сказал он: систем, которые выходят за рамки ответов на вопросы и начинают действовать.
Аарон Леви, генеральный директор компании Box, занимающейся облачным управлением контентом и совместной работой, назвал то, что происходит сейчас с агентами ИИ, «небольшими проблесками» того, что может произойти в будущем.
«Некоторые вспышки в конечном итоге не проявляются, другие просто становятся стандартом», — объяснил он, отметив, что два года назад компания Cognition, занимающаяся искусственным интеллектом, представила одного из первых агентов под названием Devin, который будет интегрироваться со Slack для делегирования задач, исправления ошибок, анализа данных и проверки кода. В то время это все еще считалось футуристическим, но сегодня «никого не смущает, что это стандартная практика», сказал он. «Вы можете просто использовать Slack Claude Code, чтобы начать работать над чем-то; то, что казалось совершенно безумной идеей, теперь фактически является стандартом для любой современной команды разработчиков».
Но хотя агенты ИИ становятся очень хороши в автоматизации конкретных, дискретных задач, они по-прежнему плохо справляются с более широкой, контекстно-зависимой работой, составляющей большинство рабочих мест, подчеркнул Леви. Агенты ИИ могут полностью автоматизировать некоторые задачи, но с остальными им приходится сталкиваться, включая управление взаимоотношениями и участие в собраниях.
«Когда вы слышите, как лаборатория искусственного интеллекта говорит, что мы собираемся автоматизировать всю интеллектуальную работу за 24 месяца, это обычно очень узкое определение рабочих мест», — сказал он. «Определение того, что может делать агент, не совпадает с определением того, какую работу нанимают в экономике».
Фактор доверия имеет значение, когда что-то может пойти не так
Авинаш Вооткури, специалист по данным крупного ритейлера из списка Fortune 500, сказал, что большинству корпоративных ИИ-агентов «абсолютно нужна няня» и на данный момент они могут работать только в корпоративных средах со строго ограниченной автономией и обширными ограждениями. «На карту поставлено очень многое», — пояснил он.
Например, он описал создание агентской системы для корпоративной кибербезопасности, в которой агенты ИИ не просто вызывают оповещения и ждут проверки человеком, но и активно их исследуют. Вместо того, чтобы забрасывать аналитиков тысячами предупреждений, агенты собирают доказательства в режиме реального времени — запрашивая базы данных разведки угроз, анализируя поведенческие модели и отфильтровывая ложные срабатывания, — прежде чем решить, требует ли ситуация эскалации.
Система опирается на строго ограниченную автономию и обширные барьеры безопасности, что снижает рабочую нагрузку на человека без устранения контроля.
В сфере кибербезопасности, пояснил он, если агент допускает ошибку, последствия немедленные и серьезные. «ИИ блокирует законных клиентов (что приводит к огромной потере доходов) или позволяет сложному злоумышленнику проникнуть в сеть», — сказал он. «Это абсолютно важно, если что-то пойдет не так».
По словам Брианны Уайтхед, которая руководит консалтинговой компанией по операциям с искусственным интеллектом и создает системы на основе искусственного интеллекта для руководителей и основателей, отрасль находится на «фазе калибровки доверия».
Агенты ИИ могут делать больше, чем им позволяет большинство людей, но меньше, чем предлагает реклама.
«Настоящее мастерство — это не обучение агента, а планирование трансфера», — объяснил он. «Большинство людей слишком доверяют агентам и в конечном итоге наводят порядок или контролируют каждый результат на микроуровне и задаются вопросом, почему ИИ кажется более трудоёмким, а не меньшим». Идея, по его словам, состоит в том, чтобы разработать четкие точки передачи, где что-то может быть полностью делегировано, что-то может быть быстро рассмотрено, в то время как выполнение другой задачи остается только для людей.
На данный момент мечта может быть недостижимой при работе с агентами ИИ.
На данный момент работа с агентами ИИ, возможно, связана не столько со сном во время работы, сколько с полубодрствованием во время работы. Такие инструменты, как OpenClaw, могут работать часами, но для многих ранних пользователей эта автономия сопровождается новым видом бдительности: проверка журналов, просмотр результатов и вмешательство, прежде чем что-то пойдет не так.
Эта динамика была отражена в недавнем вирусном посте под названием Token Anxiety, в котором инвестор Никундж Котари описал друга, который рано ушел с вечеринки не потому, что устал, а потому, что хотел вернуться к своим агентам. «Никто больше не сомневается в этом», — написал Котари. «Половина зала думает так же. Другая половина, вероятно, проверяет успехи своих агентов. На вечеринке».
Мечта об искусственном интеллекте, который работает, пока вы спите, может стать реальностью. Но на данный момент это все еще не дает уснуть многим людям.
