«Я чувствую себя очень некомфортно»: генеральный директор Anthropic предупреждает, что группа лидеров ИИ, включая его самого, не должна отвечать за будущее технологии | Удача

Дата:

Генеральный директор Anthropic Дарио Амодей не считает, что именно он должен принимать решения о барьерах, окружающих ИИ.

«Я думаю, что мне очень неудобно, когда эти решения принимаются несколькими компаниями и несколькими людьми», — сказал Амодей. «И это одна из причин, почему я всегда выступал за ответственное и продуманное регулирование технологий».

«Кто выбрал вас и Сэма Альтмана?» – спросил Купер.

«Никто. Честно говоря, никто», — ответил Амодей.

Он добавил, что Anthropic придерживается философии прозрачности в отношении ограничений (и опасностей) ИИ по мере его дальнейшего развития. Перед публикацией интервью компания заявила, что предотвратила «первый задокументированный случай крупномасштабной кибератаки с использованием искусственного интеллекта, осуществленной без существенного вмешательства человека».

На прошлой неделе Anthropic заявила, что пожертвовала 20 миллионов долларов в фонд Public First Action, супер-PAC, занимающийся безопасностью и регулированием ИИ, и выступает прямо против супер-PAC, поддерживаемых конкурирующими инвесторами OpenAI.

«Безопасность ИИ остается в центре внимания на самом высоком уровне», — сказал Амодей журналу Fortune в январской статье. «Компании ценят доверие и надежность», — говорит он.

Не существует федеральных правил, устанавливающих запреты на использование ИИ или обеспечивающих безопасность этой технологии. Хотя в этом году все 50 штатов приняли законы, связанные с ИИ, а 38 приняли или приняли меры прозрачности и безопасности, эксперты технологической отрасли призвали компании, занимающиеся ИИ, безотлагательно заняться вопросами кибербезопасности.

В начале прошлого года эксперт по кибербезопасности и генеральный директор Mandiant Кевин Мандиат предупредил о первой кибератаке со стороны агента искусственного интеллекта, которая произойдет в ближайшие 12–18 месяцев, а это означает, что раскрытие Anthropic предотвращенной атаки на несколько месяцев опережает ожидаемые сроки Mandia.

Амодей обрисовал кратко-, средне- и долгосрочные риски, связанные с неограниченным ИИ: технология в первую очередь приведет к предвзятости и дезинформации, как это происходит сейчас. Затем он будет генерировать вредоносную информацию, используя расширенные научные и инженерные знания, прежде чем, наконец, представлять экзистенциальную угрозу, устраняя человеческую активность, потенциально становясь слишком автономными и блокируя людей от систем.

Эти опасения отражают опасения «крестного отца ИИ» Джеффри Хинтона, который предупредил, что ИИ будет способен перехитрить и контролировать людей, возможно, в течение следующего десятилетия.

Необходимость более тщательного контроля и защиты ИИ легла в основу основания Anthropic в 2021 году. Амодей ранее был вице-президентом по исследованиям в OpenAI Сэма Альтмана. Он покинул компанию из-за разногласий по вопросам безопасности ИИ. (До сих пор усилия Amodei по конкуренции с Альтманом казались эффективными: в этом месяце Anthropic заявила, что сейчас ее стоимость оценивается в 380 миллиардов долларов. OpenAI оценивается примерно в 500 миллиардов долларов.)

«В OpenAI была группа людей, у которых после создания GPT-2 и GPT-3 была очень сильная вера в две вещи», — рассказал Амодей журналу Fortune в 2023 году. «Одной из них была идея о том, что если в эти модели вкладывать больше вычислений, они будут становиться все лучше и лучше, и что этому почти нет конца… А второй была идея, что вам нужно что-то помимо простого масштабирования моделей, а именно выравнивание или безопасность».

Усилия Anthropic по обеспечению прозрачности

Продолжая расширять инвестиции в центры обработки данных, Anthropic приложила некоторые усилия для устранения пробелов и угроз в сфере искусственного интеллекта. В отчете о безопасности за май 2025 года Anthropic сообщила, что некоторые версии ее модели Opus угрожали шантажом, например, раскрытием того, что у инженера был роман, чтобы избежать закрытия. Компания также заявила, что модель ИИ выполняла опасные запросы, если ей давались вредные указания, например, как спланировать террористическую атаку, которую, по ее словам, она уже исправила.

В ноябре прошлого года компания сообщила в своем блоге, что ее чат-бот Клод получил рейтинг политической беспристрастности 94%, превзойдя или совпав с конкурентами по нейтральности.

В дополнение к собственным исследовательским усилиям Anthropic по борьбе с технологической коррупцией, Амодей призвал к активизации законодательных усилий по устранению рисков, связанных с ИИ. В статье New York Times в июне 2025 года он раскритиковал решение Сената включить в законопроект президента Дональда Трампа положение, которое наложит 10-летний мораторий на штаты, регулирующие ИИ.

«ИИ движется слишком быстро», — сказал Амодей. «Я думаю, что эти системы могут фундаментально изменить мир за два года; за 10 лет все ставки сделаны».

Критика Антропо

Практика Anthropic, указывающая на собственные ошибки, и усилия по их устранению вызвали критику. В ответ на то, что Anthropic забила тревогу по поводу атаки на кибербезопасность с использованием искусственного интеллекта, тогдашний главный ученый Meta в области искусственного интеллекта Янн ЛеКун заявил, что предупреждение было способом манипулировать законодателями, чтобы они ограничили использование моделей с открытым исходным кодом.

«Вас вводят в заблуждение люди, которые хотят контроля со стороны регулирующих органов», — сказал ЛеКан в посте X в ответ на сообщение сенатора от Коннектикута Криса Мерфи, выражающего обеспокоенность по поводу атаки. «Они пугают всех сомнительными исследованиями, чтобы модели с открытым исходным кодом были исключены из существования».

Другие говорят, что стратегия Anthropic — это «театр безопасности», который представляет собой хороший брендинг, но не дает никаких обещаний по внедрению гарантий в технологии.

Даже некоторые сотрудники Anthropic, похоже, сомневаются в способности технологической компании регулировать себя. В начале прошлой недели исследователь безопасности Anthropic AI Мринанк Шарма объявил о своем уходе из компании, заявив: «Мир в опасности».

«За время моего пребывания здесь я неоднократно видел, как трудно позволить нашим ценностям управлять нашими действиями», — написал Шарма в своем заявлении об отставке. «Я видел это внутри себя, внутри организации, где мы постоянно сталкиваемся с давлением, заставляющим отложить в сторону самое важное, а также во всем обществе».

Anthropic не сразу ответил на просьбу Fortune о комментариях.

Amodei отрицал Куперу, что Anthropic занимается «театром безопасности», но признался в выпуске подкаста Dwarkesh на прошлой неделе, что компания иногда изо всех сил пытается сбалансировать безопасность и прибыль.

«Мы находимся под невероятным давлением со стороны бизнеса, и мы усложняем себе задачу, потому что у нас есть все эти меры безопасности, которые мы делаем, и я думаю, что мы делаем больше, чем другие компании», — сказал он.

Версия этой истории появилась на сайте Fortune.com 17 ноября 2025 года.

Подробнее о регулировании ИИ:

Website |  + posts

Поделиться публикацией:

spot_imgspot_img

Популярный

Больше похожего
Связанный

Основательница представляет Конгрессу «выигрышную» борьбу за здоровье женщин | Удача

Алекс Тейлор по профессии не лоббист и не политик,...