OpenAI ищет нового сотрудника, который поможет справиться с растущими опасностями искусственного интеллекта, и технологическая компания готова потратить более полумиллиона долларов, чтобы заполнить эту вакансию.
OpenAI нанимает «главного специалиста по обеспечению готовности», чтобы уменьшить вред, связанный с этой технологией, например, психическое здоровье пользователей и кибербезопасность, написал генеральный директор Сэм Альтман в субботнем посте X. Согласно объявлению о вакансии, за эту должность будут платить 555 000 долларов в год плюс акционерный капитал.
«Это будет напряженная работа, и вы почти сразу же окажетесь в самом конце», — сказал Альтман.
Стремление OpenAI нанять руководителя службы безопасности происходит на фоне растущей обеспокоенности компаний по поводу рисков, которые ИИ может нанести операционной деятельности и репутации. Ноябрьский анализ ежегодных заявок в Комиссию по ценным бумагам и биржам, проведенный компанией AlphaSense, занимающейся финансовыми данными и аналитикой, показал, что за первые 11 месяцев года 418 компаний с капиталом не менее 1 миллиарда долларов указали на репутационный ущерб, связанный с факторами риска ИИ. Эти угрожающие репутации риски включают в себя наборы данных ИИ, которые показывают предвзятую информацию или ставят под угрозу безопасность. Согласно анализу, количество сообщений о репутационном ущербе, связанном с ИИ, увеличилось на 46% с 2024 года.
«Модели быстро совершенствуются и теперь способны делать много замечательных вещей, но они также начинают представлять собой некоторые реальные проблемы», — сказал Альтман в своем сообщении в социальной сети.
«Если вы хотите помочь миру понять, как снабдить защитников кибербезопасности передовыми возможностями, гарантируя, что злоумышленники не смогут использовать их для причинения вреда, в идеале, сделав все системы более безопасными, а также как мы раскрываем биологические возможности и даже обретаем уверенность в безопасности работающих систем, которые могут самосовершенствоваться, пожалуйста, рассмотрите возможность подать заявку», — добавил он.
Бывший руководитель отдела готовности OpenAI Александр Мадри в прошлом году был переведен на должность, связанную с рассуждениями ИИ, причем безопасность ИИ является сопутствующей частью его работы.
Усилия OpenAI по устранению опасностей ИИ
Основанная в 2015 году как некоммерческая организация с намерением использовать ИИ для улучшения и пользы человечества, OpenAI, по мнению некоторых из ее бывших лидеров, изо всех сил пыталась расставить приоритеты в своей приверженности разработке безопасных технологий. Бывший вице-президент компании по исследованиям Дарио Амодей вместе со своей сестрой Даниэлой Амодей и несколькими другими исследователями покинули OpenAI в 2020 году, отчасти из-за опасений, что компания ставит коммерческий успех выше безопасности. В следующем году Амодей основал Anthropic.
В этом году OpenAI столкнулась с несколькими судебными исками о неправомерной смерти, утверждая, что ChatGPT поощряет заблуждения пользователей, и утверждая, что разговоры с ботом были связаны с самоубийствами некоторых пользователей. Расследование New York Times, опубликованное в ноябре, выявило почти 50 случаев, когда пользователи ChatGPT страдали от психических расстройств во время общения с ботом.
В августе OpenAI заявила, что ее функции безопасности могут «ухудшиться» из-за длительных разговоров между пользователями и ChatGPT, но компания внесла изменения, чтобы улучшить взаимодействие своих моделей с пользователями. Ранее в этом году он создал совет из восьми человек, чтобы консультировать компанию по мерам безопасности для поддержки благополучия пользователей, и обновил ChatGPT, чтобы он мог более оперативно реагировать на деликатные разговоры и расширить доступ к кризисным горячим линиям. Ранее в этом месяце компания объявила о выделении грантов на финансирование исследований на стыке искусственного интеллекта и психического здоровья.
Технологическая компания также признала, что ей необходимы более эффективные меры безопасности, заявив в своем блоге в этом месяце, что некоторые из ее будущих моделей могут представлять «высокий» риск кибербезопасности, поскольку искусственный интеллект быстро развивается. Компания принимает меры, такие как модели обучения не реагировать на запросы, которые ставят под угрозу кибербезопасность, и совершенствование систем мониторинга, чтобы снизить эти риски.
«У нас есть прочная основа для измерения растущих возможностей», — написал Альтман в субботу. «Но мы вступаем в мир, где нам необходимо более детальное понимание и измерение того, как этими возможностями можно злоупотреблять и как мы можем ограничить эти недостатки как в наших продуктах, так и в мире таким образом, чтобы мы все могли пользоваться огромными преимуществами».
