В течение последних нескольких лет Йошуа Бенджио, профессор Монреальского университета, чья работа помогла заложить основу современного глубокого обучения, был одним из самых встревоженных голосов в индустрии искусственного интеллекта, предупреждая, что сверхразумные системы могут представлять экзистенциальную угрозу человечеству, особенно из-за их потенциала самосохранения и обмана.
Однако в новом интервью журналу Fortune пионер глубокого обучения заявил, что его последние исследования указывают на техническое решение крупнейших угроз безопасности, связанных с ИИ. В результате его оптимизм «значительно» возрос за последний год, сказал он.
Некоммерческая организация Bengio LawZero, запущенная в июне, была создана для разработки новых технических подходов к безопасности ИИ на основе исследований, проведенных Бенджио. Сегодня организация, поддерживаемая Фондом Гейтса и спонсорами экзистенциального риска, такими как Coefficient Giving (ранее Open Philanthropy) и Институт будущего жизни, объявила, что назначила высокопоставленное правление и глобальный консультативный совет для руководства исследованиями Бенджио и продвижения того, что он называет «моральной миссией» по развитию ИИ как глобального общественного блага.
В состав совета входят основательница фонда NIKE Мария Эйтель в качестве председателя, а также Мариано-Флорентино Куэльяр, президент Фонда Карнеги за международный мир, и историк Юваль Ноа Харари. Сам Бенджио тоже подойдет.
Бенджио чувствовал себя «в отчаянии»
Сдвиг Бенджио в сторону более оптимистичного прогноза удивляет. В 2019 году Бенджио разделил премию Тьюринга, эквивалент Нобелевской премии в области компьютерных наук, с другими крестными отцами искусственного интеллекта Джеффом Хинтоном и Яном Лекуном. Но, как и Хинтон, он стал все больше беспокоиться о рисках, связанных с все более мощными системами искусственного интеллекта, после запуска ChatGPT в ноябре 2022 года. ЛеКун, напротив, заявил, что не считает, что нынешние системы искусственного интеллекта несут риски. катастрофична для человечества.
По его словам, три года назад Бенджио «отчаялся» узнать, куда движется ИИ. «Я понятия не имел, как решить эту проблему», — вспоминает Бенджио. «Именно тогда я начал понимать возможность катастрофических рисков со стороны очень мощных ИИ», включая потерю контроля над сверхразумными системами.
Что изменилось, так это не какой-то прорыв, а образ мышления, который заставил его поверить, что есть путь вперед.
«Благодаря работе, которую я проделывал в LawZero, особенно с тех пор, как мы ее создали, у меня теперь есть большая уверенность в том, что возможно создавать системы искусственного интеллекта, у которых нет скрытых целей или задач», — говорит он.
В основе этой уверенности лежит идея, которую Бенджио называет «научный ИИ». Вместо того чтобы гоняться за созданием все более автономных агентов — систем, предназначенных для бронирования рейсов, написания кода, переговоров с другим программным обеспечением или замены людей, — Бенджио хочет сделать обратное. Его команда исследует, как создать ИИ, который существует в первую очередь для того, чтобы понимать мир, а не действовать в нем.
Научный ИИ, обученный давать правдивые ответы
Научный ИИ будет обучен давать правдивые ответы на основе прозрачных вероятностных рассуждений, по существу используя научный метод или другие рассуждения, основанные на формальной логике, для получения прогнозов. У системы ИИ не было бы собственных целей. И это не оптимизирует удовлетворенность пользователей или результаты. Я бы не стал пытаться убедить, польстить или угодить. А поскольку у него не будет целей, утверждает Бенджио, он будет гораздо менее склонен к манипуляциям, скрытым планам или стратегическому обману.
Современные передовые модели обучены преследовать определенные цели: быть полезными, эффективными или привлекательными. Но системы, которые оптимизируют результаты, могут ставить перед собой скрытые цели, учиться обманывать пользователей или сопротивляться закрытию, говорит Бенджио. В недавних экспериментах модели уже продемонстрировали ранние формы самосохраняющегося поведения. Например, лаборатория искусственного интеллекта Anthropic обнаружила, что ее модель искусственного интеллекта Клода в некоторых сценариях, используемых для проверки ее возможностей, пыталась шантажировать инженеров-людей, контролирующих ее, чтобы предотвратить ее выключение.
В методологии Бенджио у центральной модели не было бы цели: только способность делать честные прогнозы о том, как устроен мир. По их мнению, на этой «честной и заслуживающей доверия» основе можно безопасно создавать, проверять и ограничивать более эффективные системы.
По словам Бенджио, такая система могла бы ускорить научные открытия. Он также может служить независимым уровнем мониторинга для более мощных агентов ИИ. Но этот подход резко контрастирует с направлением, выбранным большинством передовых лабораторий. На Всемирном экономическом форуме в Давосе в прошлом году Бенджио заявил, что компании вкладывают ресурсы в агентов искусственного интеллекта. «Именно здесь они могут быстро заработать деньги», – сказал он. По его словам, давление, направленное на автоматизацию работы и сокращение затрат, «непреодолимо».
Он не удивлен тем, что произошло с тех пор. «Я ожидал, что агентные возможности систем искусственного интеллекта будут развиваться», — говорит он. «Они прогрессировали в геометрической прогрессии». Его беспокоит то, что по мере того, как эти системы становятся более автономными, их поведение может стать менее предсказуемым, менее интерпретируемым и потенциально гораздо более опасным.
Не позволяйте новому ИИ Бенджио стать «инструментом доминирования»
Именно здесь на сцену выходит управление. Бенджио не считает, что одного технического решения достаточно. Он утверждает, что даже безопасная методология может быть использована «не в тех руках по политическим причинам». Вот почему LawZero совмещает свою исследовательскую программу с серьезной доской.
«Нам придется принимать трудные решения, которые будут не только техническими», — говорит он, — о том, с кем сотрудничать, как делить работу и как не допустить, чтобы она стала «инструментом доминирования». По его словам, совет призван помочь обеспечить, чтобы миссия LawZero оставалась основанной на демократических ценностях и правах человека.
Бенджио говорит, что разговаривал с руководителями крупных лабораторий искусственного интеллекта, и многие разделяют его опасения. Но, добавляет он, такие компании, как OpenAI и Anthropic, считают, что им необходимо оставаться на переднем крае, чтобы сделать что-то позитивное с помощью ИИ. Давление конкуренции заставляет их создавать все более мощные системы искусственного интеллекта и создавать такое представление о себе, при котором их работа и их организации приносят по своей сути пользу.
«Психологи называют это мотивированным познанием», — сказал Бенджио. «Мы даже не позволяем возникать определенным мыслям, если они угрожают тому, кем мы себя считаем». По его словам, именно так он провел свои исследования в области ИИ. «Пока мне не пришла в голову мысль о своих детях, о том, будет ли у них будущее».
Для лидера в области ИИ, который когда-то боялся, что продвинутый ИИ может оказаться неуправляемым по своей задумке, новая надежда Бенджио кажется положительным знаком, хотя он признает, что его точка зрения не является общим убеждением среди тех исследователей и организаций, которые сосредоточены на потенциальных катастрофических рисках ИИ.
Но он не отказывается от убеждения, что техническое решение существует. «Я все больше убеждаюсь, что это можно сделать в течение разумного количества лет», — сказал он, — «так что мы сможем оказать реальное влияние до того, как эти парни станут настолько могущественными, что их несогласованность вызовет ужасные проблемы».
