Ранее в этом месяце Андрей Карпати, известный исследователь искусственного интеллекта, который был одним из основателей OpenAI, а затем руководил отделом искусственного интеллекта Tesla, стал вирусным на X. Само по себе это не так уж и необычно. Карпати, который сейчас работает независимым исследователем ИИ, а также является основателем Eureka Labs, которая, по его словам, создает новый тип школы для эпохи ИИ, имеет 1,9 миллиона подписчиков на X, и его репутация такова, что почти все, что он говорит об ИИ, рассматривается как Евангелие или пророчество.
Но этот пост был посвящен проведенному им эксперименту, в ходе которого он поручил агенту кодирования ИИ провести серию экспериментов, чтобы выяснить, как улучшить обучение небольшой языковой модели. Он позволил ИИ-агенту работать непрерывно в течение двух дней, за это время он провел 700 различных экспериментов. В ходе этих экспериментов он обнаружил 20 оптимизаций, которые сократили время обучения.
Карпати обнаружил, что применение тех же 20 корректировок к более крупной, но все же довольно маленькой языковой модели привело к ускорению времени, необходимого для обучения модели, на 11%. Карпати назвал систему, которую он построил для проведения этого эксперимента, «самоисследованием».
Тобиас Лютке, соучредитель и генеральный директор Shopify, опубликовал на X, что он пытался автоматизировать исследование для оптимизации модели ИИ на основе внутренних данных компании, давая агенту инструкции по улучшению качества и скорости модели. Лютке сообщил, что после того, как автоматизированное исследование продолжалось всю ночь, он провел 37 экспериментов и добился прироста производительности на 19%.
Что привлекло внимание многих людей, так это то, что машинные исследования близки к идее самосовершенствующихся систем ИИ, которая изначально обсуждалась в научной фантастике и которой страстно желают некоторые исследователи ИИ, а другие глубоко боятся. Вызывает беспокойство то, что «рекурсивное самосовершенствование», при котором ИИ постоянно оптимизирует свой собственный код и обучение в своего рода цикле, может привести к тому, что исследователи безопасности ИИ иногда называют «жестким взлетом» или «взрывом интеллекта». В этих сценариях система искусственного интеллекта быстро улучшает свою производительность, что приводит к тому, что она превосходит человеческие когнитивные способности и выходит из-под человеческого контроля.
Эксперимент Карпати был не совсем таким. Агент ИИ, лежащий в основе автоматической исследовательской установки, не совершенствует свою собственную настройку обучения, а скорее корректирует обучающий код и первоначальную настройку нейронной сети для другой, гораздо меньшей и менее сложной модели ИИ. Но Карпати справедливо отметил, что его эксперимент имеет большое значение для того, как лаборатории искусственного интеллекта будут проводить исследования в будущем, и это может ускорить их прогресс.
«Все пограничные лаборатории LLM сделают это. Это величайшая битва с боссом», — написал Карпати в статье «Но это «просто инженерия», и это сработает», — продолжил он. «Создается рой агентов, их заставляют сотрудничать для точной настройки меньших моделей, наиболее многообещающие идеи продвигаются во все более крупных масштабах, а люди (необязательно) вносят свой вклад».
Он сказал, что, хотя нынешняя автоматизированная исследовательская система, которую он создал, была разработана для одного агента, который мог постоянно улучшать фрагмент кода по одному пути, в будущем он предполагает, что несколько агентов ИИ смогут параллельно исследовать различные оптимизации и разные эксперименты. «Следующим шагом для автоматизированных исследований является то, что они должны проводиться в массовом асинхронном режиме для агентов», — написал он. «Цель состоит не в том, чтобы подражать отдельному докторанту, а в том, чтобы подражать исследовательскому сообществу, сформированному ими».
Карпати также рассказал кое-что еще об автоматизированных исследованиях, что взволновало многих людей. «Любая интересующая вас метрика, которую достаточно эффективно оценить (или имеет более эффективные прокси-метрики, например, обучение небольшой сети), может быть автоматически исследована множеством агентов», — написал он. «Стоит задуматься, не попадает ли ваша проблема также в эту группу».
Некоторые комментаторы отметили, что основные компоненты автоматизированных исследований можно использовать для многих других агентных систем для оптимизации процесса. Джанакирам MSV, главный аналитик Janakiram & Associates, в статье в технологическом издании The New Stack назвал это «петлей Карпати». Он состоит из трех компонентов: агента, имеющего доступ к одному файлу, который он может изменять; единый, объективно проверяемый показатель, который агент может оптимизировать; и фиксированный срок продолжительности каждого эксперимента. Он также подчеркнул, что инструкции, которые Карпати давал агенту ИИ в ходе автоматизированного расследования, также являются хорошими моделями для всех, кто взаимодействует с любым агентом ИИ. Простой текстовый файл, который использовал Карпати, содержал четкие инструкции о том, что должен делать агент, ограничения, сообщающие агенту, чего не следует делать или изменять, а также критерий остановки, который указывал, как долго должен выполняться каждый цикл и когда агент должен остановить цикл и сообщить о его результатах.
Но некоторые критики заявили, что Карпати сделал немногим больше, чем заново открыл часть процесса, известного как AutoML, который исследователи из Google, Microsoft и других лабораторий искусственного интеллекта уже используют в течение многих лет. AutoML также использует цикл оптимизации и серию экспериментов, чтобы найти лучшие данные для использования в ИИ, лучшую архитектуру модели и настроить эту архитектуру модели. Но он не использует агента ИИ, который может читать статьи об исследованиях ИИ и разрабатывать гипотезы для улучшения. Системы AutoML, как правило, полагаются на случайные вариации или различные эволюционные алгоритмы, чтобы решить, какие изменения тестировать.
Карпати ответил на некоторые из этих комментариев, заявив, что некоторые методы AutoML, такие как поиск нейронной архитектуры, который представляет собой автоматизированный способ оптимизации проектирования модели ИИ, не так эффективны, как автоматические исследования. «Поиски нейронной архитектуры в том виде, в каком они существовали тогда, являются настолько слабой версией этого, что, по сравнению с ними, они совершенно бесполезны», — написал он. «Это *настоящий* LLM, который пишет произвольный код, учится на предыдущих экспериментах и имеет доступ к Интернету. Это даже близко не похоже».
