Растущая доля американских офисных работников, которые экспериментировали с искусственным интеллектом в своей повседневной работе, вероятно, испытывала некоторые сомнения в долгосрочной стабильности своей работы.
Но, согласно последним данным, опубликованным Массачусетским технологическим институтом, несмотря на все улучшения в области искусственного интеллекта за последние годы, эта технология по-прежнему способна достигать лишь низкого уровня при выполнении конкретных задач на рабочем месте. Даже в этом случае вы все равно можете совершать большие ошибки.
Рабочие, обеспокоенные тем, что их вскоре заменит искусственный интеллект, вероятно, утешатся новыми исследованиями Массачусетского технологического института, в которых повествование о поглощениях рабочих мест с помощью ИИ представляет собой не динамичный боевик, а скорее медленную аналитическую статью.
Согласно исследованию предварительных результатов, опубликованному в четверг, ИИ постепенно становится лучше при выполнении различных задач в различных профессиях. Но в большинстве случаев производительность доступных в настоящее время моделей аналогична производительности разочарованного стажера: они соответствуют минимальным критериям, но в целом изо всех сил пытаются производить качественную работу без участия человека, улучшающего ее результаты.
Уборка бара
Исследователи MIT использовали 41 различный LLM, включая версии Claude, Gemini и ChatGPT, для анализа производительности при выполнении более чем 11 000 преимущественно текстовых задач для различных должностей, перечисленных Министерством труда. Их результаты затем оценивались людьми, имеющими реальный опыт работы в этих областях. Цель заключалась в том, чтобы увидеть, как часто замена работника ИИ может дать результат, который менеджер сочтет приемлемым, без какого-либо редактирования человеком, а затем оценить его качество.
Исследователи обнаружили, что с годами ИИ стал более надежным для многих видов работ, но все еще не справляется с повышением рисков или стандартов. В исследовании MIT использовалась рейтинговая шкала от 1 до 9 для оценки производительности ИИ, при этом 7 определяется как «минимально достаточная», что означает, что работа полезна как есть и не требует никаких изменений. К концу 2025 года модели ИИ набрали 7 баллов примерно за 65% задач.
Что наиболее важно для компаний, рассматривающих возможность замены части своей рабочей силы с помощью ИИ, данные MIT показывают, что ИИ с трудом справляется с более сложными задачами. Независимо от того, сколько времени модели ИИ требовалось для выполнения задачи, вероятность успеха при оценке качества 9 или «выше» никогда не превышала 50%. Другими словами, когда работа требует нескольких этапов, креативности или точности, замена ИИ, скорее всего, потерпит неудачу, чем увенчается успехом.
Исследование согласуется с некоторыми аспектами современной истории внедрения ИИ в американских компаниях. Компании, использующие ИИ, с большей вероятностью будут автоматизировать рутинные задачи и роли после перехода на должности начального уровня, в то время как некоторые высокотехнологичные навыки, особенно цифровые, фактически связаны с надбавками к зарплате.
Это нашло отражение в данных Массачусетского технологического института, который обнаружил более низкие средние показатели успеха для квалифицированных должностей в юридических и ИТ-специальностях, в то время как модели искусственного интеллекта в целом легче справлялись с текстовыми задачами, связанными с профессиями строительства и обслуживания.
Компании, которые экспериментировали с полной автоматизацией определенных частей своей рабочей нагрузки, сталкивались с растущими трудностями. В прошлом году Deloitte подготовила два отчета для государственных клиентов в Австралии и Канаде, и оба оказались пронизаны ложью. Было обнаружено, что такие средства массовой информации, как CNET и Sports Illustrated, используют ИИ для создания неточных историй с вымышленными авторами. Юристы также полагались на ИИ при подготовке своих отчетов, а одна юридическая фирма в прошлом году публично извинилась после того, как выяснилось, что в заявлении о банкротстве по одному из ее дел фигурировали фальшивые повестки, созданные ИИ.
Неофициальные данные и данные Массачусетского технологического института позволяют предположить, что ИИ по-прежнему требует человеческой руки, чтобы максимизировать свои преимущества, хотя технология быстро совершенствуется. Исследователи Массачусетского технологического института подсчитали, что уровень успеха ИИ в анализируемых задачах увеличивается на 11 процентных пунктов каждый год благодаря более способным моделям.
По оценкам авторов, к 2029 году большинство моделей ИИ смогут выполнять от 80% до 95% текстовых задач с минимально достаточным тестом.
До сих пор неизвестно, сможет ли ИИ когда-либо достичь превосходной или даже идеальной производительности.
«Широкое распространение автоматизации, особенно в областях с низкой толерантностью к ошибкам, возможно, еще далеко», — пишут исследователи.
