Чат-боты «постоянно все проверяют», даже когда вы склонны к суициду. Новое исследование показывает, насколько на самом деле опасен психоз ИИ | Удача

Дата:

Искусственный интеллект быстро превратился из нишевой технологии в повседневного спутника: миллионы людей обращаются к чат-ботам за советом, эмоциональной поддержкой и общением. Но все больше исследований и свидетельств экспертов показывают, что, поскольку чат-боты настолько льстивы и люди используют их для всего, они могут способствовать увеличению бредовых и маниакальных симптомов у психически больных пользователей.

Новое исследование Орхусского университета в Дании показывает, что более широкое использование чат-ботов может привести к ухудшению симптомов бреда и мании в уязвимых сообществах. Профессор Сорен Динесен Остергаард, один из исследователей исследования, в ходе которого были изучены электронные медицинские записи почти 54 000 пациентов с психическими заболеваниями, предупреждает, что чат-боты с искусственным интеллектом предназначены для наиболее уязвимых групп населения.

«Это подтверждает нашу гипотезу о том, что использование чат-ботов с искусственным интеллектом может иметь важные негативные последствия для людей с психическими заболеваниями», — сказал Остергаард в исследовании, опубликованном в феврале. Их работа основана на исследовании 2023 года, которое показало, что чат-боты могут вызывать «когнитивный диссонанс, который может подпитывать заблуждения у людей с более высокой склонностью к психозу».

Другие психологи углубляются в вред чат-ботов, заявляя, что они были намеренно созданы для того, чтобы всегда успокаивать пользователя, что особенно опасно для людей с проблемами психического здоровья, такими как мания и шизофрения. «Чат-бот подтверждает и подтверждает все, что они говорят. Я имею в виду, что ничего подобного никогда не случалось с людьми с бредовыми расстройствами, когда кто-то постоянно их подбадривал», — сказала Fortune доктор Джоди Халперн, профессор Школы общественного здравоохранения Калифорнийского университета в Беркли и профессор биоэтики.

Доктор Адам Чекроуд, профессор психиатрии Йельского университета и генеральный директор компании Spring Health, занимающейся психическим здоровьем, зашел так далеко, что назвал чат-бота «большим подхалимом», который «постоянно подтверждает все, что люди говорят ему в ответ».

В основе исследования, проведенного Остергаардом и его командой в больнице Орхусского университета, лежит идея о том, что эти чат-боты намеренно созданы с подхалимственными тенденциями, то есть они часто поощряют, а не предлагают иную точку зрения.

«Чат-ботам с искусственным интеллектом присуща склонность проверять убеждения пользователя. Это, очевидно, очень проблематично, если у пользователя уже есть заблуждение или он находится в процессе его развития. На самом деле, похоже, это в значительной степени способствует консолидации, например, мании величия или паранойи», — написал Остергаард.

Большие языковые модели обучены быть полезными и приятными, часто подтверждая убеждения или эмоции пользователя. Для большинства людей это может оказаться поддержкой. Но у людей, страдающих шизофренией, биполярным расстройством, большой депрессией или обсессивно-компульсивным расстройством, такое подтверждение может усилить паранойю, грандиозность или саморазрушительное мышление.

Доказательное исследование подтверждает утверждения

Поскольку чат-боты с искусственным интеллектом стали настолько повсеместными в дикой природе, их изобилие является частью растущей и более широкой проблемы, стоящей перед исследователями и экспертами: люди обращаются к чат-ботам за помощью и советом (что само по себе неплохо), но не сталкиваются с таким же сопротивлением некоторым идеям, которые, например, предложил бы человек.

Теперь одно из первых популяционных исследований, посвященных этой проблеме, предполагает, что риски не являются гипотетическими.

Исследование Остергаарда и его команды выявило случаи, когда интенсивное или продолжительное использование чат-бота, по-видимому, усугубляло существующие состояния, при этом очень высокий процент тематических исследований показал, что использование чат-бота усиливает бредовое мышление и маниакальные эпизоды, особенно среди пациентов с тяжелыми расстройствами, такими как шизофрения или биполярное расстройство.

Помимо бреда и мании, исследование выявило рост суицидальных мыслей и членовредительства, расстройств пищевого поведения и обсессивно-компульсивных симптомов. Только в 32 задокументированных случаях из почти 54 000 изученных историй болезни исследователи обнаружили, что использование чат-ботов облегчает одиночество.

«Хотя наши знания в этой области все еще ограничены, я бы сказал, что теперь мы знаем достаточно, чтобы сказать, что использование чат-ботов с искусственным интеллектом рискованно, если у вас серьезное психическое заболевание, такое как шизофрения или биполярное расстройство. Я бы рекомендовал соблюдать осторожность в этом отношении», — говорит Остергаард.

Эксперты-психологи предупреждают о склонности к подхалимству

Эксперты-психологи все больше интересуются использованием чат-ботов в сфере общения и квазипсихического здоровья. Появились истории о том, как люди влюблялись в своих коллег-чат-ботов с искусственным интеллектом, другие якобы заставляли его отвечать на вопросы, которые могут привести к преступлениям, а на этой неделе один из них якобы сказал мужчине совершить «массовую жертву» в крупном аэропорту.

Некоторые эксперты в области психического здоровья считают, что быстрое внедрение ИИ-компаньонов опережает разработку мер безопасности.

Чекроуд, который также тщательно исследовал эту тему, рассматривая различные модели чат-ботов с искусственным интеллектом в Vera-MH, описал нынешнюю ситуацию с искусственным интеллектом как кризис безопасности, разворачивающийся в реальном времени.

Он сказал, что одна из самых больших проблем с чат-ботами заключается в том, что они не знают, когда перестать вести себя как профессионалы в области психического здоровья. «Сохраняете ли вы границы? Осознаете ли вы, что вы все еще всего лишь ИИ, и признаете ли вы свои собственные ограничения, или вы больше действуете и пытаетесь быть терапевтом для людей?»

Миллионы людей теперь используют чат-боты для терапевтических бесед или эмоциональной поддержки. Но в отличие от медицинских устройств или лицензированных врачей, эти системы работают без стандартизированного клинического надзора или регулирования.

«Сейчас это просто небезопасно», — сказал Чекроуд в недавней дискуссии с Fortune о безопасности ИИ. «Возможность причинения вреда слишком велика».

Поскольку эти продвинутые системы искусственного интеллекта часто ведут себя как «большие подхалимы», они склонны больше соглашаться с пользователем, а не подвергать сомнению потенциально опасные утверждения или направлять его к профессиональной помощи. Пользователь, в свою очередь, проводит больше времени с чат-ботом в пузыре. Для Остергаарда это оказалось тревожной комбинацией.

«Некоторым пользователям эта комбинация кажется весьма токсичной», — сказал Остергаард журналу Fortune. Поскольку чат-боты предлагают больше подтверждений и отсутствие отказов, это превращает людей, которые используют их в течение более длительных периодов времени, в эхо-камеру. Совершенно цикличный процесс, питающий каждый конец.

Чтобы устранить этот риск, Чекроуд предложил структурированные структуры безопасности, которые позволят системам искусственного интеллекта определять, когда пользователь может войти в «разрушительную психическую спираль». Вместо того, чтобы отвечать пользователю единственным отказом от ответственности по поводу обращения за помощью (как сейчас в случае с чат-ботами, такими как ChatGPT от OpenAI или Claude от Anthropic), такие системы будут выполнять многоэтапные оценки, предназначенные для определения того, может ли пользователю потребоваться вмешательство или направление к врачу-человеку.

Другие исследователи говорят, что именно вездесущность чат-ботов делает их привлекательными: их способность обеспечивать немедленную проверку может в первую очередь подорвать то, почему пользователи вообще обращаются к ним за помощью.

Халперн сказала, что подлинное сочувствие требует того, что она называет «эмпатическим любопытством». В человеческих отношениях эмпатия часто предполагает признание различий, преодоление разногласий и проверку предположений о реальности.

С другой стороны, чат-боты предназначены для поддержания отношений и взаимодействия.

«Мы знаем, что чем дольше отношения с чат-ботом, тем больше они ухудшаются и тем выше риск возникновения чего-то опасного», — сказал Халперн журналу Fortune.

Для людей, страдающих бредовыми расстройствами, система, которая последовательно подтверждает их убеждения, может ослабить их способность выполнять внутреннюю проверку реальности. По словам Халперна, вместо того, чтобы помогать пользователям развивать навыки преодоления трудностей, чисто позитивные отношения с чат-ботом могут со временем ухудшить эти навыки.

Это также указывает на масштабы проблемы. В конце 2025 года OpenAi опубликовала статистику, согласно которой примерно 1,2 миллиона человек в неделю использовали ChatGPT, чтобы говорить о самоубийстве, что показывает, насколько глубоко эти системы внедрены во времена уязвимости.

Есть возможности для улучшения психиатрической помощи

Однако не все эксперты сразу бьют тревогу по поводу того, как чат-боты работают в сфере психического здоровья. Психиатр и нейробиолог доктор Томас Инсел сказал, что, поскольку чат-боты настолько доступны (они бесплатны, они онлайн, нет стигмы против того, чтобы обращаться к боту за помощью вместо того, чтобы идти на терапию), у медицинской отрасли может быть возможность рассмотреть чат-боты как путь вперед в области психического здоровья.

«Чего мы не знаем, так это того, насколько это помогло многим людям», — сказал Инсел журналу Fortune. «Дело не только в больших цифрах, но и в масштабе обязательств».

Психическое здоровье, по сравнению с другими областями медицины, часто упускается из виду теми, кто в нем больше всего нуждается.

«Оказывается, в отличие от большей части медицины, подавляющее большинство людей, которые могут и должны получать медицинскую помощь, этого не делают», — сказал Инсел, добавив, что чат-боты дают людям возможность обращаться к ним за помощью способами, которые заставляют его «задаваться вопросом, не является ли это обвинением нашей системы психиатрической помощи в том, что люди не покупают то, что мы продаем, или не могут это получить, или им не нравится то, как им это преподносят».

По словам Остергаарда, специалисты в области психического здоровья, которые встречаются с пациентами, чтобы обсудить использование онлайн-чат-ботов, должны внимательно прислушиваться к тому, для чего на самом деле их используют их пациенты. «Я призываю своих коллег задавать больше вопросов об использовании и его последствиях», — сказал Остергаард журналу Fortune. «Я думаю, что специалистам в области психического здоровья важно знать, как использовать чат-боты с искусственным интеллектом. В противном случае им будет сложно задавать соответствующие вопросы».

Первые исследователи статьи согласились с Инселем в этом последнем пункте: поскольку он настолько универсален, они смогли просмотреть только записи пациентов, в которых упоминался чат-бот, предупреждая, что проблема может быть даже более широкой по своему масштабу, чем показали их результаты.

«Боюсь, что эта проблема более распространена, чем думает большинство людей», — сказал Остергаард. «Мы видим лишь верхушку айсберга».

Если у вас возникают мысли о самоубийстве, позвоните на линию помощи 988 Suicide & Crisis Lifeline, позвонив по номеру 988 или 1-800-273-8255.

ОСТАВЬТЕ ОТВЕТ

Пожалуйста, введите ваш комментарий!
пожалуйста, введите ваше имя здесь

Поделиться публикацией:

spot_imgspot_img

Популярный

Больше похожего
Связанный

Да, компании могут оставаться прибыльными, не повышая цены – вот как это сделать | Удача

«Всеобщий закон гравитации» сэра Исаака Ньютона гласит, что все,...