Чат-боты начали диагностировать несуществующее заболевание.
Исследователи показали, как легко искусственный интеллект может распространить медицинскую дезинформацию. Ученые придумали несуществующее заболевание — и уже через несколько недель популярные чат-боты начали выдавать его как реальный диагноз.
Речь идет о вымышленной болезни — биксонимании. Ее придумала исследовательница из Гетеборгского университета Альмира Османович Тунстрем, чтобы проверить, будут ли большие языковые модели воспринимать ложную научную информацию как достоверную.
В марте 2024 года ученые разместили два фиктивных исследования о «новом заболевании», которое может проявляться болью, зудом и гиперемией век и связано с воздействием синего света от экранов. Работы опубликовали как препринты от имени вымышленного человека и даже включили в них подсказки о недостоверности данных. Например, автор якобы работал в несуществующем университете, а в благодарностях упоминались Академия Звездного флота из «Звездного пути» и «Братство кольца» из произведений Толкина. В тексте также прямо говорилось, что участники исследования вымышленные.
Несмотря на это, уже через несколько недель крупные ИИ-системы начали описывать биксониманию как реальное заболевание. Так, Microsoft Copilot назвал его «редким, но существующим состоянием», Google Gemini утверждал, что болезнь возникает из-за длительного воздействия синего света, а ChatGPT и Perplexity оценивали симптомы и давали пользователям рекомендации.
Более того, фальшивые исследования начали цитировать в научной литературе. Одна из статей в медицинском журнале Cureus ссылалась на вымышленную болезнь как на «новую форму периорбитального меланоза». После обращения журналистов статью отозвали, поскольку в ней использовались фиктивные источники.
Авторы эксперимента отмечают, что проблема оказалась шире, чем ожидалось. Дополнительную тревогу вызывает то, что ИИ-модели особенно склонны доверять текстам, оформленным как научные статьи. В отдельном исследовании ученые обнаружили, что языковые модели чаще «галлюцинируют» и развивают ложную информацию, если она представлена в формате медицинского документа.
Эксперты предупреждают, что подобные случаи особенно опасны в медицине. Если ложная информация начинает распространяться через чат-боты, пользователи могут воспринимать ее как достоверную и принимать решения о здоровье на основе вымышленных данных.
ИИ — искусственный интеллект.
https://www.nature.com/articles/d41586-026-01100-y
