***
Исследование, опубликованное в Nature Medicine, заставляет пересмотреть стратегии внедрения искусственного интеллекта в здравоохранение. Ученые считают: главная проблема современного медицинского ИИ в провале на стыке технологий, теоретических знаний и реальной клинической жизни.
Исследователи из Гарвардской медицинской школы и ряда исследовательских центров США и Израиля выяснили, что алгоритмы «сбоят» из-за неспособности адаптироваться к смене условий. Модели обучаются на «стерильных» датасетах и показывают высокие результаты в тестах. Но при переносе в другую клинику, регион или работу с иным профилем пациентов они не учитывают реальную инфраструктуру и логику лечения, допуская клинически правдоподобные, но фатальные ошибки.
Ученые рассмотрели ситуацию и с другой стороны, проверив, что происходит, когда конечным пользователем ИИ становится не врач, а обычный пациент.
Выводы оказались обескураживающими: хотя сами модели (GPT-4o, Llama 3) блестяще решают экзаменационные задачи и тесты, в реальном диалоге с человеком их эффективность резко падает. Пациенты с ИИ выбирали тактику лечения не лучше контрольной группы, которая пользовалась обычным «гуглом».
Так почему ломается связка «человек-ИИ»?
Медицина — это не только «знание ответа», но и умение правильно спрашивать. Неспециалисты плохо формулируют жалобы, упускают детали и задают некорректные вопросы. Модель, в свою очередь, выдает несколько версий и делегирует выбор обратно пациенту, повышая риск ошибки.
Привычные медицинские бенчмарки (вроде MedQA) и симуляции виртуальных пациентов не работают. Они не показывают, как система поведет себя в живом диалоге. На экзаменах ИИ — «отличник», в реальности — источник повышенного риска.
Как выйти из «пилотного» режима?
Индустрии необходимо внедрение механизмов «контекстного переключения» — адаптивных архитектур, подстраивающихся под ситуацию — и переход от тестирования на датасетах к пользовательским испытаниям под контролем клиницистов.
Видимо, без этих изменений медицинский ИИ останется бесполезным и даже опасным инструментом. Для фармацевтических и страховых компаний это сигнал: пациенты «после чата с ИИ» не становятся информированнее, а разработчикам пора перестать гнаться за рекордами на экзаменах и начать честно изучать «серую зону» взаимодействия человека и нейросети.
Источники:
https://www.nature.com/articles/s41591-025-04184-7.epdf
