В 1966 году Джозеф Вейценбаум, специалист по информатике из Массачусетского технологического института, написал небольшую программу под названием ELIZA. Её самый известный сценарий изображал психотерапевта и превращал слова собеседника в вопросы: на фразу «Я устал» программа отвечала «Почему вы устали?». ELIZA ровным счётом ничего не понимала, но Вейценбаум с изумлением наблюдал, как люди изливают ей душу, будто ей действительно не всё равно. Почти 60 лет спустя чат-боты умеют составлять больничные письма, объяснять результаты анализов крови и отвечать на вопросы медицинских экзаменов достаточно хорошо, чтобы их сдать. Старый вопрос вернулся с новой силой: насколько можно доверять машине, которая говорит так, будто всё знает?
Откуда чат-бот «знает» медицину
Современные чат-боты, такие как ChatGPT, Gemini или Claude, построены на больших языковых моделях (large language models, LLM). Это компьютерные программы, обученные на огромных массивах текстов, от книг и сайтов до научных статей. Во время обучения модель учится предсказывать, какое слово скорее всего появится в тексте следующим. Повторённая миллиарды раз, эта простая задача даёт систему, которая пишет связные абзацы, кратко пересказывает документы и отвечает на вопросы почти на любую тему, в том числе медицинские.
Не менее важно и то, чего модель не делает. Если её специально не подключили к такой базе, она не сверяется с проверенными медицинскими данными, не может осмотреть пациента и рассуждает не так, как учат рассуждать врача. Она порождает текст, который статистически правдоподобен. Очень часто правдоподобное и верное совпадают. Иногда нет, и у модели нет встроенного сигнала, который подсказал бы ей разницу.
Экзамены сданы
Первые результаты, привлёкшие внимание врачей, касались лицензионных экзаменов. В начале 2023 года команда под руководством Тиффани Кунг сообщила в журнале PLOS Digital Health, что ChatGPT без какой-либо специальной подготовки показал результат на уровне проходного балла или близко к нему на вопросах медицинского лицензионного экзамена США (USMLE), который обязан сдать каждый американский врач. В том же году исследователи Google под руководством Карана Сингхала описали в Nature набор языковых моделей на основе системы PaLM этой компании; в рамках той же работы появилась и медицинская версия Med-PaLM. Лучшая из моделей правильно ответила на 67,6% вопросов из большого набора заданий в стиле USMLE, заметно больше примерно 60%, которые обычно считаются проходным порогом.
Однако экзамен проверяет немногое. Тестовые вопросы приходят в аккуратной упаковке: нужные факты уже даны, и правильный ответ ровно один. С настоящими пациентами всё сложнее. В 2024 году исследователи Мюнхенского технического университета во главе с Паулем Хагером дали нескольким общедоступным моделям медицинские записи примерно 2400 реальных пациентов, обратившихся в американскую больницу с болью в животе, и попросили их шаг за шагом прийти к диагнозу, как это делает врач. В статье в Nature Medicine авторы сообщили, что модели ставили диагноз заметно менее точно, чем врачи, часто не следовали клиническим рекомендациям и сбивались даже от того, в каком порядке им подавали информацию.
Тон общения и бумажная работа
Ещё одна неожиданность касалась тона. В исследовании 2023 года в журнале JAMA Internal Medicine Джон Айерс и его коллеги из Калифорнийского университета в Сан-Диего взяли 195 вопросов о здоровье, которые обычные люди оставили на форуме Reddit и на которые уже ответили проверенные врачи. Те же вопросы задали ChatGPT, а затем попросили группу дипломированных медицинских специалистов сравнить два набора ответов, не зная, где чей. В среднем около 79% оценок оказались в пользу ответа чат-бота, а его ответы гораздо чаще, чем ответы врачей, признавали проявляющими сочувствие.
Это не значит, что чат-боты лучшие врачи. Ответы людей были короткими заметками волонтёров, написанными в свободное время, а эксперты оценивали только текст, а не то, помог ли совет кому-нибудь на самом деле. Но исследование указывает на реалистичную роль: помогать загруженным врачам готовить более понятные и тёплые сообщения, которые затем проверяет и подписывает врач.
Большая часть реального применения чат-ботов в здравоохранении так же мало заметна. Больницы в нескольких странах испытывают так называемых «фоновых секретарей» (ambient scribes): программы, которые с согласия пациента слушают приём и составляют черновик медицинской записи, чтобы врач смотрел на пациента, а не в клавиатуру. Другие системы кратко излагают длинные медицинские карты, переписывают инструкции более простым языком или на другом языке и помогают студентам-медикам тренироваться. Во всех случаях главный принцип один: ответственность за окончательное решение остаётся за квалифицированным специалистом.
Риски: уверенные ошибки, предвзятость и приватность
Самая известная слабость чат-ботов — то, что исследователи называют галлюцинациями: модель выдаёт информацию, которая звучит авторитетно, но ложна, например несуществующее лекарственное взаимодействие или ссылку на исследование, которое никогда не публиковалось. Поскольку тон одинаково уверенный и при верном, и при неверном ответе, такие ошибки трудно заметить, особенно человеку без медицинского образования. Другие проблемы не менее серьёзны:
- Предвзятость. Модели учатся на существующих текстах, в которых одни группы населения, языки и страны представлены непропорционально широко. Советы могут лучше подходить пациентам в Северной Америке или Западной Европе, чем пациентам в Центральной Азии, а на менее распространённых языках качество ответов может снижаться.
- Приватность. Симптомы, результаты анализов и списки лекарств — чувствительные данные. В зависимости от сервиса то, что вы вводите, может сохраняться или использоваться для улучшения продукта.
- Устаревшие или не учитывающие местные условия знания. Знания модели ограничены моментом окончания обучения, и она может не знать, какие лекарства зарегистрированы и какие клинические рекомендации действуют в вашей стране.
- Чрезмерное доверие. И пациенты, и врачи могут слишком легко начать верить гладкому ответу. Эту склонность называют предвзятостью автоматизации (automation bias).
В январе 2024 года Всемирная организация здравоохранения опубликовала руководство по этике и регулированию таких «больших мультимодальных моделей» в здравоохранении, содержащее более 40 рекомендаций для правительств, технологических компаний и медицинских организаций. Среди них независимая проверка системы до её применения с пациентами, открытость в том, как системы создаются, и чёткие правила о том, кто несёт ответственность, если что-то пойдёт не так.
Что следует знать пациентам
При осторожном использовании чат-бот может стать полезной отправной точкой: чтобы понять незнакомое слово в результатах анализов, подготовить вопросы перед приёмом или разобраться в диагнозе, который уже поставил врач. Несколько простых привычек делают такое использование безопаснее:
- Воспринимайте ответ как справочную информацию, а не как диагноз или назначение, и всё важное уточняйте у врача или фармацевта.
- Никогда не начинайте, не прекращайте и не меняйте приём лекарства только потому, что так посоветовал чат-бот.
- В экстренной ситуации, например при боли в груди, затруднённом дыхании, признаках инсульта или мыслях о причинении себе вреда, обращайтесь в службу скорой помощи, а не пишите машине.
- Не вводите полное имя, номера документов и другие сведения, по которым вас можно узнать.
- Спрашивайте чат-бот об источниках и насторожитесь, если он не может назвать настоящие, которые можно проверить.
Что пока неизвестно
Главный открытый вопрос не в том, могут ли чат-боты отвечать на медицинские вопросы, а в том, делает ли их использование людей действительно здоровее. Экзаменационные баллы и экспертные оценки лишь косвенно отражают это. Крупные клинические испытания, измеряющие реальные результаты, такие как верные диагнозы, меньшее число ошибок, меньшее выгорание врачей и лучшие исходы для пациентов, только начинаются. Исследователи также хотят понять, как эти инструменты работают на таких языках, как узбекский, казахский или таджикский, и в системах здравоохранения, сильно отличающихся от тех, откуда взята большая часть обучающих данных. Пока ответов нет, безопаснее всего думать о чат-боте как о начитанном помощнике: часто полезном, иногда ошибающемся и никогда не заменяющем врача, который может вас осмотреть.
Источники: World Health Organization (2024): Ethics and governance of artificial intelligence for health. Guidance on large multi-modal models; Nature (2023), Singhal et al.: Large language models encode clinical knowledge; JAMA Internal Medicine (2023), Ayers et al.: Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum; Nature Medicine (2024), Hager et al.: Evaluation and mitigation of the limitations of large language models in clinical decision-making; PLOS Digital Health (2023), Kung et al.: Performance of ChatGPT on USMLE. Изображение: Daniel Sone, National Cancer Institute / Wikimedia Commons (Public domain).
Комментарии
Войдите, чтобы оставить комментарий Войти