1966 жылы Массачусетс технологиялық институтының информатика ғалымы Джозеф Вейценбаум ELIZA деп аталатын шағын бағдарлама жазды. Оның ең танымал сценарийі психотерапевтке еліктеп, пайдаланушының өз сөздерін сұраққа айналдырып қайтаратын: «Мен шаршадым» деген сөзге «Неге шаршадыңыз?» деп жауап беретін. ELIZA ештеңе түсінбейтін, бірақ адамдардың оған шынымен қамқор болатындай сырын ақтарып жатқанын көріп, Вейценбаумның өзі таң қалды. Арада 60 жылға жуық уақыт өткенде чат-боттар аурухана хаттарын дайындай алады, қан талдауының нәтижелерін түсіндіре алады және медициналық емтихан сұрақтарына өту балын алуға жететіндей жауап бере алады. Ескі сұрақ жаңа күшпен қайта оралды: бәрін білетіндей сөйлейтін машинаға қаншалықты сенуге болады?
Чат-бот медицинаны қалай «біледі»
ChatGPT, Gemini немесе Claude сияқты қазіргі чат-боттар үлкен тілдік модельдерге (large language models, LLM) негізделген. Бұлар кітаптардан бастап веб-сайттар мен ғылыми мақалаларға дейінгі орасан зор мәтін жинақтарында оқытылған компьютерлік бағдарламалар. Оқыту барысында модель мәтінде келесі қай сөздің келу ықтималдығы жоғары екенін болжауды үйренеді. Миллиардтаған рет қайталанған осы қарапайым міндеттің нәтижесінде жатық мәтін жаза алатын, құжаттардың қысқаша мазмұнын беретін және кез келген дерлік тақырыпта, соның ішінде медицинада да сұрақтарға жауап бере алатын жүйе пайда болады.
Модельдің нені істемейтіні де соншалықты маңызды. Егер оған арнайы қосылмаса, ол тексерілген медициналық деректер қорына жүгінбейді, науқасты тексере алмайды және дәрігер үйретілгендей пайымдамайды. Ол статистикалық тұрғыдан шындыққа ұқсайтын мәтін жасайды. Көбінесе шындыққа ұқсас пен дұрыс жауап бір нәрсе болып шығады. Кейде олай болмайды, ал модельде олардың айырмасын білдіретін ішкі дабыл жоқ.
Емтихандар тапсырылды
Дәрігерлердің назарын аударған алғашқы нәтижелер лицензиялық емтихандардан келді. 2023 жылдың басында Тиффани Кунг бастаған топ PLOS Digital Health журналында ChatGPT ешқандай арнайы дайындықсыз АҚШ-тағы әрбір дәрігер тапсыруға міндетті Америка Құрама Штаттарының медициналық лицензиялық емтиханы (USMLE) сұрақтарында өту шегіндегі немесе оған жақын нәтиже көрсеткенін хабарлады. Сол жылы Каран Сингхал бастаған Google зерттеушілері Nature журналында компанияның PaLM жүйесіне негізделген тілдік модельдер жиынтығын сипаттады; дәл осы жұмыстың нәтижесінде Med-PaLM деп аталатын медициналық нұсқа да жасалды. Олардың ең үздігі USMLE үлгісіндегі үлкен сұрақтар жиынтығының 67,6%-ына дұрыс жауап берді, бұл әдетте өту шегі саналатын шамамен 60%-дан едәуір жоғары еді.
Алайда емтихан тар ауқымды сынақ. Тест сұрақтары дайын күйде келеді: қажетті фактілер берілген және тек бір ғана дұрыс жауап бар. Нақты науқастармен бәрі әлдеқайда күрделі. 2024 жылы Мюнхен техникалық университетінің зерттеушілері Пауль Хагердің жетекшілігімен бірнеше еркін қолжетімді модельге АҚШ ауруханасына іш ауруымен келген шамамен 2400 нақты науқастың жазбаларын беріп, олардан дәрігер сияқты қадам-қадаммен диагнозға жетуді сұрады. Nature Medicine журналында жарияланған нәтижелер бойынша модельдер дәрігерлерге қарағанда диагнозды айтарлықтай дәлсіз қойған, емдеу жөніндегі клиникалық нұсқаулықтарды жиі сақтамаған және ақпараттың берілу ретінен-ақ адасып қалған.
Сөйлесу мәнері және қағаз жұмысы
Тағы бір күтпеген нәтиже сөйлеу мәнеріне қатысты болды. 2023 жылы JAMA Internal Medicine журналында жарияланған зерттеуде Калифорния университетінің Сан-Диегодағы бөлімшесінен Джон Айерс пен әріптестері Reddit форумында қарапайым адамдар қалдырған және расталған дәрігерлер жауап беріп қойған денсаулыққа қатысты 195 сұрақты алды. Сол сұрақтарды ChatGPT-ге қойып, содан кейін лицензиясы бар медицина мамандарынан құралған топтан қай жауап кімдікі екенін білмей тұрып екі жауап жиынтығын салыстыруды сұрады. Бағалаушылар өз бағаларының шамамен 79%-ында чат-боттың жауабын артық көрді және оның жауаптарын дәрігерлердікіне қарағанда әлдеқайда жиі жанашырлықпен жазылған деп тапты.
Бұл чат-боттар жақсырақ дәрігер дегенді білдірмейді. Адамдардың жауаптары еріктілердің бос уақытында жазған қысқа жазбалары еді, ал сарапшылар тек мәтінді бағалады, кеңестің шынымен біреуге көмектескен-көмектеспегенін емес. Дегенмен зерттеу нақты бір рөлді меңзейді: бос уақыты аз клиницистерге түсініктірек әрі жылырақ хабарламалар дайындауға көмектесу, ал оларды кейін дәрігер тексеріп, қол қояды.
Денсаулық сақтауда чат-боттарды нақты қолданудың едәуір бөлігі де осындай көзге көп түсе бермейтін жұмыс. Бірнеше елдегі ауруханалар «фондық хатшылар» (ambient scribes) деп аталатын құралдарды сынап жатыр: олар науқастың келісімімен қабылдауды тыңдап, клиникалық жазбалардың жобасын дайындайды, сонда дәрігер пернетақтаға емес, науқасқа қарай алады. Басқа жүйелер ұзын медициналық құжаттардың қысқаша мазмұнын береді, нұсқауларды қарапайым тілде немесе басқа тілде қайта жазады және медицина студенттеріне жаттығуға көмектеседі. Әр жағдайда негізгі қағида біреу: соңғы шешімге білікті маман жауап береді.
Қауіптер: сенімді қателер, біржақтылық және құпиялылық
Чат-боттардың ең белгілі әлсіз жағы — зерттеушілер галлюцинация деп атайтын құбылыс: модель беделді естілетін, бірақ жалған ақпарат шығарады, мысалы, жоқ дәрілік өзара әрекеттесуді немесе ешқашан жарияланбаған зерттеуге сілтемені. Жауап дұрыс болсын, бұрыс болсын, үні бірдей сенімді болғандықтан, мұндай қателерді, әсіресе медициналық білімі жоқ адамға, байқау қиын. Басқа мәселелер де соншалықты маңызды:
- Біржақтылық. Модельдер бар мәтіндерден үйренеді, ал оларда кейбір халық топтары, тілдер мен елдер шектен тыс көп көрсетілген. Кеңестер Орталық Азиядағы науқастарға қарағанда Солтүстік Америка немесе Батыс Еуропадағы науқастарға көбірек сәйкес келуі мүмкін, ал аз таралған тілдерде жауаптардың сапасы төмендеуі мүмкін.
- Құпиялылық. Симптомдар, талдау нәтижелері және дәрілер тізімі — құпия деректер. Қызметке байланысты сіз жазған нәрсе сақталуы немесе өнімді жақсарту үшін пайдаланылуы мүмкін.
- Ескірген немесе жергілікті жағдайға сай емес білім. Модельдің білімі оқыту аяқталған сәтте тоқтайды, ол сіздің еліңізде қандай дәрілер тіркелгенін немесе қандай емдеу нұсқаулықтары қолданылатынын білмеуі мүмкін.
- Шамадан тыс сену. Науқастар да, дәрігерлер де жатық жауапқа тым оңай сеніп қалуы мүмкін. Бұл бейімділік автоматтандыру біржақтылығы (automation bias) деп аталады.
2024 жылдың қаңтарында Дүниежүзілік денсаулық сақтау ұйымы денсаулық сақтаудағы осындай «үлкен мультимодальды модельдердің» этикасы мен басқарылуы жөнінде нұсқаулық жариялады. Онда үкіметтерге, технологиялық компанияларға және медициналық ұйымдарға арналған 40-тан астам ұсыным бар. Олардың қатарында жүйені науқастарға қолданбас бұрын тәуелсіз сынақтан өткізу, жүйелердің қалай жасалатыны туралы ашықтық және бір нәрсе дұрыс болмай қалса, кім жауапты екені туралы нақты ережелер бар.
Науқастар нені білуі керек
Абайлап пайдаланса, чат-бот пайдалы бастапқы нүкте бола алады: талдау қорытындысындағы бейтаныс сөзді түсіну, қабылдау алдында сұрақтар дайындау немесе дәрігер қойып қойған диагнозды ұғыну үшін. Бірнеше қарапайым әдет мұны қауіпсізірек етеді:
- Жауапты диагноз немесе рецепт ретінде емес, анықтамалық ақпарат ретінде қабылдаңыз және маңызды нәрсенің бәрін дәрігермен немесе фармацевтпен тексеріңіз.
- Чат-бот кеңес бергені үшін ешқашан дәріні ішуді бастамаңыз, тоқтатпаңыз немесе өзгертпеңіз.
- Кеуде ауырғанда, тыныс алу қиындағанда, инсульт белгілері байқалғанда немесе өзіңізге зиян келтіру туралы ойлар туғанда сияқты шұғыл жағдайларда машинаға жазудың орнына жедел жәрдем қызметіне хабарласыңыз.
- Толық атыңызды, құжат нөмірлерін немесе сізді анықтауға болатын басқа мәліметтерді енгізбеңіз.
- Чат-боттан дереккөздерін сұраңыз және ол тексеруге болатын нақты дереккөздерді атай алмаса, сақ болыңыз.
Әлі белгісіз нәрселер
Ең үлкен ашық сұрақ чат-боттар медициналық сұрақтарға жауап бере ала ма деген емес, оларды пайдалану адамдарды шынымен сау ете ме деген сұрақ. Емтихан балдары мен сарапшылардың бағалары мұның тек жанама көрсеткіштері. Дұрыс диагноздар, қателердің азаюы, дәрігерлердің кәсіби күйзелісінің төмендеуі және науқастар үшін жақсы нәтижелер сияқты нақты салдарды өлшейтін ірі клиникалық сынақтар енді ғана басталып жатыр. Зерттеушілер сондай-ақ бұл құралдардың өзбек, қазақ немесе тәжік сияқты тілдерде және оқыту деректерінің көп бөлігі алынған жүйелерден мүлде өзгеше денсаулық сақтау жүйелерінде қалай жұмыс істейтінін білгісі келеді. Бұл сұрақтарға жауап табылғанша, чат-ботты көп оқыған көмекші ретінде елестеткен дұрыс: ол көбінесе пайдалы, кейде қателеседі және сізді тексере алатын дәрігердің орнын ешқашан баса алмайды.
Дереккөздер: World Health Organization (2024): Ethics and governance of artificial intelligence for health. Guidance on large multi-modal models; Nature (2023), Singhal et al.: Large language models encode clinical knowledge; JAMA Internal Medicine (2023), Ayers et al.: Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum; Nature Medicine (2024), Hager et al.: Evaluation and mitigation of the limitations of large language models in clinical decision-making; PLOS Digital Health (2023), Kung et al.: Performance of ChatGPT on USMLE. Сурет: Daniel Sone, National Cancer Institute / Wikimedia Commons (Public domain).
Пікірлер
Пікір қалдыру үшін жүйеге кіріңіз Кіру