Штучний інтелект часто дає помилкові поради щодо здоров’я

Вчені проаналізували, наскільки інтернет здатний давати корисні поради для широкої аудиторії.

Експеримент показав, що чатботи не були кращими за Google, який і раніше вважали недосконалим у питаннях здоров'я, коли йдеться про визначення діагнозу або подальших дій.

Жодна з моделей, оцінених у межах експерименту, не є готовою до застосування в безпосередньому догляді за пацієнтами, кажуть дослідники. Висновок – незважаючи на ажіотаж, ШІ просто ще не готовий узяти на себе роль лікаря.

В останні роки  питання про здоров'я стали однією з найпоширеніших тем звернень користувачів.

Опитування показують, що приблизно кожен 6-й дорослий користується чатботами для пошуку медичної інформації щонайменше раз на місяць.

Великі технологічні компанії, зокрема Amazon і OpenAI, запустили продукти, спеціально призначені для відповідей на запитання про здоров'я. Ці моделі складали медичні ліцензійні іспити та демонстрували кращі результати за лікарів у складних діагностичних завданнях.

Однак професор Оксфордського інституту Адам Махді припустив, що тестові запитання не відображають реальну клінічну практику.

«Пацієнти мають усвідомлювати, що звернення до великої мовної моделі із запитаннями про свої симптоми може бути небезпечним: вона може поставити неправильний діагноз і не розпізнати ситуацію, коли потрібна термінова допомога», – прокоментувала співавторка дослідження Ребекка Пейн.

Дослідники встановили, що ШІ часто надавав «суміш хорошої та поганої інформації», яку користувачам було складно відрізнити.

Приблизно в половині випадків причиною були дії самих користувачів: вони не вводили достатньо інформації або не зазначали найважливіших симптомів. У результаті чатботи надавали поради, не маючи повної картини щодо проблеми.

Дослідники виявили ще одну проблему: навіть незначні відмінності в тому, як учасники описували свої симптоми або формулювали запитання, суттєво змінювали рекомендації чатботів.

Наприклад, двоє учасників дослідження мали однакові вихідні дані: сильний головний біль, світлочутливість і ригідність м’язів шиї, але трохи по-різному описали проблему в чатботі. В одному випадку модель розцінила це як незначну проблему, що не потребує негайної медичної допомоги, а в іншому забила на сполох.

Крім того, моделі ШІ постійно оновлюються, тож версії, які використовували під час дослідження рік тому, можуть відрізнятися від нинішніх.