Искусственный интеллект в медицине всё чаще обсуждают не как красивую технологию будущего, а как вполне рабочий инструмент, который уже пытаются встроить в реальные решения врачей. Он может быстро читать клинические записи, находить закономерности в больших массивах данных и подсказывать, у кого из пациентов выше риск осложнений. На бумаге это выглядит почти идеально. Но в медицине есть важная деталь: мало просто дать прогноз. Нужно ещё понимать, насколько этому прогнозу можно доверять.
Именно с этой проблемой занялись исследователи Вашингтонского университета. Они разработали подход, который помогает медицинским языковым моделям не только выдавать ответ, но и показывать степень собственной уверенности.
Новая система получила название «Клиническое согласование неопределённости и риска». Её идея звучит просто, но для медицины она очень важна: искусственный интеллект должен понимать, где он почти наверняка прав, а где ситуация слишком сложная и требует осторожности. Сейчас многие модели ведут себя так, будто сомнений у них почти нет. Они могут выдать прогноз очень уверенно даже тогда, когда данные пациента неоднозначны, а клиническая картина не укладывается в простой шаблон. Для обычного информационного сервиса это неприятно. Для больницы это уже риск.
Главная интрига этой темы в том, что союз врача и искусственного интеллекта не всегда автоматически улучшает результат. Казалось бы, всё должно быть наоборот. Компьютер видит огромный массив данных, врач понимает живого пациента, вместе они должны принимать более точные решения. Но в реальности взаимодействие человека и машины устроено сложнее. Бывает, что программа ошибается, а врач слишком доверяет её подсказке. Бывает и обратное: алгоритм даёт верный сигнал, но специалист отвергает его, потому что подсказка кажется странной или не совпадает с первым впечатлением. В обоих случаях проблема не только в качестве прогноза, но и в том, как этот прогноз подан.
Поэтому исследователи предлагают смотреть не только на ответ искусственного интеллекта, но и на его уверенность. Это похоже на ситуацию с опытным консультантом. Один врач может сказать: «Я почти уверен, что здесь высокий риск». Другой скажет: «Данные тревожные, но картина неясная, нужно проверить». Вторая фраза не слабее первой. Иногда она даже полезнее, потому что честно показывает границы знания. Медицинская модель тоже должна уметь говорить не только «да» или «нет», но и «здесь я могу ошибаться».
Для обучения исследователи использовали клинические записи и связанные с ними метки прогнозов из крупного набора данных пациентов отделений интенсивной терапии. На этой основе они донастроили три уже существующие медицинские языковые модели. Затем модели дополнительно обучали так, чтобы их уровень уверенности лучше совпадал с вероятностью ошибки. Если прогноз обычно оказывался правильным, система должна была выражать большую уверенность. Если похожие прогнозы чаще давали сбой, модель должна была показывать больше сомнения.
Это важное отличие от привычного подхода, где основное внимание часто уделяют только точности. Точность отвечает на вопрос, насколько часто модель угадывает правильно. Но в больнице этого мало. Врач хочет знать, когда подсказку можно использовать как дополнительную опору, а когда её нужно воспринимать как повод для внимательной перепроверки. Например, если система относит пациента к группе низкого риска и при этом показывает низкую неопределённость, такой случай может быть относительно безопаснее для автоматической сортировки. Но если она видит высокий риск и одновременно демонстрирует большую неопределённость, это уже сигнал: пациенту нужно больше внимания со стороны врача.
Настоящий врач лечит не абстрактную болезнь, а конкретного человека с его особенностями.
Уильям Ослер
Исследователи проверяли новую систему на пяти задачах, связанных с прогнозированием клинических рисков. Их интересовало не только то, насколько правильно модель отличает пациентов с высоким риском от пациентов с низким риском. Они также оценивали, насколько надёжно её уверенность соответствует реальности. По данным авторов, новый подход улучшил калибровку уверенности во всех пяти задачах и во всех трёх медицинских языковых моделях. При этом способность моделей различать более опасные и менее опасные случаи не ухудшилась.
Это особенно важно, потому что иногда попытка сделать алгоритм осторожнее приводит к потере полезности. Модель может начать слишком часто сомневаться и превращаться в систему, которая почти везде требует ручной проверки. Для перегруженной больницы это не решение, а ещё один источник шума. Здесь же исследователи подчёркивают другой результат: модель стала менее самоуверенной там, где это действительно нужно, но не потеряла способность выделять пациентов с повышенным риском. Проще говоря, её не просто научили бояться ошибок. Её научили точнее понимать, где ошибка вероятнее.
Для врача такая функция может быть даже важнее, чем кажется на первый взгляд. В клинической работе постоянно приходится принимать решения в условиях неполной информации. Анализы могут быть ещё не готовы. Жалобы пациента могут быть расплывчатыми. Данные в истории болезни могут быть неполными. У пожилого пациента одно заболевание маскируется под другое. У тяжёлого пациента несколько процессов идут одновременно. В таких ситуациях уверенный, но ошибочный искусственный интеллект может навредить сильнее, чем молчащий инструмент.
Новая система как раз пытается бороться с этой самоуверенностью. По наблюдениям авторов, исходные медицинские языковые модели часто показывали почти нулевую неопределённость. То есть они вели себя так, будто ответ очевиден. После дополнительной настройки модели стали чаще отмечать сложные и спорные случаи как менее надёжные для автоматического решения. Особенно это касалось пациентов с высоким риском, где ошибка может стоить дорого. Такие случаи система фактически выносила на первый план для врачебного просмотра.
Искусственный интеллект в медицине часто воспринимают либо слишком восторженно, либо слишком тревожно. Одни ждут, что он заменит врача. Другие боятся, что он начнёт принимать решения без человека. Но наиболее реалистичный сценарий выглядит иначе. Алгоритм может стать фильтром, помощником и ранним сигналом. Он может быстро просмотреть много записей и выделить тех пациентов, где ситуация выглядит опасной или неясной. А врач уже будет решать, что делать дальше, с учётом осмотра, опыта, общения с пациентом и всей клинической картины. Такие технологии особенно актуальны для отделений интенсивной терапии, приёмных отделений и крупных больниц, где поток данных огромный. Один пациент может иметь десятки показателей, несколько диагнозов, результаты обследований, назначения, заметки разных специалистов. Человек способен держать в голове многое, но не бесконечно. Алгоритм не устаёт от объёма данных, зато ему не хватает клинического здравого смысла. Поэтому идея честной неопределённости выглядит как попытка сделать взаимодействие врача и машины более зрелым.
Конечно, до внедрения таких систем в повседневную практику ещё есть дистанция. Модель, которая хорошо работает на одном наборе данных, нужно проверять на других группах пациентов. Важно понять, как она поведёт себя в больницах с другой структурой записей, другими протоколами, другим уровнем цифровизации и другим составом пациентов. Нельзя автоматически переносить результат из исследовательской среды в реальную клинику. В медицине это правило особенно строгое.
Кроме того, есть вопрос ответственности. Если искусственный интеллект показывает низкую неопределённость, а врач следует его подсказке, кто отвечает за ошибку? Если модель сомневается, но врач не успевает проверить случай достаточно быстро, как это повлияет на организацию помощи? Такие вопросы не решаются одной красивой технологией. Нужны правила, обучение персонала, понятные интерфейсы и честная оценка пользы. Врач должен видеть не магический ответ, а инструмент с понятными ограничениями.
Пациентам тоже важно понимать, что искусственный интеллект не является электронным доктором в полном смысле слова. Он не видит выражение лица, не чувствует интонацию, не может сам уточнить все детали жалоб и не несёт человеческой ответственности. Но он может помочь врачу заметить то, что легко пропустить в большом потоке информации. Особенно если система умеет не только советовать, но и предупреждать о собственной неуверенности. Авторы работы планируют расширить проверку своего подхода на более широкие группы пациентов и оценить, насколько такая настройка неопределённости помогает принимать более надёжные клинические решения. Это логичный следующий шаг. Медицине нужны не просто умные алгоритмы, а инструменты, которые понимают собственные границы. Потому что в реальной больнице опасен не только неправильный ответ. Иногда ещё опаснее ответ, который звучит слишком уверенно.
Автор статьи: журналист, специалист здравоохранения, Штык Аркадий Егорович
