Из-за некачественного ИИ врачи могут пропускать диагнозы
Во вторник стало известно: впервые в нашей стране Росздравнадзор приостановил применение одного из медицинских цифровых сервисов, основанных на искусственном интеллекте (ИИ). Речь идет о разработке Botkin.AI, которая «заточена» распознавать патологии на снимках по итогам лучевых исследований (рентгена, КТ, маммографии).
Госведомство посчитало, что эта система может «причинить вред здоровью» пациентов, сообщает «Коммерсантъ» со ссылкой на реестр Росздравнадзора. В ответ на запрос СМИ контролирующий орган пояснил, что проводит проверку производителя. Других подробностей на сегодня нет.
За что же могли уволить «электронного доктора»? Какие угрозы здоровью пациентов может нести «некачественный» искусственный интеллект? «Комсомолка» собрала версии экспертов.
ВЕРСИЯ 1: ПРОБЛЕМЫ С ДОКУМЕНТАМИ
Как рассказал «КП» на условиях анонимности эксперт по информационным технологиям, сегодня и у нас в стране, и во всем мире еще очень несовершенны системы госрегулирования применения ИИ в медицине. Для цифровых сервисов нового поколения, нейросетей нужно разработать соответствующие процедуры, которые позволили бы максимально точно оценивать их эффективность и безопасность, отмечает специалист. Причем это должны быть прогрессивные решения, с одной стороны, не тормозящие применение передовых технологий. А с другой стороны, важно создать строгие, «высокочувствительные» подходы, чтобы в клиническую практику не попали сомнительные алгоритмы. Ведь речь идет о жизни и здоровье пациентов.
Возможно, из-за отсутствия точных критериев оценки пользы и безопасности ИИ возникли претензии к регистрационному досье конкретной компании-разработчика, предполагает источник «КП». На этом основании могло быть приостановлено разрешение на применение цифрового сервиса. Иными словами, речь идет о недостаточно доказанной эффективности конкретной технологии (а как заранее проверить и убедиться в высокой эффективности, сегодня до конца не ясно, добавляет наш эксперт).
ВЕРСИЯ 2: «ЭЛЕКТРОННЫЙ ДОКТОР» ПРОПУСТИЛ ДИАГНОЗЫ
«Умный алгоритм», как и любой продукт, должен быть качественным. И точно так же, как всякий товар, может оказаться с браком. Если задача цифрового сервиса анализировать снимки КТ, то брак будет означать либо находку несуществующих опухолей и других патологий, либо пропуск подозрительных фрагментов. Первое еще не так страшно. Потому что в любом случае диагноз ставит живой врач, который перепроверяет снимки, «подсвеченные» ИИ как потенциально тревожные. Если нейросеть сочла, что на томограмме «все чисто», то медик, по идее, тоже должен перепроверить и убедиться лично. Однако на практике, как рассказал источник «КП», врачи порой расслабляются. Слишком полагаются на «электронного коллегу» и уже не так внимательно просматривают «чистые» снимки. Растет риск упустить опасный диагноз.
Отметим, что на сегодня в доступных источниках нет подтверждений, что именно такие случаи имели место при использовании конкретного сервиса Botkin.AI. По данным «Ъ», в ходе тестирования этой технологии «был выявлен ряд недостатков». Однако не известно, о чем именно идет речь и пострадали ли в итоге пациенты.
«Даже если на практике оказалось, что конкретный сервис ИИ недостаточно эффективен, то и здесь я бы не столько винил разработчиков, сколько ставил вопрос о совершенствовании госрегулирования. То есть о создании тех самых критериев для адекватной оценки качества и безопасности передовых технологий», - отмечает эксперт «КП».
«Умный алгоритм», как и любой продукт, должен быть качественным. И точно так же, как всякий товар, может оказаться с браком.
Где применяли приостановленный сервис?
Активнее всего «умные алгоритмы» применяют в московском здравоохранении. Сейчас в столице используется несколько десятков цифровых сервисов. Причем, с января этого года в Москве анализ снимков КТ и рентгена искусственным интеллектом включили в программу обязательного медицинского страхования. Столица первой в стране ввела специальный тариф на анализ лучевых исследований с помощью нейросетей. При этом в городском Департаменте здравоохранения заверяют, что сервис Botkin.AI в столичных клиниках не используется. В порядке тестирование его применяли в Тульской области, там использование сейчас приостановлено. Также система могла быть установлена в различных коммерческих поликлиниках, поясняют эксперты.
ВОПРОС РЕБРОМ
Как избежать ошибок при использовании ИИ в медицине?
Как рассказывал ранее в одном из интервью «КП» главный аналитик Центра искусственного интеллекта МФТИ Игорь Пивоваров, даже самый «умный» алгоритм не дотягивает до способностей живого доктора.
- Не зря говорят, что медицина - это искусство. Хороший врач ориентируется и на свою интуицию, и на другие навыки, наработанные годами опыта. Поэтому заменить врача искусственный интеллект, думаю, никогда не сможет, - отметил эксперт.
Однако ИИ может быть отличным помощником доктора, уверен Пивоваров. При этом для создания высокоточных, эффективных сервисов нужно обучать их на очень большом количестве качественных медицинских данных. На практике же один и тот же рентген-снимок два врача могут интерпретировать по-разному. А ИИ ведь учится на изображениях, размеченных медиками. И фактически сталкивается с противоречивыми образцами, пояснил эксперт.
Словом, многое зависит и от врачей-учителей ИИ, и от грамотных процедур для оценки эффективности готовых сервисов.
https://www.kp.ru/daily/27584/4854710/