Врачебные ошибки искусственного интеллекта

Внутренние документы IBM свидетельствуют, что разработанный компанией медицинский ИИ Watson совершает врачебные ошибки. Онкологи раскритиковали небезопасные и некорректные методы лечения рака, которые алгоритм предлагает пациентам. После утечки в IBM объявили, что описанные случаи - просто часть процесса обучения.

Свидетельства ошибок в работе системы "Watson для онкологии" были обнаружены в двух презентациях, представленных в июне и июле 2017 года бывшим заместителем руководителя проекта Эндрю Норденом. Они также были переданы в управление IBM Watson Health. В документах сообщается, что Watson предлагает некорректные методы лечения, которые могут привести к смерти пациента. Это ставит под вопрос состоятельность технологии и используемых в ней баз данных.

Вот один из таких случаев. 65-летнему мужчине диагностировали рак легкого, обнаружилось сильное кровотечение. Watson предложил пациенту химиотерапию и лекарство бевацизумад. Однако этот препарат противопоказан людям с кровотечениями - он может вызвать тяжелое или смертельное кровоизлияние. К счастью, отмечает Gizmodo, эта рекомендация была дана в ходе тестирования системы, а не реальному пациенту.

Согласно документам, в ошибках Watson виноваты инженеры IBM и медики из Мемориального онкологического центра им. Слоуна-Кеттеринга (MSK), которые с 2012 года учат ИИ "думать как врач". Вместо того, чтобы в процессе тренировки "скармливать" алгоритму реальные истории болезней, они использовали искусственно сгенерированные "синтетические" случаи. В итоге Watson давал реальным пациентам рекомендации, основанные на гипотетических пациентах, придуманных в MSK.

Врачи быстро заметили проблемы с Watson: во внутренний отчет включены жалобы многих из них. Например, некий врач из клиники Джунипер, штат Флорида, не стесняясь называет его "кучей дерьма". Он утверждает, что ИИ Watson бесполезен в большинстве случаев. При этом такая позиция противоречит интервью, которое представители клиники дали год назад изданию Gizmodo: в нем не содержалось никакой критики алгоритма.

Эндрдю Норден отказался комментировать информацию о врачебных ошибках Watson, ссылаясь на то, что больше не работает в IBM. Он покинул компанию ради поста в Cota - компании, специализирующейся на медицинской аналитике. Представители MSK заявили, что содержащаяся во внутренних документах критика "отражает процесс настройки системы". В IBM добавили, что "Watson для онкологии" постоянно совершенствуется: только в прошлом году он получил 11 обновлений. В основе лежат обратная связь с клиентами и новые научные данные.

В настоящее время система "Watson для онкологии" используется в 230 больницах по всему миру и помогает лечению 13 видов рака у 84 000 пациентов. Врачебные ошибки - не единственная проблема проекта Watson. Как отмечают эксперты, все подразделение IBM, занимающееся искусственным интеллектом, переживает кризис и медленно движется к краху. В конце мая в нем произошли массовые сокращения. Одна из их причин - в том, что Watson не приносит прибыли. По некоторым данным, в IBM уже не видят перспективы закрепиться на рынке услуг для здравоохранения. И вместо того, чтобы совершенствовать медицинский ИИ, Watson Health сосредоточилась на сотрудничестве со страховыми компаниями.

Источник: https://hightech.plus/2018/07/27/ii-onkologa-ibm-watson-ulichili-vo-vrachebnih-oshibkah-