Искусственный интеллект определяет расу по рентгеновским снимкам

Новое исследование показало, что искусственный интеллект, обученный считывать рентгеновские снимки и снимки компьютерной томографии, может определять расу человека с точностью до 90 процентов. Ученые понятия не имеют, как алгоритмы могут это делать. Это исследование еще больше беспокоит ученых из-за возможных расовых предрассудков, которые люди могли неосознанно передать, разрабатывая модели ИИ.

Результаты исследований поднимают тревожные вопросы о роли искусственного интеллекта (ИИ) в медицинской диагностике, оценке и лечении. Они предполагают, что следует проявлять особую осторожность при внедрении моделей ИИ в медицинские технологии, потому что даже если предоставленные изображения считаются анонимными, искусственный интеллект все равно может их охарактеризовать.

Исследование было опубликовано в журнале The Lancet Digital Health ( DOI: 10.1016/S2589-7500 (22) 00063-2 ).

Удивительная точность

Искусственный интеллект проанализировал сотни тысяч рентгеновских снимков. Каждый содержал информацию о расе пациента. Затем международная группа исследователей из США, Канады и Тайваня проверила, сможет ли алгоритм распознать породу по фотографиям, которых он раньше не знал.

Выяснилось, что компьютер может с удивительной точностью предсказать расу пациентов только по рентгеновским снимкам, вне зависимости от возраста и пола. Для некоторых групп эффективность системы достигла 90%.

«Наша цель состояла в том, чтобы провести всестороннюю оценку способности искусственного интеллекта распознавать расовую принадлежность пациента на основе медицинских изображений», — пишут исследователи в опубликованном исследовании. «Мы показали, что стандартные модели глубокого обучения ИИ могут быть обучены предсказывать расу по рентгеновским изображениям с высокой эффективностью», — добавляют они.

Исследование вызывает много эмоций в контексте предыдущих анализов. Они показали, что искусственный интеллект, сканирующий рентгеновские лучи, с большей вероятностью пропустит признаки заболевания у чернокожих. Чтобы этого не произошло, ученым сначала нужно понять, почему.

«Предубеждения» искусственного интеллекта

По своей природе искусственный интеллект имитирует человеческое мышление, чтобы быстро видеть закономерности в данных. Но это также означает, что он может неосознанно поддаваться тем же предубеждениям, что и люди. Что еще хуже, сложность ИИ затрудняет избавление от предубеждений, которые мы вплели в наши алгоритмы.

На данный момент ученые не уверены, почему система ИИ так хорошо распознает расу по рентгеновским снимкам. Даже когда была предоставлена ​​ограниченная информация, например, путем удаления признаков плотности костей или фокусировки на небольшой части тела, модели по-прежнему показывали на удивление хорошие результаты в угадывании расы.

Возможно, система обнаруживает какие-то признаки меланина, пигмента, придающего коже ее цвет, которые пока не известны науке.

«Наше открытие, что ИИ может точно предсказывать расу даже по неполным, искаженным или обрезанным медицинским изображениям, часто когда клинические эксперты не могут этого сделать, создает огромные риски для всех моделей, используемых в медицинской визуализации», — пишут исследователи.

Расизм и сексизм ИИ

Новое исследование дополняет растущее количество доказательств того, что системы искусственного интеллекта часто могут отражать предвзятость и предубеждения людей, будь то расизм, сексизм или что-то еще. Искаженные данные могут привести к искаженным результатам, что сделает их гораздо менее полезными.

Это необходимо уравновешивать мощным потенциалом искусственного интеллекта, который может обрабатывать гораздо больше данных быстрее человека — от методов обнаружения болезней до моделей изменения климата.

Исследование по-прежнему оставляет много вопросов без ответа. На данный момент важно понимать, что в системах ИИ могут возникать расовые предрассудки.

«Мы должны сделать перерыв», — говорит исследователь и врач Лео Энтони Чели из Массачусетского технологического института. — Мы не можем спешить с внедрением алгоритмов в больницы и поликлиники, пока не будем уверены, что они не принимают расистских или сексистских решений, — добавляет он.

Источник: Science Alert, фото:  Невит Дилмен , CC BY-SA 3.0