Люди и машины обращают внимание на разные детали

Сравнительная карта внимания человека и машины.

Искусственный интеллект часто описывают как чёрный ящик, процессы принятия решений которого неисповедимы. Но исследователи открывают этот чёрный ящик, заглядывают внутрь и сравнивают его работу с работой человеческого мозга.

Оказалось, например, что люди и машины обращают внимание не совсем на одни и те же вещи, когда они смотрят на фотографии.

Исследователи из Facebook и Политехнического университета Виргинии в Блэксбурге (Virginia Polytechnic Institute and State University) показывали людям и машинам фотографии и просили ответить на простые вопросы. Но на самом деле исследователей интересовали не ответы. Их целью было составление карт внимания человеческого и искусственного интеллекта, чтобы пролить немного света на различия между ИИ и нами.

«Карты внимания — это то, с помощью чего мы можем измерить внимание как людей, так и машин, а это довольно редкая возможность», — говорит Лоуренс Зитник (Lawrence Zitnick) из Facebook AI Research. — Сравнение двух типов внимания могло бы способствовать пониманию „смотрят ли компьютеры в нужном направлении“».

Во-первых, Зитник и его коллеги попросили работников Amazon Mechanical Turk ответить на простые вопросы — «что делает человек на этом изображении?» или «сколько кошек лежит на кровати?» Каждая картинка была размыта, и работник должен был кликнуть рядом, чтобы увеличить её чёткость. Карта этих кликов показывает, на какую часть картинки люди обращали внимание.

Затем исследователи задавали те же вопросы двум нейронным сетям, обученным интерпретировать изображения. Они картировали, на какую часть изображения сеть обращала особое внимание.

Учёные обнаружили, что карты внимания двух людей совпали на 0,63 по шкале, в которой 1 означает полное совпадение, а −1 — его полное отсутствие. Карты внимания человека и машины совпали на 0,26. Несмотря на это, нейронные сети довольно хорошо понимают, что изображено на картинке, так что в этом их умении есть элемент тайны.

«Машины, похоже, не смотрят на те же области, на которые смотрит человек, что свидетельствует о том, что мы не понимаем, на чём они основывают свои решения», — говорит Дхрув Батра (Dhruv Batra) из Политехнического университета Виргинии.

Этот разрыв между людьми и машинами может быть полезным источником вдохновения для исследователей, стремящихся настроить нейронные сети. «Можем ли мы сделать их более человекоподобными, и приведёт ли это к более высокой точности?», — спрашивает Батра.

По мнению Юргена Шмидхубера (Jürgen Schmidhuber), директора Института исследований искусственного интеллекта Далле Молле (ит. Istituto Dalle Molle di Studi sull’Intelligenza Artificiale) в Манно, Швейцария, результаты представляют интерес, хотя он полагает, что исследователям не обязательно спешить создавать системы, в точности имитирующие людей.

Схема простой искусственной нейросети. Зелёным цветом обозначены входные нейроны, голубым — скрытые нейроны, жёлтым — выходной нейрон

Искусственная нейронная сеть (ИНС) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей.

«Суть избирательного внимания в том, чтобы активно заполнять пробелы в знаниях внимательного наблюдателя, — говорит Шмидхубер. — Что интересует одну систему, может быть скучно для другой, уже знакомой с этим». Люди имеют более обширный опыт и знания, чем нейронные сети, и поэтому лучше фокусируются на том, что имеет значение.