Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как Мехран Насери из Ирана жил в аэропорту Парижа в течение 18 лет: история из фильма Как Мехран Насери из Ирана жил в аэропорту Парижа в течение 18 лет: история из фильма

История Мехрана Насери — иранца, который так и не смог покинуть зону ожидания

ТехИнсайдер
Как подготовиться к первому сексу девушкам и парням: 15 советов от сексолога Как подготовиться к первому сексу девушкам и парням: 15 советов от сексолога

Секс: что следует сделать до, во время и после этого ответственного события?

Psychologies
Японцы сделали роборуку с человеческими мышцами Японцы сделали роборуку с человеческими мышцами

Японские инженеры разработали биогибридную руку с человеческими мышцами

N+1
Из чего состоит роман Ивана Тургенева «Отцы и дети» Из чего состоит роман Ивана Тургенева «Отцы и дети»

Как роман Ивана Тургенева «Отцы и дети» повлиял на культуру и политику страны

СНОБ
Психология стресса Психология стресса

Нашумевшее руководство по борьбе со стрессом и связанными с ним болезнями

kiozk originals
Движение HeForShe: как мужчины и компании объединяются, чтобы бороться с патриархатом Движение HeForShe: как мужчины и компании объединяются, чтобы бороться с патриархатом

Как появилось и чем занимается движение HeForShe?

Forbes
В сарматских погребениях могильника Вонючка-1 нашли всадника и двух женщин с зубными аномалиями В сарматских погребениях могильника Вонючка-1 нашли всадника и двух женщин с зубными аномалиями

Наталия Березина исследовала останки трех человек раннесарматского времени

N+1
(Не)отцовская любовь: как понять, что ребенка подвергают сексуальному насилию дома (Не)отцовская любовь: как понять, что ребенка подвергают сексуальному насилию дома

Опасность может подстерегать детей даже в самом безопасном по определению месте

Psychologies
Интеллектуально развитый мозг думает медленнее, чем среднестатистический Интеллектуально развитый мозг думает медленнее, чем среднестатистический

Умные люди думают быстрее? Оказывается, не всегда

ТехИнсайдер
Дело Кобе живет: как вдова баскетболиста увеличивает капитал семьи после трагедии Дело Кобе живет: как вдова баскетболиста увеличивает капитал семьи после трагедии

Как после трагедии Кобе Брайанта его вдова взяла все в свои руки

Forbes
Инвестиции в продукты виноделен — на какие российские вина стоит обратить внимание Инвестиции в продукты виноделен — на какие российские вина стоит обратить внимание

Как заработать, купив бутылку вина?

СНОБ
Большие возможности. Тест-драйв внедорожника TANK 500 Большие возможности. Тест-драйв внедорожника TANK 500

Какими достоинствами обладает новый китайский внедорожник TANK 500

СНОБ
Древние римляне тоже разводили и любили Древние римляне тоже разводили и любили

Собаки были любимыми питомцами римлян

ТехИнсайдер
Виктор Цой родился 61 год назад. Он погиб в странном ДТП Виктор Цой родился 61 год назад. Он погиб в странном ДТП

Вспоминаем, как жил Виктор Цой и разбираем роковое ДТП с «Москвичом 2141»

РБК
Дресс-код и шутки о погоде: что нужно знать женщине-экспату, чтобы вести бизнес в ОАЭ Дресс-код и шутки о погоде: что нужно знать женщине-экспату, чтобы вести бизнес в ОАЭ

Сложно ли женщине вести бизнес в ОАЭ?

Forbes
Побег от реальности Побег от реальности

Как художники превратили старую ферму в арт-пространство и приют интеллектуалов

Seasons of life
«Сочетание контрактного производства и своих брендов усиливает бизнес» «Сочетание контрактного производства и своих брендов усиливает бизнес»

О перспективах рынка отечественной бытовой химии и косметики

РБК
«Женщины играют значительную роль в освоении арктических территорий» «Женщины играют значительную роль в освоении арктических территорий»

О важности постоянного прямого диалога с женщинами коренных народов Севера

РБК
2 года, 5 лет, 10 лет: как укрепить отношения на разных этапах брака 2 года, 5 лет, 10 лет: как укрепить отношения на разных этапах брака

Как не дать чувственной связи в браке угаснуть?

Psychologies
Красота в беде Красота в беде

Как европейская культура перестала бояться страха

Weekend
Шурыгина, Солнцев, Бугатти: что стало с героями скандальных ток-шоу Шурыгина, Солнцев, Бугатти: что стало с героями скандальных ток-шоу

Как же сейчас выглядят и чем живут одни из самых ярких звездочек на один эфир?

VOICE
«Антикварная книга от А до Я» «Антикварная книга от А до Я»

Фрагмент из книги «Антикварная книга от А до Я» Петра Дружинина

N+1
От функции к форме От функции к форме

Нетипичный для отечественной архитектуры, внешне простой, но элегантный дом

Идеи Вашего Дома
Александр Макаров Александр Макаров

Из Питера в первое плавание отправилась уникальная платформа «Северный полюс»

Собака.ru
Дети и взрослые с СДВГ: отвечаем на самые важные вопросы Дети и взрослые с СДВГ: отвечаем на самые важные вопросы

Как отличить особенности поведения или темперамента ребенка от диагноза?

Psychologies
Аккумуляторная независимость: как в России развивается производство литий-ионных накопителей энергии Аккумуляторная независимость: как в России развивается производство литий-ионных накопителей энергии

О том, какова сейчас ситуация с литием и аккумуляторами в России

ТехИнсайдер
Главы государств, которые до вступления в должность успели побывать в тюрьме Главы государств, которые до вступления в должность успели побывать в тюрьме

Девять правителей, отбывших тюремный срок до срока президентского

Maxim
Почему березу считают символом России? Почему березу считают символом России?

Почему же в культурном пространстве береза стала символом именно русского народа

Культура.РФ
Собака-ищейка спасает исчезающих гребенчатых тритонов. Она научилась их вынюхивать под землей Собака-ищейка спасает исчезающих гребенчатых тритонов. Она научилась их вынюхивать под землей

Нюх собаки — это все-таки совершенно непревзойденный запаховый детектор

ТехИнсайдер
Тюрьмы по всему миру не зарегистрировали половину случаев туберкулеза Тюрьмы по всему миру не зарегистрировали половину случаев туберкулеза

Россия оказалась среди стран с наибольшей частотой туберкулеза среди заключенных

N+1
Открыть в приложении