Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 продуктов с высоким содержанием протеина и низким содержанием калорий 6 продуктов с высоким содержанием протеина и низким содержанием калорий

Список лучших низкокалорийных продуктов, богатых белком

ТехИнсайдер
6 признаков хорошей тренировки 6 признаков хорошей тренировки

Сигналы организма дадут понять, каких результатов стоит ждать от тренировок

Maxim
Цифровой сценарист: как ИИ создает иллюзию свободы выбора Цифровой сценарист: как ИИ создает иллюзию свободы выбора

Как научиться распознавать технологические манипуляции

Forbes
Ледяной дрейф Ледяной дрейф

21 мая в России отметили день полярника. И дата выбрана неслучайно

Отдых в России
Пластичность мозга Пластичность мозга

Потрясающие факты о том, как мысли способны менять структуру и функции мозга

kiozk originals
Справа на лево: гид по японским комиксам манга Справа на лево: гид по японским комиксам манга

Как манга появилась на свет, заработала свою славу и стала массовым жанром

Правила жизни
Как выбрать удлинитель: 5 моментов, на которые надо обратить внимание Как выбрать удлинитель: 5 моментов, на которые надо обратить внимание

Удлинитель кажется простым аксессуаром, однако в его выборе достаточно нюансов

CHIP
Как сегодня выглядит певица Сандра, которая была звездой мировых дискотек, а потом ушла в тень из-за разбитого сердца Как сегодня выглядит певица Сандра, которая была звездой мировых дискотек, а потом ушла в тень из-за разбитого сердца

История суперзвезды конца XX века Сандры Ландер

VOICE
3 вещи, которые старят и прибавляют вес женщинам после 40 лет: мнение эксперта 3 вещи, которые старят и прибавляют вес женщинам после 40 лет: мнение эксперта

Гардероб после сорока лет — это не сплошные правила и отказы

VOICE
Кинофраншизы, которые не сдуваются до конца Кинофраншизы, которые не сдуваются до конца

Тот самый случай, когда первый фильм, сиквел, триквел и дополняют друг друга

Maxim
Теоретическое знание: почему на рынке не хватает действительно готовых к работе людей Теоретическое знание: почему на рынке не хватает действительно готовых к работе людей

Как дать дорогу молодым специалистам и не во вред бизнесу?

Forbes
Понимают ли кошки человеческую речь? Понимают ли кошки человеческую речь?

Есть ли смысл разговаривать с кошками? Понимают ли они нашу речь?

ТехИнсайдер
Секреты салонного маникюра, о которых все молчат: что скрывают нейл-мастера Секреты салонного маникюра, о которых все молчат: что скрывают нейл-мастера

Ты пересмотришь свое мнение о домашнем маникюре, узнав, что происходит в салонах

VOICE
На краю земли На краю земли

Дизайнер Seasons Дарья Уланова вместе с друзьями отправилась на Сахалин

Seasons of life
Бессмысленно и бестактно: почему не стоит советовать женщинам выходить замуж Бессмысленно и бестактно: почему не стоит советовать женщинам выходить замуж

Могут ли женщины состояться в жизни, не выходя замуж?

Forbes
Среди старых находок из памятника Грот-дю-Ренн обнаружили два неандертальских зуба Среди старых находок из памятника Грот-дю-Ренн обнаружили два неандертальских зуба

Палеоантропологи повторно исследовали коллекцию фаунистических остатков

N+1
Почерк мастера Почерк мастера

В этом интерьере чудесным образом переплелись история и современность

SALON-Interior
Как в «Моем преступлении» Франсуа Озону удалось играючи поговорить на тему женской эмансипации Как в «Моем преступлении» Франсуа Озону удалось играючи поговорить на тему женской эмансипации

«Мое преступление» — фильм-размышление на тему женской эмансипации

СНОБ
О вкусах спорят? Узнайте правила кулинарии, которые можно игнорировать! О вкусах спорят? Узнайте правила кулинарии, которые можно игнорировать!

Правда, что не стоит мыть грибы и готовить на оливковом масле?

ТехИнсайдер
«Французская кухня в России и русской литературе» «Французская кухня в России и русской литературе»

Как русские классики писали о французских блюдах

N+1
«Платонические отношения»: смешной и тонкий сериал о дружбе между мужчиной и женщиной «Платонические отношения»: смешной и тонкий сериал о дружбе между мужчиной и женщиной

«Платонические отношения» — сериал о настоящей и трепетной дружбе

Forbes
Ламинирование ресниц: плюсы, минусы и противопоказания к процедуре Ламинирование ресниц: плюсы, минусы и противопоказания к процедуре

Разбираемся вместе с экспертами, что лучше: ламинирование или ботокс ресниц?

РБК
Любознательный непоседа или сдержанный интеллектуал: какой твой ребенок по психоматрице Любознательный непоседа или сдержанный интеллектуал: какой твой ребенок по психоматрице

Какими чертами характера детей наделяет январь, а какими — июль?

VOICE
Ксения Подвальная Ксения Подвальная

Главный феномен петербургской моды прямо сейчас — Atelier Biser

Собака.ru
Как космические путешествия медленно убивают иммунитет человека: что ждет астронавтов будущего Как космические путешествия медленно убивают иммунитет человека: что ждет астронавтов будущего

Условия космических путешествий изменяют экспрессию генов астронавтов

ТехИнсайдер
7 дворянских усадеб Подмосковья, на которые стоит посмотреть 7 дворянских усадеб Подмосковья, на которые стоит посмотреть

Старинные подмосковные усадьбы с историей

СНОБ
Ограниченные данные: зачем страховым компаниям знать больше о своих клиентах Ограниченные данные: зачем страховым компаниям знать больше о своих клиентах

Почему страховые компании не всегда могут собрать и обработать данные клиентов?

Forbes
Когда нельзя идти на компромисс: 7 ситуаций — мнение семейного психолога Когда нельзя идти на компромисс: 7 ситуаций — мнение семейного психолога

Всегда ли стоит договариваться и идти на уступки?

Psychologies
Календарь вакцинации: какие прививки нужно делать взрослым? Календарь вакцинации: какие прививки нужно делать взрослым?

Помогают ли прививки и от чего стоит защищаться в первую очередь?

Правила жизни
Знаменитости покоряют «24 часа Ле-Мана»: кто из актеров и рок-звезд стал автогонщиком Знаменитости покоряют «24 часа Ле-Мана»: кто из актеров и рок-звезд стал автогонщиком

Знаменитости, которые принимали участие в легендарном марафоне «24 часа Ле-Мана»

Forbes
Открыть в приложении