Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Иероглифы и сбоку бантик: как продвигать франшизу на этапе открытия Иероглифы и сбоку бантик: как продвигать франшизу на этапе открытия

Как новому сервису, заведению или магазину со старта громко заявить о себе?

Forbes
Культура сбережений: зачем откладывать на завтра то, что можно потратить сегодня? Культура сбережений: зачем откладывать на завтра то, что можно потратить сегодня?

Зачем каждому гражданину нужно выработать у себя привычку делать сбережения?

Наука и техника
Эксперт Фомин рассказал, как предотвратить слежку за переписками на Android Эксперт Фомин рассказал, как предотвратить слежку за переписками на Android

Способы защиты переписок для пользователей Android-устройств

ТехИнсайдер
Территория детства Территория детства

7 особенностей дизайна, которые точно понравятся твоему ребенку

Лиза
Как утолить эмоциональный голод, если у вас нет партнера: 5 сфер, на которые стоит обратить внимание женщине Как утолить эмоциональный голод, если у вас нет партнера: 5 сфер, на которые стоит обратить внимание женщине

Одиночество — это не пустота, а пространство для наполнения своей жизни смыслами

Psychologies
Делать игры — это профессия: разработчик отвечает на (не)глупые вопросы Делать игры — это профессия: разработчик отвечает на (не)глупые вопросы

Правда, что в России не делают хороших игр? Как стать игровым разработчиком?

ТехИнсайдер
Мир с репарациями и контрибуциями Мир с репарациями и контрибуциями

Сейчас происходит переход от однополярной к многополярной модели мироустройства

Ведомости
Время спать Время спать

Хотите впасть в спячку до весны? Теоретически для этого нет никаких препятствий

ТехИнсайдер
Отложенный дефицит: чем чреват отказ нанимать джунов Отложенный дефицит: чем чреват отказ нанимать джунов

Почему отказ нанимать джунов — перспектива новой волны нехватки кадров

Forbes
«Перезапуск будущего. Как „починить“ нематериальную экономику» «Перезапуск будущего. Как „починить“ нематериальную экономику»

Связь между нематериальной экономикой и усугублением проблемы неравенства

N+1
Конкуренты Конкуренты

Какими они были, конкуренты герцога Нормандского?

Дилетант
Сила стиля Сила стиля

Какие тренды меняют мужскую моду

Men Today
Бастарды и байстрюки Бастарды и байстрюки

На что имел право незаконнорождённый ребёнок в Средние века?

Дилетант
Щедры на дивиденды Щедры на дивиденды

Какие компании в этом году поделятся прибылью с акционерами

Деньги
Роковая любовь в «эпоху джаза»: что вдохновило Фрэнсиса Скотта Фицджеральда на создание «Великого Гэтсби» Роковая любовь в «эпоху джаза»: что вдохновило Фрэнсиса Скотта Фицджеральда на создание «Великого Гэтсби»

Почему «Великого Гэтсби» можно считать пророчеством для американской мечты?

Правила жизни
Тот актер из «Большого куша»: как Стивен Грэм придумал сериал «Переходный возраст» Тот актер из «Большого куша»: как Стивен Грэм придумал сериал «Переходный возраст»

Как «бандит с экрана» смог снять сложную и злободневную картину?

Forbes
Химики воспроизвели межзвездный синтез всех молекул цикла Кребса Химики воспроизвели межзвездный синтез всех молекул цикла Кребса

Химики в лаборатории синтезировали весь набор карбоновых кислот из цикла Кребса

N+1
Почему зевать — опасно? Узнайте интересные факты и мнение специалистов Почему зевать — опасно? Узнайте интересные факты и мнение специалистов

Почему сонливость и зевота — опасны?

ТехИнсайдер
Не ешь пирожок! Не ешь пирожок!

Составляем правильное меню для тебя (без булочек!)

VOICE
Русско-американские отношения в XIX веке. Часть 2 Русско-американские отношения в XIX веке. Часть 2

Какими были отношения США и России накануне войны между Севером и Югом

Наука и техника
Личное пространство Личное пространство

Респектабельный минимализм с авторскими решениями и иконами дизайна

SALON-Interior
Как и зачем одна женщина записала и сохранила более 30 лет передач на ТВ в США Как и зачем одна женщина записала и сохранила более 30 лет передач на ТВ в США

Архив Мэрион Стокс — это уникальная хроника истории

ТехИнсайдер
Настоящие произведения искусства: топ-5 самых красивых паспортов в мире Настоящие произведения искусства: топ-5 самых красивых паспортов в мире

Развороты некоторых паспортов можно смело вывешивать в галереях. Посмотрите!

ТехИнсайдер
52 дня под водой: чем закончился рекордный эксперимент советской глубоководной станции «Черномор» 52 дня под водой: чем закончился рекордный эксперимент советской глубоководной станции «Черномор»

Как проходил эксперимент по самому длительному пребыванию акванавтов под водой

ТехИнсайдер
Топ процедур по омоложению на 45 лет Топ процедур по омоложению на 45 лет

Лучшие косметологические методики для 45-летних

VOICE
Юродивый из Лефортова Юродивый из Лефортова

Почему смерть рэпера обсуждала вся страна и что не так с молодежной политикой?

Монокль
Терапия будущего Терапия будущего

Марк Бартон — про ИИ-психолога и инновации в сфере психологической помощи

Psychologies
Почему герои русской литературы — это антипример концепции wellbeing Почему герои русской литературы — это антипример концепции wellbeing

Не перестаем любить героев великой классики, однако в жизни делаем все наоборот

РБК
Люся Чеботина: «Люблю вызовы и эксперименты» Люся Чеботина: «Люблю вызовы и эксперименты»

Люся Чеботина о весне, вдохновении и любви

Лиза
Рене Зеллвегер. В поисках счастья Рене Зеллвегер. В поисках счастья

Хелен Филдинг решила на этот раз не фантазировать, а списать с жизни самой Рене?

Караван историй
Открыть в приложении