Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как брат с сестрой создали в Томске бизнес с незрячими массажистами Как брат с сестрой создали в Томске бизнес с незрячими массажистами

Что подтолкнуло брата с сестрой на открытие школы массажа с незрячими

Forbes
Спасительная рассрочка увеличивает риски Спасительная рассрочка увеличивает риски

Какие риски несут программы рассрочек при покупке жилья?

Монокль
DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки

Как изменился ландшафт DDoS и что этому способствовало

Forbes
Снаряды против пушек Снаряды против пушек

Даже в первый год Великой Отечественной войны в СССР проходили соревнования

Ведомости
Как путешествия меняют нас: 5 не заметных глазу трансформаций Как путешествия меняют нас: 5 не заметных глазу трансформаций

Как путешествия влияют на наше ментальное и физическое здоровье?

ТехИнсайдер
Липецкий Клондайк Липецкий Клондайк

В Липецкой области создают уникальный кластер для любителей экстрима

Отдых в России
Остановить внутреннего паникера Остановить внутреннего паникера

Как утихомирить внутреннего тревожного паникера: советы от психотерапевтов

Psychologies
Мы идем своим путем Мы идем своим путем

Русская внешняя политика как культурное явление

Эксперт
Тот актер из «Большого куша»: как Стивен Грэм придумал сериал «Переходный возраст» Тот актер из «Большого куша»: как Стивен Грэм придумал сериал «Переходный возраст»

Как «бандит с экрана» смог снять сложную и злободневную картину?

Forbes
«Я долгое время не могла отцепить от себя эту героиню» «Я долгое время не могла отцепить от себя эту героиню»

Аня Пересильд — как сложилась ее жизнь после «Слова пацана»

OK!
Лестница в небо Лестница в небо

Как помочь новому поколению найти свое место в нашем безумном мире

Men Today
Какими бывают виды отверток и бит для шуруповертов Какими бывают виды отверток и бит для шуруповертов

Какие бывают отвертки — виды и названия наконечников, а также их размеры

CHIP
Тонкости переобувки: чем опасны старые шины и как избежать штрафов за утилизацию Тонкости переобувки: чем опасны старые шины и как избежать штрафов за утилизацию

Чем опасна пыль от истирания колес и почему покрышки нельзя сжигать в костре?

ТехИнсайдер
Настоящее SPAсение Настоящее SPAсение

Какие spa-процедуры от стресса сегодня востребованы?

Лиза
Когда медицинские практики прошлого у нас в крови… Когда медицинские практики прошлого у нас в крови…

На протяжении почти 2000 лет для лечения болезней использовалось кровопускание

Знание – сила
Беззубый театр. Беседа на спорные темы Беззубый театр. Беседа на спорные темы

Продолжение статьи худрука Марка Розовского о современном театре

Знание – сила
Почему герои русской литературы — это антипример концепции wellbeing Почему герои русской литературы — это антипример концепции wellbeing

Не перестаем любить героев великой классики, однако в жизни делаем все наоборот

РБК
У берегов Антарктиды нашли «странных» морских свинок, пауков» и бабочек У берегов Антарктиды нашли «странных» морских свинок, пауков» и бабочек

Глубины Антарктиды скрывают поразительные формы жизни

ТехИнсайдер
Рене Зеллвегер. В поисках счастья Рене Зеллвегер. В поисках счастья

Хелен Филдинг решила на этот раз не фантазировать, а списать с жизни самой Рене?

Караван историй
Ботаники описали новый вид паразитирующих на грибах «волшебных фонариков» с Малайского полуострова Ботаники описали новый вид паразитирующих на грибах «волшебных фонариков» с Малайского полуострова

Как на востоке Малайского полуострова новый вид тисмий

N+1
Мужчина мечты Мужчина мечты

Хочет ли Ярослав Могильников остаться в кино и как проходят его первые свидания

VOICE
Соединительный Союз Соединительный Союз

Спортивные события последнего года Великой Отечественной войны

Ведомости
Что такое «перезагрузка» и зачем она нужна Что такое «перезагрузка» и зачем она нужна

Как компьютерный термин проник в велнес-индустрию и в чем его нюансы

РБК
Гита, жена Мономаха Гита, жена Мономаха

Первой женой Мономаха была дочь Гарольда Годвинсона, павшего при Гастингсе

Дилетант
Вечерний спорт влияет на продолжительность сна Вечерний спорт влияет на продолжительность сна

Тренировки перед сном сильнее сказываются на состоянии сна, чем считалось ранее

ТехИнсайдер
Инвесторы ловят дно Инвесторы ловят дно

Инвесторы ищут возможность заработать на падающем рынке

Ведомости
Лифтинг-прически Лифтинг-прически

Как омолодить овал лица при помощи укладки

Лиза
Движение вверх Движение вверх

Почему современные мегаполисы должны делать ставку на вертикальный рост?

Ведомости
Как научиться принимать комплименты Как научиться принимать комплименты

Почему бывает трудно принимать комплименты и как с этим справиться

Inc.
Коллеги, не ссорьтесь! Коллеги, не ссорьтесь!

Какие могут быть эффективные способы разрешения у разных рабочих конфликтов?

Лиза
Открыть в приложении