Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

От «Больницы Питт» до «Терапии»: 8 лучших новых медицинских сериалов От «Больницы Питт» до «Терапии»: 8 лучших новых медицинских сериалов

Медицинские драмы переживают новую волну популярности! А вот их подборка

Forbes
На борту затонувшего средневекового китайского судна нашли сосуды из-под алкогольных напитков На борту затонувшего средневекового китайского судна нашли сосуды из-под алкогольных напитков

Находки, собранные во время раскопок средневекового судна «Наньхай №1»

N+1
Кофе и нейросети: какую роль играет ИИ в привлечении зумеров при кадровом дефиците Кофе и нейросети: какую роль играет ИИ в привлечении зумеров при кадровом дефиците

Как в борьбе за таланты генеративный ИИ становится ключевым инструментом

Forbes
Как Шаболовка, но в 4 раза выше: мы нашли самый высокий гиперболоид мира Как Шаболовка, но в 4 раза выше: мы нашли самый высокий гиперболоид мира

Canton Tower – самый высокий гиперболоид мира

ТехИнсайдер
Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно

О словах, за которые вам не должно быть стыдно, пусть и звучат они забавно

ТехИнсайдер
Николай Лебедев: Сейчас я бы очень хотел снять космическую фантастику Николай Лебедев: Сейчас я бы очень хотел снять космическую фантастику

Как Н. Лебедев стал постановщиком «Кракена» и чем ему помог плюшевый осьминог

Ведомости
Аграрный PR как часть стратегии развития компании Аграрный PR как часть стратегии развития компании

Какие эффективные инструменты маркетинговых коммуникаций используют в 2025 году

Агроинвестор
Какую одежду с этикеткой «стирка запрещена» можно стирать дома: мнение экспертов Какую одежду с этикеткой «стирка запрещена» можно стирать дома: мнение экспертов

Какие вещи можно привести в порядок дома, а какую лучше доверить профессионалам

VOICE
Меркантилизм, абсолютизм и танатология глобализации Меркантилизм, абсолютизм и танатология глобализации

Трамп открыл чемпионат мира по торговым тарифам

Деньги
Суперсила любви Суперсила любви

Как чувство любви формирует нашу жизнь и влияет на развитие цивилизации?

Psychologies
IDеальное преступление IDеальное преступление

Четыре года назад «Популярная механика» опубликовала свой первый кибердетектив

ТехИнсайдер
Малые города для большого потока Малые города для большого потока

Российские туристы стали больше интересоваться малыми городами страны

Ведомости
Банки вкладывают в инклюзию Банки вкладывают в инклюзию

В Т-банке появилась поддержка только с глухими и слабослышащими сотрудниками

Ведомости
А как у них? А как у них?

6 рецептов пасхальных куличей из разных стран

Лиза
От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России

Зачем нужна биометрия и как ее использовать в России

ТехИнсайдер
Секрет похудения, который заключается не в голодании или подсчете калорий Секрет похудения, который заключается не в голодании или подсчете калорий

Какое воздействие на организм окажет один день без углеводов?

ТехИнсайдер
«Книга Страшного суда» «Книга Страшного суда»

«Книга Страшного суда» — итог первой всеобщей переписи земель в Европе

Дилетант
Учеба без отрыва от работы Учеба без отрыва от работы

Выстроить систему обучения сотрудников можно и без корпоративного университета

Ведомости
Социальные круги: почему мы не можем дружить со всеми Социальные круги: почему мы не можем дружить со всеми

Отрывок из книги «Homo Amicus. Деловой человек в поисках друга»

Forbes
8 признаков, которые говорят о том, что парикмахер плохо тебя подстрижет 8 признаков, которые говорят о том, что парикмахер плохо тебя подстрижет

Красные флаги, указывающие на то, парикмахер сделает тебе плохую стрижку

VOICE
Прививка от аллергии АСИТ — как она работает? Прививка от аллергии АСИТ — как она работает?

Вместо того чтобы смягчать симптомы аллергии, можно устранить причину

СНОБ
Твердый знак Твердый знак

Как выбрать камни для амулетов и украшений, чтобы не навредить себе и близким

Лиза
Изобретая наследие Изобретая наследие

Как экономика впечатлений меняет российские города

Эксперт
Оборона в глубоком тылу Оборона в глубоком тылу

Какие экономические решения сделали СССР страной-победителем

Эксперт
Ирина Мирошниченко: «Я дала понять Андрею Тарковскому, что я замужем» Ирина Мирошниченко: «Я дала понять Андрею Тарковскому, что я замужем»

Актриса Ирина Мирошниченко рассказывает о своей молодости и начале карьеры

Коллекция. Караван историй
Мифы о щитовидке Мифы о щитовидке

Все ли, что мы знаем о щитовидной железе, соответствует действительности?

Лиза
Как тебя зовут? Как тебя зовут?

Что такое число имени и как оно влияет на судьбу

Лиза
Настоящее SPAсение Настоящее SPAсение

Какие spa-процедуры от стресса сегодня востребованы?

Лиза
Апрель: «нашествие» хохлаток Апрель: «нашествие» хохлаток

Хохлатки-эфемероиды — радостный вскрик пробуждающейся природы

Наука и жизнь
В древнем левантийском поселении изготавливали пурпур на протяжении 500 лет В древнем левантийском поселении изготавливали пурпур на протяжении 500 лет

В Тель-Шикмоне примерно 500 лет находился крупный центр по производству пурпура

N+1
Открыть в приложении