Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как Пеппи Длинныйчулок стала символом свободы и изменила жизни миллионов девочек Как Пеппи Длинныйчулок стала символом свободы и изменила жизни миллионов девочек

Как Астрид Линдгрен стала борцом за права детей и причем тут Пеппи Длинныйчулок?

Forbes
Беспределы роста. Для избранных? Беспределы роста. Для избранных?

Как будет развиваться глобальная энергетика в ближайшую четверть века

Монокль
HDD и SSD накопители — в чем разница и стоит ли переплачивать? HDD и SSD накопители — в чем разница и стоит ли переплачивать?

HDD и SSD: надежный винтаж против скорости света и цены космоса

ТехИнсайдер
Роскошь прочтения Роскошь прочтения

Что нового в фэшн-индустрии? Старомодное чтение

Grazia
Маме не говори: 12 вещей, которые родителям не нужно знать о твоем мужчине Маме не говори: 12 вещей, которые родителям не нужно знать о твоем мужчине

О чем не стоит рассказывать даже маме?

VOICE
Выстрел в финале пьесы Выстрел в финале пьесы

Кадровый дефицит в милиции: что говорят архивы и уголовные дела

Дилетант
Тайваньские макаки поохотились на пчел-листорезов Тайваньские макаки поохотились на пчел-листорезов

Макаки в ботаническом саду Фушань ловят и едят пчел-листорезов

N+1
Во имя автомобиля Во имя автомобиля

Автокомпании выпускают не только машины: от тракторов до часов и детских колясок

Men Today
Верни мой каменный топор Верни мой каменный топор

Вновь изобрести технологии каменного века занимательно, но зачем это нужно?

Вокруг света
Если бабушка балует ребенка Если бабушка балует ребенка

Как тактично склонить старшее поколение на свою линию воспитания

Лиза
Секрет похудения, который заключается не в голодании или подсчете калорий Секрет похудения, который заключается не в голодании или подсчете калорий

Какое воздействие на организм окажет один день без углеводов?

ТехИнсайдер
Исследователи обнаружили, что черные дыры могут помочь в процветании жизни, а не положить ей конец Исследователи обнаружили, что черные дыры могут помочь в процветании жизни, а не положить ей конец

Черные дыры могут быть не такими губительными для жизни, как предполагалось

Inc.
Зал ожиданий Зал ожиданий

Для психического здоровья фитнес даже полезнее, чем для физического

VOICE
Пасха пришла! Пасха пришла!

Как правильно украсить дом и стол к главному христианскому празднику

Лиза
Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты! Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты!

Как ИИ выражает свои «принципы» в диалогах с людьми

ТехИнсайдер
Семнадцать мгновений Победы Семнадцать мгновений Победы

Лиознова сняла не просто ленту, а культовую, всенародно любимую картину

Коллекция. Караван историй
Исследование обнаружило связь между финансами и здоровьем Исследование обнаружило связь между финансами и здоровьем

Психологи выяснили, что удовлетворенность финансами связана с лучшим здоровьем

Inc.
Личное пространство Личное пространство

Респектабельный минимализм с авторскими решениями и иконами дизайна

SALON-Interior
Коллеги, не ссорьтесь! Коллеги, не ссорьтесь!

Какие могут быть эффективные способы разрешения у разных рабочих конфликтов?

Лиза
Когда медицинские практики прошлого у нас в крови… Когда медицинские практики прошлого у нас в крови…

На протяжении почти 2000 лет для лечения болезней использовалось кровопускание

Знание – сила
Савва и Мария Савва и Мария

Мария Червоткина о материнском фэшн-пути и окситоциновых слезах

Собака.ru
Гарик Сукачёв: «Я одновременно и оптимист, и пессимист» Гарик Сукачёв: «Я одновременно и оптимист, и пессимист»

Гарик Сукачёв: «Что бы я ни создал, всегда критика была со знаком минус»

Караван историй
Вино, недвижимость… Дальше ставки на спорт? Вино, недвижимость… Дальше ставки на спорт?

Как ЦФА пытаются оправдать свой статус нового слова в финансах

Монокль
Роковая любовь в «эпоху джаза»: что вдохновило Фрэнсиса Скотта Фицджеральда на создание «Великого Гэтсби» Роковая любовь в «эпоху джаза»: что вдохновило Фрэнсиса Скотта Фицджеральда на создание «Великого Гэтсби»

Почему «Великого Гэтсби» можно считать пророчеством для американской мечты?

Правила жизни
Простой способ повысить психологическую устойчивость и настроиться на позитив Простой способ повысить психологическую устойчивость и настроиться на позитив

Одно упражнение для поддержания психологической устойчивости

Inc.
Право на смелость Право на смелость

Певица Люся Чеботина и психолог Анетта Орлова — о любви к себе и сепарации

Psychologies
Время спать Время спать

Хотите впасть в спячку до весны? Теоретически для этого нет никаких препятствий

ТехИнсайдер
Диктатура и женские форумы: как жительницы Латинской Америки боролись за свои права Диктатура и женские форумы: как жительницы Латинской Америки боролись за свои права

Как латиноамериканки прошлого боролись за гендерное равенство

Forbes
Я вас люблю Я вас люблю

Стоит ли признаваться в любви первой?

Лиза
Химики воспроизвели межзвездный синтез всех молекул цикла Кребса Химики воспроизвели межзвездный синтез всех молекул цикла Кребса

Химики в лаборатории синтезировали весь набор карбоновых кислот из цикла Кребса

N+1
Открыть в приложении