SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Нейросети в поисках персонала: как компании используют искусственный интеллект в рекрутинге уже сейчас Нейросети в поисках персонала: как компании используют искусственный интеллект в рекрутинге уже сейчас

Как рекрутеры используют нейросети — кейсы из России

ТехИнсайдер
Вредные советы из СССР Вредные советы из СССР

8 кулинарных лайфхаков, которым не стоит следовать

Лиза
Исследователи создали роботизированную руку, управляемую силой мысли Исследователи создали роботизированную руку, управляемую силой мысли

Ученые позволили парализованному мужчине управлять роботизированной рукой

Inc.
Супер фреш! Супер фреш!

Что выбрать, чтобы освежить, уплотнить или даже реконструировать кожу

Собака.ru
6 самых популярных сюжетов снов 6 самых популярных сюжетов снов

Какие сюжеты снов чаще всего снятся людям?

ТехИнсайдер
6 фаз отношений с нарциссом 6 фаз отношений с нарциссом

Какого сценария придерживаются в отношениях люди-нарциссы?

Psychologies
Нежная бегония Нежная бегония

Хочешь, чтобы у тебя дома постоянно были живые прекрасные цветы?

Лиза
Как диета с ограничением калорий влияет на рак Как диета с ограничением калорий влияет на рак

Как диета, имитирующая голодание, влияет на здоровые и раковые клетки организма?

ТехИнсайдер
6 главных отличий нарцисса от обычного обиженного эгоиста 6 главных отличий нарцисса от обычного обиженного эгоиста

Не каждый токсичный человек — нарцисс. Как отличить его от эгоиста?

Psychologies
Собрание автомобильных редкостей Собрание автомобильных редкостей

Об уникальных автомобилях, вошедших в историю

Зеркало Мира
Первая it-girl и «восхитительное пустое место»: Эди Седжвик как икона стиля Первая it-girl и «восхитительное пустое место»: Эди Седжвик как икона стиля

Эди Седжвик — первый модный инфлюенсер середины шестидесятых

Правила жизни
«Граф Аверин»: как детективная история про альтернативную Россию и демонического кота влюбила в себя читателей «Граф Аверин»: как детективная история про альтернативную Россию и демонического кота влюбила в себя читателей

«Граф Аверин»: в чем феномен серии книг, как на её популярность повлиял кот?

Psychologies
6 способов «похудеть» мужа незаметно для него 6 способов «похудеть» мужа незаметно для него

Как помочь своему мужу похудеть без насилия над ним?

Psychologies
Заедки, то есть вкусняшки Заедки, то есть вкусняшки

Где рассказывают о русских сладостях — заедках, или верхосытках?

КАНТРИ Русская азбука
Эмоциональный инцест: 4 признака, что вы слишком близки с ребенком Эмоциональный инцест: 4 признака, что вы слишком близки с ребенком

Где та грань, за которой близость с родителями становится нездоровой?

Psychologies
«Что делать женщине, если…» «Что делать женщине, если…»

Совсем скоро в Okko стартует новый сезон сериала «Что делать женщине, если…»

OK!
Женские секреты. Неудобные вопросы гинекологу, которые многие стесняются задать Женские секреты. Неудобные вопросы гинекологу, которые многие стесняются задать

Самые распространенные деликатные проблемы, которые волнуют женщин

Лиза
Медовый приговор Медовый приговор

«Пчеловод»: социальный боевик со Стейтемом про сладкую месть

Weekend
Переплыть Амазонку и Ла-Манш: самые экстремальные заплывы в истории Переплыть Амазонку и Ла-Манш: самые экстремальные заплывы в истории

О пяти самых экстремальных заплывах в истории человечества

ТехИнсайдер
Плати и учись Плати и учись

Что нужно знать, подписывая договор о платном образовании

Лиза
Финифть: мир в стиле мини Финифть: мир в стиле мини

Финифть — это не только женские украшения, но и портреты, пейзажи и иконы

КАНТРИ Русская азбука
Восточная мудрость Восточная мудрость

Утонченный интерьер с ориентальными мотивами

SALON-Interior
Снижение кислотности пищи замедлило поражение почек при артериальной гипертензии Снижение кислотности пищи замедлило поражение почек при артериальной гипертензии

Ощелачивающие фрукты и овощи снизили кардиологические риски

N+1
Успешный дебют. Как советская программа стала первым чемпионом мира по шахматам Успешный дебют. Как советская программа стала первым чемпионом мира по шахматам

Как технологии совершили революцию в шахматах

СНОБ
Шпана, гопники, хулиганы: как кинематограф работает с темой «пацанства» Шпана, гопники, хулиганы: как кинематограф работает с темой «пацанства»

Как с темой «пацанства» работает кинематограф и какие этапы эволюции она прошла

Правила жизни
Открой глаза. Пластический хирург разбирает популярные мифы о блефаропластике Открой глаза. Пластический хирург разбирает популярные мифы о блефаропластике

Правда ли, что результат от блефаропластики не сохраняется навсегда?

Лиза
«Не кочегары мы, не плотники»: 7 исчезнувших престижных советских профессий «Не кочегары мы, не плотники»: 7 исчезнувших престижных советских профессий

Престижные профессии из СССР, которые навсегда остались в прошлом

ТехИнсайдер
Улучшит пищеварение и работу мозга! Вот чем квашеная капуста полезна для здоровья Улучшит пищеварение и работу мозга! Вот чем квашеная капуста полезна для здоровья

Квашеная капуста — это не просто привычное, но и кладезь полезных веществ

ТехИнсайдер
Жизнь моя — шарманка Жизнь моя — шарманка

«Планета Джанет»: образцовая мелодрама A24

Weekend
Гастротуризм Гастротуризм

Что российские регионы готовы предложить гастротуристам

Bones
Открыть в приложении