SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

История Мадлен Астор, беременной молодой жены богача, которая выжила на «Титанике» История Мадлен Астор, беременной молодой жены богача, которая выжила на «Титанике»

Как беременной Мадлен Астор удалось выжить при крушении «Титаника»?

ТехИнсайдер
Вместе мы фруктовый сад: как работают стволовые клетки в косметике Вместе мы фруктовый сад: как работают стволовые клетки в косметике

Как могут быть полезны стволовые клетки яблони, черешни или кактуса?

Правила жизни
Февральская революция: как искусственный интеллект может повысить производительность труда Февральская революция: как искусственный интеллект может повысить производительность труда

Русские ученые устроили шестую промышленную революцию!

ТехИнсайдер
Не те герои Не те герои

Минфин планирует активно выводить на рынок акций национализированные компании

Монокль
«Дневник невидимки»: история необычной старшеклассницы с обычными проблемами «Дневник невидимки»: история необычной старшеклассницы с обычными проблемами

Отрывок из «Дневника невидимки» — романа о том, как оставаться собой

Forbes
От Билибина до «Кандинского»: заменит ли нейросеть художников-иллюстраторов От Билибина до «Кандинского»: заменит ли нейросеть художников-иллюстраторов

Что такое вирусная обложка и стоит ли отдавать работу художника нейросети?

СНОБ
Чем отличается 1 сентября в современных школах от 1 сентября в СССР и России 90-х Чем отличается 1 сентября в современных школах от 1 сентября в СССР и России 90-х

Как в наше время изменился главный детский "праздник" — 1 сентября

Maxim
Правила взаимности: при каких условиях деловые знакомства превращаются в бизнес-связи Правила взаимности: при каких условиях деловые знакомства превращаются в бизнес-связи

Как нетворкинг-туры помогают договариваться о выгодных контрактах и партнерствах

Forbes
Как снимали эротические эпизоды третьего сезона «Бриджертонов»: секреты координатора интимных сцен Как снимали эротические эпизоды третьего сезона «Бриджертонов»: секреты координатора интимных сцен

Секс отлично продается, и это, несомненно, стало частью успеха «Бриджертонов»

VOICE
Времена года повлияли на моральные ценности американцев Времена года повлияли на моральные ценности американцев

Одобрения сплачивающих моральных ценностей зависит от времени года

N+1
Как себе помочь, если нет денег на психолога? Как себе помочь, если нет денег на психолога?

Как помочь себе самостоятельно, развивая осознанность?

VOICE
Мороз, жара и низкая рентабельность: почему Россия потеряла часть урожая картофеля Мороз, жара и низкая рентабельность: почему Россия потеряла часть урожая картофеля

В 2024 году в России соберут на 1,4 млн т, или на 16% меньше картофеля

Forbes
Без оглядки на маму: почему незавершенная сепарация вызывает чувство вины Без оглядки на маму: почему незавершенная сепарация вызывает чувство вины

Как избавиться от чужих сценариев и построить здоровые отношения с родителями?

Forbes
Робот-гуманоид вышел на работу на завод BMW. Работодатель доволен Робот-гуманоид вышел на работу на завод BMW. Работодатель доволен

Компания BMW на своем заводе провела тестирование робота-гуманоида Figure 02

ТехИнсайдер
«Понадобилось 60 лет»: как Япония осмысливает военные преступления прошлого «Понадобилось 60 лет»: как Япония осмысливает военные преступления прошлого

Как Япония подходит к проблемному разговору о вине и ответственности за прошлое

Forbes
Сталкер, топор и подземные боги: Игорь Яковенкo выпустил языческий альбом «Пантеон» Сталкер, топор и подземные боги: Игорь Яковенкo выпустил языческий альбом «Пантеон»

Композитор Игорь Яковенко и барабанщик Петр Ившин выпускают альбом «Пантеон»

СНОБ
Жизнь моя — шарманка Жизнь моя — шарманка

«Планета Джанет»: образцовая мелодрама A24

Weekend
Тандыр Тандыр

Тандыры и еду из них можно встретить на всем протяжении Великого шелкового пути

Bones
Сила слабого света Сила слабого света

Чему могут научить «Люди в темные времена» Ханны Арендт

Weekend
«Дашь сиську потрогать?»: таксист снимал на видео, как домогался к клиенткам «Дашь сиську потрогать?»: таксист снимал на видео, как домогался к клиенткам

Что можно сделать в ситуации, если вас домогаются?

Psychologies
Ксения Лучанинова: «На Дальнем Востоке частная медицина конкурирует с государственной за кадры» Ксения Лучанинова: «На Дальнем Востоке частная медицина конкурирует с государственной за кадры»

Дальний Восток — регион, в который устремлены все планы государства

ФедералПресс
Радиоэлектронная борьба в армиях стран НАТО Радиоэлектронная борьба в армиях стран НАТО

Программы развития радиоэлектронной борьбы в России и США

Обозрение армии и флота
Прыжок в историю: батут может принести россиянке олимпийскую медаль Прыжок в историю: батут может принести россиянке олимпийскую медаль

Анжела Бладцева: о возможной героине Игр и шансах на победу

Forbes
Моя попытка номер… Моя попытка номер…

Актеры, которые поступили в театральный вуз не с первого раза

Лиза
Денег нет, но я держусь: как психологически справиться с финансовым кризисом Денег нет, но я держусь: как психологически справиться с финансовым кризисом

Как помочь себе справиться с денежным кризисом?

VOICE
«Наша награда очень справедлива» «Наша награда очень справедлива»

NILETTO, Олег Майами и Лёша Свик — о совместной работе в «ЕКБойз»

ЖАРА Magazine
Сергей Безруков: «Как выдерживаю? Привычка, самодисциплина и терпение» Сергей Безруков: «Как выдерживаю? Привычка, самодисциплина и терпение»

Любознательность — то, что в себе нужно культивировать, развивать

Караван историй
Владимир Грамматиков: «Меня всегда узнавали по маленькой роли в «Осеннем марафоне» Владимир Грамматиков: «Меня всегда узнавали по маленькой роли в «Осеннем марафоне»

Я не делаю ничего против собственного желания, причем уже давно

Караван историй
Как пустышка становится лекарством: что общего у гомеопатии и психотерапии Как пустышка становится лекарством: что общего у гомеопатии и психотерапии

Почему плацебо помогает при болезни Паркинсона?

Forbes
«Один шаг, и ты стал частью какой-то мутной схемы»: рассказ читателя о знакомстве с даркнетом «Один шаг, и ты стал частью какой-то мутной схемы»: рассказ читателя о знакомстве с даркнетом

DarkNet: как люди в него попадают и почему застревают там?

Psychologies
Открыть в приложении