SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

8 доказательств того, что вы неправильно моете посуду: самые распространенные ошибки 8 доказательств того, что вы неправильно моете посуду: самые распространенные ошибки

Эти ошибки при мытье посуды влияют непосредственно на ваше здоровье!

ТехИнсайдер
6 способов «похудеть» мужа незаметно для него 6 способов «похудеть» мужа незаметно для него

Как помочь своему мужу похудеть без насилия над ним?

Psychologies
Как обработать фото, будто вы сделали его на пленку? Сохраните этот простой метод! Как обработать фото, будто вы сделали его на пленку? Сохраните этот простой метод!

Как сделать цифровые снимки похожими на пленку: инструкция

ТехИнсайдер
Согласование времен Согласование времен

Как в средневековой Европе измеряли и воспринимали время

Вокруг света
Психологический портрет: что такое дисморфофобия, или синдром Квазимодо Психологический портрет: что такое дисморфофобия, или синдром Квазимодо

Что нужно знать о дисморфофобии?

Forbes
Денег нет, но я держусь: как психологически справиться с финансовым кризисом Денег нет, но я держусь: как психологически справиться с финансовым кризисом

Как помочь себе справиться с денежным кризисом?

VOICE
Остерегаться в лесу: ученый назвал самые опасные дикие растения России Остерегаться в лесу: ученый назвал самые опасные дикие растения России

Что нужно учитывать при заготовке травяных сборов

ТехИнсайдер
Как экс-аналитик McKinsey выручила 60 млн рублей на бумажных фотоаппаратах из Тайваня Как экс-аналитик McKinsey выручила 60 млн рублей на бумажных фотоаппаратах из Тайваня

В 2021 году Мила Балиханова увидела необычный фотоаппарат и решила открыть дело

Forbes
Кто такой Тим Уолц и как учитель с военным прошлым стал кандидатом в вице-президенты Кто такой Тим Уолц и как учитель с военным прошлым стал кандидатом в вице-президенты

Как губернатор штата Миннесота Тим Уолц смог сколотить состояние

Forbes
Лучшие годы Nissan Pathfinder Лучшие годы Nissan Pathfinder

Nissan Pathfinder: выдающиеся модели и те, о которых лучше не вспоминать

4x4 Club
Правила жизни Энди Уорхола Правила жизни Энди Уорхола

Энди Уорхол: художник, умер 22 февраля 1987 года в возрасте 58 лет

Правила жизни
Как Николо Макиавелли рассуждал о природе власти Как Николо Макиавелли рассуждал о природе власти

Отрывок из книги «Никколо Макиавелли. Стяжать власть, не стяжать славу»

СНОБ
Химики использовали иодид самария как катализатор Химики использовали иодид самария как катализатор

Как химики научились применять иодид самария в каталитических количествах

N+1
«Месье поправляет пенсне» «Месье поправляет пенсне»

История очков, настоящий исторический детектив

Зеркало Мира
Да, анальный секс без проникновения существует — и вот как им заняться! Да, анальный секс без проникновения существует — и вот как им заняться!

Как насчет того, чтобы поэкспериментировать с концепцией анального секса?

VOICE
«Мы повторим Мюнхенскую резню»: как спецслужбы в Париже защищают израильских атлетов «Мы повторим Мюнхенскую резню»: как спецслужбы в Париже защищают израильских атлетов

Как спецслужбы охраняют покой спортсменов из Израиля

Forbes
Они такие классные. Интервью со Львом Зулькарнаевым и Денисом Прытковым Они такие классные. Интервью со Львом Зулькарнаевым и Денисом Прытковым

Актеры Лев Зулькарнаев и Денис Прытков — о съемках сериала «Она такая классная»

СНОБ
Дофамин и его предшественник леводопа усилили деградацию бета-амилоида в префронтальной коре мышей Дофамин и его предшественник леводопа усилили деградацию бета-амилоида в префронтальной коре мышей

Дофамин и леводопа индуцируют деградацию бета-амилоида в мозге мышей

N+1
«Бесконечная смоляная мгла»: роман об алкогольной зависимости посреди полярной ночи «Бесконечная смоляная мгла»: роман об алкогольной зависимости посреди полярной ночи

Отрывок из романа Ксении Буржской «Литораль»

Forbes
Николай Бобров: «Перу — это севиче и чича морада» Николай Бобров: «Перу — это севиче и чича морада»

Николай Бобров о стажировке в Перу, колорите и четырех тысячах видов картошки

Bones
Прыжок в историю: батут может принести россиянке олимпийскую медаль Прыжок в историю: батут может принести россиянке олимпийскую медаль

Анжела Бладцева: о возможной героине Игр и шансах на победу

Forbes
Ветер с Юга дул Ветер с Юга дул

Краткая история «Унесенных ветром» в 50 пунктах

Weekend
Семейный совет Семейный совет

Что входит в чек-лист фертильности, высоки ли шансы преодолеть мужское бесплодие

Собака.ru
Великий воин пустынь Великий воин пустынь

Кому может понравиться «пустынный воин» с ядовитым оружием наперевес?

Знание – сила
Глава компании «Полипласт Северо-запад» — о высоких технологиях и импортозамещении Глава компании «Полипласт Северо-запад» — о высоких технологиях и импортозамещении

О важности следовать принципам бережливого производства и ESG-повестке

РБК
Контракт и досуг: какой экономический эффект дают промышленные выставки Контракт и досуг: какой экономический эффект дают промышленные выставки

Форумы и выставки становятся главными площадками для формирования деловых связей

РБК
Улучшит пищеварение и работу мозга! Вот чем квашеная капуста полезна для здоровья Улучшит пищеварение и работу мозга! Вот чем квашеная капуста полезна для здоровья

Квашеная капуста — это не просто привычное, но и кладезь полезных веществ

ТехИнсайдер
«Женщины в синем»: как появилось первое женское подразделение полиции в Мексике «Женщины в синем»: как появилось первое женское подразделение полиции в Мексике

Сериал «Женщины в синем» о первом женском отряде полиции в Мексике 1970-х

Forbes
А как у них? А как у них?

9 самых странных школьных правил со всего мира

Лиза
«От города ГУЛАГа к моногороду. Принудительный труд и его наследие в Воркуте» «От города ГУЛАГа к моногороду. Принудительный труд и его наследие в Воркуте»

С какими трудностями сталкивались новоприбывшие работники

N+1
Открыть в приложении