SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

История профессора Либреску! Он пережил Холокост и пожертвовал собой при стрельбе в университете История профессора Либреску! Он пережил Холокост и пожертвовал собой при стрельбе в университете

История профессора Ливиу Либреску — это не просто рассказ о героизме

ТехИнсайдер
От модели до CEO: как Брук Шилдс основала собственный бьюти-бренд для зрелых женщин От модели до CEO: как Брук Шилдс основала собственный бьюти-бренд для зрелых женщин

Брук Шилдс о том, как она решилась начать новую карьеру — в бизнесе

Forbes
Почему беспроводные наушники быстро разряжаются Почему беспроводные наушники быстро разряжаются

Причины, по которым беспроводные наушники быстро разряжаются

CHIP
Задачу коммивояжера решили одним кубитом Задачу коммивояжера решили одним кубитом

Ученые оптимизировали маршрут между городами с помощью одного кубита

N+1
Антиоксиданты: зачем они нужны и где их искать Антиоксиданты: зачем они нужны и где их искать

Какие продукты стоит внести в меню, чтобы поддерживать тело в тонусе?

Правила жизни
5 захватывающих книг, которые можно успеть прочитать до конца лета 5 захватывающих книг, которые можно успеть прочитать до конца лета

Пять книг, каждая из которых открывает читателю новые грани окружающего мира

Maxim
Всё будет Y2K Всё будет Y2K

Как появилась эстетика Y2K и причем тут программисты?

ЖАРА Magazine
Держись подальше. 7 признаков токсичного партнера Держись подальше. 7 признаков токсичного партнера

Как вычислить токсичного партнера по определенным признакам в поведении

Лиза
Быстрее, выше, сильнее: лучшие фильмы и сериалы про олимпийские соревнования Быстрее, выше, сильнее: лучшие фильмы и сериалы про олимпийские соревнования

Вдохновляющие сериалы и фильмы про Олимпийские игры

Правила жизни
Равноправие, инклюзия, справедливость: словарь гендерного равенства Равноправие, инклюзия, справедливость: словарь гендерного равенства

Чем разнообразие отличается от инклюзии, а равноправие — от равенства?

Forbes
Тандыр Тандыр

Тандыры и еду из них можно встретить на всем протяжении Великого шелкового пути

Bones
«Обыкновенные убийцы: Как система превращает обычных людей в монстров» «Обыкновенные убийцы: Как система превращает обычных людей в монстров»

Почему немецкие солдаты редко испытывали стресс из-за убийства евреев

N+1
Что произойдет, если бросить пакет с мусором в вулкан? Что произойдет, если бросить пакет с мусором в вулкан?

Смогут ли вулканы «переварить» весь человеческий мусор?

ТехИнсайдер
Михаил Михайлов: «Хочется больше честности» Михаил Михайлов: «Хочется больше честности»

Михаил Михайлов о роли шефа в подготовке к открытию ресторана

Bones
Как вирус Эпштейна — Барр сближает гены Как вирус Эпштейна — Барр сближает гены

Как инфекция EBV приводит к возникновению лимфом у людей без снижения иммунитета

Наука и жизнь
Лазерные фары уходят: что не так с технологией, которая должна была «произвести революцию» Лазерные фары уходят: что не так с технологией, которая должна была «произвести революцию»

Почему автопроизводители тихо убирают модели с лазерными фарами?

ТехИнсайдер
Строго по записи Строго по записи

Контролировать свой рацион полезно всем без исключения

Лиза
Русская альтернатива Русская альтернатива

Почему Запад против нас ополчился и как его победить

Монокль
Йети — снежный человек Йети — снежный человек

Негласный символ Кузбасса — снежный человек

КАНТРИ Русская азбука
Морская граница на замке Морская граница на замке

Почему Береговая охрана Пограничной службы ФСБ должна стать резервом для флота

Обозрение армии и флота
Кто вы в треугольнике Карпмана? Кто вы в треугольнике Карпмана?

Тест: какая роль в треугольнике Карпмана свойственна вам?

Psychologies
Поворот в сторону профессионалов: обучение в колледжах вновь востребовано Поворот в сторону профессионалов: обучение в колледжах вновь востребовано

Как будет развиваться среднее профессиональное образование в России

ФедералПресс
«Талантливый писатель, но сволочь»: каким был Андрей Платонов «Талантливый писатель, но сволочь»: каким был Андрей Платонов

Как Платонов призывал к расправам и террору и почему раскаивался перед Сталиным

СНОБ
Пастила: съешь меня Пастила: съешь меня

Как возрождали производство знаменитой коломенской пастилы

КАНТРИ Русская азбука
Тетёрки: насукали и жуём Тетёрки: насукали и жуём

Приготовление весенних тетерок — это всегда импровизация

КАНТРИ Русская азбука
Пчелы учат дроны летать роем Пчелы учат дроны летать роем

Как дроны перенимают у пчел манеру полета

ТехИнсайдер
Zventa Sventana: мы часто становимся жертвами плагиата Zventa Sventana: мы часто становимся жертвами плагиата

Разговор о современном фолке — интервью с Zventa Sventana

СНОБ
Сколько можно пить за рулем в разных странах Сколько можно пить за рулем в разных странах

Где вообще нельзя, а где можно немного выпить за рулем?

Maxim
Постотпускной синдром Постотпускной синдром

Почему можно впасть в депрессию после отдыха и что с этим делать

Лиза
Термоэрозия мерзлоты помешает Северному ледовитому океану поглощать углекислый газ Термоэрозия мерзлоты помешает Северному ледовитому океану поглощать углекислый газ

Как таяние многолетней мерзлоты мешает поглощению углекислого газа

N+1
Открыть в приложении