Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ

Как родителям поддержать выпускников и помочь им справиться со стрессом

СНОБ
Двойники Двойники

Почему под разными брендами встречаются такие похожие модели

Автопилот
Как наши достоинства превращаются в недостатки: 3 примера Как наши достоинства превращаются в недостатки: 3 примера

Три примера того, как достоинства могут превращаться в недостатки

Psychologies
Больцман на танцполе Больцман на танцполе

Исследовали ли физики мош? Я вышел в интернет с таким вопросом

N+1
Молодое поколение этого не знает! Вот как Битлз изменили мир музыки Молодое поколение этого не знает! Вот как Битлз изменили мир музыки

Как Битлз завоевали сердца не только слушательниц, но и аудиофилов

ТехИнсайдер
Пятница круглое лето Пятница круглое лето

Начало лета похоже на пятницу. Чувством, что всё еще впереди

Новый очаг
Судьба «Почтальона» Судьба «Почтальона»

Как роман времен Великой депрессии вдохновил Альбера Камю и покорил Тома Вулфа

Weekend
Ольга Лапшина: «Обожаю во время работы влюбляться в режиссера» Ольга Лапшина: «Обожаю во время работы влюбляться в режиссера»

Она согласна сыграть даже голос за дверью, если ее зовут друзья...

Караван историй
Итальянское каприччо Итальянское каприччо

«Каприччо» прослеживаются в линиях силуэта Azimut Grande 36 Metri

Y Magazine
Сколько яиц в день можно съедать, чтобы не стать жертвой их пяти опасных побочных эффектов Сколько яиц в день можно съедать, чтобы не стать жертвой их пяти опасных побочных эффектов

Яйца считаются отличным источником белка в меню. Но есть пара нюансов!

VOICE
Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение» Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение»

Катя Chepikk не сомневается в своем успехе

ЖАРА Magazine
Нейросеть получила удобный интерфейс редактирования изображений Нейросеть получила удобный интерфейс редактирования изображений

Ученые создали инструмент для редактирования объектов на изображении

N+1
На дальней станции сойду На дальней станции сойду

Как и к чему готовят космонавтов

Men Today
Что для вас значит еда? Что для вас значит еда?

За дверью холодильника скрываются не только продукты! Она открывает наши тайны

Psychologies
Ушли в минус Ушли в минус

Зачем автопроизводители выпускают холодильники

Автопилот
И твоя мама тоже: «Все страхи Бо» с Хоакином Фениксом — странный и жуткий фильм Ари Астера о том, как родители губят детей И твоя мама тоже: «Все страхи Бо» с Хоакином Фениксом — странный и жуткий фильм Ари Астера о том, как родители губят детей

Фильм «Все страхи Бо» мучительно интересно смотреть — и разбирать

Правила жизни
Человек и животные страдают от несчастий пережитых в детстве. Но только не гориллы Человек и животные страдают от несчастий пережитых в детстве. Но только не гориллы

Что помогает гориллам справиться с детскими бедами?

ТехИнсайдер
По уважительной причине: как звезды берут тайм-аут от соцсетей и вредит ли он карьере По уважительной причине: как звезды берут тайм-аут от соцсетей и вредит ли он карьере

Кто из знаменитостей отказывался от своей цифровой идентичности?

Forbes
Пассивная агрессия в отношениях: 5 основных проявлений Пассивная агрессия в отношениях: 5 основных проявлений

Как понять, что ваш партнер прибегает к пассивной агрессии?

Psychologies
Русский тур Русский тур

Как коровы из Месопотамии пришли на Русский Север, выжили и не замерзли

Вокруг света
11 предметов, которые были на даче у каждого, кто жил в СССР 11 предметов, которые были на даче у каждого, кто жил в СССР

Если эти вещи вам знакомы, то у вас было тяжелое, но счастливое детство

Maxim
Евгений Писарев: «Пока не будешь знать весь театральный механизм, хозяином театра не станешь», — говорил мне Табаков» Евгений Писарев: «Пока не будешь знать весь театральный механизм, хозяином театра не станешь», — говорил мне Табаков»

Слава Богу, я не руковожу большим театром...

Караван историй
Астрономы нашли прародителя двойной системы черных дыр в соседней галактике Астрономы нашли прародителя двойной системы черных дыр в соседней галактике

Астрономы нашли теснаую двойную систему очень массивных звезд

N+1
Как носить джинсовку этим летом: 4 крутых способа от стилиста Как носить джинсовку этим летом: 4 крутых способа от стилиста

С чем можно комбинировать джинсовку, чтобы выглядеть неотразимо?

VOICE
Волшебное сокровище? Небольшой клад с тысячелетними монетами нашли в лесу Италии Волшебное сокровище? Небольшой клад с тысячелетними монетами нашли в лесу Италии

Расследование выявило 175 римских монет возрастом 2000 лет

ТехИнсайдер
Forbes представляет победителей юбилейного рейтинга «З0 до 30» Forbes представляет победителей юбилейного рейтинга «З0 до 30»

Многие наши герои строят карьеру или бизнес за рубежом

Forbes
Просто космос Просто космос

Юлия Пересильд — о “вызове” в кино и вызовах в жизни

Men Today
Волки, зараженные этим паразитом, многократно повышают свои шансы стать вожаками стаи Волки, зараженные этим паразитом, многократно повышают свои шансы стать вожаками стаи

Заражение паразитом повышает вероятность того, что волки станут вожаками

ТехИнсайдер
Однажды маньяк из США держал 14-летнюю девочку 9 месяцев в плену! Но она простила маньяка Однажды маньяк из США держал 14-летнюю девочку 9 месяцев в плену! Но она простила маньяка

В 2013 году Нейт Кибби пригласил школьницу Эбби Эрнандес к себе в машину...

ТехИнсайдер
Кремль раскритиковал проект закона о праве регионов решать судьбу бездомных животных Кремль раскритиковал проект закона о праве регионов решать судьбу бездомных животных

ГПУ высказало критические замечания к законопроекту о бездомных животных

Forbes
Открыть в приложении