Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

9 абсурдных мифов о человеческом теле, в которые люди продолжают верить несмотря на факты 9 абсурдных мифов о человеческом теле, в которые люди продолжают верить несмотря на факты

Сказки о нашем теле, в которые мы верим

ТехИнсайдер
Гиены из грота Гауттари погрызли неандертальские кости около 66-65 тысяч лет назад Гиены из грота Гауттари погрызли неандертальские кости около 66-65 тысяч лет назад

Группа ученых представила результаты исследований, проходивших в гроте Гуаттари

N+1
Романтические маршруты Романтические маршруты

Топ-5 мест для путешествия с любимым

Лиза
Сатурн вновь стал лидером Солнечной системы по числу спутников. Теперь их больше ста Сатурн вновь стал лидером Солнечной системы по числу спутников. Теперь их больше ста

Открыто 28 новых спутников Сатурна

N+1
«Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото «Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото

Мила Йовович рассказала, на что решилась ее мать ради будущего дочери

VOICE
ТОП-5 многолетников ТОП-5 многолетников

С этими красивыми и неприхотливыми цветами сразу заиграет любой участок

Лиза
Кенгуру затоптали Австралию. Экологи призывают к жестким мерам по сдерживанию роста популяции Кенгуру затоптали Австралию. Экологи призывают к жестким мерам по сдерживанию роста популяции

Почему экологи призывают разрешить отстрел кенгуру

ТехИнсайдер
Великий обломок Великий обломок

Как Фридрих Эрмлер превратил сталинское безумие в величие и потерпел поражение

Weekend
Следите за руками: 13 деталей «Тайной вечери» да Винчи, которые неверно трактует Дэн Браун Следите за руками: 13 деталей «Тайной вечери» да Винчи, которые неверно трактует Дэн Браун

Какие детали сокрыты в известной фреске «Тайная вечеря» Леонардо да Винчи

Вокруг света
Сбой в матрице: эти современные звезды являются точной копией икон старого Голливуда – и как мы не замечали! Сбой в матрице: эти современные звезды являются точной копией икон старого Голливуда – и как мы не замечали!

Некоторые звезды выглядят словно близнецы знаменитостей из прошлого!

VOICE
Мама, я создал! Ученые построили машину из Lego, чтобы выращивать человеческую кожу Мама, я создал! Ученые построили машину из Lego, чтобы выращивать человеческую кожу

Изобретение из Lego в десятки раз дешевле, чем современные биопринтеры

Вокруг света
Неандертальцы изготовили березовый деготь по сложной технологии Неандертальцы изготовили березовый деготь по сложной технологии

Ученые исследовали березовый деготь, найденный в местонахождении Кёнихьзауэ

N+1
Волшебное сокровище? Небольшой клад с тысячелетними монетами нашли в лесу Италии Волшебное сокровище? Небольшой клад с тысячелетними монетами нашли в лесу Италии

Расследование выявило 175 римских монет возрастом 2000 лет

ТехИнсайдер
Кремль раскритиковал проект закона о праве регионов решать судьбу бездомных животных Кремль раскритиковал проект закона о праве регионов решать судьбу бездомных животных

ГПУ высказало критические замечания к законопроекту о бездомных животных

Forbes
По уважительной причине: как звезды берут тайм-аут от соцсетей и вредит ли он карьере По уважительной причине: как звезды берут тайм-аут от соцсетей и вредит ли он карьере

Кто из знаменитостей отказывался от своей цифровой идентичности?

Forbes
Не весь зуд из-за плохой гигены! Вот почему хочется чесаться Не весь зуд из-за плохой гигены! Вот почему хочется чесаться

Существует ли беспричинный зуд?

ТехИнсайдер
Маргарита Ронжина: «Одиночка». Дебютный роман о послеродовой депрессии Маргарита Ронжина: «Одиночка». Дебютный роман о послеродовой депрессии

Отрывок из сложного романа о том, как мать-одиночка пытается научиться жить

СНОБ
Наталия Кустинская: Почему Гайдай снял ее с роли в «Кавказской пленнице» Наталия Кустинская: Почему Гайдай снял ее с роли в «Кавказской пленнице»

Наталия Кустинская очень старалась быть образцовой женой

Караван историй
Заигрывания с историей: почему сериал «Царица Клеопатра» оскорбил Египет Заигрывания с историей: почему сериал «Царица Клеопатра» оскорбил Египет

Почему сериал «Царица Клеопатра» вызвал такую бурную реакцию?

Forbes
Научная публикация древнейших палеоеврейских проклятий не убедила критиков Научная публикация древнейших палеоеврейских проклятий не убедила критиков

Ученые опубликовали результаты исследования миниатюрной свинцовой пластинки

N+1
Один фут — и она «супер» Один фут — и она «супер»

Грань, разделяющая суперъяхту и просто крупное прогулочное судно, весьма условна

Y Magazine
«В детстве мне снилось, что я нахожусь среди темнокожих людей»: как живется в африканской глубинке миссионеру из Ростова-на-Дону «В детстве мне снилось, что я нахожусь среди темнокожих людей»: как живется в африканской глубинке миссионеру из Ростова-на-Дону

Команда волонтеров оказывает помощь жителям уголков Кении, Танзании и ДР Конго

Вокруг света
Холестериновая бомба: когда в России появился бекон и как он стал таким популярным Холестериновая бомба: когда в России появился бекон и как он стал таким популярным

Производство бекона на территории России куда выгоднее, чем импорт из-за границы

Forbes
«Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий «Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий

Эта стратегия может оказаться весьма полезной в трудной ситуации

Psychologies
7 признаков избегающего стиля привязанности 7 признаков избегающего стиля привязанности

Психологи называют семь признаков избегающего стиля привязанности

Psychologies
Наука о чужих. Жизнь и разум во Вселенной Наука о чужих. Жизнь и разум во Вселенной

Как складывались теории формирования Солнечной системы и Земли

Наука и жизнь
Кому подойдет диалектическая поведенческая терапия (ДПТ) Кому подойдет диалектическая поведенческая терапия (ДПТ)

ДПТ была разработана в конце 1980-х годов американским психологом Маршей Линехан

Psychologies
Главное вовремя начать Главное вовремя начать

Какие протоколы красоты сочетают антиэйдж и превент в одном флаконе

Собака.ru
Любовь после фарфоровой свадьбы: советы людей, которые прожили вместе 20 лет и больше Любовь после фарфоровой свадьбы: советы людей, которые прожили вместе 20 лет и больше

Как пожилым парам удается оставаться вместе так долго?

VOICE
Нескучный сад: как устроена работа крупнейшего в Европе цветочного парка Нескучный сад: как устроена работа крупнейшего в Европе цветочного парка

Андре Бейк рассказал, как стал садовником в парке цветов Кёкенхоф в Лиссе

Вокруг света
Открыть в приложении