Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Скажите Скажите

Такая странная и необычная буква "ы"

ТехИнсайдер
Пахнет мокрой шерстью в квартире? Научитесь правильно мыть свою собаку, чтобы от нее не пахло Пахнет мокрой шерстью в квартире? Научитесь правильно мыть свою собаку, чтобы от нее не пахло

Почему после водных процедур от вашего питомца пахнет "псиной"?

ТехИнсайдер
В глубине Тихого океана нашли 4600 неизвестных видов животных. Поразительно! В глубине Тихого океана нашли 4600 неизвестных видов животных. Поразительно!

В зоне Кларион Клиппертон в Тихом океане обнаружено несколько странных существ

ТехИнсайдер
«Смерть в большом городе». Почему человек боится умереть и как с этим жить «Смерть в большом городе». Почему человек боится умереть и как с этим жить

Почему человечеству так и не удалось победить страх смерти

СНОБ
Сбой в матрице: эти современные звезды являются точной копией икон старого Голливуда – и как мы не замечали! Сбой в матрице: эти современные звезды являются точной копией икон старого Голливуда – и как мы не замечали!

Некоторые звезды выглядят словно близнецы знаменитостей из прошлого!

VOICE
Кому подойдет диалектическая поведенческая терапия (ДПТ) Кому подойдет диалектическая поведенческая терапия (ДПТ)

ДПТ была разработана в конце 1980-х годов американским психологом Маршей Линехан

Psychologies
«Напишите свой некролог»: Баффет дал советы инвесторам на ежегодном съезде Berkshire «Напишите свой некролог»: Баффет дал советы инвесторам на ежегодном съезде Berkshire

Уоррен Баффет — о том, как жить и тратить деньги с пользой

Forbes
Людям в браке на заметку! Общий банковский аккаунт позитивно влияет на отношения Людям в браке на заметку! Общий банковский аккаунт позитивно влияет на отношения

Пары, которые вместе управляют своими финансами, сохраняют свои отношения

ТехИнсайдер
Жизнь сов: почему мы любим ночь Жизнь сов: почему мы любим ночь

Чем привлекает нас романтика темного времени суток?

Psychologies
Михаил Шемякин: «Моя жизнь: до изгнания». Отрывок из автобиографии Михаил Шемякин: «Моя жизнь: до изгнания». Отрывок из автобиографии

Глава из автобиографии художника, скульптора и сценографа Михаила Шемякина

СНОБ
Как император Марк Аврелий управлял своими эмоциями и почему это полезно знать сегодня Как император Марк Аврелий управлял своими эмоциями и почему это полезно знать сегодня

Ведение дневника помогло римскому правителю развить эмоциональный интеллект

ТехИнсайдер
Может ли пупок развязаться? Может ли пупок развязаться?

Зачем человеку пупок и почему все думают, что он может развязаться?

ТехИнсайдер
Дерзкие кудри Дерзкие кудри

Секреты здоровья вьющихся волос. 7 правил для идеальных локонов

Лиза
Только для своих: как и почему изменилось восприятие дома Только для своих: как и почему изменилось восприятие дома

Что на самом деле говорят о нас тенденции в обустройстве дома?

Psychologies
Неуловимое сходство: как выглядит и чем занимается единственная дочь легендарного вокалиста группы «Король и шут» Неуловимое сходство: как выглядит и чем занимается единственная дочь легендарного вокалиста группы «Король и шут»

Невозможно поверить, что маленькая дочка Михаила Горшенева так выросла!

VOICE
Зависть — это бомба замедленного действия. Что делать, если вы завидуете другим Зависть — это бомба замедленного действия. Что делать, если вы завидуете другим

Что такое зависть, как с ней обходиться и использовать ее энергию во благо

Psychologies
Стесняюсь спросить: почему появляется перхоть и как от нее избавиться Стесняюсь спросить: почему появляется перхоть и как от нее избавиться

Перхоть: почему она возникает и можно ли её вылечить?

Правила жизни
Генетики проанализировали ДНК 240 видов млекопитающих и нашли их исключительные черты Генетики проанализировали ДНК 240 видов млекопитающих и нашли их исключительные черты

Чем все млекопитающие похожи друг на друга?

ТехИнсайдер
Виктория Толстоганова — о спектакле «Это все она» Виктория Толстоганова — о спектакле «Это все она»

Разговор с Викторией Толстогановой о спектакле «Это все она» и работе над ролью

СНОБ
Mary Gu: Не надо молчать Mary Gu: Не надо молчать

Mary Gu впервые рассказала подробности своего развода

ЖАРА Magazine
Осторожно: ультраобработано! Осторожно: ультраобработано!

Почему не стоит увлекаться полуфабрикатами

Здоровье
Отвлекаем внимание Отвлекаем внимание

4 приема в интерьере, которые помогут скрыть ошибки дизайна

Лиза
Запутались в своих мыслях? Этот психологический тест Роршаха расскажет, что творится у вас в голове Запутались в своих мыслях? Этот психологический тест Роршаха расскажет, что творится у вас в голове

Готовы пройти тест Роршаха и узнать кое-что интересное о себе?

ТехИнсайдер
«Убийца «Священный паук»: история религиозного фанатика, убивавшего женщин «Убийца «Священный паук»: история религиозного фанатика, убивавшего женщин

«Убийца «Священный паук»: картина Али Аббаси, основанная на реальных событиях

Forbes
BMW с мотором поперек. Тест-драйв Changan CS85 Coupe BMW с мотором поперек. Тест-драйв Changan CS85 Coupe

Первый тест и обзор нового китайского кроссовера Changan CS85 Coupe

РБК
Волшебное сокровище? Небольшой клад с тысячелетними монетами нашли в лесу Италии Волшебное сокровище? Небольшой клад с тысячелетними монетами нашли в лесу Италии

Расследование выявило 175 римских монет возрастом 2000 лет

ТехИнсайдер
5 примеров того, как научные открытия влияли на искусство 5 примеров того, как научные открытия влияли на искусство

Как научные открытия находили свое отражение в изобразительном искусстве

СНОБ
Чтение выходного дня: фрагменты из книги «Типа панки. Опыты индивидуализма и неподчинения в СССР» Миши Бастера Чтение выходного дня: фрагменты из книги «Типа панки. Опыты индивидуализма и неподчинения в СССР» Миши Бастера

Несколько ярких отрывков из книги «Типа панки» Миши Бастера

Правила жизни
Грунтовый рай: как «Ролан Гаррос» превратился из мелкого турнира в мэйджор Грунтовый рай: как «Ролан Гаррос» превратился из мелкого турнира в мэйджор

Как из французского междусобойчика теннисистов вырос турнир Большого шлема

Forbes
7 приложений для учета расходов и доходов и планирования бюджета 7 приложений для учета расходов и доходов и планирования бюджета

Не понимаете, куда уходят деньги? Эти мобильные приложения для вас

CHIP
Открыть в приложении