Когда вы читаете это предложение про себя, вполне вероятно, что вы слышите слова в своей голове. Теперь, в том, что равносильно технологической телепатии, другие тоже находятся на грани того, чтобы услышать ваш внутренний диалог. Заглянув внутрь мозга, можно восстановить речь по активности, которая происходит, когда мы слышим, как кто-то говорит.
Поскольку считается, что эта мозговая активность одинакова независимо от того, слышим ли мы предложение или думаем об одном и том же предложении, это открытие приближает нас на шаг к тому, чтобы транслировать наши внутренние мысли в мир без слов. Последствия огромны – люди, ставшие немыми из-за паралича или синдрома запертости, могут восстановить свой голос. Возможно, даже удастся прочитать чьи-то мысли.
Представьте себе музыканта, наблюдающего за игрой на пианино без звука, говорит Брайан Пэсли из Калифорнийского университета в Беркли. «Если бы пианист смотрел, как играют на пианино по телевизору с выключенным звуком, он все равно смог бы понять, как звучит музыка, потому что он знает, какая клавиша играет какую ноту», — говорит Пэсли. Его команда сделала нечто аналогичное с мозговыми волнами, сопоставляя нейронные области с соответствующими шумами.
То, как мозг преобразует речь в значимую информацию, представляет собой небольшую загадку. Основная идея заключается в том, что звук активирует сенсорные нейроны, которые затем передают эту информацию в различные области мозга, где извлекаются различные аспекты звука и в конечном итоге воспринимаются как язык. Пэсли и его коллеги задавались вопросом, могут ли они определить, где мозг извлекает некоторые из наиболее важных аспектов речи.
Команда представила произнесенные слова и предложения 15 людям, перенесшим операцию по поводу эпилепсии или опухоли головного мозга. Электроды регистрировали нейронную активность с поверхности верхней и средней височной извилины – области мозга около уха, которая участвует в обработке звука. На основе этих записей команда Пэсли приступила к расшифровке того, какие аспекты речи были связаны с каким видом мозговой деятельности.
Звук состоит из разных частот, которые разделяются в мозге и обрабатываются в разных областях. «Проще говоря, одна точка может заботиться только о диапазоне частот 1000 Герц и не заботится ни о чем другом. Другое место может волновать частота 5000 герц», — говорит Пэсли. «Мы можем посмотреть на их активность и определить, какая частота их волнует. Исходя из этого, мы можем предположить, что, когда активность этого пятна возрастает, в нем был звук с такой частотой».
Частота — это не единственная информация, которую вы можете извлечь. Другие аспекты речи, такие как ритм слогов и колебания частот, также важны для понимания языка, говорит Пэсли.
«Область мозга, из которой они записывают, — это путь где-то между областью, которая обрабатывает звук, и областью, которая позволяет вам интерпретировать его и формулировать ответ», — говорит Дженнифер Бизли, исследователь слуха в Оксфордском университете. «Функции, которые они могут извлечь из этой области, действительно важны для понимания речи».
Команда Пэсли смогла соотнести многие из этих аспектов речи с нейронной активностью, происходящей в одно и то же время. Затем они обучили алгоритм интерпретации нейронной активности и создали на его основе спектрограмму (см. диаграмму). Это графическое представление звука, которое показывает, какая часть какой частоты происходит в течение определенного периода времени. Они протестировали алгоритм, сравнив спектрограммы, восстановленные исключительно на основе нейронной активности, со спектрограммой, созданной на основе оригинального звука.
Они также использовали вторую программу для преобразования восстановленной спектрограммы в слышимую речь. «Люди, слушающие аудиозаписи, могут обнаружить грубое сходство между реальным словом и сконструированными словами», — говорит Пэсли. Когда New Scientist вслушивался в слова, они почти могли разобрать «Уолдо» и «структура». Однако его точность была достаточной для команды, чтобы идентифицировать отдельные слова с помощью компьютерного анализа.
Решающее значение для будущих применений этого исследования имеет доказательство того, что обдумывание слов способствует активности в мозге, которая напоминает слушание этих слов, произносимых вслух.
«Мы знаем, что для большей части нашей сенсорной обработки ментальные образы активируют очень похожие сети», — говорит Стивен Лорейс из Льежского университета, Бельгия. Мы должны быть в состоянии показать, что достаточно просто думать о словах, что было бы полезно в медицинских условиях, особенно для запертых пациентов, говорит он.
«Это то, чем мы хотели бы заняться», — говорит Пэсли. Его команда не единственная, которая надеется создать звук из мыслей. Фрэнк Гюнтер из Бостонского университета, штат Массачусетс, интерпретировал сигналы мозга, которые управляют формой рта, губ и гортани во время речи, чтобы определить, какую форму человек пытается сформировать своим голосовым трактом и, следовательно, какую речь он пытается произнести. Они опробовали свое программное обеспечение на Эрике Рэмси, который парализован, и ему имплантировали электрод в его речемоторную кору. В настоящее время программное обеспечение достаточно хорошо, чтобы производить несколько гласных звуков, но не более сложных звуков.
Лорис также работает над способами различения мозговой активности, соответствующей ответам «да» и «нет» у людей, которые не могут говорить. Другие нейробиологи разрабатывают аналогичные способы общения с пациентами в вегетативных состояниях, отслеживая активность мозга с помощью МРТ.
«Конечно, было бы намного лучше, если бы можно было расшифровать их ответы, их слова и мысли», — говорит он.
Слуховая информация обрабатывается одинаково у всех нас, поэтому в этом смысле новая модель может быть применена ко всем, говорит Пэсли, но настройки, безусловно, должны быть настроены индивидуально из-за анатомических различий в мозге. Он говорит, что процесс обучения короткий и включает в себя прослушивание звуков. После того, как модель обучена, ее можно использовать для прогнозирования речи – даже слов, которые она раньше не слышала.
Пэсли говорит, что технология доступна для воплощения этой идеи в реальность. «Имплантаты передают записанные сигналы в декодер, который преобразует сигналы в команды движения или, в нашем случае, в речь». Он хочет разработать безопасные, беспроводные, имплантируемые интерфейсы для долгосрочного использования.
В ближайшее время никто не будет читать наши мысли, говорит Ян Шнупп, также из Оксфорда, так как только небольшому числу людей, перенесших необходимую операцию на головном мозге, будут имплантированы эти устройства.
Но для тех, кто нуждается в голосе, эта работа является позитивным шагом. «Это добавляет к увлекательной литературе по расшифровке мыслей, которая становится все более и более точной», — говорит Лорис. «У нас есть основания для оптимизма».
Мы еще не знаем, возможна ли речь из мыслей, говорит Пэсли, но он настроен оптимистично. «Это, безусловно, надежда».
https://www.newscientist.com/article/dn21408-telepathy-machine-reconstructs-speech-from-brainwaves/
Загрузка...
