Ученые НАСА начали компьютеризировать человеческое безмолвное чтение, используя нервные сигналы в горле, которые контролируют речь.
В ходе предварительных экспериментов ученые НАСА обнаружили, что маленькие сенсоры размером с кнопку, вставленные под подбородком и по обе стороны от «адамова яблока», могут собирать нервные сигналы и посылать их в процессор, а затем в компьютерную программу, которая переводит их в слова. В конце концов, такие «субвокальные речевые» системы могут быть использованы в скафандрах, в шумных местах, таких как башни аэропортов, для захвата команд авиадиспетчеров или даже в традиционных программах распознавания голоса для повышения точности, по мнению ученых НАСА.
«То, что анализируется, — это тихая или субаудиторная речь, например, когда человек молча читает или разговаривает сам с собой», — сказал Чак Йоргенсен, ученый, чья команда разрабатывает тихое субвокальное распознавание речи в Исследовательском центре НАСА Эймса в калифорнийской Силиконовой долине. «Биологические сигналы возникают при чтении или разговоре с самим собой С или без фактического движения губ или лица», — объяснил Йоргенсен.
«Человек, использующий субвокальную систему, думает о фразах и говорит сам с собой так тихо, что его не слышно, но язык и голосовые связки действительно получают речевые сигналы от мозга», — сказал Йоргенсен.
В своем первом эксперименте ученые «обучили» специальное программное обеспечение распознавать шесть слов и 10 цифр, которые исследователи повторяли субвокально. Первоначальные результаты распознавания слов были в среднем на 92% точными. Первыми субвокальными словами, которые система «выучила», были «стоп», «вперед», «влево», «вправо», «альфа» и «омега», а также цифры от «нуля» до «девяти».
— Мы взяли алфавит и поместили его в матрицу-как календарь. Мы пронумеровали столбцы и строки, и мы могли идентифицировать каждую букву С помощью пары однозначных чисел»,-сказал Йоргенсен. «Поэтому мы молча написали «НАСА», а затем отправили его в известную поисковую систему. Мы пронумеровали в электронном виде веб-страницы, появившиеся в результате поиска. Мы снова использовали цифры, чтобы выбрать веб-страницы для изучения. Это доказало, что мы можем просматривать веб-страницы, не прикасаясь к клавиатуре», — объяснил Йоргенсен.
Ученые тестируют новые, «бесконтактные» датчики, которые могут считывать мышечные сигналы даже через слой одежды.
Второй демонстрацией будет управление механическим устройством с помощью простого набора команд, по словам Йоргенсена. Его команда планирует испытания с имитацией марсохода. «Мы можем заставить модель ровера двигаться влево или вправо, используя молчаливые» произнесенные «слова», — сказал Йоргенсен. По мнению ученых, люди в шумных условиях могли бы использовать эту систему, когда требуется уединение, например, во время телефонных разговоров в автобусах или поездах.
— Расширенная система контроля мышц может помочь раненым астронавтам управлять машинами. Если астронавт страдает от мышечной слабости из-за длительного пребывания в микрогравитации, он может посылать сигналы программному обеспечению, которое поможет, например, при посадке на Марс или землю», — пояснил Йоргенсен. «Логичным побочным эффектом было бы то, что инвалиды могли бы использовать эту систему для многих вещей».
Чтобы узнать больше о том, что находится в паттернах нервных сигналов, управляющих голосовыми связками, мышцами и положением языка, ученые Эймса изучают сложные паттерны нервных сигналов. — Мы используем усилитель для усиления электрических нервных сигналов. Они обрабатываются, чтобы удалить шум, а затем мы обрабатываем их, чтобы увидеть полезные части сигналов, чтобы показать одно слово из другого», — сказал Йоргенсен.
После усиления сигналов компьютерная программа «считывает» сигналы, чтобы распознать каждое слово и звук. «Ключами к этой системе являются датчики, обработка сигналов и распознавание образов, и именно здесь находится научная основа того, что мы делаем», — объяснил Йоргенсен. «Мы продолжим расширять словарный запас с помощью наборов английских звуков, которые можно использовать в полной компьютерной программе распознавания речи».
Программа вычислительных, информационных и коммуникационных технологий, входящая в Управление исследовательских систем НАСА, финансирует исследования по субвокальному распознаванию слов. На новую технологию подан патент.
Изображения в формате публикации доступны во Всемирной паутине по адресу:
https://www.nasa.gov/centers/ames/news/releases/2004/04_18AR.html