Команда ученых объявила, что с помощью специального шлема с датчиками и искусственного интеллекта они могут превращать мысли человека в письменную речь.

В ходе исследования участники читали отрывки текста, надевая специальную шапочку, которая регистрировала электрическую активность мозга через кожу головы. Затем эти записи электроэнцефалограммы (ЭЭГ) были преобразованы в текст с помощью модели ИИ под названием DeWave.

Чин-Тенг Лин (Chin-Teng Lin) из Сиднейского технологического университета (UTS) в Австралии говорит, что данная технология является неинвазивной, относительно недорогой и легко транспортируемой.

Хотя система далека от совершенства, ее точность составляет около 40%, Лин говорит, что более поздние данные, которые в настоящее время проходят рецензирование, свидетельствуют об улучшении точности, превышающей 60%.

В исследовании, представленном на конференции NeurIPS в Новом Орлеане (штат Луизиана), испытуемые читали предложения вслух, хотя программа DeWave не использует разговорные слова. Однако в последнем исследовании участники читали предложения молча.

В прошлом году группа под руководством Джерри Танга (Jerry Tang) из Техасского университета в Остине сообщила о схожей точности преобразования мыслей в текст, но для интерпретации активности мозга использовались снимки МРТ. Использование ЭЭГ более практично, поскольку испытуемым не нужно неподвижно лежать в сканере.

По словам члена исследоваательской команды Чарльза Чжоу (Charles Zhou) из UTS, модель DeWave была обучена путем изучения множества примеров, в которых сигналы мозга совпадали с конкретными фразами.

Например, когда вы думаете о том, чтобы сказать "привет", ваш мозг посылает определенные сигналы", – говорит Чжоу. DeWave узнает, как эти сигналы соотносятся со словом "привет", видя множество примеров этих сигналов для разных слов или предложений".

После того как DeWave хорошо понял сигналы мозга, команда подключила его к открытой модели большого языка (LLM), подобной ИИ, который используется в ChatGPT.

"Эта LLM похожа на умного писателя, который умеет составлять предложения. Мы говорим этому писателю обращать внимание на сигналы от DeWave и использовать их как руководство для создания предложений", – говорит Чжоу.

Наконец, команда обучила одновременно DeWave и языковую модель, чтобы еще лучше составлять предложения на основе данных ЭЭГ.

По прогнозам исследователей, при дальнейшей доработке система может произвести революцию в общении людей, потерявших речь, например, после инсульта, а также найти применение в робототехнике.

Крейг Джин (Craig Jin) из Сиднейского университета говорит, что впечатлен работой команды Лина. "Это отличный прогресс", – говорит он.

"Люди давно хотели превратить ЭЭГ в текст, и модель команды демонстрирует поразительную корректность. Еще несколько лет назад преобразования ЭЭГ в текст представлялись полной бессмыслицей".

Джеймс Вудфорд