Создан аватар, который воспроизводит утраченную после инсульта речь и мимику пациентки.
Интерфейс "мозг-компьютер" позволил парализованной женщине, потерявшей способность говорить после инсульта ствола мозга, общаться с помощью цифрового аватара. По словам Эдварда Чанга, доктора медицины, работавшего над технологией более десяти лет, основной целью было воспроизведение синтезированной речи через аватар, чтобы полностью воплотить человеческую коммуникацию.
На поверхность мозга женщины был имплантирован тонкий прямоугольник, состоящий из 253 электродов. Электроды перехватывали сигналы мозга, которые поступали бы к мышцам языка, челюсти, гортани и лица, если бы не было инсульта. Кабель, подключенный к порту, закрепленному на голове, соединял электроды с банком компьютеров. Исследователи обучали и оценивали модели на основе нейронных данных, собранных во время попыток женщины беззвучно произносить предложения. В течение нескольких недель она повторяла различные фразы из разговорного словаря, состоящего из 1 024 слов, снова и снова, пока компьютер не распознал паттерны активности мозга, связанные с этими звуками. Скорость перевода импульсов мозга в текст составляет 78 слов минуту, более того, перевод выглядит не просто, как текст на экране, происходит декодирование сигналов мозга в полноценную речь совместно с точными движениями лица аватара.
Для создания голоса аватара команда разработала алгоритм синтеза речи и использовала запись голоса женщины до травмы. Специализированные процессы машинного обучения позволили программе согласовывать сигналы, посылаемые мозгом женщины, когда она пыталась говорить, и преобразовывать их в движения лица аватара.
По мнению ученых, следующим важным шагом является создание беспроводной версии, которая не будет требовать физического подключения пользователя к интерфейсу
«мозг-компьютер», что, несомненно, окажет значительное влияние на социальную жизнь людей после инсульта.
Источник: https://www.nature.com/articles/s41586-023-06443-4.epdf?sharing_token=_4EqW60R0j68ZJyyA_dNn9RgN0jAjWel9jnR3ZoTv0Pg4HnoHz28L8r53ySPOqU3OVr3-ghZ5AhplUMGK6pRtrbCEVS3i2Wuf-Bft81aFnNJF1M-RKAEq8TjrfNL6s5E0kcF5rZtYeWDDFaUJPXGvd8uZvSWrc4Xxwb4AfwKC20EGiVZFy_wnKEMb8vAaxhsIL0CqEkfxcIYnttdcbevzNKj7qy7KAbUyd0oN8Pvp94%3D&tracking_referrer=www.medscape.com
