Команда профессора Бин Хэ из Университета Карнеги-Меллона ищет жизнеспособные альтернативы инвазивным интерфейсам мозг-компьютер (BCI). В 2019 году исследовательская группа использовала неинвазивный BCI, чтобы впервые успешно продемонстрировать способность управляемой разумом роботизированной руки непрерывно отслеживать компьютерный курсор.

Недавно результат исследования команды профессора Хэ Биня был опубликован в журнале «PNAS Nexus». В этом исследовании используются декодеры глубокого обучения для улучшения реагирования BCI на пользователей, которые отслеживают объект в двумерном пространстве с помощью курсора. Исследовательская группа продемонстрировала, что люди могут контролировать непрерывное отслеживание движущихся объектов исключительно с помощью мыслей, и производительность очень хорошая.

Неинвазивные интерфейсы «мозг-компьютер» имеют множество преимуществ по сравнению с инвазивными интерфейсами «мозг-компьютер», такими как Neuralink или Synchron. Эти преимущества включают повышенную безопасность, экономическую эффективность и возможность использования широким кругом пациентов и населением в целом. Однако неинвазивные интерфейсы «мозг-компьютер» сталкиваются с проблемами, поскольку их записи менее точны и их трудно интерпретировать.

В исследовании группа из 28 человек выполнила сложную задачу BCI по отслеживанию объекта в двух измерениях, думая о нем. В частности, участников просили представить, как они перемещают курсор вправо правой рукой и влево левой рукой, одновременно перемещая обе руки вверх и вниз, чтобы добиться непрерывного, непрерывного движения виртуального объекта.

Принципиальная схема интерфейса ЭЭГ «мозг-компьютер». А) Настройка BCI, при которой пользователь взаимодействует с компьютером, а его намерения записываются и декодируются на основе ЭЭГ. Б) Парадигма управления двигательным воображением интерфейса мозг-компьютер. В) Описание задач DT и CP BCI.

Во время выполнения задания исследователи регистрировали свою активность за пределами мозга с помощью методов электроэнцефалографии (ЭЭГ). Использование искусственного интеллекта для обучения глубокой нейронной сети. Затем исследовательская группа использовала данные датчиков BCI для прямого декодирования и интерпретации намерений человека в отношении непрерывного движения объекта. Исследователи оценили две разные архитектуры глубокого обучения и традиционный декодер, проведя в общей сложности семь учебных сеансов BCI. Оба декодера глубокого обучения улучшились на протяжении всего исследования и превзошли традиционный декодер на последнем проходе.

Помимо реализации EEGNet для задач CP, мы также решили протестировать другую архитектуру в онлайн-экспериментах. С этой целью мы адаптировали архитектуру PointNet для декодирования BCI. Архитектура PointNet построена на представлении задачи облаком точек в качестве входных данных для извлечения пространственных закономерностей или функций. В других областях это облако точек может представлять собой набор точек, составляющих трехмерную сцену, но здесь мы используем набор электродов и их трехмерных положений в пространстве (относительно друг друга) в качестве облака точек.

DL-архитектура. А) Реализация EEGNet, используемая в этом исследовании. Б) Предлагаемая нами архитектура облака точек подходит для декодирования BCI.

Реализованная нами архитектура PointNet показана на рисунке выше. Модель начинается со спектрального ввода и проходит через три набора уровней абстракции: полностью связный уровень, пакетную нормализацию, функцию активации RELU, отсев (40%) и, наконец, полностью связный уровень.

Затем исследовательская группа использовала данные датчиков BCI для прямого декодирования и интерпретации намерений человека в отношении непрерывного движения объекта. Исследователи оценили две разные архитектуры глубокого обучения и традиционный декодер, проведя в общей сложности семь учебных сеансов BCI. Оба декодера глубокого обучения улучшились на протяжении всего исследования и превзошли традиционный декодер на последнем проходе.

Таким образом, эта работа демонстрирует превосходную эффективность неинвазивного BCI в компьютерных устройствах, управляемых мозгом.

Исследователи заявили: «Благодаря инновациям в технологии искусственного интеллекта по сравнению с традиционной технологией интерфейса мозг-компьютер мы значительно улучшили производительность интерфейсов мозг-компьютер, вселяя надежду на широкий спектр человеческих приложений в будущем».

ссылка:

https://academic.oup.com/pnasnexus/article/3/4/pgae145/7656016?login=false