Интерфейс мозг-компьютер для обнаружения вызванных потенциалов с применением свёрточных нейронных сетей.

Интерфейс мозг-компьютер (ИМК) представляет собой систему обмена информацией между головным мозгом человека и персональным компьютером (ПК). История ИМК берёт своё начало с открытия Гансом Бергером электрической активности головного мозга и разработки метода её регистрации – электроэнцефалографии (ЭЭГ). В 1924 году Ганс Бергер первым записал сигналы ЭЭГ человека. Он смог идентифицировать электрическую активность головного мозга в диапазоне частот 8-13 Гц, так называемые альфа-волны. Устройство, используемое Бергером, было примитивным: в качестве датчиков использовались серебряные провода, которые помещались под кожу головы пациентов. В дальнейшем, он заменил серебряные провода фольгой, прикрепленной к голове пациента с помощью резиновых бинтов.  Хотя термин интерфейс мозг-компьютер еще не был введен в широкое употребление, одним из самых ранних примеров работающего ИМК было произведение «Музыка для сольного исполнителя» (1965) американского композитора Элвина Льюсера. В этом произведении используется оборудование для обработки ЭЭГ и аналоговых сигналов (фильтры, усилители и микшерный пульт) для стимуляции акустических ударных инструментов. В 1988 году был представлен отчёт о первом неинвазивном контроле с помощью ИМК над физическим объектом. В 1990-х годах началось интенсивное развитие данной технологии. Более поздние исследования, проведённые в данной области в 2010-х годах показывают потенциальную возможность использования нейронной стимуляции для восстановления нейронных связей.

В задачах классификации ЭЭГ паттернов в настоящее время находят применение искусственные нейронные сети (ИНС). Нейронные сети позволяют проводить сложные вычисления с применением алгоритмов машинного обучения.

В настоящей работе был разработан интерфейс мозг-компьютер (ИМК) для классификации вызванных потенциалов с применением в качестве нейроклассификатора аппарата свёрточных нейронных сетей (СНС) с точностью классификации не менее 60%.

Интерфейсы мозг-компьютер: общий обзор.

По типу регистрации биоэлектрической активности бывают инвазивные и неинавзивные ИМК. Инвазивные ИМК требуют прямого контакта датчиков с головным мозгом пациента. Такой тип ИМК выдаёт высокую точность распознавания сигналов ЭЭГ. Однако применение таких ИМК ограничено медицинской сферой. Это обусловлено тем, что очень часто требуется оперативное вмешательство для того чтобы расположить электроды, регистрирующие сигналы ЭЭГ.

Неинвазивный ИМК не требует оперативного вмешательства, что делает его доступным широкому классу исследователей. Его электроды-датчики располагаются на поверхности головы пациента. Основным недостатком такого типа ИМК является снижение точности распознавания сигналов ЭЭГ. Снижение точности обусловлено высоким импедансом (сопротивление кожа-электрод), шумящей аппаратурой регистрации биопотенциалов. Для увеличения точности классификации сигналов ЭЭГ применяется как усовершенствование аппаратуры, регистрирующей сигналы головного мозга, так и совершенствование методов классификации ЭЭГ паттернов. Неинвазивные ИМК, основанные на анализе сигналов ЭЭГ подразделяют так же на синхронный и асинхронный типы.

Синхронный ИМК основан на анализе так называемых вызванных потенциалов (ВП) или потенциалов, связанных с событием (ПСС). Вызванный потенциал (ВП) – это реакция головного мозга на представленный стимул. Ярким примером ВП является волна P300. Она возникает в ответ на неожиданный стимул. Синхронный ИМК обладает высокой точностью классификации ЭЭГ паттернов, которая в свою очередь может достигать 90%. Однако, такой тип ИМК работает только с заранее записанными данными.

В настоящее время весьма перспективным является развитие асинхронных ИМК. Такие ИМК могут работать и классифицировать данные в режиме реального времени, распознавать и классифицировать как реальные, так и воображаемые движения. Следует отметить, что точность классификации воображаемых движений ниже, чем точность классификации реальных. Данный тип ИМК применим для управления робототехническими устройствами.

Материалы и методы.

Для регистрации биопотенциалов использовался макет аппаратуры OpenBCI с платой регистрации Cyton. Плата Cyton имеет 8 независимых каналов регистрации сигналов ЭЭГ. Выбор Cyton так же обусловлен её портативностью и высокой точностью регистрации данных ЭЭГ. Плата содержит микроконтроллер PIC32MX250F128B, который обеспечивает высокую скорость обработки данных. Следует отметить, что плата Cyton совместима с Bluetooth, а также имеется возможность передавать данные ЭЭГ по Wi-Fi каналу на ПК, используя протокол LSL. Плата Cyton:

Общая схема подключения 8-ми каналов регистрации ЭЭГ сигналов к плате Cyton:

Электроды в локализациях CH1, CH2, CH3, CH4, CH5, CH6, CH7, CH8 осуществляют непосредственную регистрацию ЭЭГ сигналов. Электрод BIAS является референтным электродом, а электрод SRB – электрод шумоподавления. Они располагаются на мочках ушей. Схема расположения электродов, регистрирующих электрическую активность головного мозга, на голове испытуемого осуществляется по международной системе 10-20:

Для удобства каркас нейрогарнитуры был распечатан на 3D принтере:

Данный каркас обладает универсальными монтажными отверстиями, в которые имеется возможность вкручивать электроды как мокрого, так и сухого типа.  

Для классификации ЭЭГ сигналов использовалась свёрточная нейронная сеть. Свёрточная нейронная сеть (СНС) представляет собой нейронную сеть прямого распространения, которая самостоятельно обучается извлечению признаков с помощью фильтров или ядра оптимизации. СНС состоит из входного, одного или нескольких скрытых и выходного слоёв. В СНС скрытые слои включают в себя один или несколько слоёв, выполняющих свёртку. Реализация СНС в рамках данной задачи осуществлялась на языке программирования Python.

Эксперимент проходил по следующей схеме: сначала осуществлялась регистрация сигналов ЭЭГ. Полученные данные ЭЭГ передавались по Wi-Fi каналу на ПК. На рисунке представлена визуализация сигналов ЭЭГ в программе OpenBCI GUI:

После устранения шумов и артефактов, возникших во время регистрации биопотенциалов, непрерывный сигнал разбивался на эпохи, длительностью по 4 с. Для обнаружения ВП участнику эксперимента на экране ПК представлялся шахматный узор. Для получения более точной картины нейроклассификации было проведено 10 сессий.

Для оценки качества классификации используются метрики качества: Accuracy, Precision, Recall, F1. Метрика Accuracy представляет собой долю правильно спрогнозированных классов из общего числа образцов. Метрика Precision характеризует долю правильно предсказанных положительных классов среди общего количества рассматриваемых классов, которые классификатор распознал как положительный класс. Recall характеризует количество правильно спрогнозированных положительных классов среди общего числа действительно положительных классов. Мера F1 или F1-score является средним звеном между метриками Precision и Recall. Положительным классом в данной задаче является наличие вызванного потенциала P300.

Результаты исследования и их обсуждение.

СНС проводит классификацию на протяжении 30 эпох обучения. Выбор такого количества эпох обусловлен необходимостью прервать обучение нейронной сети, поскольку в дальнейшем наблюдается переобучения нейросети. Для полноты картины было решено провести 10 сеансов записи сигналов ЭЭГ. График средней точности (F1) классификации ВП по всем 10 экспериментам:

Зависимость, представленная на рис. 6 показывает, что средняя точность классификации на протяжении 10 экспериментов близка к заявленным 60%. Первые эксперименты показали снижение точности классификации, однако в дальнейшем точность классификации порядка 58%. 

Таким образом, в рамках данного исследования была проведена классификация ВП с помощью аппарата СНС в качестве нейроклассификатора. Полученные результаты позволяют говорить о том, что применение СНС в качестве нейроклассификаторов целесообразно. Свёрточные нейронные сети имеют меньшее количество настраиваемых весов в отличии от полносвязной нейронной сети, а также имеют удобное распараллеливание вычислений, что даёт возможность реализовывать и обучать нейросети на графических процессорах (GPU). В качестве недостатка СНС можно отметить большое количество варьируемых параметров сети, таких как: количество слоёв, размерность ядра свёртки и т.д.