Ученые Сколковского института науки и технологий, французского института INRIA и японского RIKEN задумались о возможности применения интерфейсов мозг-компьютер для оценки уровня умственной нагрузки и эмоционального состояния человека.

Интерфейсы мозг-компьютер делятся на активные — позволяющие «силой мысли» управлять различной техникой и пассивные, которые лишь следят за психическим состоянием пользователя и пытаются классифицировать его эмоции. Электрическая активность мозга при этом регистрируется с помощью обычной электроэнцефалографии.

Но анализировать поток сигналов электроэнцефалографии и находить в нем закономерности, позволяющие понять состояние человека, весьма непросто — эксперименты показали, что даже такая, казалось бы, простая задача, как отличить высокую умственную нагрузку от низкой, решается существующими методами не так эффективно, чтобы ими можно было пользоваться на практике.

Соответственно, есть потребность в более надежных и точных механизмах обнаружения и классификации различных картин сигналов. Ученые решили попробовать задействовать для этого алгоритмы машинного обучения — классификаторы на основе римановой геометрии и сверточные нейронные сети, которые успешно применяются в активных интерфейсах мозг-компьютер. Было интересно выяснить, будут ли они действенными не только при выполнении заданий на воображаемую моторику — когда пользователь лишь представляет себе, что двигает конечностями, но и в задачах оценки умственной нагрузки и эмоций.

Было проведено сравнительное тестирование семи алгоритмов, два из которых ученые разработали сами путем усовершенствования римановых классификаторов. Вначале алгоритмы обучили на данных одного пользователя и потом проверялись с его же участием, а потом попробовали провести тестирование в группе, но это оказалось куда сложнее, так как электрическая активность мозга у всех разная. Опорные данные электроэнцефалографии при этом были позаимствованы из предыдущих экспериментов и из базы DEAP, которая была создана специально для исследований, посвященных анализу эмоций.

В итоге глубинная нейронная сеть показала гораздо лучшие характеристики при оценке умственной нагрузки, но с классификацией эмоций не справилась, а вот римановы алгоритмы успешно решали обе задачи.

Вместе с тем авторы заключили, что в целом пассивные интерфейсы мозг-компьютер меньше подходят для анализа эмоционального состояния, чем для оценки умственной нагрузки, и что при групповом тестировании точность результатов работы всех алгоритмов сильно уменьшается.

Ученые собираются продолжить работу, задействовав средства глубинного обучения, которые позволили бы обнаруживать малозаметные изменения закономерностей электрической активности мозга и, возможно, помогли бы обеспечить универсальность при испытаниях на большом количестве участников.