Интерфейсы мозг-компьютер: обзор современных достижений

Елена Пицик, Университет Иннополис — о том, зачем вживлять в мозг нейроинтерфейсы

Нейроинтерфейсы сегодня находят самое широкое применение: от реабилитации людей после травм и инсультов до мониторинга сна и расслабления во время медитации. Илон Маск в рамках своего проекта Neuralink разрабатывает инвазивные интерфейсы, которые можно будет внедрять прямо в мозг человека без угрозы отторжения. «Хайтек» записал онлайн-лекцию сотрудницы Лаборатории нейронауки и когнитивных технологий Елены Пицик, посвященную интерфейсу «мозг — компьютер» и способам расшифровки электроэнцефалограммы. Выступление проходило при поддержке Университета Иннополис и ЦСК «Смена».

Читайте «Хайтек» в

Елена Пицик — младший научный сотрудник Лаборатории нейронауки и когнитивных технологий Университета Иннополис.

Речевые интерфейсы

1) ИМК на основе ЭКоГ на основе слухового внимания к естественной речи

Люди, страдающие тяжелыми нейродегенеративными заболеваниями (например, поздней стадией бокового амиотрофического склероза (БАС)), в конечном итоге теряют мышечный контроль и больше не могут жестикулировать или говорить. Недавние исследования показывают, что электрокортикографические (ЭКоГ) сигналы в гамма-диапазоне (т.е. 70–170 Гц) могут использоваться для определения идентичности звуковых речевых стимулов.

В своей работе [1] авторы изучают эту возможность, реализуя систему реального времени на основе BCI2000, которая использует сигналы ЭКоГ для идентификации присутствующего говорящего.

Исследуемому пациенту с трудноизлечимой эпилепсией была проведена временная установка 72 субдуральных электродов. Регистрация ЭКоГ с имплантированных электродов производилась с использованием усилителя g.HIamp и программной платформы BCI BCI2000, которая собирала данные с частотой 1200 Гц .

Задача испытуемого заключалась в том, чтобы выборочно проявить внимание к одному из двух одновременно выступающих говорящих. Авторы смешали две (монофонические) речи в бинауральную презентацию, в которой поток, передаваемый каждому уху, содержал 20% ∶ 80% громкости одного говорящего и 80% ∶ 20% громкости другого, соответственно.

Созданный интерфейс получает звуковой сигнал через микрофон или предварительно загруженный файл. Затем фильтр корреляции сигналов вычисляет значения корреляции, то есть корреляцию между двумя (монофоническими) речами, чтобы определить, на какого говорящего пользователь направляет свое внимание. Наконец, фильтр увеличения обратной связи увеличивает громкость обслуживаемого докладчика и уменьшает громкость другого говорящего, чтобы обеспечить обратную связь с субъектом

2) Распознавание непрерывной речи с помощью интерфейса мозг-компьютер

В течение последних двух десятилетий исследования в области интерфейса мозг-компьютер (ИМК) работали над практическими и полезными приложениями для коммуникации и управления. Тем не менее, многие методы. использующие ИМК, страдают от неестественного взаимодействия или трудоемкого обучения пользователей. Поскольку непрерывная речь обеспечивает очень естественный подход к общению, долгое время стоял вопрос, можно ли разработать ИМК, которые распознают речь по активности коры головного мозга. Воображаемая речь как парадигма ИМК для ограниченных пациентов означала бы значительное улучшение скорости общения и удобства использования без необходимости громоздкого написания с использованием отдельных букв .

В исследовании с 7 участниками [2] авторы впервые показали, что непрерывная речь представлена в мозгу как последовательность фонем(звуков). Эти фонемы могут быть декодированы из записей электрокортикографии (ЭКоГ) и позволяют составить произнесенные слова. Все участники перенесли операцию в связи с трудноизлечимой эпилепсией и согласились участвовать в нашем эксперименте. Расположение электродов определялось исключительно исходя из клинических потребностей пациентов.

Распознавание отдельных фонем

В эксперименте авторы одновременно записывали ЭКоГ-активность и форму звуковой волны, в то время как участники читали вслух разные тексты, состоящие из детской литературы, фанфиков или политических выступлений. Авторы согласовали нейронные данные по времени с маркировкой фонем, полученных из звуковых данных, с помощью собственного инструментария распознавания речи BioKIT. Это позволило идентифицировать нейронную активность, соответствующую производству каждой фонемы.

Затем авторы объединили фонемное(звуковое) представление корковой активности с языковой информацией, используя технологию автоматического распознавания речи, чтобы реконструировать слова в мысленно произнесенных фразах. Информация о языке включается в процесс декодирования через языковую модель и словарь произношения. Словарь произношения содержит отображения фонемных последовательностей в слова. Языковая модель статистически моделирует синтаксическую и семантическую информацию, предсказывая следующие слова с учетом предшествующих слов.

Результаты показали, что с ограниченным набором слов в словаре интерфейс может восстанавливать полные предложения. На рисунке показаны различные этапы декодирования непрерывно произносимых фраз из нейронных данных.

Например, последовательность воображаемых фонем (звуков)

Интерфейс распознает и произнесёт как

Сложности применения нейроинтерфейсов

Основной проблемой с инвазивными и полуинвазивными нейроинтерфейсами является повреждение нервной ткани электродом — нервы в месте контакта просто отмирают с течением времени. Необходимы технологии разъединения нервной ткани и электрода, обеспечивающие стабильное соединение. Другая проблема заключается в нахождении «правильного нерва» для контакта с электродом, что трудно в плотно упакованной коре мозга.

Не только мозг, но и вся нервная ткань является очень хрупким объектом. Это мешает созданию НКИ, контактирующих, например, с сетчаткой (где уже находятся пять слоёв нейронов визуальной обработки). Для устройств, взаимодействующих со здоровой сетчаткой, более перспективны не НКИ, а мини-дисплеи, проецирующие изображение непосредственно на сетчатку, или дисплеи-контактные линзы, которые уже сейчас можно увидеть в шпионских фильмах

Ещё одной проблемой является энергообеспечение нейроинтерфейсов. Здесь уместно вспомнить фильм «Матрица», в котором люди использовались в качестве батареек. И действительно, работа мышц производит достаточно электричества не только для миниустройств, но и для, например, встроенных телефонов будущего (например, дыхание — около 1 Вт, ходьба — более 50 Вт) — если часть этого напряжения использовать для нейроинтерфейсов, они могут работать без необходимости подключения к внешним источникам энергии.

Но самой серьёзной проблемой является точность НКИ. Если для инвазивных НКИ точность зависит скорее от нейрохирурга и материалов, обеспечивающих надёжный контакт с правильной группой нейронов, то для неинвазивных нейроинтерфейсов точность — это прежде всего точность алгоритмов обработки регистрируемой информации.

Задача неинвазивных нейроинтерфейсов — восстановить активность группы нейронов по электрическому или магнитному полю. Эта задача является математически некорректной — она не имеет единственного решения.

Есть и альтернатива — экспериментальное установление связи между желаемым результатом работы нейроинтерфейса (например, желаемым движением робота или протеза руки) и регистрируемой при этом желании активностью датчиков. Таким образом происходит «обучение» нейроинтерфейса, после которого он работает в режиме «желание определённого движения — команда соответствующим моторам». И, конечно, установленная связь далеко не всегда является точной, устойчивой к ошибкам, к активности других электродов и временным изменениям.

И тем не менее, рынок нейроинтерфейсов уже начал свой осторожный рост.

Статья по теме

Существует также то, что ученые называют «языковым барьером». Нейроны общаются между собой посредством сложного взаимодействия электрических сигналов и химических реакций. Этот родной электрохимический язык нелегко интерпретировать с помощью электрических цепей. По этой же причине, когда мы передаем мозгу сигналы с помощью электрической стимуляции, они получаются с сильным электрическим «акцентом». Это затрудняет понимание мозгом того, что пытается передать стимуляция в разгар продолжающейся нейронной активности.

Наконец, существует проблема повреждения мозга. Имплантированная электроника часто вызывает рубцевание и иммунные реакции мягкой и гибкой ткани головного мозга, а значит, что имплантаты теряют свою эффективность с течением времени. Хотя возможно в дальнейшем гибкие биосовместимые волокна смогут решить эту проблему.

Какое будущее нас ждет?

Несмотря на все эти трудности, у нейрокомпьютерных интерфейсов довольно светлое будущее. Им не обязательно быть идеальными, так как наш мозг удивительно адаптивен и способен научиться использовать НКИ, подобно тому, как мы изучаем новые навыки, такие как управление автомобилем или использование сенсорного интерфейса. Точно так же мозг может научиться интерпретировать новые типы сенсорной информации, даже получая их неинвазивно, например, посредством магнитных импульсов.

Будущее интерфейса мозг-компьютер: проблемы и перспективы

Исследования и разработка интерфейсов мозг-компьютер вызывают огромный интерес у ученых, инженеров и клиницистов. Повышенный интерес отражает обширные перспективы, которые может предоставить нейрокомпьютерный интерфейс как для науки, так и для практических целей. Со временем ИМК можно будет использовать в плановом порядке для протезирования или восстановления важных функций у людей с тяжелыми формами инвалидности из-за нервно-мышечных расстройств; они также могут улучшить реабилитацию людей с инсультами, травмами головы и другими заболеваниями.

В настоящее время перед исследователями и разработчиками интерфейсов стоит ряд проблем в трех критических областях:

• оборудование для регистрации сигналов;
• проблема выбора индивидуального ИМК;
• эксплуатационная надежность системы и ее стабильность работы.

Оборудование для сбора сигналов

Все нейрокомпьютерные интерфейсы зависят от датчиков и связанного с ними оборудования, которое регистрирует сигналы мозга. Улучшение качества данного оборудования обуславливает повышение эффективности интерфейса мозг-компьютер. В идеале, интерфейс мозг-компьютер неинвазивного типа на основе ЭЭГ должен:

• иметь электроды, не требующие нанесения проводящего геля (т.е. разработка сухих электродов);
• должен быть портативным;
• должен иметь удобные и косметически приемлемые крепления;
• быть простым в настройке;
• работать длительное время без необходимости технического обслуживания;
• хорошо работать вне зависимости от окружающей среды;
• работать с помощью телеметрии, а не требовать проводного подключения;
• быть совместимым с различным программным обеспечением.

Интерфейс мозг-компьютер, в котором используются имплантированные электроды, сталкивается с рядом сложных проблем, связанных с безопасностью применения:

• должен оставаться целым, функциональным и надежным в течение десятилетий;
• записывать стабильные сигналы на протяжении многих лет;
• передавать записанные сигналы телеметрически;
• обладать возможностью заряжаться на месте (или иметь батареи, рассчитанные на годы или десятилетия);
• иметь внешние элементы, которые прочны, удобны и стерильны;
• быть совместимым с программным обеспечением.

Хотя в последние годы были достигнуты большие успехи, и в отдельных случаях имплантаты с микроэлектродами продолжали функционировать в течение многих лет, неясно, какие решения будут наиболее успешными. Нейрокомпьютерные интерфейсы, основанные на ЭКоГ или на потенциале локального поля, могут обеспечить более стабильную работу, чем ИМК, которые основаны на потенциалах действия отдельных нейронов. Тем не менее, вероятно, что для полной реализации своих возможностей инвазивным ИМК потребуются существенные, пока еще неопределенные инновации в сенсорной технологии. Большая часть необходимых исследований будет по-прежнему полагаться в первую очередь на исследования на животных, до начала массового тестирования на людях.

Проблема выбора индивидуального ИМК

По мере того, как работа продолжается, и нейроинтерфейсы начинают использоваться в реальной клинической практике, возникают 2 важных вопроса:

• насколько эффективен и надежен данный ИМК;
• какие ИМК лучше всего подходят, для каких целей.

Чтобы ответить на первый вопрос, необходимо длительное и широкомасштабное тестирование. Ответ на второй вопрос потребует консенсуса среди исследовательских групп относительно того, какие критерии следует использовать для сравнения различных интерфейсов мозг-компьютер и как нужно оценивать их производительность.

Наиболее очевидным примером является вопрос о том, достаточна ли эффективность ИМК, использующих интракортикальные сигналы, по сравнению с ИМК, которые используют сигналы ЭКоГ или даже сигналы ЭЭГ. Для многих потенциальных пользователей инвазивные интерфейсы мозг-компьютер должны будут обеспечивать гораздо лучшую производительность, чтобы быть предпочтительнее неинвазивных ИМК и оправдать риск и затраты операционного вмешательства. Данные на сегодняшний день не дают однозначного ответа на этот ключевой вопрос. 8

Наблюдается тенденция к тому, что неинвазивные ИМК на основе ЭЭГ или fNIR чаще используются в основном для базовой коммуникации, тогда как ИМК на основе ЭКоГ применяются для контроля сложных движений.

Разработка интерфейса мозг-компьютер для людей с ограниченными возможностями требует четкого подтверждения их реальной ценности с точки зрения эффективности, практичности (включая рентабельность) и влияния на качество жизни. 9 Например, валидация технологии ИМК для восстановления после инсульта или при других расстройствах также потребует тщательного сравнения с результатами традиционных методов реабилитации.

Современные нейрокомпьютерные интерфейсы с учетом их ограниченных возможностей и потенциальных рисков использования, могут быть полезными в основном для людей с очень тяжелыми формами инвалидности. Поскольку численность таких пациентов относительно невелика, ИМК являются невыгодным решением с точки зрения окупаемости технологии: на сегодняшний день нет стимула для массового внедрения капитала в данную технологию. Инвазивные ИМК требуют значительные затраты на первоначальную имплантацию, а также на последующую техническую поддержку. Будущая коммерческая успешность всех ИМК будет зависеть от уменьшения объема и сложности необходимой долгосрочной поддержки, от увеличения числа пользователей и от обеспечения возмещения расходов страховыми компаниями и государственными учреждениями.

В будущем, большое количество успешных клинических и лабораторных испытаний может значительно увеличить количество потенциальных пользователей. В любом случае, если дальнейшая работа улучшит функциональность ИМК и сделает их коммерчески привлекательными, для их распространения потребуются жизнеспособные бизнес-модели, которые дадут как финансовый стимул для коммерческой компании, так и адекватную компенсацию клиническому и техническому персоналу, который будет поддерживать работу ИМК. Оптимальным сценарием может быть сценарий, при котором ИМК для людей с тяжелыми формами инвалидности развиваются синергетически с ИМК для населения в целом.

Эксплуатационная надежность системы

Несмотря на увеличивающееся количество исследований ИМК, эксплуатационная надежность системы и ее стабильность на сегодняшний день остается ключевой проблемой ее использования. Эффективность использования и эксплуатационную надежность интерфейса мозг-компьютер можно повысить увеличив качество и область регистрации нейрональной активности.

Так контроль двигательных действий со стороны центральной нервной системы обычно распределяется по нескольким областям. Корковые области могут определять цель и общий ход действия; однако детали (особенно высокоскоростные сенсомоторные взаимодействия) часто обрабатываются на подкорковых уровнях.

Это говорит о том, что производительность ИМК может быть улучшена за счет использования сигналов из нескольких областей мозга и использования функций сигналов мозга, которые отражают отношения между областями, например, согласованность.

Интерфейсы мозг-компьютер, которые используют сигналы из нескольких областей, с большей вероятностью будут чувствительны к нейрональной активности и, таким образом, смогут лучше распознавать команды пользователя.

С чего все начиналось

Интерес к изучению мозга техническими методами возник сравнительно недавно — примерно на рубеже XIX и XX веков. В 1920-х годах исследователь Эдгар Эдриан предположил, что нейроны генерируют электрические импульсы и служат базовым элементом куда более сложной структуры. Позже Дональд Хебб разработал (1949) теорию пластичности синаптической передачи и нейронных ансамблей, что перевернуло представление об обязанностях, «закрепленных» за конкретными областями коры головного мозга. Оказалось, что при необходимости нейроны охотно меняют свои функции и нельзя выделить какую-то одну группу, отвечающую, например, за навыки информационной безопасности.

В 1960-х в лаборатории нейронального контроля Национального института здоровья США впервые попытались записать и обработать электрический сигнал с нейронов подопытной обезьяны. Пару десятилетий спустя эта же группа ученых экспериментировала с анализом мозговой деятельности уже в реальном времени, позволяя пациентам зажигать лампочки светового табло «силой мысли». Открывшиеся возможности окрылили исследователей, и варианты прикладных применений не заставили себя долго ждать. Первая научная статья, описывающая успешные эксперименты с «виртуальной клавиатурой» для парализованных людей, вышла в 1999 году (Нилс Бирбаумер).

Увы, мыслительные процессы человека оказались устроены гораздо сложнее, чем изначально предполагали ученые. Этим объясняется некоторый спад интереса к нейроинтерфейсам в начале XXI века. Однако история циклична, и сегодня многие проекты переживают второе рождение.

Во-первых, этому способствовал прогресс в аппаратном обеспечении. За последние несколько лет в продаже появились доступные по цене и относительно мало потребляющие аналого-цифровые преобразователи (АЦП), которые можно успешно использовать в задачах оцифровки биологических сигналов. Например, сигма-дельта-АЦП ADS1263 имеет заявленное разрешение 32 бит, уровень собственных шумов порядка 7 нВ, максимальную частоту оцифровки 38,4 кГц и полное входное сопротивление около 1 ГОм. Эти качества позволяют использовать микросхему в системах сбора информации без дополнительных буферных усилителей.

Кроме АЦП, существенно продвинулись по характеристикам инструментальные усилители, входное сопротивление которых приближается к тераомам, а коэффициент усиления составляет десятки тысяч раз. При этом собственные токи утечек и токовый шум не превышают одного пикоампера, что помогает разработчикам проектировать крайне чувствительные схемы съема биопотенциалов.

Из более очевидных вещей: производительность наших компьютеров выросла в десятки раз. Не в последнюю очередь это стало возможным благодаря использованию GPU-, FPGA- и ASIC-микросхем для анализа сигналов в реальном времени. Кроме того, весьма популярная сегодня модель организации вычислений в облаке позволяет компаниям легко арендовать необходимые мощности, концентрируясь на главном.

Во-вторых, вместе с аппаратной частью эволюционировали и возможности нашего программного обеспечения. Появились дружественные к исследователям фреймворки, высокоуровневые языки программирования и многочисленные способы визуализации и классификации информации. Например, сегодня с помощью нейросети можно легко отслеживать возникающие события и корреляцию даже в зашумленных рядах данных.

Ниже на рисунке изображены основные группы алгоритмов, которые используются для поиска особенностей сигнала в реальном времени.

Что касается основного источника информации для интерфейса «мозг — компьютер», то тут особых изменений не произошло. Сегодня наиболее часто используются сигналы с электроэнцефалограмм. Альтернативным способом может быть функциональная магнитно-резонансная томография (fMRI) и магнитоэнцефалография. Однако, как ты понимаешь, разработать компактный томограф практически невозможно, а многомиллионная стоимость готовых аппаратов ограничивает их использование только крупными коллективами в компаниях и институтах.