Силой мысли: история нейроинтерфейсов, современные разработки и финансовые перспективы области
Обозреватель vc.ru и автор нескольких научно-популярных книг Алесь Мищенко изучил развитие отрасли нейроинтерфейсов — технологий, которые позволяют управлять объектами «силой мысли». Он выделил основные научные и промышленные разработки в этой области, описал историю направления и предположил, как отрасль будет развиваться в дальнейшем.
Идея нейроинтерфейса, почти как идея межзвёздного корабля, стара как сама фантастика. Тот, кто смотрел, например, сериал «Звездные врата», знает, что управление техникой силой мысли (то есть с помощью нейроинтерфейса) — это одна из основных технологий древних высокоразвитых цивилизаций.
Нейроинтерфейс (НКИ или интерфейс «мозг — компьютер») — это, в широком смысле, устройство для обмена информацией между мозгом и внешним устройством (компьютером, экзоскелетом, искусственными органами чувств, бытовыми устройствами или инвалидной коляской). Современный уровень технологий позволяет использовать однонаправленные интерфейсы, в которых внешние устройства могут либо принимать, либо посылать сигналы мозгу. Двунаправленные многофункциональные нейроинтерфейсы, взаимодействующие с мозгом фактически как его расширение — это пока дело будущего.
Нейроинтерфейсы сочетают технологии многих областей, в том числе информатики, электротехники, нейрохирургии и биомедицинской инженерии и различаются по типу: инвазивные (с вживлением электродов в мозг), частично инвазивные (с расположением электродов на поверхности мозга) и неинвазивные (на основе технологий регистрации электрический активности мозга внешними приборами).
Нейроинтерфейсы также различают по применению (управление или восстановление функции мозга) и области использования (медицина, военная отрасль, производство, игры и развлечения)
Нейроинтерфейс: посредник между мозгом и компьютером
Нейроинтерфейс (или интерфейс «мозг – компьютер») – так называется устройство для обмена информацией между мозгом и внешним устройством. В качестве объекта управления может выступать не только компьютер, но и любое другое электронное устройство: квадрокоптер, система «умного дома», промышленный робот или боевой дрон, экзоскелет и даже искусственные органы чувств.
Медицина на данный момент является основной областью применения нейроинтерфейсов. Здесь интерфейс «мозг – компьютер» открывает новые возможности в области протезирования и реабилитации инвалидов с различными моторными нарушениями. Например, после инсульта многие пациенты не могут говорить. В этой ситуации нейроинтерфейс выступает умным посредником между мозгом и внешней реальностью, единственным средством общения.
Парализованные пациенты с помощью такого устройства могут управлять протезом и инвалидной коляской или даже механическим экзоскелетом. Пожалуй, самое лучшее наглядное доказательство фантастических возможностей этой технологии произошло в 2014 году. Тогда Чемпионат мира по футболу в Бразилии открыл ударом по мячу Джулиано Пинто – человек с параличом нижних конечностей. Сделал он это с помощью экзоскелета, управляемого силой мысли.
Нейроинтерфейсы уверенно входят в повседневную жизнь и расширяют области использования. Сегодня к технологии «мозг – компьютер» начинает проявлять интерес не только медицина, но и развлекательная отрасль с ее компьютерными «игрушками», промышленное производство, устройства «умного дома», роботехника.
Согласно исследованию Allied Market Research, рынок интерфейсов «мозг – компьютер» растет опережающими темпами и уже в 2020 году составит порядка 1,46 млрд долларов.
Экзамен на сосредоточенность
Первый, обязательный этап — калибровка, чтобы настроить программу на мои мозговые волны. «По сути, у вас на голове электроэнцефалограф, который считывает биоэлектрическую активность мозга, — рассказывает Алеся. — Мозг работает постоянно, и мы постоянно пишем вашу ЭЭГ. Но работаем мы с одной конкретной волной — P300. Амплитуда колебаний этой волны меняется, когда вы сконцентрированы на объекте, который себя ведет определенным образом».
В случае с «Нейрочатом» это моргающие, вспышечные движения на экране. Они вызывают определенную реакцию в головном мозге. Мозговая активность у всех разная, и во время калибровки система учится понимать — что есть моя реакция. На экране появляется клавиатура, и одна из букв заключается в красную рамку. За ней мне и предстоит следить.
Чтобы научить систему понимать мои команды, я должен мысленно реагировать в тот момент, когда буква в рамке вспыхивает, — например, говорить про себя какое-нибудь слово. И обязательно одно и то же. «Это может быть и звук, и движение, — добавляет Алеся. — Помогает эмоциональный отклик: обрадуйтесь, удивитесь». Концентрация должна быть максимальной — отвлекаться нельзя.
3. 2… 1… Начали! Черт, как же быстро они мигают! Иногда это происходит два раза подряд, причем в каждом случае вместе с моей буквой загорается еще ряд соседних. «Система думает: я подсветила эти пять букв, он на что-то среагировал, — говорит Алеся. — Окей, теперь я подсвечу по-другому, и две из предыдущей пятерки будут подсвечены, а три не будут. Опять была реакция. Значит, одна из этих двух. И вот так, подбором ваших реакций, она понимает: было три разных комбинации, и во всех присутствовала только буква А. Значит, он выбрал букву А».
Прошло пять минут, и система перебрала уже половину алфавита. Я чувствую, что стал ошибаться чаще. А иногда даже интуитивно пытаюсь предугадать вспышку и промахиваюсь. Похоже на экзамен или тест для пилотов или космонавтов. А если я его не пройду? Но вот на экране появляется результат: 95/55. По словам Алеси, это очень хороший результат. Теперь я готов управлять компьютером сам.
Emotiv EPOC
На проходившей в феврале 2008 года в Сан-Франциско (США) конференции Game Developers Conference компания Emotiv Systems представила предсерийный образец интерфейса Emotiv EPOC для игровых консолей. По словам разработчиков, надеваемое на голову устройство позволяет управлять игровым процессом при помощи мимики, мыслей и эмоций. Для регистрации мозговых импульсов применяется метод бесконтактной электроэнцефалограммы. На данном этапе своего развития технология позволяет с высокой точностью определять три десятка эмоций, мимических действий и психических состояний (улыбка, смех, подмигивание, гнев, волнение, размышление, напряженность, расстройство и пр.). Кроме того, в корпус Emotiv EPOC встроен датчик наклона, показания которого используются для автоматического управления положением камеры в виртуальном пространстве. Этот же датчик можно задействовать для управления перемещением курсора посредством наклона головы.
Шлем с датчиками, надеваемый на голову пользователя,
является одним из основных элементов интерфейса
Emotiv EPOC
Согласно заявлению представителей Emotiv Systems, EPOC является первым в мире интерфейсным устройством типа «мозг-компьютер» (brain computer interface, BCI), специально разработанным для рынка игровых видеоприставок. Появление серийной версии Emotiv EPOC, оснащенной беспроводным интерфейсом, ожидается в конце 2008 года. Желающим приобщиться к миру высоких технологий придется выложить около 300 долл. за возможность играть без помощи рук.
В комплект поставки интерфейса Emotiv EPOC будут включены игры, которые позволят оценить все возможности этого устройства. Кроме того, покупатели получат доступ к интернет-порталу Emortal, где можно будет загрузить приложения, реализующие возможности интерфейса.
Разработчики считают, что сфера применения Emotiv EPOC не ограничится лишь игровыми приложениями. Недавно стало известно, что Emotiv Systems заключила соглашение с компанией IBM, условия которого предусматривают совместную работу по внедрению технологии Emotiv EPOC в бизнес-приложениях и виртуальных мирах.
Brain like a TV Remote control
Еще одна крутейшая демка — управление телевизором. Есть несколько коротких видеороликов, имитирующих телеканалы и простой интерфейс управления по углам экрана. «Клик» мозгом на каждый из углов открывает панели, в которых есть кнопки. Слева — переключение «телеканалов», а справа Пауза и Выключение/Включение звука.
Даже с учетом того, что это всего лишь простейшая демо-версия, становится очевидным применение этой нейрогарнитуры людьми с дополнительными потребностями, которые не могут использовать привычные интерфейсы ввода. Уверен, что это поднимет их качество жизни на новый уровень. Все читатели, я думаю, помнят Стивена Хокинга, управлявшего компьютером движениями мимической мышцы щеки, здесь же достаточно бросить сконцентрированный взгляд и немедленно получить ожидаемое нажатие на виртуальную кнопку.
С чего все начиналось
Интерес к изучению мозга техническими методами возник сравнительно недавно — примерно на рубеже XIX и XX веков. В 1920-х годах исследователь Эдгар Эдриан предположил, что нейроны генерируют электрические импульсы и служат базовым элементом куда более сложной структуры. Позже Дональд Хебб разработал (1949) теорию пластичности синаптической передачи и нейронных ансамблей, что перевернуло представление об обязанностях, «закрепленных» за конкретными областями коры головного мозга. Оказалось, что при необходимости нейроны охотно меняют свои функции и нельзя выделить какую-то одну группу, отвечающую, например, за навыки информационной безопасности.
В 1960-х в лаборатории нейронального контроля Национального института здоровья США впервые попытались записать и обработать электрический сигнал с нейронов подопытной обезьяны. Пару десятилетий спустя эта же группа ученых экспериментировала с анализом мозговой деятельности уже в реальном времени, позволяя пациентам зажигать лампочки светового табло «силой мысли». Открывшиеся возможности окрылили исследователей, и варианты прикладных применений не заставили себя долго ждать. Первая научная статья, описывающая успешные эксперименты с «виртуальной клавиатурой» для парализованных людей, вышла в 1999 году (Нилс Бирбаумер).
Увы, мыслительные процессы человека оказались устроены гораздо сложнее, чем изначально предполагали ученые. Этим объясняется некоторый спад интереса к нейроинтерфейсам в начале XXI века. Однако история циклична, и сегодня многие проекты переживают второе рождение.
Во-первых, этому способствовал прогресс в аппаратном обеспечении. За последние несколько лет в продаже появились доступные по цене и относительно мало потребляющие аналого-цифровые преобразователи (АЦП), которые можно успешно использовать в задачах оцифровки биологических сигналов. Например, сигма-дельта-АЦП ADS1263 имеет заявленное разрешение 32 бит, уровень собственных шумов порядка 7 нВ, максимальную частоту оцифровки 38,4 кГц и полное входное сопротивление около 1 ГОм. Эти качества позволяют использовать микросхему в системах сбора информации без дополнительных буферных усилителей.
Кроме АЦП, существенно продвинулись по характеристикам инструментальные усилители, входное сопротивление которых приближается к тераомам, а коэффициент усиления составляет десятки тысяч раз. При этом собственные токи утечек и токовый шум не превышают одного пикоампера, что помогает разработчикам проектировать крайне чувствительные схемы съема биопотенциалов.
Из более очевидных вещей: производительность наших компьютеров выросла в десятки раз. Не в последнюю очередь это стало возможным благодаря использованию GPU-, FPGA- и ASIC-микросхем для анализа сигналов в реальном времени. Кроме того, весьма популярная сегодня модель организации вычислений в облаке позволяет компаниям легко арендовать необходимые мощности, концентрируясь на главном.
Во-вторых, вместе с аппаратной частью эволюционировали и возможности нашего программного обеспечения. Появились дружественные к исследователям фреймворки, высокоуровневые языки программирования и многочисленные способы визуализации и классификации информации. Например, сегодня с помощью нейросети можно легко отслеживать возникающие события и корреляцию даже в зашумленных рядах данных.
Ниже на рисунке изображены основные группы алгоритмов, которые используются для поиска особенностей сигнала в реальном времени.
Что касается основного источника информации для интерфейса «мозг — компьютер», то тут особых изменений не произошло. Сегодня наиболее часто используются сигналы с электроэнцефалограмм. Альтернативным способом может быть функциональная магнитно-резонансная томография (fMRI) и магнитоэнцефалография. Однако, как ты понимаешь, разработать компактный томограф практически невозможно, а многомиллионная стоимость готовых аппаратов ограничивает их использование только крупными коллективами в компаниях и институтах.
Мозг играет взглядом
Наша лаборатория стремится уходить от механистических подходов и разрабатывать гибридные интерфейсы, составные части которых дополняли бы друг друга максимально эффективно. Так, в нашем первом ИГМК, где в ИМК-компоненте для отдачи команды роботу применялось распознавание реакций мозга на подсветки, мы использовали то обстоятельство, что попытка отдачи команды путем счета подсветок начинается с перемещения взгляда в позицию, где подсветки возникают. С использованием детекции этого перемещения взгляда мы достигли нетипичного для неинвазивного ИМК сочетания низкой частоты ошибочных срабатываний (в среднем один раз в 10 минут) и сравнительно высокой скорости отдачи команды (за 3.6 секунды).
В последующих же работах мы стали использовать принцип «пассивного ИМК». Такие ИМК не требуют от пользователя выполнения специальных мысленных действий — они определяют, когда и какую команду следует отдать, посредством анализа ЭЭГ и учета контекста текущей деятельности.
Чтобы разобраться, какие ЭЭГ-маркеры можно использовать в ИГМК, мы ведем регистрацию ЭЭГ на фоне управления испытуемыми компьютером с помощью фиксаций взгляда. При этом мы, как правило, используем «взглядоуправляемые» игры, специально разрабатываемые нами на основе традиционных компьютерных игр.
Мы записываем ЭЭГ, и когда управление включено, и когда оно выключено, — то есть когда испытуемый может свободно рассматривать то, что он видит на экране, не опасаясь, что компьютер воспримет продолжительную фиксацию взгляда как подачу команды. Проводя сравнительный анализ этих ЭЭГ, мы находим те компоненты мозговой активности, которые характерны для управления. С помощью пассивного ИМК, нацеленного на выделение таких компонентов, управляющие фиксации уже удается отличать от спонтанных.
Заключение
Конечно, отказываться от физической клавиатуры сегодня рано. Даже лучшие из нейроинтерфейсов пока не способны конкурировать с традиционными способами ввода ни по скорости, ни по точности. Тем не менее проекты бодро развиваются, а открытый инструментарий и доступные электронные устройства существенно расширяют сообщество людей, способных использовать BCI в решении практических задач.
Не спеши становиться в очередь на операцию по вживлению Neuralink. Знание о сотнях тысяч биопотенциалов человеческого мозга бесполезно при печати на компьютере, а развитие науки и техники рано или поздно (скорее первое) обязательно приведет к появлению коммерческих решений. Приверженцы механических клавиатур могут и дальше благоговейно их использовать, но лично я откажусь от, по сути, потомка печатной машинки без особого трепета.
