Как подключить мозг к компьютеру. Что уже умеет наука
В конце ноября «Телеграф» побывал на «Нейрофоруме» и выставке проектов нейротехнологий, которые разрабатывают российские ученые. Оказалось, что они уже знают, как мозг может напрямую управлять компьютером и техникой, и работают над тем, чтобы сделать общение между компьютером и мозгом еще более близким и естественным. О том, как инженеры и математики помогают читать человеческие мысли и для чего это нужно, нам рассказал профессор Высшей школы экономики Алексей Осадчий.
Алексей Осадчий закончил Московский государственный технический университет им. Баумана по специальности инженер, за докторской степенью уехал в Университет Южной Калифорнии. До отъезда занимался проектом по обработке видеоизображений, созданию алгоритмов распознавания, слежения за движущимися объектами, теми самыми, которые сейчас используются в системах дорожного видеонаблюдения для фиксации нарушений правил дорожного движения.
«То, что сейчас на дорожных видеокамерах стоит, частично моих рук дело. Я от них сам страдаю теперь в среднем на пять тысяч в месяц», — смеется он.
Но ученую степень он получил совсем за другую работу, а именно за нейрокартирование функций мозга при помощи магнитоэнцефалографии (МЭГ), для того, чтобы найти очаги возникновения приступов эпилепсии, а также за изучение «генной экспрессии» в мозгу. Поработав некоторое время в Штатах, Алексей Осадчий вернулся в Россию и занимается в ВШЭ изучением функций мозга вместе с нейробиологами, психологами и врачами. Как математик, программист и инженер, он создает алгоритмы нейровизуализации — учится и учит других рисовать карты активности мозга для его различных состояний.
Нейровизуализация — общее название большой группы методов, позволяющих визуализировать структуру, функции и биохимические характеристики мозга , которая делается с помощью компьютерной томографии, магнитно-резонансной томографии и/или энцефалографии. Нейровизуализация востребована в медицине, в частности в неврологии, нейрохирургии и психиатрии.
Сейчас группа Алексея Осадчего в ВШЭ работает над созданием алгоритмов, которые помогают обрабатывать информацию, считываемую из мозга при помощи аппаратов магнито и электроэнцефалографа. Разрабатываются подходы к неинвазивному поиску участков коры, обменивающихся между собой информацией. Это проходит в процессе экспериментов, которые изучают реакцию мозга на различные стимулы, визуальные или слуховые и в контексте широкого круга когнитивных задач.
В ходе экспериментов людям показывают различные картинки попеременно, например, кошечек и собачек или собачек и, скажем, домкратов. Или дают слушать различные звуки, а аппаратура фиксирует реакцию в разных отделах мозга.
«Так мы узнаем, в каких отделах мозга и с какой скоростью на них (изображения или звуки) начинается реакция. В чем разница между этими состояниями. В каком месте в мозге огонек зажжётся, когда, как они между собой будут перемаргиваться, синхронизироваться. Может, они попеременно моргают или одновременно», — объясняет ученый. Его задача, как математика и программиста, создать такой алгоритм обработки полученной информации, который позволит построить картину того, как все это в нашей голове обрабатывается, и при этом отстроится от индивидуальныхе особенностейи мозга исследуемого человека, а понять общий принцип работы мозга.
«Во всех парадигмах мы изучаем мозг, как некий очень простой механический объект. Мы помещаем его в очень простые, строго контролируемые условия. Образно, мы как бы подходим к огромному колоколу с очень маленьким молоточком и начинаем его изучать, но мы с этим маленьким молоточком не узнаем ведь, дает ли он малиновый звон», — объясняет Осадчий. И все же, даже так, очень многое об этом «колоколе» ученые уже узнали. Сейчас они изучают более сложные процессы принятия решений.
Как Стивен Хокинг: Учёные придумали, как подключить мозг к компьютеру
Учёные смогли разработать интерфейс для подключения человеческого мозга к компьютеру. Разработка поможет, к примеру, пациентам с боковым амиотрофическим склерозом (БАС), которые буквально силой мысли смогут передавать текстовые сообщения и управлять компьютером без движений и слов. Ранее известный учёный Стивен Хокинг, также страдавший этим редким заболеванием, придумал способ общения с помощью датчика.
Система интерфейса «мозг-компьютер» интерпретирует нейронные сигналы, не вступая в прямой контакт с человеческим мозгом. Такую разработку представила компания Synchron. Контакт устанавливается с помощью импланта, однако его устанавливают не в сам мозг, а «отправляют» по яремной вене в область головы.
Таким образом, датчик не наносит вреда человеческому организму, а введение его безболезненно, отмечают учёные.
Испытания системы показывают, что с её помощью пациенты с боковым амиотрофическим склерозом (БАС) смогут отправлять текстовые сообщения и искать информацию в интернете, управляя компьютером без слов и движений, а с помощью «силы мысли».
Два добровольца, участвовавших в эксперименте, не сразу освоили этот метод, однако после двухнедельного обучения оба пациента смогли использовать айтрекер (отслеживание глаз), чтобы перемещать курсор, а затем щёлкать мышью, используя имплант.
Известный учёный Стивен Хокинг, также страдавший этим редким заболеванием, придумал способ общения с помощью датчика.
Подписывайтесь на канал «Царьград» в Яндекс.Дзен
и первыми узнавайте о главных новостях и важнейших событиях дня.
Компания Илона Маска Neuralink может впервые подключить человеческий мозг к компьютеру уже в следующем году
Ещё в 2017 Илон Маск создал компанию Neuralink, которая занялась разработкой технологий подключения компьютера к мозгу человека. В 2019 году Маск заявил, что уже спустя год Neuralink начнёт эксперименты над людьми.
Пока у нас нет подробностей на этот счёт, но похоже, что они ещё не начались либо же находятся на начальной стадии. В интервью Маск рассказал, что надеется, что Neuralink сможет впервые подключить человеческий мозг к ПК уже в следующем году.
Также Маск рассказал, что первое поколение чипов Neuralink, которые будут имплантироваться непосредственно в череп, будут предназначены для лечения различных травм и расстройств головного мозга, а вот последующие итерации будут способны на большее.
Вам не нужно будет говорить. Вы сможете общаться очень быстро и с большой точностью. Я не уверен, что произойдёт с языком. В такой ситуации это было бы похоже на «Матрицу». Ты хочешь говорить на другом языке? Нет проблем, просто скачай программу
Отвечая на вопрос, сколько времени понадобится его фирме для разработки достаточно продвинутых для подобного технологий, Маск ответил, что от пяти до десяти лет.
Больше чем молекулы
Даже если бы мы могли создать такую «схему подключения» для живого мозга, этого не хватит, чтобы понять, как он работает. Для этого нам понадобится количественно измерить, как именно нейроны взаимодействуют между собой, и проделать все это на молекулярном уровне точности. Мы даже не знаем, сколько молекул в мозге, не говоря уж о том, сколько из них жизненно необходимых. Для компьютера воспроизвести все эти процессы может быть не под силу.
И это приводит нас к еще более глубокой сложности. Только то, что мы можем имитировать некоторые аспекты работы мозга, не означает, что мы можем полностью эмулировать настоящий мозг или сознание. Никакое осмысленное увеличение вычислительной мощности не позволит нам смоделировать мозг на уровне отдельных молекул. Таким образом, эмуляция мозга будет возможна лишь в том случае, если мы сможем отделить его цифровые, логические операции от грязной мешанины на молекулярном уровне.
Чтобы понять операции обычного компьютера, нам необязательно следить за токами и напряжениями в каждом компоненте, и уж тем более не нужно понимать, что делает каждый электрон. Мы разработали операции переключения транзисторов таким образом, что логика их работы в своей основе проста: нули и единицы. Но мозг был создан не нами — он эволюционировал — поэтому нет никаких причин ожидать простой логики в основе его работы.
Как соединить человеческий мозг и компьютер
Представьте себе экспериментальный нанонаркотик, который способен связывать сознания разных людей. Представьте, как группа предприимчивых нейробиологов и инженеров открывает новый способ использования этого наркотика – запустить операционную систему прямо внутри мозга. Тогда люди смогут телепатически общаться между собой, используя мысленный чат, и даже манипулировать телами других людей, подчиняя себе действия их мозга. И несмотря на то, что это сюжет научно-фантастической книги Рамеза Наама «Нексус», описанное им будущее технологий уже не кажется таким далеким.
Как подсоединить мозг к планшету и помочь парализованным больным общаться
Для пациента T6 2014 стал самым счастливым годом жизни. Это был год, когда она смогла управлять планшетным компьютером Nexus с помощью электромагнитного излучения своего мозга и буквально перенестись из эры 1980-х с их диско-ориентированными системами (Disk Operating System, DOS) в новых век андроидной ОС.
T6 – женщина 50 лет, страдающая боковым амиотрофическим склерозом, известным также как болезнь Лу Герига, которая вызывает прогрессирующее повреждение двигательных нейронов и паралич всех органов тела. T6 парализована почти полностью от шеи и вниз. До 2014 года она абсолютно не могла взаимодействовать с внешним миром.
Паралич может наступить и от повреждений костного мозга, инсульта или нейродегенеративных заболеваний, которые блокируют способность говорить, писать и вообще как-либо общаться с окружающими.
Эра интерфейсов, связывающих мозг и машину, расцвела два десятилетия назад, в процессе создания ассистивных устройств, которые бы помогли таким пациентам. Результат был фантастическим: слежение за взглядом (eye-tracking) и слежение за положением головы пользователя системы (head-tracking) позволили отслеживать движения глаз и использовать их как выходные данные для управления курсором мыши на экране компьютера. Иногда пользователь мог даже кликать по ссылке, фиксируя свой взгляд на одной точке экрана. Это называется »время задержки».
Тем не менее, системы eye-tracking были тяжелы для глаз пользователя и слишком дороги. Тогда появилась технология нейронного протезирования, когда устраняется посредник в виде сенсорного органа и мозг связывается с компьютером напрямую. В мозг пациента вживляется микрочип, и нейросигналы, связанные с желанием или намерением, могут быть расшифрованы с помощью сложных алгоритмов в режиме реального времени и использованы для контроля курсора на интерфейсе компьютера.
Два года назад, пациентке T6 имплантировали в левую сторону мозга, отвечающую за движение, 100-канальную электродную установку. Параллельно Стэнфордская лаборатория работала над созданием прототипа протеза, позволяющего парализованным печатать слова на специально разработанной клавиатуре, просто думая об этих словах. Устройство работало следующим образом: встроенные в мозг электроды записывали мозговую активность пациентки в момент, когда она смотрела на нужную букву на экране, передавали эту информацию на нейропротез, интерпретирующий затем сигналы и превращающий их в непрерывное управление курсором и щелчками на экране.
Однако этот процесс был чрезвычайно медленным. Стало понятно, что на выходе получится устройство, работающее без непосредственного физического соединения с компьютером через электроды. Сам интерфейс тоже должен был выглядеть интереснее, чем в 80-х. Команда клинического института BrainGate, занимающаяся этими исследованиями, поняла, что их система «указания и щелчка» была похожа на нажатие пальцем на сенсорный экран. И поскольку сенсорными планшетами большинство из нас пользуется каждый день, то рынок их огромен. Достаточно просто выбрать и купить любой из них.
Парализованная пациентка T6 смогла «нажимать» на экран планшета Nexus 9. Нейропротез связывался с планшетом через протокол Bluetooth, то есть как беспроводная мышь.
Сейчас команда работает над продлением работоспособности имплантата на срок всей жизни, а также разрабатывает системы других двигательных маневров, таких как «выделить и перетащить» и мультисенсорные движения. Кроме того, BrainGate планируют расширить свою программу на другие операционные системы.
Компьютерный чип из живых клеток мозга
Несколько лет назад исследователи из Германии и Японии смогли симулировать 1 процент активности человеческого мозга за одну секунду. Это стало возможным только благодаря вычислительной мощности одного из самых сильных в мире суперкомпьютеров.
Но человеческий мозг до сих пор остается самым мощным, низко энергозатратным и эффективным компьютером. Что если бы можно было использовать силу этого компьютера для питания машин будущих поколений?
Как бы дико это не звучало, нейробиолог Ош Агаби запустил проект «Конику» (Koniku) как раз для реализации этой цели. Он создал прототип 64-нейронной кремниевой микросхемы. Первым приложением этой разработки стал дрон, который может «чуять» запах взрывчатых веществ.
Одой из самых чутких обонятельных способностей отличаются пчелы. На самом деле, они даже перемещаются в пространстве по запаху. Агаби создал дрон, который не уступает пчелиной способности распознавать и интерпретировать запахи. Он может быть использован не только для военных целей и обнаружении бомб, но и для исследования сельхозугодий, нефтеперерабатывающих заводов – всех мест, где уровень здоровья и безопасности может быть измерен по запаху.
В процессе разработки Агаби и его команда решали три основные проблемы: структурировать нейроны так же, как они структурированы в мозге, прочитать и записать информацию в каждый отдельный нейрон и создать стабильную среду.
Технология индуцированной дифференцировки плюрипотентной клетки – метод, когда зрелая клетка, например, кожи, генетически встроена в исходную стволовую клетку, позволяет любой клетке превратиться в нейрон. Но как и любым электронным компонентам, живым нейронам нужна специальная среда обитания.
Поэтому нейроны были помещены в оболочки с управляемой средой, для регулировки уровня температуры и водорода внутри, а также для подачи им питания. Кроме того, такая оболочка позволяет контролировать взаимодействие нейронов между собой.
Электроды под оболочкой позволяют считывать или записывать информацию на нейроны. Агаби описывает этот процесс так:
«Мы заключаем электроды в оболочку из ДНК и обогащенных протеинов, которая стимулирует нейроны формировать искусственную тесную связь с этими проводниками. Так, мы можем считывать информацию с нейронов или, наоборот, посылать информацию на нейроны тем же способом или посредством света или химических процессов».
Агаби верит, что будущее технологий – за раскрытием возможностей так называемого wetware – человеческого мозга в корреляции с машинным процессом.
«Нет практических границ для того, какими большими мы сделаем наши будущие устройства или как по-разному мы может моделировать мозг. Биология – это единственная граница».
Дальнейшие планы «Конику» включат разработку чипов:
- с 500 нейронами, который будет управлять машиной без водителя;
- с 10 000 нейронами – будет способен обрабатывать и распознавать изображения так, как это делает человеческий глаз;
- с 100 000 нейронами – создаст робота с мультисенсорным входом, который будет практически неотличим от человека по перцептивным свойствам;
- с миллионом нейронов – даст нам компьютер, который будет думать сам за себя.
Чип памяти, встроенный в мозг
Каждый год сотни миллионов людей испытывают сложности из-за потери памяти. Причины этому разные: повреждения мозга, которые преследуют ветеранов и футбольных игроков, инсульты или болезнь Альцгеймера, проявляющиеся в старости, или просто старение мозга, которое ожидает всех нас. Доктор Теодор Бергер, биомедицинский инженер Университета Южной Калифорнии, на средства Агенства по перспективным оборонным исследованиям Министерства обороны США DARPA, тестирует расширяющий память имплантат, который имитирует обработку сигнала в момент, когда нейроны отказываются работать с новыми долгосрочными воспоминаниями.
Чтобы устройство заработало, ученые должны понять, как работает память. Гиппокамп – это область мозга, которая отвечает за трансформацию краткосрочных воспоминаний в долгосрочные. Как он это делает? И возможно ли симулировать его деятельность в рамках компьютерного чипа?
«По существу, память – это серия электрических импульсов, которые возникают с течением времени и которые генерируются определенным числом нейронов», – объясняет Бергер, – «Это очень важно, так как это значит, что мы можем свести этот процесс к математическому уравнению и поместить его в рамки вычислительного процесса».
Так, нейробиологи начали декодировать поток информации внутри гиппокампа. Ключом к этой дешифровке стал сильный электрический сигнал, который идет от области органа под названием СА3 – «входа» гиппокампа – к СА1 – «выходящему» узлу. Этот сигнал ослабляется у людей с расстройством памяти.
«Если бы мы могли воссоздать его, используя чип, мы бы восстановили или даже увеличили объем памяти», — говорит Бергер.
Но проследить этот путь дешифровки сложно, так как нейроны работают нелинейно. И любой незначительный фактор, замешанный в процессе, может привести к совсем другим результатам.Тем не менее, математика и программирование не стоят на месте, и сегодня могут вместе создать самые сложные вычислительные конструкции со множеством неизвестных и множеством «выходов».
Для начала ученые приучили крыс нажимать тот или иной рычаг, чтобы получить лакомство. В процессе запоминания крысами и превращения этого воспоминания в долгосрочное, исследователи тщательно фиксировали и записывали все трансформации нейронов, и затем по этой математической модели создали компьютерный чип. Далее, они ввели крысам вещество, временно дестабилизирующее их способность запоминать и ввели чип в мозг. Устройство воздействовало на «выходящий» орган СА1, и, вдруг, ученые обнаружили, что воспоминание крыс о том, как добиться лакомства восстановилось.
Следующие тесты были проведены на обезьянах. На этот раз ученые сконцентрировались на префронтальной коре головного мозга, которая получает и модулирует воспоминания, полученные из гиппокампа. Животным была продемонстрирована серия изображений, некоторые из который повторялись. Зафиксировав активность нейронов в момент узнавания ими одной и то же картинки, была создана математическая модель и микросхема, на ее основе. После этого работу префронтальной коры обезьян подавили кокаином и ученые вновь смогли восстановить память.
Когда опыты проводились на людях, Бергер избрал 12 волонтеров, больных эпилепсией, с уже имплантированными электродами в головной мозг, чтобы проследить источник их припадков. Повторяющиеся судороги разрушают ключевые части гиппокампа, необходимые для формирования долгосрочных воспоминаний. Если, к примеру, изучить активность мозга в момент припадков, можно будет восстановить воспоминание.
Точно также, как и в предыдущих экспериментах, был зафиксирован специальный человеческий «код памяти», который впоследствии сможет предсказать паттерн активности в клетках СА1, основываясь на данных, хранящихся или возникающих в СА3. В сравнении с «настоящей» мозговой активностью, такой чип работает с точностью около 80%.
Пока рано говорить о конкретных результатах после опытов на людях. В отличие от моторного кортекса головного мозга, где каждый отдел отвечает за определенный орган, гиппокамп организован хаотично. Также пока рано говорить, сможет ли такой имплантат вернуть память тем, кто страдает от повреждений «выходящего» участка гиппокампа.
Проблемный остается вопрос геерализации алгоритма для такого чипа, так как экспериментальный прототип был создан на индивидуальных данных конкретных пациентов. Что, если код памяти разный для всех, в зависимости от типа входящих данных, которые он получает? Бергер напоминает, что и мозг ограничен своей биофизикой:
«Есть только такое количество способов, которыми электрические сигналы в гиппокампе могут быть обработаны, которое несмотря на свое множество, тем не менее ограничено и конечно», — говорит ученый.
