Тоби устройство управление компьютером

Дистанционное управление компьютером на базе Windows

Привет, друзья. В этой публикации будем предметно разбираться в тонкостях дистанционного управления компьютером. Какие существуют способы дистанционного управления компьютером на базе Windows? С помощью каких устройств можно оперировать функциями операционной системы и её отдельных приложений на расстоянии от экрана, если компьютер подключён к телевизору, большому монитору или проектору? Нет чётких стандартов, какое устройство лучше подойдёт с учётом специфики конкретной ситуации — используем ли мы компьютер дома как Smart TV или игровую платформу, либо же мы задействуем его в обществе в качестве техустройства для вывода презентаций, аудио, видео, фото и прочего типа конференц-контента. Всё, ребята, решают наши личные предпочтения. Рассмотрим ниже различные устройства, которыми можно управлять компьютером на базе Windows дистанционно.

Управлять компьютером на расстоянии можно с помощью пульта ДУ. Есть специальные пульты, заточенные только под управление системой Windows. А есть пульты универсальные, предусматривающие управление несколькими типами устройств – компьютерами на базе Windows, приставками Android TV, умными телевизорами. Такие пульты, например, на AliExpress стоят дёшево, стоимость моделей с базовыми возможностями обычно не превышает $5. Из базовых возможностей пультов ДУ для ПК: управление навигацией, громкостью, курсором мыши, выключение компьютера. Есть модели с большей функциональностью, в частности, с голосовым вводом, мультимедийными кнопками, клавиатурой.

Но такие недорогие пульты идут без гироскопа, их не нужно путать с аэромышью. Кстати, продавцы на том же AliExpress любят этим устройствам приписывать тип аэромыши. Если в составе устройства нет гироскопа, это не тип устройства аэромышь, этой обычный пульт ДУ. Обычные пульты с медиакнопками хороши при дистанционном управлении медиаконтентом на компьютере. Но управлять курсором Windows с помощью таких устройств крайне неудобно – это будет долгое топорное перемещение по экрану в направлениях вверх-вниз и из стороны в сторону путём многократного нажатия навигационных кнопок.

Захватывая взгляды

В том, как работают наши с вами глаза, учёные разобрались относительно поздно. Лишь в 1879 году парижанин Луи-Эмиль Жаваль наконец выяснил, что человеческий взгляд перемещается от одной «цели» к другой не равномерно, а быстрыми скачками (их назвали «саккадами»). И лишь кратковременно фокусируется на каких-то объектах, делая паузы (так называемые «фиксации»), во время которых мозг и усваивает новую информацию.

Именно открытие Жаваля позволило уже другому учёному, Эдмунду Хью, создать первый Eye Tracker ещё в начале двадцатого века. И хотя точность его была невелика, а механизм приносил людям сильный дискомфорт (на глаз надевалось что-то вроде контактной линзы, а к ней крепилась указка, которая и помогала отслеживать перемещения зрачка), начало было положено.

Уже несколько позже, в 1920-х годах, учёный из Чикаго научился отслеживать перемещение взгляда без лишних инструментов — он фиксировал отражения лучей от глаза с помощью чувствительной к свету пленки. За следующие несколько десятилетий исследователи из разных стран продвинулись даже дальше, так что уже в 1970-х появилось множество куда более точных технологий, не требующих прямого контакта с глазами человека.

Со временем было изобретено немало самых разных техник, однако самая, пожалуй, популярная сейчас заключается в использовании инфракрасных лучей и камер. Если немного упростить, работает механизм так: устройство отправляет в сторону глаз человека лучи, создающие блики на глазном яблоке. Специальные камеры фиксируют это на видео или высокоскоростную фотокамеру, а затем расположение этих бликов на кадрах анализируется компьютером с помощью определённого алгоритма. После чего можно точно сказать, как расположены ваши глаза, куда и на что они смотрят, и так далее.

Подробная инструкция

1. Выбор компьютера

Какой компьютер для этого подойдёт? Я бы сказал так: современный со средними характеристиками и операционной системой Windows версий 7, 8.1, 10 (Windows 10 – только 64 бита). Несмотря на то, что в рекомендациях по использованию айтрекера Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C) советуют использовать компьютер с процессором Intel i5 или i7, мне удавалось работать и на современных процессорах подешевле: i3, Pentium, Celeron, и даже на Atom x5, хотя работа на последних двух может показаться заторможенной.

Другими словами, если у вас уже есть компьютер, и он не архаичный, то стоит попробовать работать на нём. Если же думаете купить компьютер, главное – не берите старый, и не берите с процессором Atom. Хотя, если денег совсем нет, то можно и такой попробовать, но лучше обговорить возможность возврата.

У компьютера должен быть по крайней мере один порт USB версии 2 или 3. Лучше, чтобы было хотя-бы два порта, чтобы можно было кроме айтрекера хоть мышь воткнуть. (Планшеты, кстати, часто грешат тем, что порт USB у них только один).

2. Устройство Tobii Eye Tracker 4C

Это устройство выпускается компанией Tobii для игроков в компьютерные игры и продаётся по умеренной цене. Чтобы не создавать конкуренции своим значительно более дорогим устройствам, “Tobii Eye Tracker 4C” сделан несовместимым с программами для людей с ограниченными возможностями, выпускаемыми ей же.

Однако, выпущенные компанией Tobii средства разработки оставили мне лазейку, позволяющую написать такие программы самому. Возможно, не столь совершенные, но зато бесплатные.

Сегодня (осень 2018) это устройство можно легко купить в нескольких магазинах. Вы без труда найдёте самый удобный для себя вариант. Я брал весной 2018 года за 11500 российский рублей.

2.1 Крепление айтрекера на монитор.

Видео, иллюстрирующее установку на ноутбук:

Компьютер может быть большой с отдельно стоящим монитором или мобильный (ноутбук). Может быть даже планшет Windows. Но нужно помнить, что айтрекер нужно располагать точно ПОД монитором так, чтобы крепление было жёстким. И если к обычному монитору айтрекер крепится идущим в комплекте самоклеющимся магнитом, то к планшету его приходится крепить как-нибудь виртуозно. На фотографии ниже планшет и айтрекер закреплены на куске доски, которая, в свою очередь, соединена с кронштейном, поворачивающимся на углу стола.

Также нужно помнить, что за тёмным стеклом (прозрачным только в ИК-диапазоне) в центре айтрекера находится камера, а по краям — инфракрасные светодиоды. При креплении хомутами важно не загородить ни то, ни другое.

Линия глаз должна совпадать с линией расположения айтрекера. Если человек лежит на боку, то и монитор нужно наклонить набок.

Расстояние от глаз до монитора с айтрекером должно быть около 50 см (расстояние вытянутой руки) или чуть дальше. Поэтому крепить айтрекер к телевизору на стене не получится – слишком далеко.

Как уже было сказано, в айтрекере находится камера, и она должна быть направлена на глаза. Фронтальная поверхность айтрекера немного отражает свет. Постарайтесь увидеть в ней, как в зеркале, свои глаза – это будет значить, что камера смотрит на них. Наклоните монитор при необходимости.

3. Установка программного обеспечения

Всё делать именно в такой последовательности!

3.1. (Больше не требуется) Добыть файл TobiiGazeCore32.dll версии 4.1.3.938 или более новый

Ранее этот файл можно было скачать в составе Tobii Gaze SDK. Сейчас компания Tobii прекратила его предоставлять, и приходится пользоваться трюком, описанным ниже.

Нужно скачать и установить программное обеспечение Tobii EyeX 2.1.1. После этого в одном из каталогов появится этот файл. Нужно скопировать его в надёжное место, после чего установленное программное обеспечение можно удалить.

Устанавливать это программное обеспечение нужно ДО установки драйверов от Tobii, иначе нужный нам файл TobiiGazeCore32.dll может не появиться (кому интересно, мы решали эту проблему вот здесь: github.com/MastaLomaster/bkb/issues/6 )

Итак, скачиваем Tobii EyeX 2.1.1 ( files.update.tech.tobii.com/engine/Tobii.EyeX_2.1.1.293.exe) и запускаем. Соглашаемся с условиями: ставим галочку и жмём кнопку ‘Next”.

Готово, жмём “Finish”.

После установки появилось два файла TobiiGazeCore32.DLL. Более новый лежит в каталоге “C:Program Files (x86)TobiiTobii EyeX”. Это можно проверить, если нажать на имени файла правую кнопку мыши и выбрать «Свойства» в контекстном меню.

И затем, на закладке «Подробно» посмотреть на номер версии:

Копируем этот файл в надёжное место, например, создадим каталог BKB на диске C и положим файл туда:

Теперь можно удалить программу Tobii EyeX – мы взяли из неё всё, что нужно.
В Windows 10 для этого жмём кнопку «Пуск», потом — появившуюся кнопку с шестерёнкой.

Затем выберем раздел «Приложения»

Находим и удаляем всё, что начинается на “Tobii”, нажимая на кнопку «Удалить»:

3.2. Установка драйверов и калибровка

Заходим на страницу tobiigaming.com/getstarted и нажимаем на кнопку «Tobii Eyetracking»:

Затем на появившуюся кнопку «Download»:

Сохраняем файл (на будущее), и потом запускаем его:

Ставим галочку, жмём кнопку «Next»:

Жмём кнопку “Continue”:

Потом жмём кнопку “Get Started”:

Дальше нужно будет мышью перетащить линии на экране так, чтобы они совпали с полосками на корпусе айтрекера:

По завершению нажать кнопку “Done”.

Потом на экране появятся два кружка, которые иллюстрируют, хорошо ли айтрекер видит ваши глаза.

Если кружки расположены не в центре экрана (как на картинке сверху), наклоните монитор, чтобы сдвинуть их.
Если кружки большие и мутные – вы слишком близко придвинулись к монитору.
Если кружки маленькие и мутные – вы слишком отдалились от монитора.

Как я уже писал выше, оптимальное расстояние от монитора до глаз – около 50 см.

Далее начинается калибровка айтрекера.

Если айтрекером будет пользоваться ребёнок, то калибровку нужно будет выполнить глазами ребёнка!!

Для начала можете откалибровать устройство под свои глаза, а потом под глаза ребёнка.
На экране будут появляться синие точки, нужно будет смотреть на каждую из них по очереди.

После того, как вы зафиксируете взгляд на одной из точек, она разлетится на кусочки, как верхняя точка на картинке выше.

После окончания калибровки введите имя человека, для глаз которого проводилась калибровка и нажмите кнопку “Save”

Далее запустится игра, в которой вы двигаете глазами прицел космического корабля, а затем стреляете по астероидам клавишей «пробел»:

Выйти из игры можно, нажав на клавишу “Escape”.

На панели задач появится значок с двумя кружочками, изображающими глаза:

Если устройство видит только один глаз, то будет показан только один кружочек:

Если устройство вообще не находит глаз, то будут нарисованы два крестика:

ВАЖНО! Для того, чтобы программы не мешали работать друг другу, нужно отключить стандартные действия, которые производит драйвер Tobii.

Для этого щёлкаем на значок с кружочками (1) и в открывшемся меню заходим в раздел Interactions (2):

В каждом из разделов (Touchpad, Mouse, Windows) переведите все выключатели в положение “OFF”:

Если нужно, чтобы с устройством работал ещё один человек, нужно выполнить калибровку и для его глаз тоже. Для этого снова жмём на значок с двумя кружочками, а затем на стрелочку влево:

Затем выбираем пункт “Create New Profile…” (1) и повторяем калибровку для нового человека.

Переключение между профилями различных людей делается в области ниже (2). Текущий профиль отмечен голубым кружком:

3.3. (Больше не требуется) Установка “Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4”

Если вы пропустите этот шаг, то при запуске программы вы увидите сообщение о том, что не найден файл msvcrt110.dll:

Качаем и устанавливаем версию для процессоров x86:

3.4. Установка и настройка бесплатного программного обеспечения (от автора статьи)

После этого жмём кнопку “Download” или “View Raw”

(если кому интересно, там рядом лежат и исходные коды на языке С++)

Создаём каталог “C:bkb” и копируем туда содержимое скачанного архива “bkb32c-Russian.zip”.

Должен получиться каталог вот с такими файлами и подкаталогом “grid”:

Вообще-то вы можете выбрать и другой каталог для программы, но лучше, чтобы это не был подкаталог “Program Files…”. Дело в том, что программа может сохранять что-нибудь (например, журнал ошибок) в этом каталоге, а подкаталоги “Program Files…” закрыты на запись. (Да, я знаю, что нужно было писать в %AppData%, но так уж сложилось исторически).

3.4.1. Настройка программы для работы в режиме таблицы

Программа написана так, что если вы ничего не нажимаете в её первом окне, то она начинает сама определять, с каким устройством ей следует работать. Это сделано для того, чтобы её можно было поставить в автозагрузку на компьютер человека, который сам не может ничего нажать.

Поэтому при старте программы ворон не ловим, а быстренько ставим галочку в поле “Режим таблицы (GRID) – для детей” (1).

Также рекомендую нажать кнопку “Все настройки” (2) и установить побольше время фиксации взгляда на картинках, а также время ожидания следующей фиксации взгляда:

Уточнение 03.10.2018: В последней версии программы время фиксации для таблицы берётся из настроек и умножается на 3, так что возможно, вам не потребуется его увеличивать.

Жмём кнопку «Сохранить» и выбираем наш айтрекер, например, Tobii (3).

Если вы не успели поставить галочку или войти в настройки, и программа запустилась, закройте её и попробуйте снова.

Выйти из программы можно, только закрыв её окно в панели задач:

4.Использование программы

После запуска в режиме таблицы программа развернёт на весь экран вот такое изображение:

Свернуть эту таблицу до одной клеточки можно, посмотрев на стрелку влево (свернуть). Например, чтобы посмотреть мультфильмы.

Если посмотреть на свернутую таблицу, то она снова развернётся на весь экран.

Если смотреть на зелёный кружок, будет произноситься слово «Да»

На красный – слово «Нет»

На колокол – звук колокола.

На одну из картинок – соответствующая фраза:

Ячейка таблицы
0. Болит живот.
1.Пить.
2.Кушать.
3.Какать.
4.Купаться.
5.Смотреть мультики.
6.Рисовать.
7.Повернуть на бок.
8.Спать
9.Смотреть в окошко.
a.Почесать лобик.
b.Читать сказку.

Как уже упоминалось, выйти из программы можно, только закрыв её окно в панели задач.

5. Как изменить содержимое таблицы

Можно изменить содержимое таблицы, положив в каталог “grid” собственные файлы.

Для картинок – это файлы в формате BMP. (желательно сохранять их в программе Microsoft Paint, иначе программа может их не прочитать).

Для звуков – это файлы в формате WAV.

В первой ячейке таблицы отображается файл 0.BMP и проигрывается звук 0.WAV
Во второй ячейке – 1.BMP и 1.WAV
Всего на одном уровне может быть до 16 ячеек, они нумеруются так:
0,1,2,3,4,5,6,7,8,9,A,B,D,E,F

То есть к 16-й ячейке будут привязаны файлы F.BMP и F.WAV

Можно сделать дополнительные уровни таблицы.
Например, при выборе ячейки «Кушать» можно открывать таблицу с выбором еды.

В таблице второго уровня файлы именуются двузначными значениями.
Например, «Кушать» на первом уровне имеет номер 2, а из неё мы попадаем в таблицу с ячейками, начинающимися на 2: 20, 21, 22……

Попробуйте сделать так:

Возьмите файл 2.BMP и скопируйте его в файл 20.bmp, и ещё в файл 21.bmp. Затем в графическом редакторе измените файл 20.bmp, чтобы там появилась тарелка с кашей. А файл 21.bmp отредактируйте так, чтобы там было изображение пюре.

Теперь запишите два звуковых файла: 20.wav и 21.wav. В первом запишите, как вы произносите слово “каша”, а во втором – слово “пюре”.

Теперь перезапустите программу, и когда ребёнок будет смотреть на картинку со словом “кушать”, то после произнесения этого слова откроется новая таблица с вашими картинками 20.bmp, и 21.bmp. А при остановке взгляда на этих картинках – будут произносится слова, записанные в файлах 20.wav и 21.wav соответственно.

Всего может быть три уровня, как показано ниже:

Ячейки следующего уровня добавляют ещё одну цифру к имени файла верхнего уровня:
2-кушать, 20-каша, 200-манная каша.

После добавления новых файлов в каталог “grid” программу нужно перезапустить, чтобы она их увидела.

Записывайте свои звуки, создавайте свои картинки, объединяйте их в свои собственные таблицы.

Примеры экранов, созданных другими людьми:

The next generation
of eye and head tracking
engineered for PC gamers

Discover our PC-laptop application that uses the in-built webcam to deliver extended view. It allows users to control the in-game camera with natural head movements for an immersive gaming and simulation experience.

Engineered for PC Gamers

Immersive experiences like never before

For Gamers

Letting your PC know where you are visually focused. Enriching your experience by extending your instincts into the game itself.

For Pilots & Space Pilots

The difference between being a player and flying as a pilot is you in your cockpit. Six Degrees of Freedom makes your cockpit feel like home.

For Drivers

Tobii Eye Tracker 5 extends your years of driving experience and road instincts to the game. This is what it feels like to actually be in the driver’s seat.

For Creators

Amplify engagement for your content by giving your fans deeper insight. With Tobii Eye Tracker 5 and Tobii Ghost, you can show your viewers what you’re actually looking at.

They are talking about our evolution

The Tobii Gaming Experience in Videos

The video producer, Case Evans, made a very consistant review of the Tobii Eye Tracker 5 for CNET, the world’s leader in tech product reviews.

Morphologie’s review will demonstrate why he believe Tobii Eye Tracker 5 truly is the next level in head tracking tech!

The future of gaming

Tobii Eye Tracker 5

The future of gaming

Tobii Eye Tracker 5

We create technology that enables gamers to experience their favorite immersive games like never before.

It is part science and part art to optimize a game for eye tracking and head tracking, as you get to experience and control the game world differently. Every game is unique, built from available game design, art style, mechanics, technology and team, which is why we optimize PC games based on new releases and community requests for back-catalog titles.

Выводы

Если говорить об играх, что и является главным назначением Acer Predator Z301CT, то тут полный порядок. Это быстрый монитор с целым набором полезных функций, повышенной частотой обновления экрана, хорошим откликом.

Но из-за недостатков цветопередачи его трудно рекомендовать тем, кто занимается фото- и видеоредактированием.

Наличие VA-матрицы сразу ставит его выше многочисленных игровых мониторов на TN-матрицах по углам обзора.

Стоит Predator Z301CT очень немало, но это, в том числе, обусловлено поддержкой технологии NVIDIA G-SYNC, которая заметно повышает стоимость мониторов, а также наличием очень интересного модуля Tobii Eye Tracking.

⇡#Игры

Полный список поддерживаемых проектов есть на официальном сайте. Ассортимент постоянно растет (к примеру, заявлена грядущая Assassin’s Creed Origins), а каждой игре отведена отдельная страница с перечислением реализованных разработчиками возможностей по использованию взгляда и (не везде) движений головы. Зачастую — еще и с наглядными роликами вроде этого:

Чтобы не ходить каждый раз на сайт, можно установить приложение Tobii GameHub. Оно содержит общий список поддерживаемых игр и показывает те, что установлены на компьютере, с указанием реализованных возможностей. Плюс позволяет все детально настроить, если этого нельзя сделать в самой игре (как, например, в Elite: Dangerous).

Нужно отдать Tobii должное — регулировки очень гибкие. Позволяется выключить отдельные возможности, выставить пороги срабатывания, чувствительность и многое другое. Если потратить немного времени на «подгонку» в каждой конкретной игре, можно получить такую степень влияния трекера на управление, какая вам требуется. Давайте рассмотрим возможности Eye Tracker 4C на примере двух проектов — Rise of the Tomb Raider и Dying Light. Любопытно сравнить впечатления «до и после».

Использование трекера заметно изменило ощущения от последней на сегодняшний день главы приключений Лары Крофт. Я уже играл в Rise of the Tomb Raider раньше, но с таким способом управления впечатление было немного иным. Когда вертишь головой в гробнице или осматриваешь суровые пейзажи, чувствуешь себя восторженным туристом. В бою на это нет времени, лучше пользоваться мышкой, но для неторопливого «впитывания» достопримечательностей — самое то.

Прицеливание тоже изменилось — при вскидывании оружия перекрестие прыгнет к точке взгляда, после чего останется немного скорректировать наводку мышью. А вот бросаться во врагов гранатами или отвлекать их пустыми банками можно и без «доводки», просто глядя в нужную точку. Удобно искать интерактивные предметы, забравшись куда-нибудь повыше и высматривая их по всему экрану.

Но самое, на мой взгляд, приятное — это возможность сделать интерфейс прозрачным, когда вы на него не смотрите (степень прозрачности можно настроить) . Эта функция реализована в большинстве поддерживаемых игр, и, несмотря на кажущуюся простоту затеи, именно она больше всего усиливает погружение в происходящее. Когда на экране нет всяческих индикаторов, шкал, пиктограмм, мини-карты и надписей, процесс ощущается более «чистым». При этом «подсвечивать» нужный элемент взглядом вполне естественно. Хочу обратиться к карте — смотрю на карту, нужно узнать количество оставшегося здоровья — смотрю на полоску. Только когда запускаешь игру без поддержки прозрачного интерфейса, понимаешь, как много места он отъедает!

Dying Light добавляет к тому, что есть в Rise of the Tomb Raider, уйму других любопытных возможностей. Ребята из Techland явно вдохновились открывшимися перспективами и спустили фантазию с поводка. Автоматическая пауза при отходе от компьютера — только вершина айсберга.

Погружение в игровой процесс от такого тщательного подхода только усилилось, ведь теперь луч фонаря шарит в темноте вслед за взглядом, а взаимодействие с предметами и объектами происходит автоматически, стоит на них только посмотреть. А вот между ходячими мертвецами лучше пробираться, глядя прямо перед собой, потому что они ловят ваш взгляд и бросаются вперед! На максимальной сложности, да еще поначалу, когда аптечки и другие ресурсы в дефиците, все это превращает Dying Light в настоящий триллер. Зато потом, когда научитесь бросать сюрикены сразу в нескольких мертвяков, отмечая цели своим орлиным взором, почувствуете себя настоящим нинздя. А фанаты Assassin’s Creed, привыкшие к «автоматическому паркуру», могут зажать кнопку бега и просто смотреть на карнизы, перекладины, заборы и прочие препятствия — Крейн взберется на них сам.

Навскидку «залепить» еле бредущему зомби в голову получается далеко не всегда

С прицеливанием ситуация ровно та же, что в Rise of the Tomb Raider или Tom Clancy’s The Division: точная стрельба требует микрокоррекции мышью после наведения взглядом. Это общий момент для всех игр при использовании связки «клавиатура + мышь + трекер», он продиктован точностью отслеживания.

Совсем другое дело, если играть на геймпаде — в этом случае наведение взглядом и дальнейшее корректирование стиком воспринимаются гораздо честнее и естественнее обычной автонаводки. Вот только кто использует геймпад, сидя за столом? А развалиться на диване не получится — расстояние от трекера до глаз должно оставаться в диапазоне 50–95 см. Зато, если находитесь в этом «окне», не нужно сидеть как истукан — небольшие отклонения вполне допустимы и не влияют на отзывчивость.