СПОСОБ УПРАВЛЕНИЯ УСТРОЙСТВОМ С ПОМОЩЬЮ ГЛАЗНЫХ ЖЕСТОВ В ОТВЕТ НА СТИМУЛЫ

Изобретение относится к области бесконтактного взаимодействия пользователей с управляемыми устройствами. Техническим результатом является обеспечение детекции команд пользователя, отдаваемых с помощью взгляда, без необходимости точного определения пространственных координат взгляда и обеспечения значительного углового расстояния между управляющими позициями, а также без необходимости для пользователя точно фиксировать взгляд в заданных позициях. Пользователю указывают управляющие позиции и создают условия для появления в них стимулов в разное время. Для отдачи команды пользователь направляет взгляд в управляющую позицию, ожидает стимул и, увидев его, подает глазной жест. Регистрируют и анализируют движения глаз пользователя, выявляют и анализируют глазной жест. По моменту начала глазного жеста определяют стимул, в ответ на который он был подан, и соответствующую ему позицию, и выдают на управляемое устройство команду, ассоциированную с данной комбинацией глазного жеста и управляющей позиции. 20 з.п. ф-лы, 2 ил.

1. Способ управления устройством с помощью глазных жестов в ответ на стимулы, состоящий в том, что пользователю указывают по меньшей мере одну управляющую позицию, с каждой управляющей позицией ассоциируют по меньшей мере один глазной жест, с каждой комбинацией управляющей позиции и ассоциированного с нею глазного жеста ассоциируют одну команду, создают условия, при которых в управляющих позициях в разное время появляются заданные зрительные стимулы, дают инструкцию пользователю для отдачи команды управляемому им устройству перевести взгляд в управляющую позицию, ассоциированную с данной командой, и после появления в ней заданного зрительного стимула подать глазной жест, регистрируют движения глаз пользователя, анализируют записи движений глаз пользователя с целью выявления глазного жеста и определения времени его подачи, и в случае, если выявлен глазной жест, время подачи которого соответствует времени появления стимула в одной из управляющих позиций, детектируют отдачу команды, ассоциированной с комбинацией данного глазного жеста и данной управляющей позиции, и выдают ее на управляемое устройство.

2. Способ по п.1, отличающийся тем, что условия, при которых в управляющих позициях в разное время появляются заданные зрительные стимулы, создают путем предъявления заданных зрительных стимулов в этих позициях в известные моменты времени.

3. Способ по п.2, отличающийся тем, что предъявление заданных зрительных стимулов в управляющих позициях организуют циклами, состоящими из предъявления такого стимула по одному разу в каждой из, по меньшей мере, двух управляющих позиций.

4. Способ по п.1, отличающийся тем, что, если моменты времени появления заданных зрительных стимулов заранее неизвестны, ведут регистрацию сигнала, несущего информацию о появлении таких стимулов, и на основе его анализа определяют моменты времени появления каждого такого стимула.

5. Способ по п.1, отличающийся тем, что подают звуковые сигналы, синхронизированные со зрительными стимулами, при этом используют одну и ту же высоту звука при появлении заданного зрительного стимула в одной и той же позиции и разную высоту - при появлении заданных зрительных стимулов в разных позициях.

6. Способ по п.1, отличающийся тем, что создают условия, при которых зрительные стимулы во всех управляющих позициях одинаковые.

7. Способ по п.1, отличающийся тем, что создают условия, при которых зрительные стимулы, по меньшей мере, в одной из управляющих позиций отличаются от зрительных стимулов в других управляющих позициях.

8. Способ по п.1, отличающийся тем, что пользователю указывают по меньшей мере одну позицию подтверждения, а подтверждающий глазной жест задают в форме саккады в позицию подтверждения.

9. Способ по п.8, отличающийся тем, что после детекции отданной команды ее обозначение показывают в позиции подтверждения.

10. Способ по п.8, отличающийся тем, что пользователю указывают не менее двух позиций подтверждения, а глазной жест задают в форме не менее двух саккад в позиции подтверждения.

11. Способ по п.8, отличающийся тем, что управляющие позиции помещают внутри видимой пользователю особой области, а пользователь получает инструкцию направлять взгляд внутрь этой особой области только тогда, когда он готовится отдать команду.

12. Способ по п.1, отличающийся тем, что регистрацию движений глаз пользователя производят путем видеорегистрации изображения глаз.

13. Способ по п.1, отличающийся тем, что регистрацию движений глаз пользователя производят путем регистрации электроокулограммы.

14. Способ по п.1, отличающийся тем, что регистрацию движений глаз пользователя производят путем регистрации сигналов мозгового происхождения.

15. Способ по п.1, отличающийся тем, что при анализе записей движений глаз пользователя определяют координаты взгляда непосредственно перед и после высокоамплитудных движений глаз.

16. Способ по п.1, отличающийся тем, что регистрируют положение головы пользователя и полученные данные используют при анализе записей движений глаз пользователя с целью выявления глазного жеста.

17. Способ по п.1, отличающийся тем, что наряду с регистрацией движений глаз у пользователя регистрируют сигнал мозгового происхождения, а отдаваемую команду устанавливают при использовании совместного анализа движений глаз и сигнала мозгового происхождения.

18. Способ по п.17, отличающийся тем, что в качестве сигнала мозгового происхождения используют электроэнцефалограмму.

19. Способ по п.17, отличающийся тем, что в качестве сигнала мозгового происхождения используют магнитоэнцефалограмму.

20. Способ по п.17, отличающийся тем, что в качестве сигнала мозгового происхождения используют BOLD-сигнал.

21. Способ по п.17, отличающийся тем, что в качестве сигнала мозгового происхождения используют NIRS-сигнал.

Область техники, к которой относится изобретение

Изобретение относится к области когнитивных технологий, а именно к области бесконтактного взаимодействия пользователей с управляемыми устройствами. Оно может быть использовано в системах коммуникации и управления компьютерами, робототехникой и другими техническими устройствами, в частности, предназначенными для людей с нарушениями моторных функций, а также для здоровых людей в ситуациях, когда управление предпочтительнее осуществлять с помощью движений глаз.

Уровень техники

Традиционные способы передачи команд от человека к компьютеру и к технике, управление которой опосредуется компьютерными технологиями, требуют использования движений пальцев и кистей рук. В связи с этим такие способы оказываются недоступными или труднодоступными при ряде заболеваний, в частности, приводящих к нарушению нервно-мышечной передачи, при наличии травматических повреждений проводящих путей спинного мозга или ампутации верхних конечностей, а также при занятости рук другой деятельностью.

Существуют и другие причины, по которым в определенных ситуациях предпочтительной является отдача команд без использования конечностей. Так, отдача команд с помощью рук может быть нежелательна при работе с техническими устройствами, используемыми большим числом людей, например с банкоматами, из гигиенических соображений. Обеспечение возможности отдачи команд компьютеру или смартфону без использования конечностей может повышать занимательность видеоигр. Ввод информации в компьютер или смартфон без использования физических движений частей тела и голосовых команд может помочь затруднить несанкционированный доступ к конфиденциальной информации, например, при вводе пароля или пин-кода.

Одним из основных альтернативных средств, с помощью которых человек может отдавать команды техническому устройству без использования механического воздействия на устройства ввода, являются технологии, основанные на отслеживании направления взгляда.

При использовании этих технологий направление пользователем своего взгляда на позиции на экране, поставленные в соответствие командам (управляющие позиции), приводит к отдаче команд (ввод букв в печатаемый текст, включение или выключение устройства, и т.п.). Недостатками этих технологий являются:

- сложность различения направления взгляда в управляющую позицию с целью отдачи команды и непроизвольного направления взгляда в ту же позицию (проблема «прикосновения Мидаса»);

- необходимость обеспечить значительное угловое расстояние между управляющими позициями в связи со сравнительно низким пространственным разрешением этой технологии (например, в сравнении с точностью позиционирования курсора с помощью компьютерной мыши);

- необходимость высокой точности работы системы отслеживания направления взгляда, для обеспечения которой требуется индивидуальная настройка и может требоваться обеспечение дополнительной подстройки в процессе эксплуатации с использованием калибровочных процедур, создающих для пользователя дополнительную нагрузку и временные затраты.

В данных технологиях нельзя использовать наиболее простые методы слежения за взглядом, не требующие использования дорогих и громоздких устройств и основанные на регистрации и анализе электроокулограммы (ЭОГ) или видеосигнала, регистрируемого простейшими видеокамерами, ввиду невозможности точного определения пространственных координат взгляда на их основе. Обычно используются системы слежения, использующие дорогие видеокамеры. Обеспечение высокой точности отслеживания взгляда, необходимой при использовании данных технологий, сопряжено с введением в методику по крайней мере некоторых из следующих дополнительных элементов, которые могут вызывать дополнительные неудобства для пользователя или ограничивать возможности применения технологии: использование источника инфракрасного излучения для подсветки области зрачка и радужки либо поддержание высокого и стабильного уровня освещенности этой области в видимом диапазоне; фиксация видеокамер и средства подсветки на голове пользователя; частая калибровка.

Кроме того, следует учитывать возможность быстрого утомления пользователя при осуществлении требуемой данными технологиями интенсивно-прецизионной глазодвительной деятельности, не связанной естественным образом с обеспечением функции зрения, для обеспечения которой приспособлена глазодвигательная система человека.

Наконец, технологии, требующие точного позиционирования взгляда относительно позиций в пространстве (например, экранных «кнопок»), могут быть недостаточно удобны или недоступны для пользователей с ослабленным зрением или ослабленным управлением взглядом даже при использовании высокоточных методов регистрации движений глаз.

Для улучшения различения фиксаций взгляда, связанных и не связанных с отдачей команды, в патентах US 4836670, US 4950069, US 4973149 используется критерий «времени остановки» (dwell time): команда отдается только в случае, если взгляд находится в заданной области экрана дольше некоторого заранее заданного времени. Однако этот способ не помогает справиться с остальными из перечисленных выше недостатков технологии детекции команд пользователя на основе определения позиции, в которую направлен взгляд. Кроме того, временная остановка взгляда может быть не связана с отдачей команды: например, она возможна, если пользователь о чем-либо задумывается либо если что-то в данной области экрана непроизвольно привлекло его внимание. В связи с этим избегание ошибочного ввода команд при использовании данного способа требует от пользователя значительных усилий по выполнению инструкций и может быстро приводить к утомлению. Следует также иметь в виду, что и удержание взгляда в заданной позиции в течение заданного времени с целью отдачи команды может быть непроизвольно прервано, если внимание пользователя привлекло что-то в другой позиции, а длительная фиксация взгляда в одной позиции затруднительна и при отсутствии выраженных отвлекающих факторов. В связи с этим увеличение минимально требуемого времени остановки, требующееся для повышения точности различения попыток отдачи команды и непреднамеренных фиксаций, может приводить к еще большему увеличению нагрузки на пользователя и даже к невозможности управления из-за сложности длительное время целенаправленно фиксировать одну и ту же пространственную позицию.

В патенте US 6886137 для определения потребности пользователя замедлить или ускорить скорость перемещения («прокрутки») визуальной информации по экрану используется перемещение взгляда соответственно к краю экрана, где информация уходит с него, и к краю, где появляется новая информация. Вследствие естественного характера таких перемещений взгляда они не создают дополнительную нагрузку на пользователя. Однако данная технология применима лишь к ограниченному кругу задач.

В патенте EP 0634031 предложен способ, заключающийся в регистрации биоэлектромагнитных сигналов, генерируемых при движении глазного яблока, их обработке, обозначении движений глаз символическими лексемами, генерации командных сигналов на основе протокола, связывающего командные сигналы с последовательностями лексем, и выполнение функций коммуникации или управления в ответ на командные сигналы. В качестве биоэлектромагнитных сигналов может использоваться ЭОГ. Недостатком данного способа является искусственный характер использования заданных последовательностей движений глаз для отдачи команд, из-за которого при использовании способа может быстро развиваться утомление. Кроме того, необходимость заучивания последовательностей движений глаз и их соответствия командам ограничивает число используемых команд.

Предпринимались попытки решить отмеченные выше проблемы путем создания комбинированных интерфейсов глаз-мозг-компьютер. Известен способ детекции вводимых пользователем команд, основанный на определении направления взгляда и анализе электрических потенциалов мозга, связанных с фиксацией взгляда, а также на учете изменений диаметра зрачка и характеристик движений глаз (US 5649061). Недостатком известного способа является невозможность обеспечения высокой точности срабатывания интерфейса вследствие низкой амплитуды потенциалов, связанных с фиксацией взгляда, и значительной зависимости диаметра зрачка и характеристик движений глаз от разнообразных факторов, не контролируемых или не полностью контролируемых в рамках данной технологии.

В публикации Kotani et al. (2010) (Kentaro Kotani, Yuji Yamaguchi, Takafumi Asao, Ken Horii (2010): Design of eye-typing interface using saccadic latency of eye movement, International Journal of Human-Computer Interaction, 26:4, 361-376) раскрыт способ, состоящий в сочетании детекции отдаваемой команды с помощью фиксации пользователем своего взгляда в управляющей позиции, соответствующей команде, и детекции ее последующего подтверждения, осуществляемого с помощью дополнительной саккады. В конкретной реализации авторы использовали отдельно расположенные «экранные кнопки подтверждения», в которые пользователь должен был делать подтверждающие саккады, для упрощения идентификации таких саккад. Способ позволяет с большой надежностью регистрировать событие подтверждения даже при низкой пространственной точности подтверждающих саккад, поскольку для детекции управляющей позиции используется латентность подтверждающей саккады, которая определялась как время начала саккады относительно времени попадания взгляда в управляющую позицию.

Благодаря использованию подтверждения каждой вводимой команды легко детектируемой саккадой авторам этой публикации удалось исключить ошибки, связанные с эффектом «прикосновения Мидаса». При использовании их способа нет необходимости ставить в соответствие каждой используемой команде отдельный глазной жест (который нужно выучивать и помнить), как в ЕР 0634031. Поскольку обозначения команд (в их работе - печатаемые буквы слогового алфавита) могут быть показаны прямо в управляющих позициях, пользователь может, в принципе, легко научиться быстро находить позицию, соответствующую нужной команде, даже при использовании разных наборов команд.

Однако детекция отдаваемых команд в способе, предложенном Kotani et al. (2010), требует точного определения попадания взгляда в управляющие позиции и обеспечения значительного углового расстояния между управляющими позициями.

Раскрытие изобретения

Предлагаемый способ детекции команд пользователя, отдаваемых компьютеру с помощью взгляда, существенно отличается от аналогов использованием зрительных стимулов, обеспечивающих связь доступных пользователю команд с известными моментами времени. Пользователь указывает на нужную команду путем подачи глазного жеста: по времени его подачи определяется время появления соответствующего такой команде стимула.

В качестве такого глазного жеста в простейшем случае может использоваться единичная высокоамплитудная саккада. Благодаря тому что латентности саккад в ответ на стимул (средняя величина которых у человека - 200 мс) и их вариативность сравнительно невелики, при появлении стимулов через интервалы времени, достаточно большие в сравнении с вариативностью латентности саккад, по времени начала саккады в ответ на стимул можно определить стимул, реакцией на который была данная саккада. Аналогичным образом возможно использование и более сложных глазных жестов, прежде всего таких, которые начинаются с саккады.

Благодаря ассоциации стимулов с командами обнаружение глазных жестов и моментов их начала позволяет определить отдаваемую пользователем команду. При этом не требуется получение точной информации о положении взгляда относительно управляющих позиций, и благодаря этому становится возможным использовать простые, дешевые и надежные методы регистрации и анализа движений глаз, в т.ч. не требующие калибровки измерительной аппаратуры.

Предлагаемый способ также направлен на исключение необходимости для пользователя с большой точностью фиксировать взгляд в заданных позициях.

Кроме того, предлагаемый способ направлен на исключение необходимости выдерживать значительные размеры управляющих позиций, а также значительные угловые расстояния между ними. Таким образом, предлагаемое изобретение создает возможности более свободного дизайна управляющих позиций и их размещения на экране. Благодаря этому интерфейсы компьютерных приложений, использующих управление с помощью взгляда, в т.ч. интерфейсы систем управления подключенной к компьютеру техникой, могут быть выполнены в большем соответствии задачам, для решения которых они предназначаются, возможна их дополнительная эргономическая оптимизация, и т.п.

Технический результат, достигаемый предлагаемым изобретением, состоит в обеспечении детекции команд пользователя, отдаваемых техническому устройству с помощью взгляда, без необходимости точного определения пространственных координат взгляда и обеспечения значительного углового расстояния между управляющими позициями, а также без необходимости для пользователя точно фиксировать взгляд в заданных позициях.

Технический результат достигается тем, что предложен способ управления устройством с помощью глазных жестов в ответ на стимулы, заключающийся в том, что

- пользователю указывают по меньшей мере одну управляющую позицию,

- с каждой управляющей позицией ассоциируют по меньшей мере один глазной жест,

- с каждой комбинацией управляющей позиции и ассоциированного с нею глазного жеста ассоциируют одну команду,

- создают условия, при которых в управляющих позициях в разное время появляются заданные зрительные стимулы,

- дают инструкцию пользователю для отдачи команды управляемому им устройству перевести взгляд в управляющую позицию, ассоциированную с данной командой, и после появления в ней заданного зрительного стимула подать глазной жест,

- регистрируют движения глаз пользователя,

- анализируют записи движений глаз пользователя с целью выявления глазного жеста и определения времени его подачи,

- и в случае, если выявлен глазной жест, время подачи которого соответствует времени появления стимула в одной из управляющих позиций, детектируют отдачу команды, ассоциированной с комбинацией данного глазного жеста и данной управляющей позиции, и выдают ее на управляемое устройство.

Технический результат достигается также тем, что

- условия, при которых в управляющих позициях в разное время появляются заданные зрительные стимулы, создают путем предъявления заданных зрительных стимулов в этих позициях в известные моменты времени;

- предъявление заданных зрительных стимулов в управляющих позициях организуют циклами, состоящими из предъявления такого стимула по одному разу в каждой из по меньшей мере двух управляющих позиций;

- если моменты времени появления заданных зрительных стимулов заранее неизвестны, ведут регистрацию сигнала, несущего информацию о появлении таких стимулов, и на основе его анализа определяют моменты времени появления каждого такого стимула;

- подают звуковые сигналы, синхронизированные со зрительными стимулами, при этом используют одну и ту же высоту звука при появлении заданного зрительного стимула в одной и той же позиции и разную высоту - при появлении заданных зрительных стимулов в разных позициях;

- создают условия, при которых зрительные стимулы во всех управляющих позициях одинаковые;

- создают условия, при которых зрительные стимулы по меньшей мере в одной из управляющих позиций отличаются от зрительных стимулов в других управляющих позициях;

- пользователю указывают по меньшей мере одну позицию подтверждения, а подтверждающий глазной жест задают в форме саккады в позицию подтверждения;

- после детекции отданной команды ее обозначение показывают в позиции подтверждения;

- пользователю указывают не менее двух позиций подтверждения, а глазной жест задают в форме не менее двух саккад в позиции подтверждения;

- управляющие позиции помещают внутри видимой пользователю особой области, а пользователь получает инструкцию направлять взгляд внутрь этой особой области только тогда, когда он готовится отдать команду;

регистрацию движений глаз пользователя производят путем видеорегистрации изображения глаз;

- регистрацию движений глаз пользователя производят путем регистрации электроокулограммы;

- регистрацию движений глаз пользователя производят путем регистрации сигналов мозгового происхождения;

- при анализе записей движений глаз пользователя определяют координаты взгляда непосредственно перед и после высокоамплитудных движений глаз;

- регистрируют положение головы пользователя и полученные данные используют при анализе записей движений глаз пользователя с целью выявления глазного жеста;

- наряду с регистрацией движений глаз у пользователя регистрируют сигнал мозгового происхождения, а отдаваемую команду устанавливают при использовании совместного анализа движений глаз и сигнала мозгового происхождения;

в качестве сигнала мозгового происхождения используют электроэнцефалограмму;

в качестве сигнала мозгового происхождения используют магнитоэнцефалограмму;

- в качестве сигнала мозгового происхождения используют BOLD-сигнал;

- в качестве сигнала мозгового происхождения используют NIRS-сигнал.

Краткое описание фигур

Фиг.1 представляет пример того, как может выглядеть участок экрана монитора при использовании подтверждающей позиции. Восемь из девяти компактно расположенных управляющих позиций не выделены 1, одна управляющая позиция выделена 2. Позиция подтверждения 3, если она используется, располагается на удалении от остальных позиций.

Фиг.2 показывает, как управляющие позиции могут быть помещены в пределах зрительно выделенной особой области. В дополнение к представленным также на предыдущем рисунке невыделенным 1 и выделенной 2 управляющим позициям и подтверждающей позиции 3 здесь показана граница особой области 4, отделяющая от остальной части экрана 5 особую область 6. Стрелками 7-12 показаны саккады. Направление саккады 7 исключает ее идентификацию как подтверждающего глазного жеста. Саккады 8 и 11 по их направлению и амплитуде могут быть идентифицированы как подтверждающие глазные жесты, хотя они таковыми не являются. Однако пользователь может исключить их, следуя инструкциям, т.к. для их совершения пользователь должен направить взгляд в особую область и сделать затем саккаду в сторону подтверждающей позиции - т.е. дважды подряд нарушить инструкцию. Саккаду 9, действительно являющуюся подтверждающим глазным жестом, отличают от саккады 10 со сходным направлением и амплитудой на основе анализа времени их начала (см. ниже). Возможны саккады 12, для определения отличия которых от подтверждающих глазных жестов нужно использовать, наряду с данными по направлению и амплитуде саккады, также данные по координатам взгляда в начальной и/или конечной позиции, однако такие координаты достаточно определять со сравнительно небольшой точностью.

Осуществление изобретения

В наиболее типичном случае способ осуществляют следующим образом. Пользователь располагается перед управляющими позициями, положение которых ему указывают визуально или вербально. Управляющие позиции ассоциируют с заранее определенными командами. Для отдачи команды пользователь направляет взгляд в управляющую позицию, ассоциированную с этой командой, и ожидает появления стимула в этой позиции.

В управляющих позициях последовательно предъявляют зрительные стимулы. Увидев стимул в управляющей позиции, ассоциированной с отдаваемой командой, пользователь немедленно подает заранее заданный глазной жест.

Регистрируют движения глаз пользователя. Путем анализа зарегистрированного сигнала, содержащего информацию о движениях глаз пользователя, определяют, подал ли пользователь при предъявлении стимула в одной из управляющих позиций заранее заданный глазной жест, и при положительном ответе выдают на управляемое устройство заранее определенную команду, ассоциированную с данной управляющей позицией.

Предъявление стимулов, анализ записей движения глаз и детекцию отдаваемых команд осуществляют в автоматическом режиме с помощью системы, включающей компьютерную программу или программы и необходимые технические средства. С их помощью могут осуществляться и другие операции, в частности показ управляющих позиций.

Далее перечисленные выше действия раскрываются более подробно и с указанием возможных вариантов их реализации.

Управляющие позиции

Управляющая позиция представляет собой место в пространстве, где появляются стимулы, ассоциированные с одной из команд. В качестве управляющих позиций могут быть использованы любые позиции в пространстве при условии, что все они видны пользователю.

Управляющие позиции делают, как правило, хорошо заметными для пользователя любым удобным способом, по возможности одновременно помогающим догадываться об ассоциированных с ними командах или напоминающим о них (см. пример на Фиг.1). Управляющая позиция может быть обозначена и как обширная область, и как область с минимальной протяженностью, при которой она еще может быть видимой. Более того, в самой управляющей позиции может отсутствовать какое-либо зрительно различимое обозначение, если окружающих ориентиров и инструкции, выдаваемой пользователю, достаточно для идентификации ее положения. Например, на управляющую позицию может указывать стрелка. Инструкция может сообщать, что управляющая позиция находится в центре экрана или в его верхнем левом углу, при этом допустимо не использовать никаких специальных указателей для ее обозначения.

Во многих случаях удобно обозначать управляющую позицию областью в виде круглой кнопки диаметром 1° или прямоугольной кнопки близких размеров. Следует иметь в виду, что назначение зрительно заметного выделения - управляющих позиций в пространстве - помочь быстро идентифицировать стимул, ассоциированный с нужной командой. Наиболее точную идентификацию отдаваемой команды можноожидать, в общем случае, при направлении взгляда в управляющую позицию. Однако при необходимости пользователь может следить за управляющей позицией без направления взгляда в управляющую позицию при условии, что она остается в поле зрения - это возможно благодаря механизмам скрытого внимания.

В качестве устройства, обеспечивающего показ управляющих позиций, можно использовать экран монитора персонального компьютера, смартфона и т.п., а также экран, на который их обозначения проецируются отдельно расположенным проектором. Однако управляющие позиции могут быть расположены на любых поверхностях, где их может видеть пользователь. Предпочтительным, как правило, является размещение всех управляющих позиций в одной плоскости, однако допустимо их иное размещение, например, в тех случаях, когда их помещают на управляемом устройстве сложной объемной формы, например на разных «конечностях» антропоморфного робота.

Управляющие позиции могут быть, в принципе, расположены на любом расстоянии друг от друга. Однако при подборе расстояний между ними следует иметь в виду, что при их слишком близком расположении стимулы в позициях, соседних к той, которая ассоциирована с вводимой командой, могут мешать восприятию стимула в этой позиции и способствовать утомлению.

Управляющие позиции при необходимости могут менять положение в пространстве, если их обозначения или ориентиры, необходимые для их нахождения, остаются видимыми и их перемещение не создает значительных неудобств для их нахождения и отслеживания.

Примеры обозначения управляющих позиций: пиктограммы или кнопки с короткими словесными обозначениями на экране монитора персонального компьютера, банкомата или смартфона; светодиоды разного цвета, вмонтированные в оправу очков; цветовая разметка, нанесенная на неподвижные или движущиеся части управляемого робототехнического устройства.

Число управляющих позиций определяется исходя из назначения системы, реализующей способ. Однако оно не должно превышать 100 и, как правило, должно быть значительно ниже этого числа, во многих случаях - меньше 10. В противном случае будет затруднено нахождение нужных позиций и существенно замедлено управление, т.к. время, необходимое на отдачу одной команды, растет с ростом числа позиций (приблизительно пропорционально ему).

Стимулы

В качестве стимула может быть использовано любое зрительно заметное пользователю событие, время которого известно или доступно регистрации в программной системе, реализующей изобретение, и ассоциация которого с одной из управляющих позиций известна пользователю.

Пользователь должен быть поставлен в известность об используемом типе стимулов, т.е. ему должно быть сообщено, на какого рода события он должен реагировать для отдачи команды, если это не становится «интуитивно» ясно сразу же при наблюдении стимулов.

В наиболее типичном случае в качестве стимула используют изменение всей или большей части обозначения управляющей позиции (ср. 1 и 2 на Фиг.1). В качестве стимула можно также использовать хорошо заметное пользователю изменение: области, менее обширной, чем обозначение управляющей позиции, и находящейся в пределах этого обозначения; области, частично перекрывающейся с обозначением управляющей позицией; области, более обширной, чем обозначение управляющей позиции, и включающей его в себя. Допустимо использовать в качестве стимула и изменение области, не перекрывающейся с обозначением управляющей позиции, если ассоциация стимула и управляющей позиции остается понятной пользователю - например, когда расстояния между стимулом и управляющей позициею значительно меньше, чем расстояния между разными управляющими позициями.

В наиболее типичном случае в качестве стимула используют кратковременное изменение яркости и/или цвета. При этом фактически происходят два события, первое из которых состоит в изменении визуальных характеристик в сравнении исходными, т.е. с теми, которые наблюдаются большую часть времени, а второе - в возвращении визуальных характеристик к исходным. Целесообразно использовать в качестве стимула только первое из них, однако принято говорить о «длительности стимула», т.е. о времени, проходящем между такими парными событиями.

Длительность стимула выбирают таким образом, чтобы пользователь мог заметить изменение, но при этом длительность стимула не должна быть слишком большой, иначе следующий стимул потребуется предъявить еще до окончания предыдущего, либо процедуры станет чрезмерно длительной.

В других случаях событие, используемое в качестве стимула, может не сопровождаться возвращением к исходным визуальным характеристикам: например, им может быть изменение цвета, сохраняющееся все время до следующего стимула, или поворот вытянутого прямоугольника на 90° вокруг своего центра. В качестве стимула можно использовать момент начала движения или момент остановки роботизированной руки или виртуального объекта на экране монитора компьютера.

Используемые в качестве стимулов изменения, как правило, носят единообразный характер для одной и той же управляющей позиции при их неоднократном появлении, а также для разных управляющих позиций, в том числе в случае, если управляющие позиции существенно отличаются по своим зрительным характеристикам. Например, в качестве стимулов можно использовать увеличение яркости на одну и ту же величину, увеличение размера и масштаба пиктограммы на одну и ту же величину и т.п.

В определенных случаях, особенно при близком расположении управляющих позиций и при перекрытии областей, зрительное изменение которых используется в качестве стимулов, появляющихся в соседних управляющих позициях, для упрощения идентификации стимула, появляющегося в позиции, ассоциированной с нужной командой, может оказаться целесообразным использовать разное изменение в разных позициях.

Предпочтительно заранее сообщить пользователю, как выглядят стимулы, либо дать ему возможность ознакомиться с тем, как они выглядят, до использования способа.

Для облегчения определения момента стимула, ассоциированного с нужной управляющей командой, можно сопровождать звуковым сигналом с одной и той же высотой подачу стимулов, ассоциированных с одной и той же управляющей позицией, и звуковыми сигналами с разной высотой - стимулов, ассоциированных с разными управляющими позициями. Эта модификация может быть полезной, в частности, для людей с ослабленным зрением.

Как правило, в качестве стимулов используют специально организуемые события, время которых заранее известно в программной системе. Однако событие, о времени которого заранее не могло быть известно, также может быть использовано в качестве стимула, при условии, что его время регистрируется в программной системе, и что пользователь может идентифицировать такое событие как стимул. Примерами таких событий могут служить соприкосновение движущейся роботизированной руки с объектом и совмещение прицела с заранее известной целью в игре. Поскольку в пространстве перед пользователем может происходить большое число разных событий, для использования каких-либо из них в качестве стимулов заранее определяют признаки, которым событие должно соответствовать, чтобы считаться стимулом. Эти признаки сообщают пользователю, а также обеспечивают регистрацию и анализ сигнала для их автоматической идентификации.

Вне зависимости от того, организовано ли предъявление стимулов программой или осуществляется лишь программная регистрация времени появления стимулов, любые два стимула, как правило, не должны перекрываться во времени или сближаться во времени до такой степени, чтобы затруднялось восприятие любого из этих стимулов.

Длительность стимулов и пауз между ними могут быть как постоянными, так и варьирующими во времени. Их предпочтительно устанавливать в процессе тестирования конкретной реализации предлагаемого способа и с учетом ее особенностей, а также особенностей предполагаемых пользователей, добиваясь легкого и безошибочного распознавания стимулов и низкой вариативности латентности глазных жестов в ответ на стимулы. Возможно также использование сведений о восприятии человеком стимулов соответствующего типа и о вариативности латентности саккад в ответ на стимулы, известных из литературы по экспериментальной психологии. Для точного определения отдаваемой команды следует устанавливать суммарную длительность стимула и паузы более высокой, чем разброс (разность между максимальными и минимальными значениями) латентностей глазных жестов в ответ на стимулы.

В частности, для здоровых пользователей в большинстве случаев может оказаться удобным использование длительности стимула, равной 200 мс, и постоянной или минимальной паузы между стимулами длительностью 100 мс. Если предполагается использование системы тяжелыми больными, длительность стимулов и пауз между ними должно быть удлинено.

Порядок предъявления стимулов в управляющих позициях может быть либо случайным, либо заранее заданным, в том числе всегда одним и тем же. Например, если доступные команды - это ввод цифр от 1 до 9, предъявлять стимулы предпочтительно по порядку управляющих позиций с обозначениями 1, 2,... 9, затем снова 1, 2, и т.д. При реализации анализа движений глаз пользователя (обсуждаемой ниже) учитывают, что в этом случае момент предъявления стимула в позиции, связанной с отдаваемой командой, предсказуем для пользователя, и в связи с этим подтверждающий глазной жест может иметь очень низкую и даже отрицательную латентность.

В некоторых случаях, например, если необходимо затруднить несанкционированный доступ посторонних лиц к информации, вводимой пользователем (например, пин-код), а также при использовании, в дополнение к регистрации движений глаз пользователя, также сигналов мозгового происхождения, усиливающихся при повышении неопределенности времени предъявления стимула, может оказаться предпочтительным использование случайного порядка предъявления стимулов.

Возможно исключение предъявления стимулов в некоторых управляющих позициях (исключенные управляющие позиции), например, если ассоциированные с ними команды в данный момент невозможно выполнить.

Предъявление стимулов может быть организовано циклами стимулов - последовательностями, состоящими из предъявления стимулов по одному разу в каждой из используемых (не исключенных) управляющих позиций. Между циклами могут делаться дополнительные паузы.

Может оказаться удобным - особенно при использовании длительных пауз (например, более 3 с) - подавать перед началом каждого цикла звуковой или визуальный сигнал, предупреждающий пользователя о том, что вскоре начнутся стимулы. Такой сигнал - предупредительный сигнал - может подаваться, например, за 500 мс или за 1 с до начала цикла.

Предъявление стимулов, с паузами между ними и при необходимости с паузами между циклами можно производить как в течение всего времени использования предлагаемого способа, так и в пределах ограниченных интервалов времени. Может быть также организовано предъявление заданного числа циклов стимулов.

Возможность запускать предъявление стимулов может быть предоставлена пользователю. Например, через 500 мс после каждого нажатия кнопки на устройстве может запускаться один цикл стимулов, при этом использование ручного ввода сводится к использованию единственной кнопки для обозначения моментов готовности к вводу команды, а собственно выбор из нескольких команд производится с помощью глазных жестов. В других вариантах пользователь может использовать для запуска стимулов отдельно заданный глазной жест, механический жест (например, определенное движение пальцем по сенсорной поверхности или в сенсорном пространстве) или голосовую команду.

Предъявление стимулов может быть прервано сразу после детекции отдачи команды. При необходимости затруднить доступ к вводимой информации предпочтительным является продолжение предъявления стимулов и после детекции отдачи команды, по крайней мере до окончания цикла. Если стимулы, как правило, даются циклами без пауз между ними, после детекции отданной команды можно вести паузу между окончанием текущего цикла и началом следующего цикла. Если стимулы, как правило, даются циклами с небольшими паузами между ними, после детекции отданной команды можно удлинить паузу между окончанием текущего цикла и началом следующего цикла.

Глазные жесты и способы улучшения их распознаваемости для алгоритмов анализа движений глаз

Под глазным жестом понимают движение глаз или последовательность движений глаз, с помощью которых пользователь отмечает время, когда он обнаружил стимул, подаваемый в управляющей позиции, ассоциированной с нужной пользователю командой. По времени начала глазного жеста можно определить, какому стимулу он соответствует. Таким образом, подавая глазной жест, пользователь сообщает, какую именно команду он хочет отдать.

Пользователю предварительно дают инструкцию для отдачи команды направить взгляд на позицию, ассоциированную с той командой, которую он хочет отдать, дождаться стимула в этой позиции и сразу после его появления подать глазной жест. О том, каким должен быть глазной жест, ему также сообщают заранее.

Возможно использование более одного глазного жеста. В этом случае отдельная команда может быть ассоциирована с каждой комбинацией глазного жеста и управляющей позиции, подобно тому, как это сделано с комбинациями обычных жестов и сенсорных областей для обеспечения значительного углового расстояния между управляющими позициями в патенте RU 2455676.

Глазные жесты подбирают с учетом требований к конкретной реализации изобретения: во-первых, требования минимизации ошибки выбора команды, во-вторых, требования минимизации частоты ложных тревог.

Для минимизации частоты ложных тревог необходимо, чтобы глазной жест, намеренно поданый пользователем с целью отдачи команды, при анализе записей движений глаз можно было отличить от других движений глаз и последовательностей движений глаз, прежде всего от спонтанных. Для выполнения этого требования предпочтительны глазные жесты, как можно реже встречающиеся при спонтанной глазодвигательной деятельности, например последовательность крупных саккад в разных направлениях.

В то же время для минимизации частоты ошибок выбора команды надо, чтобы в результате анализа записей движений глаз глазной жест был правильно ассоциирован именно с тем стимулом, в ответ на который он был подан, а не с другим стимулом. Для этого разброс латентности начала глазного жеста должен быть как можно меньше. В связи с этим, а также для снижения нагрузки на пользователя предпочтительны наиболее простые глазные жесты. Использование простых глазных жестов также позволяет увеличить скорость срабатывания, поскольку они имеют меньшую длительность.

Важным частным случаем глазного жеста является саккада в заранее определенную, известную пользователю позицию - подтверждающую позицию (прием, использованный Kotani et al. (2010) для распознавания подтверждающих саккад из управляющих позиций, но без использования стимулов). При использовании подтверждающих глазных жестов в форме таких саккад инструкция для пользователя может включать, например, такой пункт (при использовании подсветок как стимулов):

«Дождитесь подсветки управляющей позиции и, увидев ее подсветку, немедленно переведите взгляд в подтверждающую позицию».

Ценность глазных жестов в виде саккады в подтверждающую позицию связана с тем, что они могут сочетать в себе простоту и значительность отличий от движений глаз, не связанных с управлением. Таким образом, их использование может способствовать снижению и частоты ложных тревог, и частоты ошибок выбора команды.

Как и управляющие позиции, подтверждающую позицию можно располагать на различных поверхностях, где ее может видеть пользователь, и обозначать различными способами, обеспечивающими их заметность для пользователя и по возможности помогающими помнить об их предназначении.

Подтверждающую позицию предпочтительно располагать отдельно от управляющих позиций. При выборе положения для нее исходят из того, что чем дальше она находится от управляющих позиций, тем проще отличить саккаду в нее от движений глаз, не связанных с подтверждением отдачи команды, особенно при отсутствии возможности определять положение взгляда с высокой точностью. В то же время учитывают и требования к компактности размещения видимых пользователю элементов в конкретной реализации.

Одновременно можно использовать более одной подтверждающей позиции - например, если перевод взгляда в одну из подтверждающих позиций в некоторых ситуациях нежелателен из-за возможности потери зрительного контроля за какой-либо видимой областью экрана или пространства вокруг него, а также при использовании более одного глазного жеста.

Фиг.1 представляет пример того, как может выглядеть участок экрана монитора при использовании подтверждающей позиции. Позиция подтверждения 3 располагается, как правило, на таком удалении от остальных позиций, чтобы пользователь видел расстояние между ближайшими краями позиции подтверждения и ближайшей к ней управляющей позицией под углом от 2° до 10°. В этом случае саккады, используемые в качестве подтверждающих глазных жестов, имеют значительную амплитуду, и благодаря этому улучшается их детекция и снижается число саккад, не связанных с отдачей команды, которых нельзя отличить от управляющих глазных жестов по их характеристикам.

Если абсолютные координаты взгляда отслеживаются с низкой точностью, для улучшения различения саккад в управляющие позиции можно разместить управляющие позиции внутри заметной для пользователя особой области (см. Фиг.2). Расстояние от управляющих позиций до границы особой области подбирается таким, чтобы было возможно отличить саккады извне этой области от саккад из управляющих позиций в подтверждающую позицию, зная амплитуду и направление саккад с той точностью, которую обеспечивает используемая технология регистрации и анализа движений глаз. Пользователю рекомендуют избегать направлять взгляд в особую область с последующей саккадой в сторону подтверждающей позиции, кроме как при использовании саккад из управляющей позиции для отдачи команды.

Еще одним важным способом существенного снижения частоты ложных тревог может быть включение системы только на короткое время.

В частности, для пользователей с сохранной моторикой конечностей может оказаться удобным переводить систему в активное состояние лишь на короткое время с помощью обычного моторного действия, например с помощью нажатия на специально предусмотренную для этого кнопку или с помощью отдачи голосовой команды. До такого действия система находится в пассивном состоянии, т.е. стимулы не предъявляются и программное обеспечение системы не пытается установить факт подачи команд, кроме команды приведения системы в активное состояние. Благодаря этому в пассивном состоянии системы исключается нагрузка на зрение со стороны стимулов и одновременно исключаются ложные тревоги. Предъявление стимулов начинают после того, как пользователь отдает команду привести систему в активное состояние, выдержав перед началом подачи стимулов короткую паузу (например, 500 мс), и предъявляют, как правило, один цикл стимулов. Пользователь имеет возможность заранее - до приведения системы в активное состояние - найти нужную управляющую позицию и в течение одного цикла предъявления стимулов избегать крупных саккад, не связанных с управлением. Благодаря этому ложные тревоги могут быть почти полностью исключены.

После окончания предъявления одного цикла или заданного числа циклов стимулов систему переводят в пассивное состояние.

Может быть предусмотрено досрочное возвращение системы в пассивное состояние с помощью дополнительной команды. В этом случае целесообразно отменять команду, если ее отдача была детектирована за определенное время до перевода системы в пассивное состояние, например за 200 мс до этого. Это может оказаться полезным в случаях, когда пользователь решает не отдавать команду, или если он обнаружит, что сделал саккаду, похожую на подтверждающую, не после предъявления стимула в позиции, соответствующей нужной ему команде, или с задержкой после такого предъявления.

Способ управления с помощью обычного моторного действия и стимулов мог бы быть реализован и без использования движений глаз (например, пользователь перестает давить на кнопку сразу после того, как увидит стимул в нужной управляющей позиции), но при этом исключается важный технический результат, достигаемый в предлагаемом изобретении, а именно возможность существенно затруднить сторонним наблюдателям доступ к информации о том, какие команды вводит пользователь.

Система может быть переведена на короткое время в активное состояние и заранее заданным глазным жестом.

Наконец, система может быть переведена на короткое время в активное состояние автоматически, например, в известное пользователю время (в начале каждой минуты, при этом пользователь видит секундную стрелку часов или же текущее время в секундах в числовом представлении) или при наступлении события, после которого может требоваться выбор команды (остановка инвалидного кресла после автоматического обнаружении препятствия - пользователю предоставляется возможность выбрать объезд препятствия слева или справа). В этих случаях может оказаться полезным предупреждать пользователя о предстоящем включении системы с помощью предупредительного сигнала, подаваемого за короткое время до его включения, например за 1 с до него.

Возможно использование различных сочетаний методов перевода системы в активное состояние. В частности, при использовании предлагаемого изобретения в банкоматах с целью исключения физического контакта пользователя со внешними поверхностями банкомата и/или затруднения доступа посторонних лиц к конфиденциальной информации первая активация системы происходит через некоторое время после вставления пользователем банковской карты в слот для нее, а далее активации происходят после подачи пользователям заданного глазного жеста либо через заданное время после выполнения предыдущей команды (пользователя каждый раз предварительно предупреждают о конкретном методе перевода системы в активное состояние).

Вместо подтверждающей позиции можно использовать заранее заданное направление подтверждения. Например, пользователю дают инструкцию после того, как он увидит стимул в позиции, ассоциированной с нужной командой, немедленно посмотреть вверх. Для выделения направления подтверждения, особенно если оно не является легко запоминаемым - например, в направлении 30° по часовой стрелке относительно направления вверх - целесообразно использовать заметные для пользователя маркеры. Пользователю сообщают, что он не должен задерживать взгляд на таком маркере, а вместо этого должен переводить взгляд значительно дальше него, в крайнюю позицию отклонения взгляда в том же направлении или в позицию, близкую к такой крайней позиции. Возможно использовать одновременно направление подтверждения и подтверждающую позицию: пользователю предлагают при появлении стимула в управляющей позиции сначала сделать саккаду в сторону позиции подтверждения, но как можно дальше, а затем вернуть взгляд в позицию подтверждения.

В некоторых случаях в качестве глазного жеста могут быть использованы не саккады, а прослеживающие движения глаз, фиксированные на заранее заданном движущемся объекте, либо на объекте, движущемся в заданном направлении, либо на объекте, с которым связывается выполнение отдаваемой команды. Например, стимулы могут предъявляться на прозрачном экране, через который видны движущиеся части робота. Увидев стимул в позиции, ассоциированной с нужной командой, пользователь немедленно переводит взгляд на ту движущуюся часть робота, к которой нужно применить отдаваемую команду, и фиксирует на ней взгляд, прослеживая ее движение, в течение короткого интервала времени (например, в течение одной секунды).

В качестве глазного жеста может быть использована последовательность любых из глазных жестов, описанных выше, в т.ч. одних и тех же (но, как правило, без возвращения взгляда в исходную позицию). Например, на экране монитора создают более одной позиции подтверждения, а пользователю дают инструкцию в качестве подтверждающего глазного жеста сделать саккаду в первую позицию подтверждения и затем в другие позиции подтверждения в заданном порядке. При использовании в качестве глазного жеста прослеживающих движений глаз можно рассматривать саккаду на движущийся объект, предшествующую фиксации взгляда на нем, как часть подтверждающего глазного жеста.

Предпочтительно выбирать такие последовательности глазных жестов, которые как можно реже могут быть сделаны спонтанно, без попытки отдать команду. При этом частота ложных тревог также может быть значительно снижена.

Повышению точности и скорости работы может способствовать автоматизация отдачи глазных жестов, которую, в свою очередь, может облегчить естественный характер глазных жестов. В некоторых случаях в связи с этим может оказаться полезным использовать разные глазные жесты для разных команд. Например, отдача команды инвалидному креслу повернуть налево может осуществляться с помощью саккады влево, повернуть направо - с помощью саккады вправо.

Когда в качестве глазных жестов используются саккады в единственную позицию подтверждения, предпочтительный метод облегчения, стабилизации и, по возможности, автоматизации глазных жестов заключается в показе непосредственно в этой позиции или рядом с нею информации об отдаваемой команде (например, ее словесного или графического обозначения). Этот метод должен быть эффективным в связи с тем, что перевод взгляда в позицию, где может быть получена важная в данный момент информация, является наиболее естественным.

Автоматизации саккад в позицию подтверждения может также способствовать показ обозначения команды в позиции подтверждения вместе с началом выделения соответствующей управляющей позиции, с продолжением ее показа в случае детекции отдачи данной команды. В этом случае позиция подтверждения также является местом получения обратной связи, но, кроме того, присутствие в ней обозначения вводимой команды, в особенности при наличии такого обозначения и в соответствующей управляющей позиции, может способствовать объединению этой управляющей позиции и позиции подтверждения в единый перцептивный или смысловой «гештальт», а это, в свою очередь, может способствовать более устойчивым и быстрым подтверждающим саккадам.

Реализация способа может предусматривать возможность для пользователя самостоятельно назначить глазной жест до начала отдачи команд. Для этого создается не менее одной управляющей позиции и пользователь делает предпочитаемый им глазной жест в ответ на стимул, появляющийся в единственной управляющей позиции или в одной из управляющих позиций. При этом регистрируются и анализируются движения глаз пользователя. Предпочтительно зарегистрировать глазные жесты в ответ, по меньшей мере, на несколько стимулов. Анализ сделанных при этом записей движений глаз в составе глазного жеста может включать, в частности, выделение сегмента записи, соответствующего глазному жесту, выделение движений глаз, из которых он составлен, и обучение классификатора распознаванию глазного жеста по совокупности характеристик движений глаз, составляющих глазной жест.

Регистрация движений глаз, анализ записей движений глаз, распознавание глазных жестов и отдача команд

К настоящему времени из уровня техники известно большое число способов регистрации и анализа движений глаз, распознавания и анализа саккад, прослеживающих движений глаз, а также глазных жестов. При реализации предлагаемого изобретения могут быть использованы любые из этих способов, наилучшим образом соответствующие задачам конкретной реализации.

Как правило, для регистрации движений глаз используется видеорегистрация изображений глаз с помощью видеокамеры, причем допустимо использование видеокамер со сравнительно невысоким разрешением, например веб-камер. В некоторых случаях более удобной может оказаться регистрация электроокулограммы.

Если регистрация движений глаз сама по себе недостаточна для того, чтобы отличить подтверждающие глазные жесты от спонтанных с надежностью, необходимой в конкретной реализации способа, или если желательно ее повышение, возможно сопровождение регистрации движений глаз регистрацией положения головы. В этом случае записи движений глаз и положения головы анализируются совместно.

Если используемый метод регистрации движений глаз позволяет хотя бы приблизительно определять координаты взгляда, полезно определять эти координаты непосредственно перед и после высокоамплитудных движений глаз и использовать эту информацию для обнаружения подтверждающего глазного жеста. При достаточно высокой точности определения координат взгляда эта информация может использоваться также для повышения точности детекции отдаваемой команды.

При использовании методов регистрации движений глаз, обеспечивающих лишь низкую точность оценки координат взгляда или лишь изменение этих координат (что характерно, например, для использования ЭОГ), уделяют особое внимание подбору подтверждающих глазных жестов и реализации способа в целом таким образом (например, используя включение системы лишь на короткое время), чтобы подтверждающие глазные жесты можно было отличить по записям движений глаз от подавляющего большинства спонтанных движений глаз.

В качестве ведущих признаков подтверждающих глазных жестов, как правило, целесообразно использовать соответствие направлений составляющих их движений глаз, а также их амплитуды ожидаемым направлениям и амплитуде. Если задано более одного подтверждающего глазного жеста, после обнаружения и анализа глазного жеста производится определение того, какой из заданных глазных жестов был использован. Если используется более одной управляющей позиции, производится определение стимула, в ответ на который был подан глазной жест, и ассоциированной с ним управляющей позиции.

Ожидаемые направление и амплитуда и при возможности координаты начала и конца составляющих глазные жесты движений глаз определяют исходя из ожидаемой ориентации головы пользователя относительно управляющих позиций и при их использовании позиций подтверждения и из расстояния до них от глаз пользователя, а также исходя из описания заданных глазных жестов. При наличии возможности эти данные корректируют в процессе использования способа.

Для определения стимула, в ответ на который был подан глазной жест, время начала подачи жеста корректируют (снижают путем вычитания) на величину, приблизительно равную 200 мс и при возможности рассчитанную более точно либо в исследовании с использованием данной реализации способа на группе испытуемых, являющейся достаточно репрезентативной выборкой относительно предполагаемой популяции потенциальных пользователей, либо при пробном использовании способа конкретным пользователем, либо иным образом. Полученное скорректированное значение указывает предположительное время начала стимула, в ответ на который подан данный глазной жест. Производят сравнение этого времени с зарегистрированным временем стимулов, появившихся, например, в течение последнего цикла стимулов или в течение некоторого фиксированного времени до начала данного глазного жеста (например, не ранее чем за 500 мс до его начала) и находят стимул, время начала которого наиболее близко, в сравнении с другими стимулами, к данному скорректированному времени начала подтверждающего глазного жеста.

При наличии возможности точно определять координаты взгляда их дополнительно используют как для идентификации глазного жеста, так и для идентификации управляющей позиции, в которую был направлен взгляд перед подачей глазного жеста.

Использование сигналов мозгового происхождения

В настоящее время разрабатываются гибридные технологии, совмещающие интерфейс мозг-компьютер и методы, использующие управление на основе отслеживания взгляда (например, Antonio Frisoli et al. (2012): A new gaze-BCI-driven control of an upper limb exoskeleton for rehabilitation in real-world tasks, IEEE Transactions on Systems, Man, And Cybernetics, Part C, Vol.42, No. 6, pp.1169-1179). Предлагаемый способ допускает естественное комбинирование с известной разновидностью неинвазивных интерфейсов мозг-компьютер, в которой используются реакции на стимулы (US7546158, US8155736). При таком комбинировании один и тот же стимул вызывает реакцию пользователя в форме подтверждающего глазного жеста и характерный паттерн в сигналах, неинвазивно регистрируемых от его мозга (сигналах мозгового происхождения), указывающий на повышенное внимание к данному стимулу в сравнение с другими стимулами. Благодаря этому может быть повышена точность определения стимула, соответствующего нужной пользователю команде, а следовательно, и точность детекции отдаваемой команды.

Наиболее практичным сигналом мозгового происхождения для использования в предлагаемом способе в настоящее время является электроэнцефалограмма (ЭЭГ). Однако в технологиях регистрации сигналов мозгового происхождения наблюдается существенный прогресс (см., напр., Т.Н. Sander et al. (2012), Magnetoencephalography with a chip-scale atomic magnetometer, Biomed. Opt. Express. Vol.3, No. 5, pp.981-990; S. Xu et al. (2006) Magnetic resonance imaging with an optical atomic magnetometer, Proc. Natl. Acad. Sci. USA. Vol.103, No. 34, pp.12668-12671; Dmitry Budker, Michael Romalis (2007) Optical magnetometry. Nature Physics, Vol.3, pp.227-234), и в дальнейшем может оказаться целесообразным использование, наряду или вместо ЭЭГ, также магнитоэнцефалограммы (МЭГ) и/или BOLD-сигнала, получаемого методом магнитного резонанса. Потенциально перспективным сигналом мозгового происхождения для использования в составе предлагаемого метода является также сигнал, получаемый с помощью околоинфракрасной спектроскопии (NIRS).

Сигнал мозгового происхождения может использоваться как в дополнение к данным о глазных жестах в ответ на стимулы, так и для получения данных о фиксациях глаз или для их уточнения на основе метода, предложенного в патенте US5649061.

Пример 1

Предложенный способ может быть использован для ввода персонального секретного кода (пин-кода) при проходе в помещение таким образом, чтобы исключить доступ к пин-коду посторонних лиц, а также исключить прикосновение рук к каким-либо поверхностям. Управляющие позиции указывают путем размещения цифр от 0 до 9 на экране размером 8x8 см. Зрительные стимулы предъявляют путем светодиодной подсветки этих цифр в случайном порядке на 200 мс с паузами 100 мс между подсветками, циклами, состоящими из подсветки каждой цифры по одному разу. Чтобы началось предъявление стимулов, пользователь подносит электронный пропуск (бесконтактную радиочастотную карту) к считывающему устройству, в случае его позитивной идентификации подается короткий звуковой сигнал и через 500 мс начинается первый цикл предъявления стимулов. Между окончанием каждого цикла (кроме последнего) и началом каждого следующего цикла после паузы длительностью 500 мс также подают звуковой сигнал и начинают новый цикл через 500 мс после него. С помощью глазных жестов в ответ на стимулы пользователь должен последовательно ввести четыре цифры, составляющие пин-код - по одной на цикл стимулов. Для этого, увидев подсветку цифры, находящейся в пин-коде на позиции, соответствующей (по порядку) текущему номеру цикла, пользователь делает глазной жест в виде быстрого перевода взгляда в заранее указанном ему направлении, например влево, и возвращает взгляд на экран.

Движения глаз регистрируют с помощью видеокамеры, установленной вблизи экрана. Возможно использование подсветки глаз с помощью источника инфракрасного излучения. Анализируют видеозапись движений глаз в интервалы времени от первого стимула до последнего стимула, входящих в каждый цикл, плюс 300 мс после окончания последнего стимула. При анализе видеозаписи определяют положение глаз, идентифицируют радужку и зрачки и оконтуривают их границы. Возможную подачу заданного глазного жеста обнаруживают на основе анализа изменений направления взгляда. В пределах каждого цикла определяют глазной жест, наиболее похожий на ожидаемый от пользователя, и время начала его подачи. Из этого времени вычитают 200 мс и находят стимул, время которого находилось ближе всего к полученному значению. Устройству идентификации пользователя отдают команду ввести ассоциированную с этим стимулом цифру в последовательность вводимых цифр. После того как длина этой последовательности становится равной четырем цифрам, ее сравнивают с пин-кодом данного пользователя, в случае совпадения устройство идентификации пользователя выдает разрешение на проход (открывают соответствующий замок и т.п.), а в случае расхождения - сообщение об ошибке.

Пример 2

При использовании предложенного способа в системе управления инвалидным креслом в ситуации, когда оно приближается к препятствию, условия для появления стимулов могут быть созданы путем проецирования светового пятна (например, лазерного указателя) в двух метрах от инвалидного кресла впереди него по пути его движения. Управляющей позицией в данном случае является позиция светового пятна. Заданным зрительным стимулом является попадание такого светового пятна на препятствие, столкновение с которым нежелательно и которое выступает над поверхностью, по которой осуществляется движение.

Пользователю сообщают, что при наступлении такого события инвалидному креслу можно отдать одну из трех команд: объехать препятствие слева - путем подачи глазного жеста в виде кратковременного перевода взгляда в крайне левое положение; объехать препятствие справа - путем подачи глазного жеста в виде кратковременного перевода взгляда в крайне правое положение; остановиться - путем подачи глазного жеста в виде кратковременного перевода взгляда вниз (При отсутствии детекции команды управление креслом осуществляется автоматически в соответствии с результатами анализа характера препятствия и на основе заданной программы.)

Регистрацию движений глаз пользователя осуществляют с помощью регистрации видеоизображения его глаз видеокамерой, закрепленной на инвалидном кресле. Возможно использование подсветки глаз с помощью источника инфракрасного излучения. При анализе видеозаписи определяют положение глаз, идентифицируют радужку и зрачки и оконтуривают их границы. С использованием существующих средств анализа координат взгляда приблизительно определяют, направлен ли взгляд в сторону светового пятна. Возможную подачу заданного глазного жеста обнаруживают на основе анализа изменений направления взгляда.

С помощью датчика расстояния до объектов на пути движения инвалидного кресла (например, интегрированного с лазерным источником светового пятна) получают сигнал, несущий информацию о появлении стимула, и путем его анализа определяют моменты времени появления стимула - т.е. детектируют моменты времени, когда происходит попадание светового пятна на потенциальное препятствие, выступающее над поверхностью. Для улучшения идентификации пользователем момента появления стимула сразу же после детекции попадания светового пятна на препятствие система автоматически выдает звуковой сигнал.

После этого в случае, если взгляд был направлен в ту же сторону, где находилось световое пятно, и обнаружен один из заданных глазных жестов с началом в интервале -100…+300 мс относительно начала звукового сигнала (учитывают возможность опережающей детекции попадания светового пятна на препятствие), определяют, был ли это глазной жест в виде взгляда влево, вправо или вниз, и подают инвалидному креслу команду, ассоциированную с данным глазным жестом. Детекцию глазного жеста производят также в случае, если взгляд до подачи звукового сигнала не был направлен в сторону светового пятна, однако был переведен приблизительно в его направлении через 150…300 мс после его подачи, и сразу после этого был зарегистрирован заданный глазной жест.