Добавить материал и получить бесплатное свидетельство о публикации в СМИ
Эл. №ФС77-60625 от 20.01.2015
Инфоурок / Информатика / Научные работы / Разработка системы управления жестами

Разработка системы управления жестами

  • Информатика

Поделитесь материалом с коллегами:

А.В. Ломакина

Научный руководитель к.ф.-м.н., доцент М.С. Лопатин

Разработка системы управления жестами в задачах автоматизации создания дизайна интерьера

Распознавание жестов имеет преимущества перед другими средствами ввода, такими, как клавиатура, мышь или сенсорный экран, в частности, большее количество степеней свободы для управления, отсутствие механического износа устройств управления, возможность одновременной работы нескольких пользователей. Целью исследования является изучение технологии разработки системы управления жестами для программного обеспечения дизайна интерьера.

Информацию о жестах в компьютер можно вводить с помощью различного оборудования: средств графического ввода (камера, портативный радар), средств сбора данных об электрической активности мышц. Управление жестами возможно в газовой среде, в жидкости, на сенсорной поверхности. Основной ожидаемый эффект от применения таких интерфейсов заключается в улучшении эргономичности и удобства управления.

Система распознавания жестов, как правило, состоит из 3 блоков: ввода, распознавания, реагирующего. К бесконтактным технологиям считывания жеста относятся: Kinect, LeapMotion, Project Soli (с применением радара).

Для разработки, предлагаемого автором, интерфейса управления жестами необходимы следующие компоненты:

  • SketchUp - открытой среды 3D моделирования для визуализации результатов управления жестами;

  • LeapMotion или Kineсt - устройства восприятия жестов;

  • Oculus Rift или ноутбук с веб-камерой - устройства графического вывода для визуализации результатов управления жестами;

  • система жестов, воспринимаемая компьютером.

Среда SketchUp поддерживает базовый набор действий по манипулированию 3D-объектами и сценой. Для среды SketchUp уже разработана и постоянно пополняется большая коллекция 3D объектов, размещенных на сайте 3D Warehouse, которая обеспечит возможность создания интерьера, имея большую базу предметов для него. SketchUp используется разработчиками как компонент в составе другого программного обеспечения, благодаря открытому API, посредством которого можно получить доступ к функционалу программы.

Устройство для управления жестами в технологии LeapMotion заменяет манипулятор типа «мышь» или сенсорный дисплей для управления компьютером. Перед устройством образуется мнимый куб со стороной примерно 61 сантиметр, в котором пользователь располагает свои руки для работы. В этом пространстве Lеар отслеживает движения и жесты человека точностью до 0.01 миллиметра. Устройство распознает положение десяти пальцев.

В устройстве Kineсt размещаются два сенсора. Один из них является инфракрасным, он сканирует окружающее пространство. Второй сенсор помогает преобразовать полученные данные в 3D-проекцию и далее обеспечить отслеживание движений человека внутри нее. Встроенный процессор измеряет по всему полю зрения сенсора расстояния от камеры до сцены. Система записывает движения человека как набор движущихся точек, данные считываются каждую десятую долю секунды.

Oculus Rift – шлем виртуальной реальности оснащен 7-дюймовым жидкокристаллическим дисплеем с разрешением 1280х800 (640х720 на каждый глаз) точек с частотой обновления изображения 60 Гц. Oculus Rift имеет блок движения и датчики ориентации с частотой дискретизации до 1 кГц. Блок датчиков включает в себя гироскоп, акселерометр и магнитометр. Шлем позволяет отслеживать движения головы и ее ориентацию в пространстве. Благодаря этому можно осматривать виртуальное пространство поворачивая голову в любом направлении.

Существуют различные категории жестов управления: пальцевые жесты (для устройств с сенсорными экранами), жесты руками (для устройств типа Kinect, МУО), комплексные жесты, использующие движения различных частей тела или состоящие из нескольких простых (Wii, Kinect).

Предлагаемая система жестов (см. рис. 1) в качестве опорного базиса команд включает: жесты масштабирования, перемещения, множественного и единичного выбора объектов, открытия/закрытия меню и удаления объектов.

hello_html_47a462b2.jpg

Рисунок 1. Эскизы жестов, для реализации в интерфейсе управления

Такая система жестов уже позволяет создавать дизайн интерьера, дублируя работу пунктов меню программы SketchUp. В дальнейшем базовая система управления жестами может быть дополнена следующими категориями жестов:

  • лепки/выдавливания, по аналогии с инструментами скульптора;

  • рисования линии в 3D;

  • определения границ области в пространстве и на плоскости среза пространства.

Такое дополнение системы жестов позволит воплощать более сложные творческие замыслы дизайнеров, и расширит возможности системы SketchUp новыми операциями по управлению виртуальными объектами в пространстве.

Технологии интерфейсов управления жестами можно использовать в задачах планировки помещений и дизайна интерьера. С помощью простых жестов можно подобрать цвет окружающих предметов, выбрать подходящую мебель, определится с планировкой комнаты находясь в своей квартире (например, мобильное приложение IKEA). Полученный результат можно сохранить в виде графического файла, интерактивной панорамы или виртуальной комнаты.

Предлагаемый подход к созданию интерфейса управления является новым, но предполагает использование существующего оборудования. По мнению автора, он позволит решать профессиональные задачи быстрее, легче и эффективнее, чем при использовании других подходов к управлению посредством персонального компьютера.


Список литературы

1. Robert Y. Wang and Jovan Popovic, (2009), "Real-Time Hand-Tracking with a Color Glove", ACM Transactions on Graphics, Vol. 28(3).

2. Pavlovic, V., Sharma, R. & Huang, T. (1997), "Visual interpretation of hand gestures for human-computer interaction: A review", IEEE Trans. Pattern Analysis and Machine Intelligence., July 1997. Vol. 19(7), pp. 677 -695.

3. A Erol, G Bebis, M Nicolescu, RD Boyle, X Twombly, "Vision-based hand pose estimation: A review", Computer Vision and Image Understanding Volume 108, Issues 1- 2, October—November 2007, Pages 52-73 Special Issue on Vision for Human-Computer Interaction

4. Зырянов А.В. Программный комплекс пользовательского интерфейса на базе манипуляционных устройств ввода. [Текст]: автореф. дис. канд. физ.-мат.наук / А.В. Зырянов – Екатеринбург, УрГУ 2010. – 24 с

5. Ташев И. «Kinect, прием», интервью электронного журнала Lenta.ru: Наука и техника. 2011. [Эл. ресурс] URL: http://lenta.ru/articles/2011/06/15/kinvoice/

6. Рюмин Д.А. Автоматизированная система распознавания отдельных жестов рук человека с применением сенсора Kinect. - Санкт-Петербург.


Автор
Дата добавления 16.04.2016
Раздел Информатика
Подраздел Научные работы
Просмотров92
Номер материала ДБ-035974
Получить свидетельство о публикации

Включите уведомления прямо сейчас и мы сразу сообщим Вам о важных новостях. Не волнуйтесь, мы будем отправлять только самое главное.
Специальное предложение
Вверх