Исследовательская работа: «Дополненная реальность»

МУНИЦИПАЛЬНОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ДОПОЛНИТЕЛЬНОГО ОБРАЗОВАНИЯ

«ДЕТСКИЙ ТЕХНОПАРК «КВАНТОРИУМ»

Исследовательская работа

Номинация: Прикладная информатика.

Тема:

«Дополненная реальность»

Работу выполнила:

Ученик 3 класса, МОУ Гимназия № 45

Яхин Марат

Ученик 2 класса, МОУ Гимназия № 45

Фёдоров Роман

Ученик 4 класса, МОУ СОШ №23

Байрачный Максим

Ученик 4 класса, МОУ Гимназия № 45

Курипта Данил

Руководитель:

Носач Т.В.

ПДО МБОУ ДО Кванториум

г. Комсомольск-на-Амуре

2018

Оглавление

Введение.......................................................................................................... 3

1.  Живая иллюстрация как принцип создания дополненной реальности......... 5

1.1   Преимущества учебника с дополненной реальностью перед классическим

................................................................................................................................... 5

2.  Процесс «оживления» иллюстрации учебника окружающий мир с дополненной реальность……………………………………………………………………… 8

2.1   Настройка рабочей среды........................................................................... 8

2.2   Добавление объектов дополненной реальности......................................... 9

2.3   Проблемы и ошибки, возникшие при создании приложения................... 10

2.4   Дополненная реальность иллюстрация «Строение Земли»...................... 11

Заключение.................................................................................................... 15

Введение

Классические учебные пособия и учебники не всегда в полной мере отвечают притязаниям «цифровых учеников», стремящихся успеть везде и незамедлительно. О необходимости реформации существующей на данный момент системы образования, сегодня говорят все, даже те, чья сфера деятельности далека от образования.

Практически единогласно многие учителя утверждают, что существующие электронные учебники и пособия не редко представляют собой или оцифрованные бумажные версии материалов с минимальным интерактивом, или «игрушки», не несущие за собой большой образовательной ценности.

Но все это уже остается в прошлом, ведь использование учебников с дополненной реальности AR (augmentedreality) позволяют не только визуализировать учебный материал, но и совмещать виртуальную реальность с физическим окружением, соприкоснуться с миром 3D, а значит сделать его более ярким, насыщенным, запоминающимся и даже более близким современным ученикам.

Несмотря на то, что технология дополненной реальности действительно является актуальной и обладает рядом преимуществ перед традиционным обучением, возникает ряд проблем ее внедрения в образование. Главными проблемами внедрения AR-технологии в образовании является недостаточное количество готовых разработанных русскоязычных мультимедийных пособий и учебников.

Исходя из актуальности проблемы, была определена тема проекта:

«Живой учебник по информатике с дополненной реальностью».

Объект исследования– технология дополненной реальности (AR).

Предмет исследования – учебник окружающего мира с дополненной реальностью.

Целью работы является создание «живой» иллюстрации учебника по окружающему миру с дополненной реальностью.

Для достижения цели решались следующие задачи:

1.                     Провести сравнительный анализ и привести примеры готовых учебников с дополненной реальностью, а также описать необходимость внедрения данной технологии в образовательный процесс.

2.                     Изучить концепцию дополненной реальности, и возможности реализации ее с помощью интегрированной среды разработки EV Toolbox..

3.                     Разработать и апробировать фрагмент «живого» учебника по окружающему миру.

В ходе выполнения работы была выдвинута следующая гипотеза, что созданное приложение в виде «живой» иллюстрации по окружающему миру с дополненной реальностью, несомненно, позволит обеспечить качественное обучение учащихся.

В ходе написания работы использовалась следующая методология: логический метод – анализ, обработка и сравнение различных данных и источников; моделирование и практический подход.

Научная новизна работы заключается в том, что на сегодняшний день тема использования дополненной реальности в образовании малоизученна, и нуждается в практическом внедрении ее в образование.

Практическая значимость работы заключается в том, что предложенную разработку можно апробировать на различных уроках для повышения мотивации учащихся к образованию.

Работа состоит из введения, двух глав, заключения и перечня используемых источников информации.

1.  Живой учебник как принцип создания дополненной реальности

1.1 Преимущества учебника с дополненной реальностью перед

классическим

Дополненная реальность очень эффективно влияет на образовательный процесс человека. Дело в том, что AR создает эффект присутствия, очень ясно отображает связь между реальным и виртуальным миром. 3D - изображение погружает человека в другую, виртуальную реальность, а движущиеся в нем объекты психологически и эмоционально привлекают человека, при этом активируя его внимание и восприимчивость к информационной составляющей. Вне зависимости от изучаемого предмета дополненная реальность привлекает к обучению учеников любого возраста своей простотой, наглядностью, красочностью и, самое главное, понятностью. AR-технологии создают привычную и удобную атмосферу для большинства школьников и повышают мотивацию к получению новых знаний.

Пользуясь приложениями с дополненной реальностью, ученики могут управлять объектами AR: перемещать их, поворачивать, изменять масштаб, рассматривать с разных сторон — другими словами, взаимодействовать с различными интерактивными элементами. Это дает большой импульс к развитию пространственного мышления, повышает качество получаемой информации и её усвоения, делает изучаемый предмет более привлекательным, способствует увеличению уровня познания. Благодаря синхронному объединению визуальной и аудильной информации, которая происходит в реальности, создается полное погружение в информационную среду и активизируется интерес к ее восприятию. Ученики могут с равной степенью достоверности восприятия увидеть во всех  подробностях известные музейные экспонаты, увидеть опасные физические и химические явления, провести экпериментально-практические работы на виртуальном оборудовании, которые в реальных условиях проблематично осуществить.

Обучение с использованием дополненной реальности имеет также и материальные плюсы: исчезнет потребность в приобретении стендов, громоздких плакатов, досок и прочих наглядных пособий, сократятся расходы на печать бумажных учебников. Размещенный перед камерой двумерный маркер, с которого считывается и анализируется вся информация,

—   вот   и   все,   что   необходимо  для   получения  эффекта   дополненной реальности.

Проанализировав современную ситуацию с внедрением дополненной реальности в российскую систему образования, можно сделать вывод о том, что сейчас, к сожалению, нет четкого движения в этом направлении, так как отсутствуют конкурентно-способные учебники с дополненной реальностью и мобильные приложения, позволяющие внедрять AR-технологии на местах обучения.

Использование дополненной реальности открывает много новых возможностей в обучении и образовании, которые слишком сложны, затратны по времени или дороги при традиционных подходах, если не всё одновременно. Можно выделить несколько основных достоинств применения AR технологий в образовании.

Наглядность. Используя 3D-графику, можно подробно показать химические процессы вплоть до атомного уровня. Причем ничто не запрещает углубиться еще дальше и показать, как внутри самого атома происходит деление ядра перед ядерным взрывом. Дополненной реальность способна не только дать сведения о самом явлении, но и продемонстрировать его с любой степенью детализации.

Безопасность. При изучении явлений угрожающих жизни и здоровью обучающихся на помощь приходят учебники с дополненной реальностью.

Вовлечение. Дополненная реальность позволяет менять  сценарии, влиять на ход эксперимента или решать математическую задачу в игровой и доступной для понимания форме. Во время дополненного урока можно

увидеть мир прошлого глазами исторического персонажа, отправиться в путешествие по человеческому организму и т.д.

Виртуальные уроки. Вид от первого лица и ощущение своего присутствия в нарисованном мире — одна из главных особенностей дополненной реальности.

Традиционный урок в своём виде остается, как и прежде, но дополненная реальность позволяет модернизировать урок, вовлечь учеников в учебный процесс, наглядно иллюстрировать и закрепить материал.

Однако помимо всего, данная технология имеет ряд недостатков.

Объем. Любая дисциплина довольно объемна, что требует больших ресурсов для создания контента на каждую тему урока — в виде полного курса или десятков и сотен небольших приложений. Компании, которые будут создавать такие материалы, должны быть готовы заниматься разработкой довольно продолжительное время без возможности ее окупить до выхода полноценных наборов уроков.

Функциональность. Дополненная реальность, как и любая технология, требует использования своего, специфического языка. Важно найти верные инструменты для того, чтобы сделать контент наглядным и вовлекающим. К сожалению, многие попытки создания обучающих AR-приложений не используют все возможности виртуальной реальности и, как следствие, не выполняют своей функции.

Проанализировав текущую ситуацию в образовании, мы пришли к выводу, что на современном этапе наилучший вариант — это книги с дополненной реальностью (ARB, Augmented Reality Book). Они обладают следующими очень существенными преимуществами: Не требуется кардинальное изменение методики преподавания. Мы не ликвидируем бумажные учебники, к которым за много веков привыкли и педагоги, и обучаемые, а расширяем возможности учебника. Это эволюционный, а не революционный путь.

2.  Процесс «оживления» иллюстрации с дополненной

реальностью

2.1   Настройка рабочей среды

С чего начать разработку приложения дополненной реальности для учебника по информатике? Начать надо с того, чтобы скачать и установить на компьютер кроссплатформенный инструмент для разработки компьютерных игр – unity, EV Toolbox (бета версия).

Теперь можно приступать к настройке. Во вкладке «file» найдем вкладку«build settings». Далее в разделе «platform» найдем платформу android

- изначально на EV Toolbox.  можно делать проекты только на windows. Поэтому чтобы приложение работало на телефонах и планшетах с операционной системой android, необходимо скачать соответствующую платформу. Это можно сделать, нажав на вкладку «open download page». Теперь, чтобы EV Toolbox.  успешно создавал проекты на платформе android, необходимо скачать и установить следующие программы: Android studio, java, Android NDK.

Android studio — это интегрированная среда разработки (IDE) для работы с платформой Android. она была разработана в мае 2013 года, но первая стабильная версия была выпущена в декабре 2014 года. Программа написана на языке C++ и предоставляет самые быстрые инструменты для создания приложений на всех устройствах Android.

Что такое java? Java представляет собой язык программирования и платформу вычислений, которая впервые была выпущена в 1995 году компанией Sun Microsystems. Java отличается быстротой, высоким уровнем защиты и надежностью. Сейчас существуют такие сайты, которые не будут работать, если на компьютере не установлена java.

Android NDK (nativedevelopmentkit) – это набор инструментов, которые позволяют реализовать часть приложения используя такие языки как С/С++. NDK используется только в редчайших случаях.

Скачать вышеперечисленные программы можно прямо из unity- EV Toolbox (бета версия). Для этого найдем вкладку «edit» далее «preferences» (см. приложение 5). В появившемся окне выберем вкладку «External Tools». Далее в разделе android под пунктами «SDK», «NDK», «JDK» есть вкладка «download». Скачав и установив программы, необходимо указать путь их расположения. Сделать это можно выбрав вкладку «browse».

Чтобы создать приложение дополненной реальности, недостаточно установить unity- EV Toolbox (бета версия) и все необходимые программы. Важную роль в создании приложения дополненной реальности играет Vuforia. Vuforia — это платформа дополненной реальности и инструментарий разработчика программного обеспечения дополненной реальности для мобильных устройств. Данная платформа разработана компанией «Qualcomm». Её особенность в том, что она использует технологии компьютерного зрения, а также отслеживания плоских изображений и простых объёмных реальных объектов в реальном времени.

2.2   Добавление объектов дополненной реальности

Как сделать так, что бы изображение из учебника заменилось другим изображением или 3d моделью? Нужно загрузить изображение из базы данных, которая была импортирована в Unity- EV Toolbox (бета версия), и наложить на неё нужное изображение или 3dмодель. Первым делом требуется сохранить текущую сцену. Это пригодится во время компиляции приложения. Зайдем в раздел «file» и нажмем «save scenes» - укажем путь сохранения сцены. Прежде чем приступить к работе с картинками, нужно удалить камеру, которая находится в программе по умолчанию, и добавить на сцену AR камеру, она располагается в assets: vuforia Prefabs. Далее, если выделить AR камеру, справа появятся различные настройки. Открыв «open vuforia configuration», в раздел «app license key» вставим пароль, который был скопирован с сайта Vuforia, а в разделе «datasets» поставим 2 галочки - это означает, что Vuforia будет видеть  базу  данных,  и  работать  с изображениями,  которые там находятся. Работа с камерой закончена, теперь переходим к объектам. Открываем программу 3Д Макс и создаём 3д модель нашей планеты с различными слоями. Накладываем текстуру и создаём анимацию. Далее импортируем в объекты готовую модель. Для дальнейшей работы.

Найдем файл «imagetarget», он находится в папке vuforia: prefabs. перетащим его на сцену и откроем его настройки - в разделе «database» нужно указать базу данных, а в разделе «Imagetarget» - изображение, которое будем «оживлять». Так вместо белого квадрата появится изображение. Это изображение, по которому Vuforia будет определять, каким объектом его надо дополнить. Теперь нужно загрузить в Unity изображение, которое будет дополнять реальность, и открыть его настройки. В разделе «texture type» укажем «sprite», далее сохраним настройки, нажав «apply». Перетащим сохраненное изображение на сцену и привяжем его к Imagetarget. Таким образом, Vuforia будет заменять изображение в учебнике на другое изображение. 3d модели добавляются по аналогии. Теперь необходимо к каждому изображению из учебника привязать. В ходе создания приложения получилась следующая программа.

2.3   Проблемы и ошибки, возникшие при создании приложения

При создании приложения, чего и стоило ожидать, возникли некоторые ошибки и проблемы:

1.  При компиляции Unity выдавал ошибку о том, что не нашел SDK и JDK.

2.  Unity завершал компиляцию во время проверки установленных платформ и выдавал ошибку.

3.     Unity выдавал ошибку при создании APK-файла и советовал смотреть консоль для подробностей.

В чем же заключалась суть этих ошибок и как их решить? Первая ошибка бала устранена очень быстро. Unity сообщал, что он не может найти SDK и JDK. Это было написано в консоли и, данная проблема была быстро устранена с небольшой помощью интернета.

Вторая проблема - самая загадочная. На её решение потребовалась неделя. В течение недели были перепробованы все варианты, связанные с платформой Android: скачаны все платформы Android, переустановлен Android SDK, перепробованы все настройки компиляции рабочей среды –

ничто   не   помогало.  На   форуме  многие   люди   сталкивались  с   данной

проблемой, но никто не мог предложить четкого и внятного ответа. Но один программист предложил достаточно корректное и вполне вероятное решение проблемы. Все дело было в SDK. Нужно было заменить папку Platform-tools папкой, которую предлагалось скачать. После замены проблема была успешно устранена. Программист объяснял это тем, что папка Platform-tools была устаревшей, и предлагал свою обновлённую версию.

Третья ошибка была устранена, созданием ключа и хранилища ключей. Решение данной проблемы не заняло много времени и достаточно подробно описывается на всевозможных форумах. После решения вышеописанных проблем, приложение было успешно скомпилировано, установлено и протестировано.

           2.4 Дополненная реальность иллюстрация «Строение Земли»

Печатная продукция с дополненной реальностью становится все популярнее. В последнее время спрос на печатную продукцию снижается,  так как молодое поколение читателей все больше отдают предпочтение электронным устройствам.

Было принято решение о том, чтобы «оживить» иллюстрацию  для начальных классов,

Первоначально, самой главной проблемой было, подобрать коллекцию статических и динамических изображений для использования их в дополненной реальности к иллюстрации. Так как качественных готовых 3д моделей относящихся к нашей теме цели на просторах Интернета достаточно мало, то было принято решение об использовании создать объекты в программе трёхмерного моделирования.

В процессе создания дополненной реальности к иллюстрации были использованы маркер в виде изображения на бумажном носителе, так как она более стабильна и мобильна приложение достаточно легко их распознает.

Проблемой на данный момент стала необходимость наполнения иллюстрации не только статическими изображениями, но и видеофрагментам. В программе 3д макс мы создали анимацию с движением. Методом проб и ошибок, создается новый скрипт для ОСAndroid, но пока загруженное видео «подвисает». Дальнейший этап развития нашего проекта предусматривает. Создание учебника по окружающему миру для начальных классов с дополненной реальность

В дальнейшем планируется разнообразить учебник дополненной реальностью 3d-объектами, так как они позволяют рассмотреть объект под различными углами и заглянуть вовнутрь изучаемого объекта

По нашему мнению, использование данной технологии дополненной реальности в учебниках имеет ряд преимуществ и одно из самых главных – это то, что нет привязки к интернету, и есть возможность использовать данное приложение в независимости от месторасположения и удаленности объекта. Также технология будет отлично вписываться в технологию дистанционного обучения, так как она мотивирует к изучению учебного материала, способствует привлечению внимания к содержанию темы, обобщает и систематизирует изученный материал в виде опорных конспектов.

К недостаткам можно отнести такие факторы, как при установке приложения на телефон, может понадобиться увеличение пространства памяти. Поскольку данное мобильное приложение пока только еще создается и постоянно трансформируется, то точно определить его размер пока не представляется возможным. Но вследствие того, каким контентом его наполним, объем памяти однозначно будет расти, поэтому, скорее всего, в будущем возникнет необходимость по оптимизации данного приложения по расходу занимаемой памяти.

Еще одним существенным недостатком может быть то, что в телефоне необходима достаточно хорошая встроенная цифровая камера для лучшего воспроизведения дополненной реальности. При тестировании созданного приложения мобильной версии, камера с разрешением 3Мегапикселя достаточно  неплохо  откликалась  на  маркеры  в  виде  изображений,  а  вот

текстовые  маркеры  не  всегда  проходили  тестирование,  хотя  при  более

долгом наведении на текст, дополненная реальность появлялась, но при резком скачке или дрожании объектива исчезала.

На данном этапе приложение проходит тестирование, о результатах которого будет представлен краткий отчет, который станет технической характеристикой для системных требований для смартфонов и планшетов.

Заключение

Проведя анализ отечественного рынка книгопечатной индустрии, можно сделать вывод, что данная ниша мало заполнена. Набор учебников с дополненной реальностью практически отсутствуют, а те немногочисленные приложения, которые существуют в сети Интернет, не обладают нужными характеристиками. Всё больше возникает необходимость в создании

«живых» учебников, так как это, несомненно, способствует более глубокому восприятию информации учениками.

В ходе написания работы выявились, как положительные, так и отрицательные тенденции внедрения AR-технологии в образование. К положительным можно отнести наглядность, воспроизводимость, интегрированность, мультимедийность, а главным недостатком внедрения AR-технологий в образование является высокая стоимость и здоровье сбережение.

Все выше сказанное, вызвало необходимость в создании живого учебника по окружающему миру. Выбор учебника был сделан не случайно, так как процесс обучения окружающему миру начинается с начальных классов, и для того чтобы активизировать познавательный интерес школьников было принято решение в создании «живого» учебника. В ходе проектирования учебника, возникали трудности, которые были успешно решены путем самообразования и поиска дополнительных компьютерных сообществ. Первым этапом было создание иллюстраций с дополненой реальностью.

Созданные «живой» иллюстрации учебника, были представлены учащимся начальной школы при изучении темы «Строении Земли», предложенная 3d модель помогла учащимся более подробно рассмотреть Строение Земли с разных ракурса.

Считаем, что поставленная нами цель достигнута в полном объёме, и в качестве перспективы на будущее, имеется возможность развития данной идеи в качестве оживления всего учебника по окружающему миру.

Список литературы

1.                     Алексанова Л.В. Технология дополненной реальности как часть социальной коммуникации // молодежь XXI века: образование, наука, инновации Материалы II Всероссийской студенческой научно-практической конференции с международным участием, Новосибирск: НГПУ, 2013 – С. 38- 40.

2.                     Арсентьев Д.А. Внедрение элементов дополненной реальности в учебно-методическую литературу / Д.А.Арсентьев // В сборнике: Университетская книга: традиции современность материалы научно- практической конференции. – 2015 – С.18-22.

3.                     ЗайцеваА.О. Разработка мобильного приложения для захвата и визуализации стереоизображений [Текст]. — Межвузовская научно- техническая конференция студентов, аспирантов и молодых специалистов им. Е.В.Арменского. Материалы конференции. - М.: МИЭМ НИУВШЭ, 2016

- 412

4.                     Кириллов Д.Ю., Ильина Л.А. Создание 3D-панорам // В сборнике: Информатика и вычислительная техника сборник научных трудов. Чебоксары, 2016. С. 96-97.

5.                     Лебедев Л.И., Системы виртуальной реальности. Учебно- методическое пособие–Нижний Новгород: Нижегородский госуниверситет, 2012 С. 48

6.                     ЛежебоковА.А., КравченкоЮ.А., ПащенкоС.В., Особенности использования технологии дополненной реальности для поддержки образовательных процессов, Открытое образование. 2014 № 3 (104). С. 38– 54.

7.                     Лисовицкий     А.     Оживление     искусства     с     дополненной реальностью.             [Электронный             ресурс].             -              Режим доступа:URL:http://arnext.ru/articles/ozhivlenie-iskusstva-s-dopolnennoy- realnostyu-3611

8.            Лихачёв Н. В GoogleTranslate добавили дополненную реальность и               синхронный            перевод             [Электронный            ресурс].– URL:https://tjournal.ru/p/google-translate-sync-release

9.                     Лямов       Ю.О.       Технология       дополненной       реальности

//Современнаятехникаитехнологии.2014№9[Электронныйресурс].– URL:http://technology.snauka.ru/2014/09/4567

10.                 МитраА.У дополненной реальности проблемы с отображением. [Электронный ресурс]. –URL:http://holographica.space/articles/blippar-1774

11.                 Мытников А.Н., Мытникова Е.А., Кузнецова Л.Н., Солин С.Ю. Технологии разработки мобильных приложений // Теория и практика современной науки. — 2016. — № 4 (10). — С. 504-507.

12.                 Попов Д.И. Информационные технологии. Базы данных /Д.И. Попов, Е.Д. Попова. – М.: МГУП, 2009 – 117 с.

13.                 Юрьева Б.В. Виртуальная реальность в образовании, науке, инженерии: примеры применения и преимущества [Текст] // Юрьева Б.В. Сборник материалов Всероссийской научно-методической конференции

«Виртуальная и дополненная реальность-2016: состояние и перспективы», 28

– 29 апреля 2016 г. – c. 366-386.

17

Приложение 1

Рис. 2. Официальный сайт Unity

Приложение 2

Рис. 3. Скачивание Unity

Приложение 3

Рис. 4. Создание проекта в Unity

Приложение 4

Рис. 5. Рабочая среда Unity

Приложение 5

Рис. 6. Работа с программой

Приложение 6

Рис. 7. Сайт Vuforia

Приложение 7

Рис. 8. Регистрация

Приложение 8

Рис. 9. Импорт в рабочую среду Unity дополнительных файлов

Приложение 9

Рис. 10. Создание лицензионного ключа

Приложение 10

Рис. 11. Готовая к компиляции программа

Рис. 13. Иллюстрация с дополненной реальностью