Моделирование информационной системы голосового управления персональным компьютером. Методический материал для 11-го класса

Моделирование информационной системы

голосового управления персональным компьютером.

Методический материал для 11-го класса

Настоящий методический материал используется  на уроках информатики в 11-м классе и предназначен для иллюстрации практического применения при моделировании реальных систем. Разработан в развитие темы «Модели оптимального планирования» (Параграф 20 И.Г. Семакин и др., Информатика. 11 класс,М.: Бином, Лаборатория  знаний, 2014)

 

 

1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ

По мере развития компьютерных систем становится все более очевидным, что использование этих систем намного расширится, если станет возможным использование человеческой речи при работе непосредственно с компьютером, и в частности станет возможным управление машиной обычным голосом в реальном времени, а также ввод и вывод информации в виде обычной человеческой речи.

Сейчас никого не удивить телефоном, способным голосом ответить на вопросы о погоде, времени или рассказывающем о значении слова и т.п. Что буквально 5 лет назад было фантастикой. Но если попытаться найти, похожее программное обеспечение на ПК, то каких-то реальных коммерческих проектов нет и это, не смотря на явное превосходство их над мобильными устройствами в плане производительности, хотя этот разрыв очень быстро сокращается.

Основной задачей приложения является обеспечение удобного и эффективного интерфейса взаимодействия человека с компьютером посредствам голосовых команд, благодаря которому люди с ограниченными возможностями смогут взаимодействовать с компьютером.

2. АНАЛИЗ НАЗНАЧЕНИЯ ИНФОРМАЦИОННОЙ СИСТЕМЫ

В настоящее время вычислительная техника используется во многих областях человеческой деятельности, являясь удобным и многофункциональным инструментом для решения широкого круга задач. Однако, пользователи ПК вынуждены использовать способы взаимодействия, слабо адаптированные к возможностям человеческого общения и ограничивающие способности человека к обмену информацией. Основная цель усовершенствования и развития интерфейса человек-компьютер заключается в организации обмена информацией с компьютером таким образом, чтобы:

·               снизить время освоения программных и аппаратных средств;

·               снизить уровень ошибок при передаче информации;

·               сделать работу с компьютером возможной для людей, не имеющих возможности пользоваться традиционными средствами интерфейса;

·               снизить утомляемость, увеличить субъективное удовлетворение пользователя от работы;

Для достижения поставленных целей необходимо применение средств взаимодействия, более полно использующих коммуникативные способности человека. Человек наделен большим количеством возможностей воспринимать и передавать информацию: зрение, слух (в том числе устная речь), жесты и движения, мимика, осязание и другими. Во взаимодействии человека и компьютера существуют два информационных потока:

·               управляющие команды и данные, передаваемые компьютеру для обработки;

·               результаты вычислений и другая информация, представляемая компьютером пользователю.

Распространенный в настоящее время человеко-машинный интерфейс использует зрение, как основной канал представления информации пользователю, отображая данные в виде условных знаков на экране компьютера. Воспринимать информацию естественными для человека способами (распознавать речь, жесты, мимику и т.д.) современные средства интерфейса практически не в состоянии. Лицо человека является важным источником информации при общении между людьми. Выражение лица, мимика, артикуляция при разговоре, движения головой являются удобным, естественным и, что важно, необременительным способом передачи информации. Неспособность компьютера с одной стороны воспринять, а с другой стороны воспроизвести столь естественные для человека способы общения затрудняет передачу и восприятие информации при работе с компьютером.

Для обеспечения эффективного речевого диалога между пользователем и ПК необходимы устойчивые системы распознавания речи.

3. ОБОСНОВАНИЕ НЕОБХОДИМОСТИ РАЗРАБОТКИ

Главной задачей является создание системы, способной работать с наиболее популярными ОС и поддерживающей взаимодействие с внешними устройствами по средствам голосовых команд. Система имеет следующие особенности:

§    Позволит людям с ограниченными возможностями работать с компьютером.

§    Сможет занять неиспользуемую нишу интерфейсов взаимодействия с ПК.

§    Будет базироваться на отечественных разработках в области распознавания и синтеза речи.

Данная информационная система позволит людям с ограниченными возможностями пользоваться персональным компьютером на ровне с другими людьми. Это является основной причиной для разработки данной системы.

Система должна решать следующие задачи:

№	Задачи
1.	Экономия времени за счет управления электронными устройствами с помощью Системы.
2.	Дать возможность людям с ограниченными возможностями работать с компьютером.
3.	Упрощение работы с компьютером для неопытных пользователей ПК.

4. ОСНОВНЫЕ ТРЕБОВАНИЯ

4.1. Требования к системе в целом

4.1.1. Требования к структуре и функционированию системы

4.1.1.1. Перечень подсистем, их назначение и основные характеристики.

В программе предполагается взаимодействие с внешними звуковыми устройствами, поэтому имеет смысл отдельно выделить звуковой модуль, который отвечает за взаимодействие как с устройствами ввода (микрофон), так и с устройствами вывода (колонки, наушники).

Так как основной задачей является распознавание голоса и синтез речи с использованием сервиса Yandex Speech Kit, то так же отдельно вынесли методы работы с API Speech Cloud.

Теперь, когда имеется звуковая дорожка и ее текстовое представление можно производить анализ данных: поиск в тексте управляющих команд или

генерации аудио-ответа для пользователя. Функции анализа и выбора последующих действий является ключевым моментом работы системы, поэтому модуль, отвечающий за эти операции, назван «ядром системы». Основная задача ядра - это организация взаимодействия отдельных модулей и менеджеров.

4.1.1.2.Требования к способам и средствам связи для информационного обмена между компонентами системы.

В качестве протокола взаимодействия между компонентами Системы на транспортно-сетевом уровне необходимо использовать протокол TCP/IP.

Так как реализация собственной нейронной сети для распознавания и синтеза речи невозможна, будет использоваться нейронная сеть Яндекса, точнее сервис SpeechKit Cloud, взаимодействие с которым будет осуществляется через API (application programming interface). Именно это взаимодействие будет имплементировано в модулях распознавания и синтеза речи.

4.1.2. Требования к численности и квалификации персонала системы и режиму его работы

К квалификации персонала, эксплуатирующего Систему, предъявляются следующие требования:

конечный пользователь – имеет уровень опытного пользователя; опыт работы с ПК и с ОС Windows 7 и выше.

4.1.2.3. Требования к режимам работы персонала

Система реализуется на персональных компьютерах, поэтому требования к организации труда и режима отдыха при работе с системой должны устанавливаться с учетом этого типа вычислительной техники.

4.1.3. Показатели назначения

Время отклика системы для операций навигации по экранным формам системы не должно превышать 5 сек.

Время отклика системы для операций распознавая голосовых команд и ответной реакции на них складывается из скорости работы внешней сети, а также производительности удаленных серверов и их загруженности.

4.1.4. Требования к эргономике и технической эстетике

Взаимодействие пользователей с приложением, входящим в состав системы должно осуществляться посредством визуального графического интерфейса (GUI). Навигационные элементы должны быть выполнены в удобной для пользователя форме. Ввод-вывод данных системы, приём управляющих команд и отображение результатов их исполнения должны выполняться в интерактивном режиме.

Особых требований к эргономике не предъявляется.

Интерфейс должен быть рассчитан на преимущественное использование голосового устройства ввода (микрофон), а также манипулятора типа «мышь», то есть управление системой должно осуществляться с помощью голоса и набора экранных меню, кнопок, значков и т. п. элементов. Клавиатурный режим ввода должен использоваться главным образом при заполнении и/или редактировании текстовых и числовых полей экранных форм.

4.1.5. Требования к эксплуатации, техническому обслуживанию, ремонту и хранению компонентов системы

Условия эксплуатации, а также виды и периодичность обслуживания технических средств Системы должны соответствовать требованиям по эксплуатации, техническому обслуживанию, ремонту и хранению, изложенным в документации завода-изготовителя (производителя) на них.

Технические средства Системы и персонал должны размещаться в существующих помещениях Заказчика, которые по климатическим условиям должны соответствовать ГОСТ 15150-69 «Машины, приборы и другие технические изделия. Исполнения для различных климатических районов. Категории, условия эксплуатации, хранения и транспортирования в части воздействия климатических факторов внешней среды» (температура окружающего воздуха от 5 до 40 °С, относительная влажность от 40 до 80 % при Т=25 °С, атмосферное давление от 630 до 800 мм ртутного столба).

Размещение технических средств и организация автоматизированных рабочих мест должны быть выполнены в соответствии с требованиями ГОСТ 21958-76 «Система "Человек-машина".

Для электропитания технических средств должна быть предусмотрена трехфазная четырех-проводная сеть с глухо заземленной нейтралью 380/220 В (+10-15)% частотой 50 Гц (+1-1) Гц. Каждое техническое средство запитывается однофазным напряжением 220 В частотой 50 Гц через сетевые розетки с заземляющим контактом.

Для обеспечения выполнения требований по надежности должен быть создан комплект запасных изделий и приборов (ЗИП).

Состав, место и условия хранения ЗИП определяются на этапе технического проектирования.

4.1.6. Требования по стандартизации и унификации

Разработка системы должна осуществляться с использованием стандартных методологий функционального моделирования: UML. Моделирование должно выполняться в рамках стандартов, поддерживаемых программными средствами моделирования также Visual Paradigm for UML 8.0 Enterprise Edition(различных версий).

Для работы с БД должен использоваться язык запросов SQL в рамках стандарта ANSI SQL-92.  Для хранения данных должна использоваться СУБД MS SQL 2008 R2, или MS SQL 2012, или MS SQL 2014.

4.2. Требования к функциям (задачам), выполняемым системой

4.2.1. Требования к функциям подсистемы распознавания и синтеза речи.

Так как реализация собственной нейронной сети для распознавания и синтеза речи невозможна, будет использоваться нейронная сеть Яндекса, точнее сервис SpeechKit Cloud, взаимодействие, с которым будет осуществляется через API (application programming interface). Именно это взаимодействие будет имплементировано в модулях распознавания и синтеза речи.

4.2.2. Требования к функциям подсистемы распознавания и синтеза речи.

Программная реализация данного модуля позволяет системе взаимодействовать с аудиоустройствами ввода-вывода. Поток аудио сигнала с устройств ввода сохраняется в БД, а далее передается ядру системы. А аудиофайлы, полученные после работы модуля синтеза речи, через этот модуль передаются на устройства вывода аудио сигнала.

4.2.3. Требования к ядру системы.

Главной частью все программы является именно этот модуль. Он отвечает за вызов всех остальных модулей, за их взаимодействие, а также за работу менеджеров. Ядро инициализируется при запуске программы, после чего происходит вызов модуля конфигурации и настройка системы, исходя из полученных параметров. В фоновом режиме при этом ожидается голосовая команда пользователя, которая через звуковой модуль передается в ядро. Здесь происходит его передача в модуль распознавания речи и получение текстового представления произнесенной команды. Далее по базе команд идет поиск только что полученной команды и в зависимости от результатов формируется ответ пользователю. Например, если команда была «включи лампу», то, после обработки в ядре, произойдет вызов менеджера устройств для включения лампочки и параллельно с этим, пользователю сформируется текстовый ответ «выполнено», который будет передан на модуль синтеза речи. Этот модуль вернет аудио файл, содержащий озвучку сформированного ответа, которая далее ядром будет передана звуковому модулю для воспроизведения через устройства вывода. Если команда будет не найдена, то таким же образом будет сформировано уведомление об ошибке. Таким образом вся работа программы, завязывается именно на ядре, в котором будет наиболее сложная алгоритмическая часть, отвечающая за обработку информации. Система должна иметь следующий функционал:

№	Возможность
ФВ-01	Открытие ссылки по голосовой команде
ФВ-02	Формирование поисковых запросов
ФВ-03	Запуск приложений на компьютере по команде
ФВ-04	Запись продиктованного голосового сообщения в виде текста
ФВ-05	Узнать дату, день недели и время по команде
ФВ-06	Узнать погоду по голосовой команде
ФВ-07	Переключить активную вкладку браузера по голосовой команде
ФВ-08	Добавить новую (пользовательскую) голосовую команду
ФВ-09	Голосовая активация программы по приветственному выражению

4.3 Требования к программному обеспечению

СУБД должна иметь возможность установки на ОС Windows 7 и более поздние версии.

К обеспечению качества ПС предъявляются следующие требования:

·               функциональность должна обеспечиваться выполнением подсистемами всех их функций.

·               надежность должна обеспечиваться за счет предупреждения ошибок - не-допущения ошибок в готовых ПС;

·               эффективность должна обеспечиваться за счет принятия подходящих, верных решений на разных этапах разработки ПС и системы в целом;

·               сопровождаемость должна обеспечиваться за счет высокого качества документации по сопровождению, а также за счет использования в программном тексте описания объектов и комментариев.

5. АНАЛИЗ ВОЗМОЖНЫХ ВАРИАНТОВ РЕАЛИЗАЦИИ

У разрабатываемой системы существуют аналоги, но их функциональные возможности отличаются от возможностей данной системы. Для сравнения приведу таблицу, описывающую наличие или отсутствие тех или иных функций.

	Яндекс Алиса	Typle	Apple Siri	Горыныч	Google Now	Cortana
Десктопное приложение	+	+	+	+	-	+
Мобильное приложение	+	-	+	-	+	+
Бесплатное	+	+	+	+	+	+
Кроссплатформенность	- (Windows)	- (Win)	- (iOS)	- (Win)	- (Android)	- (win10)
Добавление своих команд	-	+	-	+	-	-
Голосовая активация ввода	+	+	+	-	+	+
Русский язык	+	+	+	+	+	-

Как мы можем видеть, существуют системы распознавания голоса с приложениями и для компьютера, и для телефона (например, Алиса), но эти приложения никак не связаны между собой, т.е. не являются единой системой, в том числе, все они не кроссплатформенны.

Также большое количество аналогов бесплатны, поддерживают русский язык и включаются по голосовой команде, но многие из них не поддерживают добавление новых команд.

Для решения перечисленных проблем, было решено создать собственную систему голосового управления.

6. ОБЗОР ДОСТУПНЫХ ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ

При реализации системы могут применяться следующие языки высокого уровня: С#, Java, C/C++.

Для реализации алгоритмов манипулирования данными в подсистеме хранения данных необходимо использовать стандартный язык запроса к данным SQL, а для создания базы данных и написание запросов – Microsoft SQL Server.

Для описания предметной области (объекта автоматизации) может использоваться программное обеспечение Visual Paradigm for UML и CA ERwin Data Modeler.

Для разработки приложения может использоваться такая среда программирования, как Microsoft Visual Studio для языка программирования C#, и Netbeans, Eclipse IDE, либо IntelliJ IDEA – для языка программирования Java.

7. ОБОСНОВАНИЕ ВЫБОРА ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ

Рассматриваться система будет как прикладное приложение, которое направлено на выполнения конкретных задач пользователя и на непосредственное взаимодействие с ним. В качестве инструментов реализации будут использоваться те, инструменты, которые были изучены мной в процессе обучения:

·        Для анализа и моделирования предметной области применяется среда CA ERwin Data Modeler и Visual Paradigm for UML. Первая система будет использоваться для построения инфологической модели базы данных. Данное CASE-средство для проектирования и документирования баз данных позволяет наглядно отображать сложные структуры данных, ERwin имеет упрощенную структуру, которой было достаточно для создания данной системы. Среда Visual Paradigm необходима для построения диаграмм последовательности и вариантов использования системы, и была выбрана потому что ее функционала хватает для построения необходимых диаграмм на языке UML.

·        Язык программирования C# был выбран для разработки данной системы, т.к. он является полностью объектно-ориентированным языком, наследником языков C/C++, сохраняя лучшие черты этих популярных языков программирования, но при этом являясь более простым и надежным. Также большую роль при выборе языка играло наличие большого перечня подключаемых к C# библиотек, ускоряющих и упрощающих программирование системы.

·        Среда Microsoft Visual Studio является наиболее распространенной средой программирования, для данного языка, с широкими возможностями. Кроме того, она является бесплатной для индивидуальных разработчиков.

·        РСУБД MS SQL Server 2008 была выбрана на основании следующих признаков:

o   важнейшим преимуществом данной РСУБД является возможность бесплатного ее использования;

o   представляет собой идеальную платформу данных для создания небольших серверных приложений;

o  полностью интегрируется с другими продуктами, входящими в серверную инфраструктуру;

Краткое описание документа:

Моделирование информационной системы

голосового управления персональным компьютером.

Методический материал для 11-го класса

Настоящий методический материал используется на уроках информатики в 11-м классе и предназначен для иллюстрации практического применения при моделировании реальных систем. Разработан в развитие темы «Модели оптимального планирования» (Параграф 20 И.Г. Семакин и др., Информатика. 11 класс,М.: Бином, Лаборатория знаний, 2014)