Программа и Методика предварительных испытаний ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ ЮРИДИЧЕСКОЙ ОБРАБОТКИ ПРАВОВОЙ ИНФОРМАЦИИ Приложение А.

ПРИЛОЖЕНИЕ А. Методика испытаний программных средств автоматической классификации правовых актов согласно классификатору правовых актов

Таблица А.1

№	Объем испытаний	Пункт ПМИ	Пункт ТТЗ (*)	Методика проверки	Результат проведенной проверки (пункты ТТЗ (*) считаются выполненными, если подтверждается, что …)
1	Автоматическая классификация правовых актов многоуровневым классификатором с заданными точностью и полнотой (проверка автоматического режима). Возможность экспертного режима классификации, обеспечивающего возможность корректировки полученного в автоматическом режиме перечня полей классификатора для обрабатываемого правового акта.	7.3.1.4.1 7.3.1.4.6	3.2.4.1 3.2.4.6	Условия необходимые для проверки: -     Установочный каталог сервера должен содержать словари dict_norm.dat, prefix_dict.txt, user_dict.txt; -     МАК-сервер запущен как служба; -     Осуществлен запуск клиента ИПС «Законодательство России». 1. Выполнить атрибутный поиск документов в БПА «Федеральное законодательство». Вызов формы ввода параметров атрибутного поиска осуществляется последовательным выбором пунктов меню Поиск→Поиск.... 2. Установить флаг рядом с наименованиями документов, для которых должна быть выполнена классификация по рубрикам. Последовательно выбрать пункты меню Обработка документов→Автоматическая обработка. 3. Установить флаг в поле Автомат классификации по рубрикам. В поле Ограничение по количеству рубрик ввести максимальное допустимое количество рубрик в результате классификации. В поле Ограничение по весу рубрик ввести минимальный вес, которому должны соответствовать классифицируемые рубрики. В поле Уровень классификации выбрать значение: "Весь текст" Если для модуля автоматической классификации (МАК) определен дополнительный многоуровневый классификатор с обучающей коллекцией, то классификация правовых актов БПА может быть осуществлена: -     многоуровневым классификатором, соответствующим БПА; -     дополнительным многоуровневым классификатором. Возможность выбора многоуровневого классификатора обеспечивается выбором требуемого значения в поле  Классификатор. 4. Нажать кнопку Запустить. 5. Выбрать вкладку Рубрики на панели Результаты работы автоматов. 6. Провести анализ одной из рубрик. Для проверки рубрики необходимо нажать на ее наименование в списке. 7. Если рубрика определена верно нажать кнопку Установить рубрику, иначе закрыть диалоговое окно. 8. Провести анализ по остальным рубрикам для текущего документа. Нажать кнопку Сохранить. 9. Открыть сведения о документе, нажатием соответствующей кнопки для документа в списке. 10. Провести анализ и сохранение результатов классификации для остальных документов списка. Если необходимо сохранить результаты классификации без проведения проверки, то необходимо нажать кнопку Сохранить все.	1. Отображен список документов, соответствующих запросу. 2. Открыто диалоговое окно Выбор автоматов. 3. Введены настройки для автомата классификации по рубрикам. 4. В диалоговом окне Выбор автоматов отображается ход процесса классификации по рубрикам. По завершении классификации отображены: - список документов, для которых была проведена классификация; - интерфейс, обеспечивающий возможность корректировки полученного в автоматическом режиме перечня рубрик классификатора для текущего документа в списке. 5. Отображен список рубрик текущего документа в списке, полученных в результате классификации. 6. Открыто диалоговое окно Рубрики [Наименование выбранной рубрики], содержащее: Аннотацию текущего документа; Список документов, для которых определена такая же рубрика. 7. Закрыто диалоговое окно Рубрики [Наименование выбранной рубрики]. Если была нажата кнопка Установить рубрику, то рядом с наименование проверенной рубрики на вкладке Рубрики установлен флаг 8. Все рубрики, для которых установлен флаг, сохранены в карточке документа. 9. Отображена информация обо всех рубриках, полученных в результате классификации и сохраненных в карточке документа.  10. Для всех документов списка сохранены результаты классификации по рубрикам.
2	Автоматическая классификация правовых актов многоуровневым классификатором с заданными точностью и полнотой (проверка ручного режима). Возможность экспертного режима классификации, обеспечивающего возможность корректировки полученного в автоматическом режиме перечня полей классификатора для обрабатываемого правового акта.	7.3.1.4.1 7.3.1.4.6	3.2.4.1 3.2.4.6	Условия необходимые для проверки: -     Установочный каталог сервера должен содержать словари dict_norm.dat, prefix_dict.txt, user_dict.txt; -     МАК-сервер запущен как служба; -     Осуществлен запуск клиента ИПС «Законодательство России». 1. Последовательно выбрать пункты меню Обработка документов→Управление маршрутизацией. 2. На навигационной панели выбрать раздел Маршрутизация документов→Маршруты. 3. Нажать кнопку  («Добавить маршрут») 4. В диалоговом окне выполнить следующие действия: -     В поле Наименование ввести наименование создаваемого маршрута (например: "Проверка классификации в ручном режиме многоуровневым классификатором"); -     В поле Доступные операции поместить операцию, предусматривающую редактирование атрибутов и текста документа (например: "Ввод текста редакции"); -     Нажать кнопку Сохранить. 5. Выполнить атрибутный поиск документов в БПА «Федеральное законодательство». Вызов формы ввода параметров атрибутного поиска осуществляется последовательным выбором пунктов меню Поиск→Поиск.... 6. Установить любой из найденных документов (или группу документов) на маршрут, созданный в пункте 4. Последовательность действий для установки документа на маршрут: -     установить флаг рядом с наименованием документа; -     открыть диалоговое окно Установка документов на маршрут последовательным выбором пунктов меню Обработка документов→ Установить на маршрут; -     Выбрать маршрут и нажать кнопку Установить. 7. Открыть любой из документов, установленных на маршрут, в режиме редактирования с помощью кнопки  соответственно документу в списке. 8. Выбрать раздел Отрасли законодательства на навигационной панели. 9. Нажать кнопку  («Классифицировать») на панели инструментов. 10. Для анализа элемента классификатора следует нажать по гиперссылке, соответствующей элементу. Удалить из области выбранных значений неверные элементы. Для удаления элемента необходимо дважды нажать кнопкой манипулятора «мышь» по наименованию элемента в области выбранных значений. 11. Сохранить изменения нажатием кнопки  на панели инструментов.	1. Отображен административный интерфейс для управления маршрутизацией документов. 2. Отображен список существующих маршрутов. 3. Открыто диалоговое окно Создание маршрута. 4. Закрыто диалоговое окно Создание маршрута. Наименование созданного маршрута содержится в списке существующих маршрутов. На данный маршрут могут быть установлены документы. 5. Отображен список документов, соответствующих запросу. 6. Документы установлены на маршрут, отображено диалоговое окно с сообщением об успешной установке документов на маршрут. 7. Отображена навигационная панель, содержащая информационные разделы документа. Отображена карточка документа. 8. Отображены элементы классификатора Отрасли законодательства и элементы этого классификатора, установленные для документа. 9. Документу соответствуют элементы классификатора Отрасли законодательства. Эти элементы выделены жирным шрифтом. 10. Документу соответствуют элементы классификатора, которые признаны верными. 11. Сохранены изменения документа.
3	Возможность адаптации к изменениям в классификаторе	7.3.1.4.2	3.2.4.2	Условия необходимые для проверки: -     Установочный каталог сервера должен содержать словари dict_norm.dat, prefix_dict.txt, user_dict.txt; -     МАК-сервер запущен как служба; -     Осуществлен запуск клиента ИПС «Законодательство России». 1. Последовательно выбрать пункты меню Сервис→ Управление классификаторами 2. Выбрать классификатор Отрасли законодательства на навигационной панели. 3. Нажать кнопку Добавить. Для изменения элемента классификатора необходимо нажать кнопку Изменить. 4. Ввести параметры добавляемого элемента или изменить текущие параметры элемента. Нажать кнопку Сохранить. 5. Выполнить поиск документов, которым должен соответствовать добавленный или отредактированный элемент классификатора Отрасли законодательства и выполнить классификацию найденных документов в соответствии с п. 7.3.1.4.1 методики испытаний	1. Открыт административный интерфейс для управления классификаторами системы. 2. Отображен список элементов классификатора Отрасли законодательства. 3. Открыта форма для добавления или редактирования элемента классификатора в зависимости от нажатой кнопки. 4. В классификатор добавлен новый элемент или изменен существующий элемент классификатора. МАК-сервер содержит информацию о добавленном или измененном элементе в классификаторе Отрасли законодательства. 5. Документы классифицированы по добавленной или измененной рубрике классификатора Отрасли законодательства.
4	Возможность классификации по нескольким классификаторам	7.3.1.4.3	3.2.4.3	Условия необходимые для проверки: -     Установочный каталог сервера должен содержать словари dict_norm.dat, prefix_dict.txt, user_dict.txt; -     МАК-сервер запущен как служба; -     Осуществлен запуск клиента ИПС «Законодательство России». Если для модуля автоматической классификации (МАК) определен дополнительный многоуровневый классификатор с обучающей коллекцией, то классификация правовых актов БПА может быть осуществлена: -     многоуровневым классификатором, соответствующим БПА; -     дополнительным многоуровневым классификатором. Возможность выбора многоуровневого классификатора обеспечивается выполнением следующих действий: 1. Последовательно выбрать пункты меню Обработка документов→Управление маршрутизацией. 2.  На навигационной панели выбрать раздел Маршрутизация документов→ Автоматы→ Классификация тематическая 3. Раскрыть список значений поля Классификатор.	1. Отображен административный интерфейс для управления маршрутизацией документов. 2. Открыта форма настройки классификации многоуровневым классификатором. 3. Список содержит 2 элемента. Выбор первого элемента обеспечивает классификацию правовых актов многоуровневым классификатором, соответствующим БПА. Выбор второго элемента обеспечивает классификацию правовых актов дополнительным многоуровневым классификатором.
5	Возможность настройки автоматической классификации по количеству присвоенных записей классификатора.	7.3.1.4.4	3.2.4.4	Условия необходимые для проверки: -     Установочный каталог сервера должен содержать словари dict_norm.dat, prefix_dict.txt, user_dict.txt; -     МАК-сервер запущен как служба; -     Осуществлен запуск клиента ИПС «Законодательство России». 1. Последовательно выбрать пункты меню Обработка документов→Управление маршрутизацией. 2. На навигационной панели выбрать раздел Маршрутизация документов→Автоматы→ Классификация тематическая. 3. В форме настройки выполнить следующие действия: -     выбрать классификатор «Отрасли законодательства» в поле Классификатор; -     ввести максимальное количество записей в поле Количество рубрик (максимум). 4. Выполнить классификацию документов в соответствии с п. 7.3.1.4.1 методики испытаний.	1. Отображен административный интерфейс для управления маршрутизацией документов. 2. Отображена форма настройки автоматической классификации по количеству присвоенных записей классификатора. 3. Форма содержит установленные значения. 4. Документы классифицированы по классификатору Отрасли законодательства. Количество записей классификатора, соответствующих документу, не превышает значения поля Количество рубрик (максимум), установленного в форме настройки автоматической классификации по количеству присвоенных записей классификатора.
6	Возможность классификации отдельных структурных элементов правового акта (абзац, статья, глава, правовой акт в целом).	7.3.1.4.5	3.2.4.5	Условия необходимые для проверки: -     Установочный каталог сервера должен содержать словари dict_norm.dat, prefix_dict.txt, user_dict.txt; -     МАК-сервер запущен как служба; -     Осуществлен запуск клиента ИПС «Законодательство России». 1. Выполнить атрибутный поиск документов в БПА «Федеральное законодательство». Вызов формы ввода параметров атрибутного поиска осуществляется последовательным выбором пунктов меню Поиск→Поиск.... 2. Установить флаг рядом с наименованиями документов, для которых должна быть выполнена классификация по рубрикам. Последовательно выбрать пункты меню Обработка документов→Автоматическая обработка. 3. Установить флаг в поле Автомат классификации по рубрикам. В поле Ограничение по количеству рубрик ввести максимальное допустимое количество рубрик в результате классификации. В поле Ограничение по весу рубрик ввести минимальный вес, которому должны соответствовать классифицируемые рубрики. В поле Уровень классификации выбрать значение: "Раздел" Если для модуля автоматической классификации (МАК) определен дополнительный многоуровневый классификатор с обучающей коллекцией, то классификация правовых актов БПА может быть осуществлена: -     многоуровневым классификатором, соответствующим БПА; -     дополнительным многоуровневым классификатором. Возможность выбора многоуровневого классификатора обеспечивается выбором требуемого значения в поле  Классификатор. 4. Нажать кнопку Запустить. 5. Выбрать вкладку Рубрики на панели Результаты работы автоматов. 6. Провести анализ одной из рубрик. Для проверки рубрики необходимо нажать на ее наименование в списке. 7. Если рубрика определена верно нажать кнопку Установить рубрику, иначе закрыть диалоговое окно. 8. Провести анализ по остальным рубрикам для разделов текущего документа. Нажать кнопку Сохранить. 9. Открыть сведения о документе, нажатием соответствующей кнопки для документа в списке. 10. Провести анализ и сохранение результатов классификации для остальных документов списка. Если необходимо сохранить результаты классификации без проведения проверки, то необходимо нажать кнопку Сохранить все.	1. Отображен список документов, соответствующих запросу. 2. Открыто диалоговое окно Выбор автоматов. 3. Введены настройки для автомата классификации по рубрикам. 4. В диалоговом окне Выбор автоматов отображается ход процесса классификации по рубрикам. По завершении классификации отображены: - список документов, для которых была проведена классификация; - интерфейс, обеспечивающий возможность корректировки полученного в автоматическом режиме перечня рубрик классификатора для разделов текущего документа в списке. 5. Отображен список рубрик по разделам текущего документа в списке, полученных в результате классификации. 6. Открыто диалоговое окно Рубрики [Наименование выбранной рубрики], содержащее: - Аннотацию раздела текущего документа; - Список документов, для которых определена такая же рубрика. 7. Закрыто диалоговое окно Рубрики [Наименование выбранной рубрики]. Если была нажата кнопка Установить рубрику, то рядом с наименование проверенной рубрики на вкладке Рубрики установлен флаг 8. Все рубрики, для которых установлен флаг, сохранены в карточке документа. 9. Отображена информация обо всех рубриках, полученных в результате классификации и сохраненных в карточке документа.  10. Для всех документов списка сохранены результаты классификации по рубрикам.

Краткое описание документа:

СОДЕРЖАНИЕ 1ОБЪЕКТ ИСПЫТАНИЙ.. 3 2ЦЕЛЬ И ЗАДАЧИ ИСПЫТАНИЙ.. 3 3ОБЩИЕ ПОЛОЖЕНИЯ, УСЛОВИЯ И ПОРЯДОК ПРОВЕДЕНИЯ ИСПЫТАНИЙ.. 3 4СОСТАВ ПРЕДЪЯВЛЯЕМОЙ ДОКУМЕНТАЦИИ.. 4 5ПРОГРАММА ИСПЫТАНИЙ.. 5 6МАТЕРИАЛЬНО-ТЕХНИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ИСПЫТАНИЙ.. 6 7МЕТОДИКИ ИСПЫТАНИЙ.. 7 8ОТЧЕТНОСТЬ. 12 ПРИЛОЖЕНИЕ А. Методика испытаний программных средств автоматической классификации правовых актов согласно классификатору правовых актов. 13 ПРИЛОЖЕНИЕ Б. Методика испытаний программных средств автоматической классификации правовых актов заданным списком ключевых слов. 27 ПРИЛОЖЕНИЕ В. Методика испытаний программных средств автоматизации обработки текстов правовых актов. 36 ПРИЛОЖЕНИЕ Г. Методика испытаний программного средства последовательного выполнения автоматизированных процедур, обусловливающих стадии юридической обработки правового акта. 51 ПРИЛОЖЕНИЕ Д. Инструкция по сборке проекта ИПС «Законодательство России» версии 3.0. 55