ГЕНЕРАЦИЯ МНОГОВАРИАНТНЫХ ТЕСТОВЫХ ВОПРОСОВ В АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ УЧАЩИХСЯ ПРИ ОЧНОМ И ДИСТАНЦИОННОМ ОБУЧЕНИИ В ШКОЛАХ

ГЕНЕРАЦИЯ МНОГОВАРИАНТНЫХ ТЕСТОВЫХ ВОПРОСОВ В АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ

КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ УЧАЩИХСЯ ПРИ ОЧНОМ И ДИСТАНЦИОННОМ ОБУЧЕНИИ В ШКОЛАХ

Тестирование – одна из популярных и востребованных форм оценивания знаний, как очного, так и дистанционного образования. При применении автоматизированных систем компьютерного тестирования (далее – АСКТ), за учителем остается одно действие – разработать систему вопросов и ответов. Всё остальное – создание базы с вопросами для тестирования, генерация вариантов вопросов, само тестирование, контроль правильности ответов, – полностью автоматизированы [4]. Однако любой тест становится бесполезным, если ученикам удаётся его скомпрометировать. Это касается, как очного, так и компьютеризированного тестирования. Среди множества приёмов компрометации тестов наиболее известны два:

1.            Несколько учеников получают один и тот же вариант вопроса и некоторые из них применяют различные ухищрения, чтобы списать ответ у других учеников с таким же вариантом вопроса.

2.            Ученики одного класса после окончания тестирования делятся содержанием вопросов и ответами к ним с учениками другого класса, которым только предстоит тестирование.

В муниципальном автономном общеобразовательном учреждении «Средняя общеобразовательная школа с углубленным

изучением отдельных предметов № 104 г. Челябинска» (МАОУ

«СОШ № 104») последние годы активно используется критериальная система оценивания, в рамках которой применяется технология формирующего оценивания [2]. Формирующее оценивание – оценивание, осуществляемое в процессе обучения, когда анализируются знания, умения, ценностные установки, а также поведение учащегося, дается обратная связь по итогам обучения [1].

Оба вышеуказанных случая компрометации тестов разрушают систему формирующего оценивания: искажают оценку уровня освоения учениками материала тем тестирования, снижают объективность анализа результатов и эффективность послетестовой работы учеников над устранением ошибок, обесценивают совместную работу над ошибками учителя и ученика. В связи с этим одной из первостепенных задач, стоящих перед МАОУ «СОШ

№ 104» на сегодняшний день, стала разработка алгоритма формирования тестового материала с высокой степенью компрометирующей устойчивости, что становится особенно актуальным в период повсеместного дистанционного обучения.

При       компьютеризированном          тестировании антикомпрометирующим методом является многовариантность: каждый вопрос имеет несколько вариантов и конкретный вариант вопроса случайным образом выбирается из базы вопросов. В этом случае минимизируется количество одинаковых вариантов вопроса, что затрудняет и делает бесполезным обмен ответами между учениками. В АСКТ за автоматический выбор варианта вопроса из базы вопросов отвечает система генерации вариантов вопросов (далее – СГВВ). Главная задача СГВВ – для конкретного рабочего места (далее – РМ) по определённому алгоритму (правилу) выбрать из базы вопросов один из вариантов текущего тестового вопроса и передать его на дальнейшую обработку в систему тестирования. Обычно тестирование проводится на нескольких РМ. Поэтому СГВВ, насколько это возможно, для всех РМ минимизирует количество предоставляемых для теста одинаковых вариантов

одного и того же вопроса. Такой функционал позволяет СГВВ обеспечить многовариантность тестирования, что делает тест устойчивым к компрометации.

Реализация в СГВВ поддержки многовариантности для очного и дистанционного обучения зависит от технических особенностей сетевых связей между РМ тестирования. Выделим два вида связей:

1.            Offline: отсутствие связи между РМ, т.е. РМ – автономны;

2.            Online: РМ связаны через локальную или глобальную сеть.

Единого подхода к реализации многовариантности в СГВВ для вышеуказанных случаев не существует, но перед каждым учителем, разрабатывающим тест, встаёт вопрос о количестве вариантов каждого вопроса, чтобы тест стал многоваиантным и устойчивым к компрометации.

Как отмечает Федченко Е.В., для создания возможности эффективного тестирования база вопросов по каждой основополагающей теме дисциплины должна содержать не менее 100 вопросов, а соотношение количества вопросов, входящих в тест, к общему числу тестовых вопросов в базе вопросов должно стремиться 1:10 [4]. Таким образом, в среднем количество вариантов для каждого тематического вопроса в эффективном тесте должно стремиться к 10, а на практике, в зависимости от значимости вопроса для темы теста, разрабатывается от 5-7 до 15-20 вариантов каждого вопроса. Однако обоснования этому количеству не приводится.

Оценим для связи вида Offline вероятность P генерации различных вариантов вопроса для n РМ тестирования при условии, что в базе вопросов для каждого вопроса имеется m различных вариантов. Применим для этого методы комбинаторики. Для связи вида Offline генерация вариантов вопроса на нескольких РМ – это независимые друг от друга события, т.к. информация на любом РМ недоступна в реальном режиме времени для других РМ. Общее количество возможных комбинаций номеров вариантов: mn. Однако среди всех вариантов есть совершенно непригодные, например, когда на всех РМ номер варианта одинаков или многократно

повторяется и т.п. В связи с этим сформулируем первый критерий годности генерируемых вариантов:

Критерий 1: Все сгенерированные номера вариантов вопроса из m возможных вариантов для n РМ должны быть различны.

Комбинаторика позволяет построить расчётную формулу количества соответствующих Критерию 1 комбинаций номеров вариантов для n РМ. На 1-м РМ генератор СГВВ ничем не ограничен и выбор производится из m возможных вариантов. На 2-м РМ допустимо выбрать любой из m вариантов, за исключением выбранного на 1-м РМ, т.е. в распоряжении генератора имеется m-1 вариант. На 3-ем РМ недопустимо генерировать номера, выбранные ранее на 1-м и 2-м РМ, т.е. годных вариантов m-2. Продолжая, мы получим, что на последнем РМ n в распоряжении генератора для выбора останется только m-n+1 вариант. Произведение количества всех допустимых вариантов на каждом РМ даст общее число комбинаций К1 различных вариантов одного и того же вопроса на всех РМ:

где A – число размещений из m по n.

Независимость событий генерации вариантов на РМ позволяет найти P:

Рассчитаем по формулам (1) и (2) количество соответствующих Критерию 1 комбинаций вариантов для нескольких РМ n при наличии m=10 вариантов каждого вопроса теста (таблица 1):

Таблица 1 Расчёт количества комбинаций вариантов, соответствующих

Критерию 1

n

m=10    2             4              5             8             10

Кол-во годных

комбинаций     по формуле (1), K1       

90          

5 040    

30 240  

1 814 400           

3 628 800

Всего комбинаций mn 100         10 000   100

000         100 000

000         10 000 000

000

% годных

комбинаций, P 90%        50,4%    30,24% 1,81%    0,036%

Как видно из расчёта, для 2-х РМ в 90% случаев случайная генерация вариантов вопроса даст различные номера вариантов, и только в 10% случаев номера вариантов совпадут. Однако при увеличении РМ количество соответствующих Критерию 1 комбинаций вариантов вопроса на РМ катастрофически падает: уже при 10 РМ 10 вариантов вопроса достигается только в 0,036% случаев. Таким образом, случайная генерация номеров вариантов вопроса в реальных условиях не гарантирует, что все варианты вопроса на всех РМ будут удовлетворять Критерию 1. Так, для 2-х РМ при m=10 10% всех генерируемых комбинаций будут иметь одинаковые номера вариантов на обоих РМ, а для 5 РМ уже будет около 70% комбинаций, нарушающих Критерий 1. С другой стороны, при увеличении РМ появляются комбинации, которые вполне могут отвечать условиям тестирования, но при этом не соответствовать Критерию 1. Для РМ со связями вида Offline это означает, что можно ослабить условия для годности вариантов, т.е. в зависимости от количества РМ ввести дополнительные критерии годности. Например, помимо вариантов, соответствующих Критерию 1, признаем допустимыми комбинации номеров вариантов, соответствующих следующему Критерию 2:

Критерий 2: Все сгенерированные номера вариантов вопроса

из m возможных вариантов для n РМ должны содержать в своём составе ровно одну пару одинаковых номеров вариантов.

Этот критерий из всего множества комбинаций отбирает комбинации с одной парой одинаковых номеров и различными остальными номерами вариантов. Однако если Критерий 1 применяется для любого количества РМ, то Критерий 2 имеет свою область определения: представляется, что применять его можно только для количества РМ n≥4. В этом случае применение Критериев 1 и 2 для n=4 позволяет считать годными комбинации вариантов, где 3 номера из 4-х будут различны, т.е. в комбинации для 4-х РМ будет не менее 75% различных номеров вариантов вопроса, а для 10 РМ – не менее 90%. Применяя методы комбинаторики, найдём количество вариантов для Критерия 2. Учтём, что пара одинаковых номеров вариантов может появиться на любом РМ, т.е. количество комбинаций таких пар зависит от числа сочетаний  . Расчётная формула для Критерия 2:

Рассчитаем по формуле (3) количество соответствующих Критерию 2 комбинаций вариантов для нескольких РМ n при наличии m=10 вариантов каждого вопроса теста (таблица 2).

Таблица 2 Расчёт количества комбинаций вариантов, соответствующих

Критериям 1 и 2

n

m=10    2             4              5             8             10

Кол-во годных комбинаций                    по

формуле (1), K1              

90          

5 040    

30 240  

1 814 400           

3 628 800

Кол-во годных комбинаций                    по

формуле (3), K2              

-             

4 320    

50 400  

16 934 400         

163 296 000

Всего    комбинаций mn             100         10 000   100 000                100 000 000       10 000 000

000

%            различных номеров вариантов в                          годной

комбинации    

100%    

75%-

100%    

80%-

100%    

87,5%-100%      

90%-100%

% годных

комбинаций, P 90%        93,6%    80,64% 18,75% 1,67%

Из таблицы 2 видно, что Критерий 1 и Критерий 2 при n=4 обеспечивают максимум генерации годных комбинаций вариантов (в 93,6% случаев), а далее идёт стремительное падение (при n=10 уже только 1,67%). При этом гарантируется наличие не менее 75% различных номеров вариантов в комбинациях, соответствующих критериям годности.

Если продолжить введение ослабляющих критериев в зависимости от увеличения количества РМ тестирования n, то необходимо установить правило соответствия (применения) таких критериев: критерий годности вариантов применим к генерации номеров вариантов вопроса на РМ, если количество различных номеров вариантов в годной комбинации составляет не менее 70%. В случае для n≤10 для всех сгенерированных номеров вариантов вопроса из m возможных вариантов для n РМ можно применить следующие критерии годности:

1.            Критерий 1 (см. выше).

2.            Критерий 2 (см. выше).

3.            Критерий 3: Все сгенерированные номера вариантов вопроса должны содержать в своём составе ровно одну тройку одинаковых номеров вариантов.

4.            Критерий 4: Все сгенерированные номера вариантов вопроса должны содержать в своём составе ровно две различных пары одинаковых номеров вариантов (№ в парах отличаются).

5.            Критерий 5: Все сгенерированные номера вариантов вопроса должны содержать в своём составе ровно одну тройку и

одну пару с одинаковыми номерами вариантов (№ в тройке и в паре отличаются).

6.            Критерий 6: Все сгенерированные номера вариантов вопроса должны содержать в своём составе ровно три различных пары одинаковых номеров вариантов (№ в парах отличаются).

Других критериев для n≤10, отвечающих правилу соответствия, нет!

Для каждого из критериев найдены расчётные формулы, которые оказались подобны формуле (3):

где – номер критерия годности,   – количество вариантов вопроса,    – количество РМ,   – коэффициент, находится из (5):

                 (5)

Результаты расчёта по формулам (1) и (4) для m=10 и n≤10 приведены в таблице 3:

Таблица 3 Расчёт количества комбинаций вариантов, соответствующих

Критериям 1-6

n

m=10    2             4              5             8             10

K1           90           5 040     30 240   1 814 400            3 628 800

K2           -              4 320     50 400   16 934 400          163 296 000

K3           -              -              -              8 467 200            217 728 000

K4           -              -              -              10 584 000          381 024 000

K5           -              -              -              -              152 409 600

K6           -              -              -              -              127 008 000

Всего    комбинаций, mn            100         10 000   100 000                100 000

000         10 000 000

000

%            различных

номеров вариантов в   100%     75%-

100%     80%-

100%     75%-100%           70%-100%

годной комбинации                                                                  

%            годных

комбинаций, P 90%        93,6%    80,64% 37,8%    10,45%

Все результаты полностью соответствуют Критериям 1-6 и Правилу соответствия критериев. Однако, исходя из % годных комбинаций P, можно считать удовлетворительным результат только для n≤4. Для n≥5 случайный процесс генерации начинает создавать слишком много повторяющихся вариантов вопроса. В связи с этим ужесточим правило соответствия критериев:

Критерий годности вариантов применим к генерации номеров вариантов вопроса на РМ, если количество различных номеров вариантов в годной комбинации составляет не менее 70% и % годных комбинаций с учётом всех критериев превышает 90%.

Применение нового правила ставит новую задачу: найти, при каком минимальном количестве вариантов вопроса m на n РМ при применении всех допустимых критериев % генерируемых комбинаций вариантов вопроса превысит 90%.

В таблице 4 представлен расчёт для решения этой задачи.

Таблица 4 Расчёт требуемого количества вариантов m для различного

количества РМ n

n             2             4              5             8             10

m            10           8              15           34           57

K1           90           1 680     360 360                732x109               156x1015

K2           -              2 016     327 600                759x109               146x1015

K3           -              -              -              54x109  7x1015

K4           -              -              -              67x109  13x1015

K5           -              -              -              -              0,335x1015

K6           -              -              -              -              0,279x1015

Всего    комбинаций, mn            100         4 096     759 375                1 785 x109          362x1015

%            различных

номеров вариантов в   100%     75%-

100%     80%-

100%     75%-100%           70%-100%

годной комбинации                                                                  

% годных

комбинаций, P 90%        90,23% 90,6%    90,34% 90,11%

Из таблицы 4 следует, что при РМ n>5 количество вариантов вопроса m выходит за практически приемлемые рамки (от 5 до 20 вариантов для каждого вопроса [4]). Наилучший результат, т.е. минимально необходимое количество m при выполнении всех ограничений Правила соответствия критериев, достигается для n=4. В этом случае необходимо подготовить на каждый вопрос 8 вариантов. Отсюда следует важный практический вывод:

При Offline тестировании со случайным выбором номера варианта вопроса для достижения 90% вероятности многовариантности теста все участники, одновременно сдающие тест, должны разбиваться на четвёрки с различающимися вариантами вопроса для каждой четвёрки, а каждый вопрос теста должен иметь не менее 8 вариантов вопроса.

Например, если одновременно сдают тест 12 учеников, то учитель должен приготовить 3 теста с разными вариантами вопросов, по 8 вариантов каждого вопроса, т.е. для каждого тематического вопроса теста необходимо сделать 24 варианта вопроса и разбить их на 3 группы. В этом случае с вероятностью не менее 90% каждый вопрос теста будет многовариантным и весь тест будет обладать повышенной компрометирующей устойчивостью. Однако такой подход необходимо применять только при одновременно проводимом тестировании различных групп учеников. Обычно тестирование проводят в нескольких классах по расписанию уроков, т.е. в разное время. Разнесение потоков тестирования по времени существенно снижает количество необходимых вариантов вопроса. В таблице 5 приведено полное распределение количества вероятных вариантов номеров вопросов на РМ n=4 и при вариантах m=8:

Таблица 5 Распределение номеров вариантов по критериям при n=4 и m=8

n             4            

P, %       Кол-во разных № на

РМ

m            8                            

Все № разные, K1          1 680     41%       4

Пара одинаковых №, K2             2 016     49,2%    3

Тройка одинаковых №,

K3           224         5,5%      2

Две пары одинаковых №,

K4           168         4,1%      2

Четвёрка одинаковых №           8             0,2%      1

Всего    4 096     100%     3,3

Учитывая равновероятность выпадения каждого № и независимость генерации № на каждом РМ, средневзвешенное количество генерируемых разных № на РМ n=4 при m=8 рассчитаем по формуле:

Таким образом, за один поток ожидается на 4-х РМ генерация 3,3 различных № варианта, а за три потока - 9,9 различных № вариантов. Как указывает Самолюк Н.Г., количество одинаковых вопросов в параллельных вариантах не должно превышать 15–20% [4]. Значит, 9,9•0,8=7,92<8, т.е. для РМ n=4 и количества вариантов вопроса m=8 каждый вопрос теста будет многовариантным и весь тест будет обладать повышенной компрометирующей устойчивостью при условии применения не более, чем на 3-х потоках тестирования. Отсюда следует важное следствие для общего количества вариантов:

При многопоточном многовариантном с повышенной компрометирующей устойчивостью разновременном тестировании по схеме n=4, m=8 проходить тест могут 12 учеников, разделённых

на 3   потока тестирования, т.е. на   12   учеников   нужно   только 8 вариантов для каждого вопроса теста.

Найдём для связей вида Online вероятность P генерации различных вариантов вопроса для n РМ при условии, что в базе вопросов для каждого вопроса имеется m различных вариантов. Для этого откажемся от независимости событий генерации номера варианта на РМ. Напротив, используем наличие связей между РМ для того, чтобы генерировать на РМ номер варианта только из числа вариантов ещё не использованных на других РМ для этого вопроса. Эти события уже не будут независимыми, а будут событиями, управляемыми СГВВ. В таком случае для всех РМ гарантируется отсутствие одинаковых номеров вариантов для вопроса, если m≥n, т.е. P=100%. Если же количество вариантов меньше количества РМ, т.е. m<n, то вероятность генерации различных вариантов вопроса P вычисляется по формуле:

Отсюда можно найти минимальное количество вариантов m при условии, что известна вероятность генерации различных вариантов вопроса P:

Обратите внимание, квадратные скобки [ ] означают необходимость только целого решения. Например, если количество РМ n=20, то для P=100% необходимо, чтобы минимальное количество вариантов было m=20. При вероятности P=0,9, минимальное количество вариантов m=19. При РМ n=40 для достижения вероятности P=0,9 необходимо m=38 вариантов. Таким образом, в варианте Online целесообразно применять не случайную, а управляемую СГВВ генерацию вариантов вопроса. В таблице 6

приведён          сравнительный              расчёт  минимально    необходимого количества вариантов m для Offline и Online связей на РМ n:

Таблица 6 Минимально возможное для многовариантности количество

вариантов m

РМ n=   4             8              12           24           36           40           48

                On          Off         On          Off         On          Off         On          Off         On          Off         On          Off         On          Off

Потоков              1              1             1             2             1             3              1             2x3         1             3x3         1              4x3         1                4x3

m=         4             8              8             8             12           8             23           16           35           24           38           32           46           32

В литературе традиционно считается, что достаточно 10 вариантов на каждый вопрос. Однако, степень устойчивости теста к компрометации прямо зависит от количества тестируемых учащихся и количества РМ тестирования (см. таблицу 6). Исходя из расчётов, следует, что количество вариантов каждого вопроса в тесте должно быть не менее 8 при использовании теста на 4-х РМ. Допустимо использовать каждый тест не более 3-х раз на разных по времени потоках учащихся.

Таким образом, для минимизации количества возможных вариантов вопросов тестов в СГВВ оптимально применение схемы 3x4x8 (трёхпоточный Offline метод генерации вариантов для количества РМ n=4 с числом вариантов каждого вопроса m=8). Этот метод генерации универсален и может применяться как при очном, так и при дистанционном обучении, не зависит от наличия связи и интернет соединения, придаёт тестам компрометирующую устойчивость, может использоваться в адаптивных тестах, обладает хорошей масштабируемостью для количества РМ кратных n=4.

В МАОУ «СОШ № 104 г. Челябинска» для проведения контрольных работ с 2019 года применяется АСКТ собственной разработки «Хаос». АСКТ «Хаос» поддерживает трёхпоточный Offline метод генерации вариантов для количества РМ n=4 с числом вариантов каждого вопроса m=8, что существенно повышает

объективность компьютерного оценивания уровня освоения материала учащимися.

При разработке тестов учитель составляет вопросы теста с учётом рекомендаций по количеству вариантов каждого вопроса и разрабатывает на каждые 12 тестируемых учеников 3 теста по 8 вариантов каждого вопроса. В этом случае общее количество тестируемых учащихся достигает 36 (3 потока по 12 учеников).

Практика компьютерного тестирования показывает, что многовариантность вопросов повышает компрометирующую устойчивость тестов, что в свою очередь позволяет обеспечить объективность оценки проверяемого материала. Благодаря этому можно использовать тесты, как при очном, так и при дистанционном обучении с достижением высокой степени компрометирующей устойчивости, что особенно важно для дистанционного обучения, т.к. в этом случае контроль учителя за процессом тестирования практически отсутствует, а ученики имеют возможность мобильной связи друг с другом.

Список литературы:

1.            Ветошкина Ю. В. Инструменты ИКТ как средство внедрения формирующего оценивания в образовательную деятельность / Ю. В. Ветошкина // Дистанционное и смешанное обучение в общем и профессиональном образовании: Всероссийская научно-практическая Интернет-конференция. 7 мая -

23           мая        2018       года.     г.             Екатеринбург;                 ГАОУ     ДПО      Свердловской области                               «Институт                          развития            образования»                 -              URL: http://webconf.irro.ru/index.php/arhiv-conf/ikto-ekaterinburg-2016/sovre mennye-sredstva-ikt-v-obrazovatelnoj-deyatelnosti/item/1776-vetoshkin a-yu-v-instrumenty-ikt-kak-sredstvo-vnedreniya-formiruyushchegootse nivaniya-v-obrazovatelnuyu-deyatelnost

2.            Петрова О. В. Формирующее и суммативное оценивание как              психолого-педагогическое                условие              диагностики сформированности личностных   результатов   /   О.   В.   Петрова, В. А. Кузнецова // Научно-методическое обеспечение оценки

качества образования. – 2018 - № 2(5). – С. 75–81.

3.            Самолюк Н. Г. Современные средства оценивания результатов обучения : Конспекты лекций по дисциплине ОПД.Ф.08. Лекция 11. Компьютерное тестирование в образовании / Н. Г. Самолюк; Томский государственный педагогический университет.           Кафедра             ТиП.      -              URL: http://koi.tspu.edu.ru/koi_books/samolyuk

4.            Федченко Е. В. Компьютерное тестирование в школе : учебно-методическое пособие по спецкурсу / Е. В. Федченко; Магнитогорский государственный университет – 2- е изд. перераб. и доп. – Магнитогорск, 2006. – 84 c.