КОНТЕКСТНОЕ ТЕСТИРОВАНИЕ КАК ИНСТРУМЕНТ ОЦЕНКИ В ИЗУЧЕНИИ ХИМИИ НА УНИВЕРСИТЕТСКОМ УРОВНЕ

Контекстное тестирование как инструмент оценки в изучении химии на университетском уровне

Тестирование как метод оценивания широко используется на всех уровнях образования - от начальной до высшей. Основная цель статьи - оценить влияние контекстного тестирования на преподавание и изучение аналитической химии в российском вузе. В документе формулируются цели контекстно-ориентированного тестирования, обсуждаются его особенности и сравниваются с традиционным тестированием; предлагает модель построения и администрирования контекстно-ориентированного тестирования; предоставляет примеры контекстных тестов. Эксперимент проводился в Уральском государственном экономическом университете (Россия) со студентами бакалавриата с внештатными специальностями. Студенты были отнесены к одному из условий эксперимента: в контрольной группе проводились традиционные тесты, в то время как студенты экспериментальной группы проходили контекстное тестирование. Статистические данные - результаты тестов студентов - полученные на всех этапах эксперимента были проанализированы на основе статистических критериев (Шапиро – Уилк, Т. Стьюдента, Фишера). Результаты нашего эксперимента позволяют нам ответить на вопросы управляемого исследования. Контекстное тестирование можно рассматривать как важный компонент контекстно-зависимого преподавания и обучения. По сравнению с обычным тестированием, контекстное тестирование может повлиять на развитие знаний в области фундаментальных концепций аналитической химии и способствовать получению более надежных знаний. Контекстное тестирование можно рассматривать как важный компонент контекстно-зависимого преподавания и обучения. По сравнению с обычным тестированием, контекстное тестирование может повлиять на развитие знаний в области фундаментальных концепций аналитической химии и способствовать получению более надежных знаний. Контекстное тестирование можно рассматривать как важный компонент контекстно-зависимого преподавания и обучения. По сравнению с обычным тестированием, контекстное тестирование может повлиять на развитие знаний в области фундаментальных концепций аналитической химии и способствовать получению более надежных знаний.

Ключевые слова: обучение ; химия ; контекстное тестирование ; успеваемость учащихся

1. Введение

Есть несколько ключевых вопросов, касающихся традиционного преподавания химии: (1) содержание курсов перегружено из-за быстро появляющегося массива научных знаний; (2) отсутствие четкой цели изучения естествознания, поскольку учебные программы преподаются как совокупность разрозненных фактов, которые не способствуют образованию значимых связей между фактами; (3) отсутствие передачи навыков решения проблем; (4) отсутствие отношения к жизни студентов; и (5) недостаточное внимание к навыкам, необходимым для дальнейшего изучения химии [ 1 ]. Идея поместить химию в определенный контекст и структурировать курсы как модули для повышения вовлеченности студентов и обучения, разработанная в 1980-х годах, и с тех пор становится все более популярной.

Контекстная химия «придает значение изучению химии; [учащиеся] должны воспринимать свое обучение как относящееся к определенному аспекту их жизни и уметь строить последовательные «мысленные карты» предмета »[ 1 ] (стр. 960). Ключевыми теоретическими идеями, лежащими в основе контекстного обучения, являются конструктивизм, ситуационное обучение и теория деятельности [ 1]. Контекстное обучение направлено на то, чтобы помочь учащимся лучше понять мир науки, оценить важность химии в современном мире и увидеть, как она связана с повседневными жизненными событиями. Эффект от применения контекстного подхода к процессу обучения и преподавания широко исследован. В этих исследованиях поднимаются вопросы, связанные с организацией практико-ориентированной учебной деятельности, содержанием контекстного обучения [ 2 , 3 ]; его гносеологические аспекты [ 4 , 5 ]; Отношение студентов и преподавателей к контекстному обучению и его влияние на мотивацию студентов [ 2 , 6 , 7 , 8]; и в целом эффективность контекстного подхода по сравнению с традиционным обучением в преподавании естественных наук [ 9 , 10 ]. Эти исследования указывают на положительный эффект контекстно-ориентированного обучения на улучшение долговременной памяти учащихся [ 11 ]. Примерами полностью реализованного контекстно-ориентированного обучения химии являются курсы химии Солтерса в Великобритании [ 12 ]; курсы ChemCom и Chemistry in Context в США [ 3 , 13 ]; израильская программа по промышленной химии [ 14 ]; ChemieimKontext в Германии [ 5 , 15 ]; и химия на практике в Нидерландах [ 16]; инициатива «Визуализация химии изменения климата» (VC3) в некоторых североамериканских учреждениях [ 17 ]; курсы термохимии и термодинамики в турецких школах [ 18 ]. Контекстно-зависимый подход в преподавании и обучении может быть реализован с помощью стратегии РЕАКТ, которая использует пять основных форм обучения: связь, переживание, применение, сотрудничество и передача [ 11 , 19 , 20 , 21 ].

В специальном выпуске о контекстном обучении, опубликованном в International Journal of Science Education в 2018 г., Sevian et al. [ 22 ] ссылаются на многочисленные работы, посвященные влиянию контекстно-ориентированного обучения на научное образование во всем мире. Они подчеркнули направленность дальнейших исследований на более широкий контекст и микроконтекст, последний подразумевает классную комнату и за ее пределами и исследует, «что происходит в классе, какие условия в реальном классе делают обучение выгодным, кому и каким образом это выгодно» [ 22] (стр. 4). Однако мы считаем, что есть еще одна проблема обучения в контексте, которую стоит решить, - оценка, а точнее, тестирование. Контекстное тестирование можно рассматривать как потенциал учителя для улучшения результатов обучения учащихся в классах химии.

Успех контекстно-зависимого преподавания и обучения во многом зависит от качества учебных материалов и их реализации в классе. Создание учебных материалов, включая инструменты оценки, как фундаментального компонента контекстно-зависимого преподавания и обучения, имеет важное значение. Хотя есть примеры хорошо зарекомендовавших себя оценок, например, проведенные экзаменационным институтом Американского химического общества, российским учителям химии они практически неизвестны. Holme et al. [ 23 ] считают, что химия является особенно хорошей темой для улучшенного оценивания, потому что это (а) компонент учебной программы по большому количеству научных дисциплин и (б) область с сильным сочетанием качественных и количественных концепций. [ 1 ] (стр. 962).

Тестирование как метод оценивания широко используется на всех уровнях образования - от начальной до высшей. Новый виток разработки методов оценки пришел с информационными технологиями. Компьютеризированные тесты стали обычным методом оценивания в высшем образовании во всем мире, используемым при преподавании и изучении различных предметов. Принятие компетентностного подхода в качестве императива образовательного процесса во многих странах, включая Россию, оказало значительное влияние на цели тестирования, проведения тестов и обработки результатов. Достижения учащихся измеряются как набор навыков, которые позволяют учащимся выполнять значимые действия и развивать профессиональные, а не просто научные знания. Тем не мение, поскольку традиционные тесты в основном сосредоточены на алгоритмическом и фактическом запоминании, в котором преобладают когнитивные навыки низкого порядка (LOCS), они не могут предоставить информацию о принятии учащимися решений, решении проблем и подходе к критическому системному мышлению, в котором преобладают когнитивные навыки высокого порядка (HOCS). . Последнее может быть достигнуто путем интеграции стратегий обучения и оценивания, стимулирующих HOCS, например, контекстно-зависимые открытые задачи разного уровня сложности [24 ].

Особо следует остановиться на преподавании естествознания студентам вузов, не специализирующимся на естественных науках. В России переход на более короткий четырехлетний период обучения на степень бакалавра (по сравнению с прежней пятилетней одноуровневой моделью «специализации») привел к радикальной реформе учебной программы, что привело к значительному сокращению числа (а во многих случаев полное исключение) фундаментальных научных дисциплин. Соответственно, в ходе постоянных изменений государственных образовательных стандартов, основанных на подходе к результатам обучения, знания, понимание и навыки по естественным предметам все реже и реже упоминаются в оценочных положениях для степеней бакалавра по специальностям, не относящимся к естественным наукам. Не обсуждая причины и возможные неблагоприятные последствия более низкого уровня фундаментального образования в России,

Способ решения этой проблемы - использование контекстного (практического) подхода к разработке учебных программ по естествознанию, включая соответствующие методы оценки. Контекстное обучение было принято во многих странах, в том числе в России. Теоретические и эмпирические основы контекстного обучения [ 25 ] коррелируют с современными тенденциями в развитии экономики знаний и способствуют созданию потребностей в инновациях и творчестве [ 26 , 27 ]. Однако, как справедливо сообщили Mahaffy et al. [ 17 ], существующая литература сосредоточена в основном на реализации контекстного обучения на уровне средней школы, в то время как исследования, посвященные изучению конкретных инструментов оценки - контекстного тестирования на уровне послесреднего образования - все еще ограничены [ 28, 29 , 30 ]. Опыт использования контекстного обучения в преподавании химии на университетском уровне [ 31 , 32 , 33 ] позволяет авторам предположить, что дизайн и содержание контекстных тестов отличаются от обычных тестов, используемых для оценки достижений студентов в науке. курс. Представляется, что такие инструменты должны быть неотъемлемой частью контекстного обучения, что может значительно повысить эффективность контекстного обучения в отношении как практических, так и фундаментальных аспектов и, как следствие, способствовать развитию у студентов `` научной '' компетентности. .

Таким образом, цель исследования - изучить влияние контекстного тестирования как компонента контекстного обучения на результаты обучения студентов вуза по курсу аналитической химии.

2. Материалы и методы

2.1. Концепция контекстного тестирования в науке. Разработка инструментов для контекстного тестирования

В то время как традиционные стандартизированные тесты обычно обращаются к традиционному содержанию курса и навыкам [ 23 ] - и часто подчеркивают процедурные навыки, то есть способность выполнять последовательность действий для решения проблемы и воспроизведение фактов и определений - в контекстно-ориентированной среде , студентам назначаются учебные задания, которые переделывают характерные виды деятельности в подлинную научную практику. Выполняя эти задания, учащийся знакомится с артефактами, принадлежащими этой аутентичной научной практике [ 34] (стр. 1111). Кроме того, по мнению авторов этой статьи, термин «контекстно-ориентированное тестирование» в науке направлен на измерение уровня знаний и понимания предмета и способности применять эти знания в профессиональной среде, т. Е. Измерять знания содержания и HOCS (решение проблем, способность сформулировать научный вопрос, способность переносить знания в новые ситуации и т. Д.). Эта процедура предполагает использование контекстных тестов, связанных с научной дисциплиной.

Контекстное тестирование как компонент контекстного обучения может укрепить знания учащихся и понимание основных концепций и тем; развивать у студентов понимание актуальности тем; объединить теорию с приложением; и развивать творческие способности к инновационному потенциалу, воплощенному в профессиональной деятельности.

Процесс создания и проведения контекстно-зависимых тестов должен соответствовать таким принципам, как интеграция фундаментальных и прикладных аспектов проверяемых вопросов, подчеркивание роли научных знаний в решении реальных проблем и неотложных профессиональных задач, модульная структура тестов, а также гибкость и гибкость. вариативность, основанная на различных нелинейных связях между модулями. Авторами разработана стратегия, определяющая путь построения контекстных тестов и администрирования тестов ( рисунок 1 ). Он включает в себя ряд последовательных шагов и механизм обратной связи.

Рисунок 1. Процесс создания и администрирования контекстных тестов.

На начальном этапе первым и наиболее важным шагом для тестировщиков является определение целей и задач тестирования по научной дисциплине с акцентом на целевые профессиональные навыки (компетенции), развиваемые в конкретном модуле исследования. После того, как цель тестирования описана, второй шаг - построение тестовой модели. В соответствующем модуле тестировщики выбирают тему / темы и определяют контекстно-зависимые области, которые необходимо протестировать. На этом этапе выбор сложности содержания важен, потому что он повлияет на ответы студентов на задачи и, в конечном итоге, на результаты контекстно-ориентированного обучения [ 35 , 36]. На третьем этапе задача тестировщиков - разработать и упорядочить элементы тестирования для каждого выбранного модуля. Их множество, но, как показывает опыт тестирования, тестировщики могут часто злоупотреблять вопросами, касающимися выбора моделей поведения в данной ситуации. Этот тип вопросов больше подходит для профессиональных тестов, в то время как контекстные тесты нацелены на оценку способности студентов интегрировать теорию с применением. Контекстные тесты должны связывать знание фундаментальных концепций с реальными жизненными задачами.

Четвертый этап - пилотное тестирование и мониторинг. Это помогает тестировщикам получить достоверную информацию о полезности контента; читаемость контента, доступность контента. На этом этапе, анализируя выходные данные / результаты, тестировщик может предпринять необходимые шаги для изменения качества, а также контекста контента на основе анализа данных пилотного исследования. Это позволит им удовлетворить все требования пользователей (студентов) и улучшить контент в соответствии с их потребностями. После завершения вышеупомянутых этапов тестировщики тестируют контент пользователями или целевой аудиторией (этапы 5 и 6). Это помогает тестировщикам заработать больше доверия, заслуживающих доверия отзывов и обзоров, что в дальнейшем позволяет им вносить точные изменения (шаг 7) для улучшения процедуры тестирования (изменение параметров элементов, моделей тестирования,

Предлагаемая стратегия направляет создание контекстных тестов в аналитической химии и пилотное тестирование во время лабораторных занятий. Содержание контекстных тестов согласовано с результатами обучения по программам бакалавриата в области биотехнологии; Товарный менеджмент и экспертиза; Технологии пищевой промышленности и общественного питания в Уральском государственном экономическом университете (УрГЭУ) (Екатеринбург, Россия).

В соответствии с целью и исследованием и принимая во внимание предложенную концепцию контекстного тестирования, мы анализировали следующие наводящие вопросы:

(a) Способствуют ли тесты с контекстными задачами более высокой степени усвоения знаний в конце учебной единицы по сравнению с более традиционными подходами к тестированию?

(b) Способствует ли контекстное тестирование более основательному приобретению знаний, т. е. более высокому уровню сохраняемых знаний по сравнению с более традиционными подходами к тестированию?

2.2. Участники исследования

Исследование проводилось со студентами второго курса (в возрасте 18–19 лет), обучающимися по программам бакалавриата по специальностям «Технологии пищевой промышленности и общественного питания» УрГЭУ. Выборка данного исследования составила 50 студентов. В рамках экспериментального плана исследования [ 37 ] участники были случайным образом распределены по одному из экспериментальных условий с использованием онлайн-инструмента ciox.ru. Численность экспериментальной и контрольной групп была равной - по 25 студентов. В контрольной группе проводились общепринятые тесты, в то время как студенты экспериментальной группы проходили контекстное тестирование. Язык обучения - русский.

2.3. Этические аспекты исследования

В процессе сбора данных исследователями были внедрены следующие этические процедуры.

Эксперимент проводился в соответствии с правилами Хельсинкской декларации 1975 г. и формальными требованиями журнала «Этика исследований и публикаций». Поскольку в России нет профессиональных организаций, определяющих этические стандарты в высшем образовании, УрГЭУ разработало собственные этические протоколы. План эксперимента (включая распределение по группам) был одобрен Ученым советом Института торговли, технологий пищевой промышленности и сервиса. Информированное согласие было получено для любых экспериментов с людьми. Ученый совет также одобрил результаты для анализа и включения в опубликованное исследование. Результаты исследования были представлены участникам каждой группы экспериментальных исследований.

Были учтены интересы участников. Всем студентам, участвовавшим в исследовании, было предоставлено достаточно информации, чтобы можно было судить о том, что исследование стоит того и что они хотят его поддержать. Участники были достаточно информированы о своем потенциальном участии в эксперименте - о том, что их попросят сделать, когда и при каких обстоятельствах. Участники также были проинформированы о том, что они имеют право делать свободный выбор, участвовать в исследовании или нет, и что не будет никаких санкций, последствий или дифференцированного отношения за неучастие. Студенты, участвовавшие в эксперименте, знали, что они могут отказаться или прекратить участие в исследовании в любой момент без каких-либо предубеждений.

Все студенты вызвались участвовать в экспериментах и ​​процессах оценки. Им было любопытно следить за своим прогрессом и получать отзывы о своих достижениях. Личность участников была защищена деидентификацией, которая проводилась перед анализом данных, чтобы избежать риска для участников, которые могут быть идентифицированы, ставя под угрозу их конфиденциальность и конфиденциальность.

Двойное действие, когда исследователь также выступает в качестве учителя участников, было сведено к минимуму за счет привлечения независимых сотрудников, которые отвечали за распределение студентов в контрольные или экспериментальные группы и кодирование работ студентов на этапе фокусировки.

2.4. Дизайн исследования

Это исследование было проведено с использованием до / послетестового дизайна с участием контрольной группы и экспериментальной группы. Весь период эксперимента составлял 35 недель, включая 15-недельную программу, с последующим отложенным послетестированием через 20 недель. Эксперимент был разделен на три этапа: предварительный, фокусный и заключительный. Продолжительность курса аналитической химии (контекстно-зависимая) составляла один семестр (15 недель). Данные теста были собраны в трех точках: начало курса (или предварительная фаза), конец курса (или фаза фокусировки) (конец недели 15) и после курса (или заключительная фаза) (конец недели 35). Промежуток времени между фокусом и заключительной фазой составил 20 недель. Рисунок 2 иллюстрирует график и последовательность эксперимента.

Рисунок 2. План эксперимента (E - экспериментальная группа, C - контрольная группа).

Предварительный этап. На предварительном этапе (точка начала курса) студенты проходили предварительное тестирование, цель которого заключалась в измерении возможных различий в предварительных знаниях химии студентов контрольной и экспериментальной групп. Тест на предварительные знания был аналогичен экзамену Соединенных Штатов (его результаты рассматриваются как требования к поступающим для абитуриентов) и содержал 20 структурированных вопросов с несколькими вариантами ответов с разными индексами сложности, которые влияли на оценку каждого ответа. Три учителя независимо друг от друга присвоили каждому вопросу определенный индекс сложности. Полученные рейтинги выносились на собрания команд и обсуждались до достижения согласия. Чтобы дифференцировать уровень сложности, учитывалось количество логических шагов или алгоритмов [ 38]: если учащимся нужно было сделать один или два шага для выполнения задания, вопрос оценивался в один балл (низкий уровень сложности); если задействованы три алгоритмические процедуры, задача оценивается в два балла (средний уровень сложности); если больше трех шагов, оценка составляла три балла (высший уровень сложности). Таким образом, шесть самых сложных вопросов получили три балла; шесть наименее сложных вопросов получили оценку в один балл; остальные восемь вопросов получили два балла. Общий балл, который могли получить студенты, варьировался от 0 до 40.

Фаза фокусировки. Фаза фокусировки была самой насыщенной и насыщенной с точки зрения методов оценки и проведения тестов. На этом этапе учащиеся как контрольной, так и экспериментальной групп испытывали контекстно-зависимый процесс обучения и обучения, который подробно описан Стожко и соавт. [ 32 , 39 ] и Бортник и др. [ 33 ]. Курс аналитической химии состоит из трех модулей:

Модуль 1 «Решения, диссоциация, гидролиз» (недели 1–5);

Модуль 2 «Комплексные соединения» (6–10 недели);

Модуль 3 Редокс-процессы (недели 11–15).

Каждый модуль включает 5 лекций (10 часов занятий) и 3 лабораторных занятия (12 часов занятий). Лекции были предназначены для получения фундаментальных и прикладных знаний. Лабораторная работа была ключевым компонентом контекстного обучения. Контекст был создан с помощью виртуальной химической лаборатории, которая давала возможность проводить научные эксперименты с онлайн-лабораториями в педагогически структурированных учебных пространствах [ 32 , 33 , 39 ]. Студенты контрольной и экспериментальной групп проводили идентичные по методике подготовки и завершения химические опыты. Примеры тем приведены ниже:

Определение содержания органических кислот в напитках кислотно-основным титрованием.

Определение антиоксидантов в соке, кофе, чае и вине потенциометрическим методом.

Определение общего содержания ионов железа в воде и напитках методом адсорбционной вольтамперометрии.

Инверсионно-вольтамперометрическое определение ионов токсичных металлов (Cu, Pb, Cd, Zn) в пищевых продуктах.

Определение жесткости водопроводной воды комплексометрическим методом.

В течение этого 15-недельного (одного семестра) этапа было проведено три теста, относящихся к трем изучаемым модулям: (1) Растворы, диссоциация, гидролиз; (2) сложные соединения; и (3) были введены окислительно-восстановительные процессы. Тестирование на основе контекста проводилось для студентов экспериментальной группы, а традиционное тестирование проводилось для студентов контрольной группы ( рис., Фаза фокусировки). Каждый тест включал шесть заданий. Уровень сложности для каждого задания дифференцировался так же, как и на предварительном этапе. Все студенты проходили тестирование в классе: контрольная группа проходила компьютерное тестирование, а экспериментальная группа должна была писать ответы на открытые вопросы в присутствии преподавателя. Для обеих групп ответы студентов оценивались с помощью ключевой системы, разработанной тестировщиками, которая исключала предвзятые предположения. При оценке также учитывалась степень сложности задания.

За неделю до экзамена все учащиеся прошли комплексный тест достижений ( рис. 2 , фаза фокусировки). Самостоятельный комплексный тест достижений по аналитической химии включал 20 вопросов, относящихся к конкретному содержанию, уже охваченному во всех трех модулях. Максимальный общий балл составил 40. Учащиеся контрольной группы прошли комплексный тест достижений, который содержал стандартные тестовые задания. Экспериментальной группе был предложен комплексный тест достижений, состоящий только из тестовых заданий на основе контекста.

Более того, в самом конце фазы фокусировки все студенты должны были сдать итоговый экзамен, который состоял из двух компонентов: устной и письменной. Устный компонент был направлен на проверку фундаментальных знаний учащихся по химии и включал вопросы о знаниях в традиционном стиле, которые требовали простой информации для воспоминаний или простого применения известной теории или знаний в знакомых ситуациях. Общее количество баллов по устному компоненту - 20.

Письменный компонент состоял из контекстных задач, требующих применения известной теории или знаний к практическим ситуациям (контексту). Задания имели разный уровень сложности, что влияло на оценку каждого ответа: 2 балла давались наименее сложному заданию; одно задание набрано 3 балла; три задания получили 4 балла; Самым сложным заданиям было присвоено 6 и 7 баллов. Таким образом, максимальный общий балл по письменному компоненту составил 30 баллов, а общий максимальный балл как по устному, так и по письменному компоненту составил 50 (20 + 30) баллов.

Для большей объективности экзамена по курсу был проведен в большой группе, в которой участвовали как контрольные, так и экспериментальные студенты. Затем письменные работы студентов были перетасованы и закодированы по буквам вспомогательным персоналом. Алгоритм кодирования и декодирования тестировщикам был неизвестен. После того, как учителя («эксперты») оценили работы, обслуживающий персонал расшифровывал их и переносил оценки экспертов в таблицы с именами учащихся. Устный компонент экзамена проводился другой группой независимых экспертов, которые не знали, к какой группе - контрольной или экспериментальной - принадлежит студент.

Заключительный этап. На заключительном этапе через 20 недель после окончания курса аналитической химии (неделя 35) был проведен отложенный посттест. Отложенное пост-тестирование предназначалось для измерения влияния контекстного тестирования на уровни успеваемости учащихся обеих групп. Отложенный пост-тест включал 20 вопросов, представляющих собой комбинацию традиционных и контекстно-зависимых элементов. Максимальный общий балл составил 40 баллов.

2.5. Тесты

Методы оценки были разработаны в соответствии с принятой стратегией ( Рисунок 1 ). В таблице 1 представлены выдержки из заданий интегративного теста достижений, предложенных студентам контрольной (традиционный тест) и экспериментальной группы (контекстный тест). Задания соответствуют трем модулям предметного изучения (упомянутым ранее): Растворы, Диссоциация и Гидролиз; Сложные соединения; и окислительно-восстановительные процессы. Обычные тесты включали вопросы с несколькими вариантами ответов, в то время как задачи, основанные на контексте, были разработаны таким образом, чтобы учащиеся могли использовать свои научные знания для поиска решений представленной проблемы.

Таблица 1. Примеры элементов традиционных и контекстно-зависимых интегративных тестов достижений.

Дизайн интегративных тестов достижений также был основан на содержании, охватываемом тремя модулями (например, примеры в Таблице 1 ). Таблица 2 иллюстрирует письменный компонент экзамена в конце курса ( Рисунок 1 , Фаза фокусировки).

Таблица 2. Письменный экзамен (максимальный балл = 30).

Поскольку языком всех учебных материалов, с которыми работали студенты, был русский, отрывки, представленные в таблице 1, и тест в таблице 2 были переведены на английский язык Ириной Первухиной, одним из авторов данной статьи. Она свободно говорит на русском и английском языках и хорошо знает контекст исследования и конкретное исследование. Перевод был проверен двумя другими авторами с использованием обратного перевода.

Из таблиц 1 и 2 видно, что каждая контекстная задача тестов и письменного экзамена включает определенное химическое содержание и вопрос, основанный на этом содержании. Контекстный вопрос фокусируется на соответствующей области обучения студента и различных областях применения (здоровье, экология, производство продуктов питания и т. Д.). Напротив, традиционные вопросы ограничиваются только областью химии. Контекстно-зависимые задачи являются «открытыми»: каждая задача представляет собой проблему разной степени сложности, и студенты должны самостоятельно выбирать алгоритм поиска решения, применяя знания и понимание, полученные в учебной программе университета.

Пример 1 ( таблица 1) иллюстрирует модуль решений, диссоциации и гидролиза. Значение pH водорода считается мерой кислотности водного раствора. Кислотность реакционной среды имеет особое значение для биохимических процессов, происходящих в организме и в пище. Например, значение pH молока определяет коллоидное состояние белков и стабильность полидисперсной системы молока; условия развития полезной и вредной микрофлоры и ее влияние на брожение и созревание; состояние равновесия между ионным и коллоидным фосфатом кальция и, как следствие, термическая стабильность белковых веществ; активность дативных и бактериальных ферментов; скорость формирования типичных компонентов вкуса и запаха отдельных молочных продуктов. Чтобы ответить на традиционный тестовый вопрос, учащиеся должны уметь вспомнить, что такое кислотность и значения pH различных распространенных кислот, включая молочную. Запоминание и понимание относятся к когнитивным навыкам низшего порядка (LOCS) в таксономии Блума [24 ]. В задаче, основанной на контексте, акцент смещается на биохимический процесс, связанный с производством молочных продуктов. Чтобы иметь возможность правильно ответить на вопрос («значение pH молока снижается во время хранения из-за образования молочной кислоты в результате ферментации молочной кислоты»), учащиеся должны продемонстрировать когнитивные навыки более высокого уровня, т.е. степень, анализ и оценка (когнитивные навыки высшего порядка (HOCS).

Пример 2 ( таблица 1 ) иллюстрирует модуль сложных соединений. Комплексные соединения широко распространены в неживом мире и дикой природе. Они используются в качестве катализаторов и ингибиторов различных процессов в пищевых продуктах. В частности, соединения на основе железа влияют на процессы, происходящие в красном вине. Эти соединения вызывают реакции, которые заметно ухудшают качество красных вин, приводя к появлению помутнения танната железа, помутнения, потемнения цвета и темного осадка. Традиционное тестовое задание направлено на определение состава комплекса зарядов комплексообразователя и комплексного иона. В контекстной задаче акцент смещается на процесс, происходящий в напитке, и способ управления этим процессом.

Пример 3 ( таблица 1 ) иллюстрирует модуль окислительно-восстановительных процессов. Традиционная тестовая задача - сравнить восстанавливающие свойства различных кислот, в то время как контекстная задача - сравнить антиоксидантную активность фруктов и ягод, содержащих те же кислоты. Этот тестовый вопрос напрямую перекликается с Примером 6 письменного экзаменационного вопроса ( Таблица 2), где студентов просят сравнить АОП различных экстрактов специй, проанализировать и синтезировать, а также разработать оптимальный рецепт соуса с лучшим АОП. При выполнении задания ученики должны учитывать ряд факторов: влияние на АОП белковой среды (в данном случае мясного бульона), синергетический эффект (усиление АОП) при взаимодействии с двумя компонентами, антагонистический эффект. эффект (ослабление АОП) при взаимодействии с тремя другими компонентами. В результате выбранная комбинация на первый взгляд не кажется очевидной (с учетом только начальных значений АОП), а именно: [кардамон + мускатный орех + черный перец + сладкий перец + орегано], общее АОП = 78,356 мг / g, потому что он включает два компонента с наименьшими «собственными» начальными значениями AOP.

Вопрос 7 письменного экзамена ( Таблица 2) считается самой сложной задачей (7 баллов). В качестве предварительного условия для выполнения задания студенты должны знать, что такое кислотно-основное титрование; закон кратных пропорций, титрование солевых смесей; концепции свободной и общей щелочности, точки эквивалентности, кривой титрования, кислотно-основных показателей и т. д. Задача студента - написать уравнения химических реакций, протекающих во время химического анализа, рассчитать свободную и общую щелочность образец природной воды и, наконец, примите решение, подходит ли вода для приготовления напитка. Если решение отрицательное (что происходит, когда свободная щелочность образца (6,5 ммоль / л) превышает заданное значение (5,0 ммоль / л), студент должен предложить возможный способ снижения щелочности. Как правило, щелочной избыток можно нейтрализовать подкислением воды,

2.6. Статистический анализ и обработка данных

Статистический анализ включал проверку гипотез, использованную для оценки правдоподобия предложенных гипотез.

Нулевая гипотеза H 0 * утверждает, что на каждой фазе эксперимента оценки, полученные контрольной и экспериментальной группами студентов, соответствуют нормальному закону.

Альтернативная гипотеза H 1 * утверждает, что закон распределения баллов не является нормальным.

Нулевая гипотеза H 0 утверждает, что нет статистически значимой разницы между результатами тестовой деятельности, полученными студентами контрольной и экспериментальной групп на каждой фазе эксперимента.

Альтернативная гипотеза H 1 утверждает, что существует статистически значимая разница между результатами тестовой деятельности, полученными студентами контрольной и экспериментальной групп на каждом этапе эксперимента.

Все полученные данные обрабатывались с помощью программных пакетов R-Studio. Проведенный статистический анализ включал тест Шапиро – Уилка (W-тест) на нормальность, тест Фишера (F-тест) для сравнения двух дисперсий (стандартные отклонения от средних) и t-критерий Стьюдента для эквивалентности. Уровень значимости в этом сравнении был определен как 0,05.

3. Результаты

Результаты эксперимента представлены в таблице 3 . Обобщены результаты оценки на разных этапах эксперимента и их статистическая обработка. Критические значения, полученные для теста Шапиро – Уилка и t- критерия Стьюдента, составили: W scr = 0,9186 и t cr = 2,011 (для степеней свободы в выборках ν = 48).

Таблица 3. Результаты оценок, проведенных в контрольной и экспериментальной группах, полученные на разных этапах эксперимента.

На всех трех этапах эксперимента значение критерия Шапиро – Уилка выше критического, а значение p s выше 0,05 ( таблица 3 ). Эти данные позволяют нам отвергнуть альтернативную гипотезу H 1 * и принять нулевую гипотезу H 0 *, согласно которой оценки, полученные контрольной и экспериментальной группами, соответствуют нормальному закону.

Анализ данных предварительного тестирования ( таблица 3 ) показывает, что значение t- теста ( t = 0,3097) ниже критического; значение p t ( p t = 0,7581) выше 0,05; и доверительный интервал для различий эквивалентности между средними значениями группы пересекает ноль. Это позволяет нам принять нулевую гипотезу H 0, которая утверждает, что нет статистически значимой разницы между результатами предварительного тестирования, полученными контрольными и экспериментальными студентами, и отклонить альтернативную гипотезу H 1 . Эти данные свидетельствуют о том, что студенты двух групп имели сравнительные уровни предшествующих знаний.

В то же время из таблицы 3 видно, что для всех методов оценки средний балл в экспериментальной группе выше, чем в контрольной. Т значение Экспериментальная проверка выше критической и р т значение ниже 0,05. Это позволяет отвергнуть нулевую гипотезу H 0 и принять альтернативную гипотезу H 1.заявляя, что здесь имеется статистически значимая разница между результатами оценивания в контрольной и экспериментальной группах, полученными каждым методом последовательной оценки на фокусной и заключительной фазах эксперимента, а именно интегративном тесте достижений, устных и письменных экзаменах и отложенном пост-тесте. Однако стоит отметить, что хотя разница между средними баллами, полученными в тестах интегративных достижений, является статистически значимой, она не позволяет сделать вывод о том, что студенты экспериментальной группы справились лучше, потому что содержание заданий для экспериментальной группы отличалось от что из контрольной группы. Степень успеваемости можно измерить, проанализировав экзамен (устный и письменный) и набор оценок отложенного послетеста.

Для оценки валидности комплексных тестов достижений, проведенных в двух группах (обычные тесты в контрольной группе; тесты с включением контекстных задач в экспериментальной группе), массив баллов по этим тестам сравнивался с массивом баллы за письменную часть, устную часть экзамена и общую оценку за экзамен. Корреляция массивов была найдена с помощью программы R-studio. Выявленные коэффициенты корреляции составили 89,8%, 89,6% и 90,1% соответственно. Полученные результаты свидетельствуют о достаточно высоком уровне валидности используемых контекстных и традиционных тестов.

4. Обсуждение

Индексы величины эффекта рассчитывались с использованием индекса Коэна (d) [ 40 ]. Результаты показали, что для предварительного теста величина эффекта, связанная с разницей между средними значениями группы, почти равна нулю (d <0,1), в то время как для других тестов (интегративный тест достижений, устный экзамен, письменный экзамен, устные и письменные экзамены) , пост-тест) средний эффект закономерен и его величина колеблется от 0,54 до 0,65.

Результаты эксперимента согласуются с соответствующими исследованиями [ 25 , 41 ]. Некоторая корреляция может быть обнаружена с выводами, представленными Sevian et al. [ 42 ], которые сравнили результаты обучения студентов, исследованных на двух университетских курсах химии. Можно сделать вывод, что контекстные задания, предложенные преподавателем во время лекций и лабораторных занятий, положительно повлияли на обучение студентов и концептуальное понимание предмета изучения. Хотя текущее исследование не анализирует ответы студентов с помощью таксономии HOCS / LOCS, мы можем предположить, что контекстно-зависимая учебная деятельность может иметь положительный эффект на повышение исследовательских навыков студентов [ 33]. Для российских студентов изучение химии является обязательным требованием для программ бакалавриата по биотехнологии; Товарный менеджмент и экспертиза; и технологии пищевой промышленности и общественного питания. Однако, поскольку их специальность нехимии, LOCS считаются приемлемыми и удовлетворительными и могут использоваться в качестве стартовой площадки для приобретения HOCS в дальнейших исследованиях профильных предметов. На университетском уровне преподавание химии включает алгоритмические и / или ориентированные на LOCS экзамены. Вопросы LOCS при обучении и оценке химии (экзамен) относятся к вопросам знаний, которые требуют простого вспоминания информации или простого применения теории или знаний к знакомым ситуациям и контексту. Они могут быть решены с помощью алгоритмических процессов через определенные директивы или практики [ 24 , 43 ] (стр. 187). Наши исследования позволяют студентам расширить возможности применения теории и знаний в профессиональном контексте.

Уместно подчеркнуть, что в нашем исследовании обе группы - экспериментальная и контрольная - участвовали в одном и том же процессе контекстного обучения, посещали лекции в одном потоке и выполняли одни и те же задачи во время лабораторных семинаров с контекстным содержанием. Отличия были только в средствах контроля (тестирования); поэтому анализ результатов экспериментов позволяет дать утвердительный ответ на два исследовательских вопроса, сформулированных в разделе 2.1 . бумаги. Контекстное тестирование как инструмент оценки контекстного обучения может способствовать более высокому уровню приобретения знаний и более высокому уровню сохраняемых знаний по сравнению с более традиционными подходами к тестированию.

5. Ограничения исследования.

Однако стоит отметить некоторые ограничения. Размер выборки ( n = 50) был ограничен количеством студентов, которые могли быть зачислены на этот курс; поэтому результаты следует интерпретировать с осторожностью, чтобы избежать чрезмерного обобщения. Как было упомянуто в начале этого раздела, текущее исследование не анализирует ответы студентов с применением таксономии HOCS / LOCS. Хотя вопросы нашего исследования были подтверждены статистически, выборка не подвергалась повторной оценке после завершения эксперимента. Следовательно, невозможно оценить, как долго навыки сохраняются после окончания курса.

Еще один аспект, который следует упомянуть, - это потенциальная проблема, связанная с множественными t- критериями. В нашем эксперименте нас интересовало истинное различие между парой групп - контрольной и экспериментальной. Повторное тестирование или несколько t- тестов с более чем двумя группами может привести к вероятности ложноположительного результата [ 44 ].

Определенные ограничения связаны с продолжительностью курса; в общей сложности 66 часов контактного обучения. В результате эксперимент был ограничен по времени, содержанию и - что было особенно важно для этого эксперимента - кругу контекстно-зависимых задач.

6. Выводы

В результате исследования авторы разработали концепцию контекстного тестирования как инструмента оценки в контекстно-ориентированном обучении и обучении; разработали контекстно-зависимые тесты в аналитической химии; и сделали попытку оценить влияние их заявки на успеваемость учащихся. И экспериментальная, и контрольная группы студентов были подвергнуты контекстному обучению и обучению (лекции и лабораторные занятия). Основное различие заключалось в типе используемых инструментов оценки.

Эксперимент показал, что учащиеся экспериментальной группы, которые были протестированы в соответствии с методологией обучения, основанной на контексте, продемонстрировали повышенный уровень успеваемости, в то время как у учащихся контрольной группы, получивших традиционное обучение, не было выявлено значительных различий в уровне успеваемости. их достижения.

Результаты эксперимента позволяют ответить на вопросы управляемого исследования. По сравнению с обычным тестированием, контекстное тестирование может способствовать (1) более высокому уровню приобретения знаний в конце учебного блока и (2) более основательному приобретению знаний, т. Е. Более высокому уровню сохраняемых знаний. Эти результаты согласуются с литературой, цитируемой в Ulusoy and Onen [ 6 ] (стр. 543), которая указывает на более высокие уровни достижений как следствие контекстно-ориентированного подхода к обучению.

Результаты этого исследования имеют значение для разработки более эффективных учебных программ и методов оценки, в частности, не только для курса аналитической химии университетского уровня, но и для других курсов естествознания. Анализ данных через призму контекстно-зависимого преподавания и обучения может обеспечить основу, которая поможет преподавателям разработать курс с более значимыми материалами. Значение этой работы для преподавателей состоит в том, чтобы расширить их осведомленность о потенциале применения контекстно-зависимого тестирования при преподавании аналитической химии или других научных дисциплин студентам университетов, не специализирующимся на естественных науках. Еще одним преимуществом может быть диалог с преподавательским сообществом, который способствует продвинутым исследованиям эффективных методов обучения естественным наукам.