Психометрические основы психолого-педагогической диагностики

3. Психометрические основы психолого-педагогической диагностики

Цель — ознакомление с основными психометрическими требо­ваниями к измерительным диагностическим методикам.

Задачи:

— рассмотреть основные типы измерительных шкал;

— определить необходимость стандартизации и ознакомить с ви­дами норм принятыми в диагностике;

— рассмотреть и описать процедуру разработки и применения основных психометрических требований.

3.1. Типы шкал измерения

Психометрия — базовая дисциплина, являющаяся фундамен­том общей психодиагностики, связанная с теорией и практикой из­мерения психических явлений. Понятие «психометрии» было вве­дено в 1734 г. Христианом Вольфом, который впервые указал на возможность измерения в психологии.

Знание психометрии дает диагносту необходимый материал для понимания ограниченности методик, тех допущений, которые были сделаны авторами для целей исследования.

Психометрия — наука, обосновывающая и разрабатывающая измерительные диагностические методы. Она научно обосновывает те требования, которым должны удовлетворять измерительные пси­ходиагностические методы, и описывает определенные процедуры их разработки и применения.

Психометрические требования касаются качества того инстру­мента (теста), посредством которого собираются данные. Психологи­ческий тест может быть охарактеризован как эффективный при усло­вии, что он удовлетворяет следующим требованиям: использование шкалы интервалов; наличие нормативных данных (либо критериев, установленных экспертами); надежность; валидность; достоверность; репрезентативность; дискриминативность.

Шкала — это форма фиксации совокупности признаков изучае­мого объекта с упорядочиванием их в определенную числовую си­стему.

Значения признака или переменной определяются (измеряются) при помощи специальных шкал измерения:

1) номинативная (наименований);

2) порядковая;

3) интервальная;

4) равных отношений.

Рассмотрим особенности каждой из вышеперечисленных шкал.

Номинативная (наименований) шкала. Это шкала, класси­фицирующая по названию. Название не измеряется количествен­но, оно лишь позволяет отличить один объект от другого. Это про­стейшая классификация испытуемых, например: мужчина-женщина; имеет братьев и сестер — единственный ребенок в семье и т.п.

Данная шкала позволяет подсчитывать частоты встречаемости разных «наименований», или значений признака, и затем работать с этими частотами с помощью математических методов.

Порядковая (ранговая) шкала. Это шкала классифицирует по принципу «больше — меньше». Субъекты ранжированы, на­пример, по весу или росту. В порядковой шкале должно быть не менее трех классов, например «положительная реакция — ней­тральная реакция — отрицательная реакция» или «подходит для занятия вакантной должности — подходит с оговорками — не подходит».

В данной шкале не известно истинное расстояния между классами, а известно лишь то, что они образуют последователь­ность.

От классов переходят к числам (низший класс получает ранг 1, средний класс 2, а высший — ранг 3, или наоборот).

Интервальная шкала. Это шкала, классифицирующая по прин­ципу «больше на определенное количество единиц — меньше на определенное количество единиц». Шкала представляет собой пол­ностью упорядоченный ряд с измеренными интервалами между пун­ктами, причем отсчет начинается с произвольно выбранной величи­ны. Каждое из возможных значений признака отстоит от другого на равном расстоянии.

Шкала равных отношений. Это шкала, классифицирующая объекты или субъекты пропорционально степени выраженности из­меряемого свойства. В отличие от интервальной шкалы она имеет значимую нулевую точку, которая не произвольна, а указывает на полное отсутствие измеряемого свойства.

Наличие нулевой точки — проблема для большинства психоло­гических переменных, так как возможности человеческой психики столь велики, что трудно представить абсолютный нуль в какой-либо измеряемой психологической переменной.

3.2. Понятие норм и стандарта в диагностике

Диагностическая методика отличается от исследовательской тем, что она стандартизирована и включает точные указания относитель­но используемого стимульного материала, временных ограничений, устных инструкций испытуемому, пробных образцов заданий, до­пустимых ответов на вопросы обследуемого и других тонкостей про­ведения теста. На выполнение некоторых тестов может влиять мно­жество других, не столь очевидных факторов. Например, зачитывая вслух инструкцию или задание, нужно принимать во внимание тон голоса, скорость речи, интонацию, паузы и выражение лица.

Стандартизация — это единообразие процедуры проведения и оценки выполнения теста, которую рассматривают в двух планах:

1. Стандартизация процедуры, что подразумевает унификацию инструкций, бланков обследования, способов регистрации результа­тов и условий проведения обследования.

2. Выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний. Такой точкой отсчета яв­ляются нормы.

Нормы — это множество показателей из четко определенных выборок. Психологические тесты не имеют заранее определенных стандартов их успешного или неуспешного выполнения; крите­рии выполнения каждого теста устанавливаются опытным путем. В большинстве случаев тестовый показатель индивидуума выявля­ется на основе сравнения с оценками, полученными по данному те­сту другими людьми. Для обоснования вывода о норме необходимо: 1) сравнить результаты с выборкой стандартизации, т.е. выборкой испытуемых численностью не меньше 200 человек и совпадающих по полу, возрасту, образованию, социальному положению и т.п.; 2) полученный результат перевести в некую относительную меру. Всякая норма обычно со временем изменяется вместе с естественны­ми изменениями, которые с годами происходят в психологии людей, поэтому есть правило, согласно которому нормы теста, особенно ин­теллектуального, должны пересматриваться, как минимум один раз в пять лет.

Принято различать два вида норм: статистические и социокуль­турные (социально-психологический норматив).

Первый вид применяется для оценки стилевых и мотивационных черт, второй — для оценки способностей и достижений.

Статистическая норма — это уровень развития человека, ко­торый соответствует среднестатистическим (количественным) пока­зателям, полученным при обследовании представительной группы людей того же возрастного диапазона, пола, культуры и т.п.; это близость значения свойства к тому уровню, который характеризует статистически среднего индивида.

Для вычисления статистической нормы обратились к приемам математической статистики — определение распределения.

Распределением называется закономерность встречаемости раз­ных значений измеряемого признака. Форма распределения явля­ется обобщенной характеристикой выборки. Кривые распределения бывают одновершинные и многовершинные.

В психологии рассматривают нормальное распределение, или распределение по нормальному закону, кривая распределения Гаус­са, предложенная им в 1908 г.

Нормальное распределение характеризуется тем, что крайние значения признака в нем встречаются достаточно редко (16%), а значения, близкие к средней величине, достаточно часто (68%).

Для описания нормального распределения достаточно знать два показателя — среднее арифметическое признака (Хср) и стандарт­ное отклонение (σ). Границы статистической нормы определяются по формуле Хср ± σ.

В диагностике существует и другой подход к оценке результа­тов диагностических испытаний. В нашей стране под руководством К.М. Гуревича были разработаны тесты, в которых в качестве точки отсчета выступает не статистическая норма, а независимый от резуль­татов испытания, объективно заданный социально-психологический норматив.

Социокультурный или социально-психологический нор­матив (СПН) — это уровень свойства, который явно или неявно считается в обществе необходимым; это система требований, кото­рые общество предъявляет к психическому и личностному развитию каждого из его членов.

Требования закреплены в виде правил, норм, предписаний, они присутствуют в образовательных программах, в профессиональных и квалификационных характеристиках, общественном мнении.

СПН меняется вместе с развитием общества.

Социально-психологический норматив реализуется в совокупно­сти заданий, составляющих тест.

Сам тест в полном его объеме и является таким нормативом (100%). В качестве критерия оценки выступает показатель, отражаю­щий степень близости результатов к нормативу. 39

Для анализа данных относительно их близости к социально-психологическому нормативу, условно рассматриваемому как 100%-ное выполнение всего теста, все испытуемые подразделяются по результатам тестирования на пять подгрупп (%):

1) наиболее успешные — 90-100% (10%);

2) близкие к успешным — 70-90% (20%);

3) средние по успешности — 30-70% (40%);

4) малоуспешные — 10-30% (20%);

5) наименее успешные — 0-10% (10%).

3.3. Надежность как важное психометрическое требование к диагностической методике

Надежность — характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов.

Степень надежности методик зависит от многих причин. Важной проблемой практической диагностики является выяснение негатив­ных факторов, влияющих на точность измерений. Многие авторы пытались составить классификацию таких факторов, среди которых чаще называют следующие:

1) состояние и настроение обследуемых;

2) мотивация испытуемых к тестированию;

3) эргономические факторы: время дня, освещенность, темпера­тура в помещении, наличие шумов и запахов и т.п.;

4) характеристика деятельности (монотонность — динамичность и др.);

5) степень обучаемости (или натренированности) испытуемых.

Разновидностей надежности методик так же много, как и усло­вий, влияющих на результаты диагностических испытаний. Все виды надежности отражают степень согласованности двух независимо по­лученных рядов показателей с помощью математико-статистического приема, который и устанавливает надежность методики. Надежность тем выше, чем больше полученный коэффициент корреляции при­ближается к единице, и наоборот.

К.М. Гуревич предложил толковать надежность как:

1) надежность самого измерительного инструмента;

2) стабильность изучаемого признака;

3) относительная независимость результатов от личности экс­периментатора.

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надежности; показатель, характеризующий стабильность измеряемого свойства, — коэффи­циентом стабильности; а показатель оценки влияния личности экспериментатора — коэффициентом константности.

Остановимся более подробно на рассмотрении этих показателей, характеризующих с разных сторон надежность психодиагностической методики.

1. Определение надежности измерительного инструмента. Для проверки надежности измерительного инструмента, говорящего о его однородности (или гомогенности), используют метод расще­пления.

Задания делятся на четные и нечетные, отдельно обрабатыва­ются, а затем результаты двух полученных рядов коррелируются, сравниваются между собой.

Методика признается надежной, когда полученный коэффициент не ниже 0,75—0,85. Лучшие по надежности тесты дают коэффици­енты порядка 0,90 и более.

2. Определение стабильности изучаемого признака. Для провер­ки стабильности диагностируемого признака, свойства используется прием тест—ретест. Он заключается в повторном обследовании ис­пытуемых с помощью той же методики. О стабильности признака судят по коэффициенту корреляции между результатами первого и повторного обследования (не ниже, чем 0,7).

При определении стабильности признака большое значение имеет промежуток времени между первым и повторным обследо­ванием.

Используется временной интервал в несколько месяцев, но не более полугода. У детей интервалы могут быть порядка нескольких недель.

3. Определение константности. Коэффициент константности определяется путем корреляции результатов двух опытов, проведен­ных в относительно одинаковых условиях на одной и той же вы­борке испытуемых, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.

К.М. Гуревич считает, что каждый в отдельности показатель ни­как не заменит других способов проверки и, следовательно, не мо­жет рассматриваться в качестве необходимой и достаточной харак­теристики надежности.

Методика, располагающая полной характеристикой надежности, наиболее пригодна для практического применения.

3.4. Валидность диагностической методики

Вопрос о валидности методик решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная ме­тодика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Валидность — обоснованность методики.

А. Анастази: «Валидность теста — понятие, указывающее нам на то, что тест измеряет и насколько хорошо он это делает», т.е. она предусматривает прямую проверку того, насколько хорошо тест вы­полняет свою функцию.

Характеристика валидности методики включает в себя не только сведения о том, что данная методика на самом деле измеряет, но и информирует об условиях, о сфере ее применения. Существует не­сколько разновидностей валидности, каждую из которых нужно рас­сматривать и оценивать отдельно, когда стоит вопрос о выяснении валидности психодиагностической методики. Валидность может быть внутренней (конструктной) и внешней (критериальной). Внутренняя валидность определяет, насколько полно тестовые баллы отражают исследуемые психические свойства или умения и знания, обозначает соответствие содержащихся в методике заданий, суждений и тому подобное общей цели и замыслу методики в целом. Тестовая мето­дика считается внутренне невалидной или недостаточно внутренне валидной тогда, когда все или часть включенных в нее вопросов и заданий измеряют не то, что требуется от данной методики. Внешняя валидность определяет полезность тестового измерения в качестве предсказателя поведения, насколько тестовые баллы связаны с неко­торой другой деятельностью. Речь идет о связи между показателями методики и наиболее важными, ключевыми внешними признаками, относящимися к поведению испытуемого.

Валидность — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее дей­ственность, эффективность, практическая полезность.

Проверка валидности методики называется валидизацией. При­нято выделять:

1) теоретическую валидизацию — проверка валидности измери­тельного инструмента;

2) прагматическую валидизацию — валидность цели ее исполь­зования.

Основным элементом проверки валидности тестов является кри­терий валидности. Это независимый от теста, внешний по отно­шению к тесту источник информации об измеряемом психическом свойстве.

В качестве критерия могут выступать:

— успеваемость — для тестов способностей к обучению, тестов достижений, тестов интеллекта;

— производственные достижения — для методик профессио­нальной направленности;

— эффективность реальной деятельности (рисования, моделиро­вания и т.д.) — для тестов специальных способностей;

— субъективные оценки — для тестов личности.

Виды валидности, обусловленные особенностями диагностиче­ских методик и временным статусом внешнего критерия:

1. Валидность «по содержанию» (логическая валидность) приме­няется для тестов достижений. Она отвечает на вопрос: «Можно ли быть уверенным в том, что правильные ответы на немногие вопросы свидетельствуют об усвоении всего материала?». Для этого прово­дится сопоставление успешности по тесту с экспертными оценками учителей, преподавателей по данному курсу, предмету, разделу.

2. Валидность «по одновременности» (текущая валидность). Определяется с помощью внешнего критерия, по которому инфор­мация собирается одновременно с экспериментами по проверяемой методике.

3. «Предсказывающая» валидность («прогностическая» валид­ность). Определяется также по надежному внешнему критерию, но информация по нему собирается некоторое время спустя после ис­пытания.

4. «Ретроспективная» валидность. Определяется на основе критерия отражающего события или состояние качества в прошлом.

3.5. Достоверность, репрезентативность и дискриминативность — психометрические требования к диагностическим методикам

Достоверность — это способность теста защищать информацию от мотивационных искажений. Проблема достоверности остро стоит в случае тест-опросников, которые допускают больше свободы в вы­боре испытуемым любого варианта ответа.

Типичный прием обеспечения достоверности — наличие шка­лы лжи или контрольной шкалы. Они основываются на феномене социальной желательности — стремлении испытуемых давать в ходе тестирования социально одобряемую информацию. Если ис­пытуемый набрал по шкале лжи балл выше критического, то его протокол объявляется недостоверным и ему предлагается либо вы­полнить данный тест еще раз более откровенно, либо выполнить другой тест.

Репрезетативность — это соответствие тестовых норм выборки стандартизации тестовым нормам той популяции, на которой при­меняется тест. Она определяется путем сопоставления качественных и количественных характеристик исследуемой популяции с целью определения их однородности.

Дискриминативность — это способность отдельных заданий и теста в целом дифференцировать обследуемых относительно мак­симального и минимального результатов. Точность информации из­меряется тем, насколько дробной шкалой являются применяемые метрики. В оценке может быть использовано около девяти градаций, а в опросах — наиболее эффективно использовать три (или пять) градаций.

Краткое описание документа:

Психометрия — базовая дисциплина, являющаяся фундамен­том общей психодиагностики, связанная с теорией и практикой из­мерения психических явлений. Понятие «психометрии» было вве­дено в 1734 г. Христианом Вольфом, который впервые указал на возможность измерения в психологии.

Знание психометрии дает диагносту необходимый материал для понимания ограниченности методик, тех допущений, которые были сделаны авторами для целей исследования.

Психометрия — наука, обосновывающая и разрабатывающая измерительные диагностические методы. Она научно обосновывает те требования, которым должны удовлетворять измерительные пси­ходиагностические методы, и описывает определенные процедуры их разработки и применения.

Психометрические требования касаются качества того инстру­мента (теста), посредством которого собираются данные. Психологи­ческий тест может быть охарактеризован как эффективный при усло­вии, что он удовлетворяет следующим требованиям: использование шкалы интервалов; наличие нормативных данных (либо критериев, установленных экспертами); надежность; валидность; достоверность; репрезентативность; дискриминативность.