Дискриминативность
Валидность
- соответствие теста измеряемому свойству. Этот критерий доброкачественности теста, характеризующий точность измерения исследуемого свойства, характеристики, а также показывающий, насколько отдельные его составляющие адекватны исследуемой проблеме.
На современном этапе развития тестологии и психодиагностики классификация валидности весьма условна. Этот факт определяется сложностью феномена валидности. Выделяют три основные вида валидности.: критериальная, конструктная и содержательная. Валидность по содержанию - это основной вид валидности для тестов школьных достижений.
Определение содержательной валидности используется для тестов достижений и тестов профессиональной успешности, когда должен быть точно определен материал, применяемый для тестирования, и когда существует достаточная ясность смысла измеряемого материала.
П. Клайн предлагает следующую процедуру для определения содержательной валидности для тестов школьных достижений:
1) укажите точно категорию лиц, для которой предназначен тест;
2) определите навыки, подлежащие тестированию, возможно вам понадобиться их проанализировать. Составьте список.
3) передайте этот список экспертам в данной области для проверки – нет ли упущений
4) преобразуйте этот список в перечень заданий, используя, когда это возможно, равное количество заданий на каждый навык
5) представьте эти задания экспертам для проверки
6) подвергните задания обычным процедурам конструирования тестов.
Как можно видеть, сама процедура создания тестов школьных достижений в том случае, если она не нарушается, дает хороший валидный инструмент.
Источники повышения валидности теста
1. ПОДбор оптимальной трудности заданий для обеспечения нормального закона распределения баллов по тесту
2. экспертиза качества содержания по тесту
3. расчет оптимального времени выполнения теста
4. подбор валидных заданий с высокой дискриминатинативностью
- это способность отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл. Дискриминативность означает различительную способность задачи. Попытаемся пояснить понятие дискриминативности на примере. Представим себе, что мы провели тестирование группы учащихся. В составе этой группы были отличники, хорошисты и двоечники. Логично предположить, что отличники должны справиться с тестом лучше, чем двоечники. Но выясняется, что с одним заданием и двоечники и отличники справились одинаково успешно или неуспешно. В чем причина такого нелогичного явления? Оказывается, что это бывает только в том случае, когда задание обладает существенными недостатками. Типичными недостатками низкодискриминативных задач являются:
1. излишняя сложность, запутанность формулировки
2. неоднозначность условия
3. очевидность решения
4. зависимость результата от памяти или других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывался тест
5. абсурдность вариантов ответов
6. появление двух или более правильных ответов
Действительно, в том случае, если задания обладают перечисленными недостатками, вероятность того, что с ними одинаково справятся как отличники, так и двоечники довольно велика. Таким образом, определение дискриминативности необходимо для того, чтобы поставить заслон некачественным заданиям.
Дискриминативность задач определяется как способность отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл.
Самый простой способ вычисления дискриминативности – вычисление с применением метода крайних групп, т.е. при расчете учитываются результаты учащихся, наиболее и наименее успешно справившихся со всем тестом.
Как правило, берут от 10 до 30% (чаще27%) лучших и худших по результатам выполнения всего теста. Индекс дискриминации задания вычисляется как разность долей испытуемых из высокопродуктивной и низкопродуктивной групп, правильно решивших ее.
D= Nпверх/ Nверх – Nпниз/Nниз
Nпверх – количество учащихся в группе лучших, верно выполнивших данное задание
Nпниз – количество учащихся в группе худших, верно выполнивших данное задание
Nверх – общее количество испытуемых в группе лучших
Nниз – общее количество испытуемых в группе худших
Пример. Пусть апробация тестовых заданий проводилась в группе в 200 учащихся. Для определения дискриминативности мы должны ранжировать их по оценке выполнения всего теста. После этого отобрать 27% в группу лучших учеников (в количестве 54 человек) и группу худших в том же количестве.
После этого нам надо найти, как справились с заданием ученики, отобранные в группу лучших и ученики группы худших. Предположим, что с первым заданием справились 50 учеников из первой группы и 25 из второй. А со вторым заданием 30 учеников первой группы и 25 учеников второй. Тогда для первого задания дискриминативность составит 0, 47, а для второго – 0,10.
Индекс дискриминации может изменяться в пределах от +1 (когда с заданием справились все учащиеся лучшей группы и ни один из слабой группы) до -1 (когда складывается обратная ситуация - когда в лучшей никто не справился, а в худшей справились все.).
Задания с отрицательным значением индекса дискриминации или со значением близким к нулю, не могут быть признаны удовлетворительными, в них следует искать существенные ошибки. Показатель индекса дискриминации, больший 0,3, следует признать удовлетворительным.