ПОКАЗАТЕЛИ КАЧЕСТВА ТЕСТОВ
ПРОВЕДЕНИЕ ПРОБНОГО ТЕСТИРОВАНИЯ.
Лекция 7
Экспертный анализ содержания и формы тестовых заданий
Составление тестовых заданий
Составление тестовых заданий – один из важнейших этапов в процессе создания теста. Один из ведущих принципов составления заданий - принцип конгруэнтности, т.е. соответствия содержания заданий проверяемой области содержания. Разработчики должны четко представлять, какой конкретный элемент содержания или умение проверяет каждое задание. С помощью задания проверяется что-то одно. Неправильно считать, что лучше составлять задания на проверку нескольких знаний. Неопределенность предмета измерения может привести к двусмысленности формулировки, что ухудшает качество самого теста и влияет на результаты измерения.
В зависимости от целей тестирования и содержания проверяемой дисциплины выбираются оптимальные формы тестовых заданий. Разработчик может использовать в тесте задания только одной формы, например, закрытые задания, а также сочетать в тесте несколько различных форм (например, КИМы ЕГЭ, ЦТ). Выбор форм во многом зависит от технологии проверки, сбора и обработки результатов, материального обеспечения.
Для предварительного тестирования готовят заданий в 2, а то и в 3 раза больше, чем потом войдет в конечный вариант теста.
После того как разработчики представили множество тестовых заданий проходит процедура экспертного анализа содержания и формы экспертных заданий. Для экспертизы привлекаются независимые специалисты, компетентные в данной области, которые не имели отношения к разработке теста. Число специалистов варьируется в зависимости от целей и масштабности тестирования. Для анализа тестов локального использования (одна школа, институт) достаточно 2-3 эксперта; для тестов, рассчитанных на массовое тестирование, привлекаются 3-5 экспертов, чтобы повысить эффективность процедуры экспертизы.
В конце всей работы эксперт представляет заключение о качестве теста (тестовых заданий), в котором даются рекомендации по корректировке и улучшению содержания теста. По результатам экспертной оценки разработчиками проводится корректировка тестовых заданий и доработка теста в целом.
Пробное тестирование преследует несколько целей:
1) выявление заданий, в которых есть недостатки (несоответствие трудности заданий уровню подготовленности испытуемых; непонятные или двусмысленные формулировки заданий, выявление неработающих дистракторов в заданиях закрытой формы и др.);
2) определение статистических характеристик тестовых заданий и теста в целом.
Для пробного тестирования готовятся инструкция для учащихся, как выполнять тест, инструкция для проводящих тестирование (наблюдателей), инструкция по апробации (какие эмпирические данные необходимо собрать). Апробация проводится на репрезентативной выборке испытуемых с четким соблюдением правил проведения тестирования (в современной теории тестирования не менее 1000 чел.).