АЛГОРИТМ СОЗДАНИЯ ТЕСТОВ МНОЖЕСТВЕННОГО ВЫБОРА

  1. Создать структурированное описание тестируемого предмета
    1. Используя унифицированную программу
      1. Оценить общее планируемое количество вопросов в тестовой базе
      2. Оценить относительную продолжительность каждой темы (в процентах к общей продолжительности программы)
      3. Сгруппировать темы, занимающие менее 0,5% от общего объема материала (или те, на которые приходится менее 5 вопросов согласно формуле кол-во вопросов=общее планируемое число вопросов * относительная продолжительность темы)
      4. Создать схему теста
    2. При отсутствии утвержденной программы
      1. Оценить общее планируемое количество вопросов в тестовой базе
      2. Собрать, не менее, чем от 3х экспертов данные о продолжительности каждой темы в общем курсе обучения. Рассчитать средние оценки и на их основе оценить относительную продолжительность каждой темы
      3. Далее как в п. 1.1.3-1.1.4
  2. Оценить уровень владения материалом, который следует достичь для каждой темы
    1. Раздать структурированное описание не мене, чем 3 экспертам и попросить их оценить уровень владения материалом в конце обучения в соответствии со следующей градацией
    1. При выраженных расхождениях в мнениях экспертов организовать их встречу и обсуждение основного уровня владения материалом
    2. Создать двумерную схему теста так, чтобы на признанный экспертом уровень овладения материалом приходилось не менее 67% процентов заданий теста по данной теме

 

Знание

Понимание и применени

Решение проблем

Тема 1

70%

20%

10%

Тема 2

5%

5%

90%

Тема 3

15%

70%

15%

  1. Создать задания в соответствии со схемой теста
  2. Провести экспертную оценку соответствия заданий схеме теста, как по тематическому соотношению, так и по уровню проверяемых знаний
  3. Провести предварительное тестирование на группе курсантов из не менее, чем 40 человек (по возможности более)
    1. Рассчитать сложность задания
      1. Удалить из тестового набора задания с нулевой и 100% сложностью
  4. Подготовить тестовое задание к процедуре экспериментальной проверки
    1. Заготовить бланки и тестовые буклеты (распечатки)
    2. Провести тестирование на нескольких группах курсантов (с обеспечением нераспространения тестовых заданий)
    3. Собрать статистику по экзаменам (до достижения численности протестированных в 120-150 человек)
    4. Провести анализ качества теста
      1. Удалить из теста задания со сложностью менее 0,2 и более 0,8
      2. Удалить из теста задания с коэффициентом дискриминации менее 0,3
      3. Провести ориентировочный контроль дистракторов
      4. Оценить альфа Кронбаха для тестового набора
        1. Если показатель альфа Кронбаха более 0,8 тестовый набор готов к использованию
        2. Если альфа Кронбаха от 0,7 до 0,8 необходимо провести более детальную оценку коэффициентов дискриминации
        3. Если альфа Кронбаха менее 0,7 следует оценить гомогенность заданий и/или пересмотреть тестовый набор
      5. Оценить нормальность распределения результатов тестирования
      6. Рассчитать средний балл и стандартное отклонение среднего балла
  5. Подготовить отчет о создании тестового набора, содержащий схему теста, статистические показатели теста и показатели надежности