РЕПЕРТУАРНЫЕ РЕШЕТКИ КАК ИНСТРУМЕНТ АНАЛИЗА ОЦЕНКИ СЛУШАТЕЛЕЙ ПРЕПОДАВАТЕЛЕМ

С.Л.Плавинский

Кафедра педагогики высшей медицинской школы и философии СПб МАПО

Интерпретация результатов репертуарной решетки не является сложным мероприятием, поскольку, в отличие, например, от проективных методик, этот метод предполагает, что необходимо доверять тому, что было сказано испытуемым. Поэтому основные сложности в интерпретации могут возникнуть только в связи с правильным толкованием результатов многомерного анализа ( или при использовании в решетке стимульного материала проективных методик).

Для оценки была выбрана репертуарная решетка, оценивавшая 7 слушателей-аспирантов и составленная одним из преподавателей, который проводил с данной группой достаточное количество занятий (не менее 36 часов). Для облегчения сравнения среди элементов были добавлены два дополнительных - “хороший слушатель” и “плохой слушатель”. Заданием было проводя триадные сравнения выработать 9 критериев оценки (конструкты) и составить полную решетку. Результаты приведены в таблице:

Конструкты (критерии оценки)

С1

С2

С3

С4

ХС

С5

С6

ПС

С7

Уважительный - критичный

5

1

5

4

5

1

5

1

5

Интересующийся - не интересующийся

5

4

4

5

5

1

5

1

5

Задает вопросы - молчит

5

4

3

4

5

1

5

1

5

Самостоятельный - зависимый

5

5

5

1

5

5

1

1

4

Внимательный - отвлекается

5

5

4

4

5

1

5

1

4

Умный - недостаточно умный

5

4

5

4

5

1

4

1

5

Имеется практический опыт - нет

5

2

2

2

5

1

1

1

1

Податливый - ершистый

4

1

5

4

5

1

5

1

4

Хорошая посещаемость - плохая посещаемость

5

4

1

5

5

1

5

1

4

Даже беглый анализ этой решетки показывает, что преподаватель достаточно высоко оценил всех слушателей за исключением номера 5. При этом все характеристики по максимуму должны быть выражены у хорошего слушателя и по минимуму - у плохого. Кстати, включение двух элементов, которые не имеют варьирования оценок может привести к сложностям при многомерном анализе, т.к. почти все методики базируются на расчете коэффициентов корреляции, а коэффициент корреляции между постоянной и переменной не определяется. Поэтому при проведении корреляционного, кластерного, факторного и других методов анализа было необходимо провести обращение хотя бы одного из конструктов (например второго).

Вышеописанная характеристика слушателей подтверждалась расчетом средних оценок.

Самые высокие оценки получили 1 и 7 слушатели, а самые низкие - пятый слушатель. Второй, третий и четвертый слушатели получили средние оценки, причем как видно по коэффициенту асимметрии они были сдвинуты в сторону более высоких отметок.

Однако при заполнении решетки мы заинтересованы не столько в интегральной оценке, сколько в установлении взаимоотношений между оценками, критериями оценки и представлениями преподавателя о слушателях.

Поэтому вначале нам необходимо разобраться в том, какие критерии и как использовались данным преподавателем.

Анализ коэффициентов Баннистера показал, что самым значимым оказался второй критерий - “интересующийся слушатель”, на втором месте оказалась демонстрация интереса путем задавания вопросов, на третьем субъективная оценка способностей слушателя. Интересно, что такие критерии как независимость и наличие практического опыта хоть и были поименованы, не играли большой значимости для данного преподавателя. Базируясь на этой иерархии можно было сказать, что для данного преподавателя привлекательным является способный слушатель, который задает вопросы и активно интересуется изучаемым предметом.

Поэтому данные необходимо было также проанализировать методикой факторного анализа. Анализ главных компонент показал, что исходные оценки можно с 83% точностью описать всего лишь двумя факторами:

FACTOR1 FACTOR2

CONSTR1 0.87541 0.07842

CONSTR2 -0.97700 -0.12857

CONSTR3 0.94851 0.17412

CONSTR4 -0.08309 0.94713

CONSTR5 0.88951 0.28974

CONSTR6 0.88306 0.36753

CONSTR7 0.43382 0.70179

CONSTR8 0.86066 0.01990

CONSTR9 0.84033 0.02339

Приведенные результаты показывают, что первый фактор объединяет практически все критерии за исключением четвертого и седьмого (самостоятельность и наличие практического опыта). При этом факторный анализ абсолютно правильно отметил обращение (искусственное) второго критерия и включил его в одну группу с другими критериями. Кластерный анализ в этой же ситуации (когда учитывается знак коэффициента корреляции) помещает второй фактор в отдельную группу, резко удаленную от других критериев оценки. Стоит также отметить, что в первом факторе основным показателем является как раз второй конструкт сразу за которым следует третий конструкт (задает вопросы ). Таким образом факторный анализ достаточно точно отражает структуру оценивания слушателей данным преподавателем. Для него хорошим является слушатель, который проявляет интерес к его предмету, демонстрирует заинтересованность задавая вопросы, не отвлекается на посторонние дела на занятиях и достаточно способен, чтобы воспринимать предмет. При этом данный слушатель хорошо посещает лекции и семинары и достаточно покладистый. Важно отметить, что для данного преподавателя все эти характеристики тесно коррелируют. Конечно, на семи слушателях сложно говорить о какой-либо статистике, однако необходимо обратить внимание на возможность восприятия молчаливого, ершистого слушателя как неинтересующегося и чрезмерное сцепление хорошей посещаемости с другими показателями интереса к предмету. Вообще можно сказать, что представления данного преподавателя о “плохом слушателе” ассоциированы с пассивно-агрессивным типом поведения (молчание, прогулы занятий, отказ сотрудничать).

В случае возникновения подобных подозрений можно попросить преподавателя назвать слушателя, который обладает характеристиками, не укладывающимися в данную картину. Так, обсуждая восьмой конструкт (податливый - ершистый) преподавателя попросили назвать слушателя, которого он бы отнес к хорошим студентам, но который был в то же время ершистым (процедура пирамидирования по Landfield). Этот слушатель был внесен в решетку и преподаватель несколько пересмотрел оценки по этом конструктам для хорошего и плохого слушателя.

Первый фактор как и ранее объединял второй и третий конструкты (интерес и задавание вопросов), а также внимательность и способности. Второй фактор был аналогичен выявленному ранее и указывал на наличие связи (с точки зрения преподавателя) между самостоятельностью и наличием практического опыта. А вот третий фактор выявлял такие показатели как уважительное отношение к преподавателю и отсутствие ершистости. Кстати, если при проведении факторного анализа на исходной решетке затребовалось три фактора, то вместе с “ершистостью” уходила и часть второго конструкта. Таким образом данная процедура показала, что проведение “пирамидирования” после выявления не совсем понятных связей между конструктами позволяет более точно описать репертуар используемых преподавателем конструктов. Следует отметить, что когда преподавателя попросили привести пример интересующегося слушателя, который очень плохо посещает занятия, то вот подобного примера ему привести не удалось (“Можно пропускать некоторые занятия, но если человек прогуливает их почти все, это означает, что он не интересуется предметом, не так ли?”). Это показывает, что найденная связь между интересом и посещаемостью является действительно значимой для испытуемого и может оказывать влияние на его отношение к слушателям.

Таким образом, использование факторного анализа позволило провести оценку системы конструктов преподавателя. Теперь можно было перейти к оцениванию ранжирования слушателей этим преподавателем. Поскольку нас интересовало относительное расположение слушателей в пространстве оценок, то для анализа было выбрано многомерное шкалирование.

Ближе всего к плохому слушателю находился слушатель номер пять, а вот слушатель номер один был очень похож на идеального слушателя. Шестой, седьмой и четвертый слушатель образовывали один кластер, расположенный недалеко от идеального слушателя. Третий и второй слушатели оценивались немного хуже, однако они все равно находились достаточно далеко от плохого преподавателя. Таким образом результаты многомерного шкалирования дают четкую картину распределения слушателей в пространстве оценок. Следует напомнить, что многомерное шкалирование пытается воспроизвести расстояния между наблюдениями (слушателями) составленные на основе корреляций между конструктами. Однако хотелось бы знать, на основании каких конструктов сформировались группы. Для этого необходимо построить биплот, хотя для получения сравнимых результатов следовало воспользоваться построением биплота на “фоне” результатов многомерного шкалирования.

На полученном рисунке приведены данные по относительному расположению в пространстве оценок слушателей и нанесены сами вектора оценок. Видно, что плохой слушатель и слушатель номер пять характеризовались тем, что они не интересовались преподаваемым предметом. Прямо противоположный конструкт - умный (или способный) создавал основу для разделения слушателей.

Полностью независимым от этой оси был только четвертый конструкт - самостоятельность, тогда как все остальные в той или иной степени коррелировали с названными двумя основными конструктами. Поскольку значимость конструкта для данного элемента можно определить, опустив из точки перпендикуляр на вектор конструкта, то можно отметить, что группа слушателей (4,6,7) характеризовались невысокими оценками по четвертому и седьмому конструктам и положительными по всем остальным. От первого слушателя и идеала они как раз и отличались тем, что не имели положительных оценок по этим конструктам.

Представленный рисунок четко показывает, что для преподавателя такие конструкты как задавание вопросов (3), внимательность (5) и хорошая посещаемость (7) достаточно тесно связаны. Если задачей репертуарной решетки является выработка критериев оценивания слушателей для использования в дальнейшем, то совместное использование этих двух конструктов вряд ли оправдано, так как с точки зрения преподавателя они практически означают одно и то же. Обращает на себя внимание также и то, что все остальные “хорошие” слушатели не получили максимальных оценок как раз потому, что недобрали баллов по этим критериям. Например, четко видно, что слушатель 3 находится как-бы между продолжениями конструктов 7 и 9. Поскольку ранее было выявлено, что конструкт самостоятельный - зависимый не играет большой роли для данного преподавателя, то наиболее большая претензия, которая могла быть предъявлена третьему слушателю заключается в недостаточно хорошей посещаемости занятий.

Интересно отметить, что слушатель, воспринимавшийся как наименее приятный (5), воспринимался как достаточно самостоятельный, но резко отличался от других слушателей по восприятию его сквозь призму отношения к преподавателю (критичный, ершистый) и поведения (молчит, отвлекается и прогуливает занятия).

Таким образом данная картина дает достаточно полное представление не только о системе оценок преподавателя, но и о том, почему разные слушатели были оценены по-разному.

Возникает, правда, одна методологическая проблема - какое ранжирование следует использовать? Либо, просто попросить отсортировать критерии по значимости, либо попросить присвоить критериям значимость по шкале от 1 до 5, либо использовать решетку нетранзитивности, либо опираться на имплиситно указанную значимость на основе коэффициентов Баннистера? Однозначного ответа на этот вопрос нет. Нам кажется, что оценка значимости критериев должна проводиться все-таки на основе анализа резистивной решетки (тогда можно дополнительно выявить внутреннюю нелогичность в ранжировании критериев). После оценки относительной значимости конструктов по резистивной решетке можно создать взвешенные оценки по основной решетке.

Так, в данном случае преподаватель указал, что наиболее значимым критерием является способности слушателя (8 баллов), на втором месте находился интерес к предмету (7 баллов), третье место поделили внимательность и хорошая посещаемость (по 5 баллов) и т.д.

Когда эти данные были использованы для построения взвешенного биплота, то результаты оказались практически такими же, как при использования биплота после многомерного шкалирования исходных данных. Однако некоторым преимуществом “взвешивания” данных является возможность установления общей, по всем критериям, оценки слушателя (обычное среднее), кроме того учет точки зрения преподавателя на значимость критериев повышает доверие к самой методике оценивания.

Таким образом приведенный пример показывает, что многомерные методики являются достаточно хорошим инструментом для анализа репертуарных решеток, позволяя получить не только цифровое, но и графическое отражение оценки.

Следует заметить, что можно дополнительно вносить в решетку оценки другие конструкты, например цвета (чтобы выяснить эмоциональное отношение к слушателям) или конкретные оценки по определенным темам. Дополнительная информация может прояснить значение критериев оценки и может использоваться при возникновении конфликтных состояний руководителями для получения дополнительных данных о причинах и механизмах возникших проблем.