Ошибки оценщика (rater errors)

О. о. (эксперта, судьи и т. д.) наз. искажения, допускаемые наблюдателями при использовании оценочных шкал для характеристики деятельности индивидуума. Уровень компетентности оценщика, как и его пол, соц. статус, раса, религиозная принадлежность и возраст, — оказывают влияние на выносимые им суждения. Хотя большинство таких ошибок имеют специфический характер, существуют распространенные типы О. о., про являющиеся в широком спектре ситуаций.

Ошибка снисходительности возникает, когда средние оценки имеют тенденцию превышать среднюю точку шкалы вследствие а) давления на оценщика необходимой высокой оценки подчиненных, б) ощущения того, что оценка подчиненного отражает оценку самого оценщика и в) предварительного отбора учащихся или подчиненных перед процедурой оценивания. Эта ошибка приводит к стиранию различий между оцениваемыми людьми. Ошибка суровости яв-ся оборотной стороной той же самой ситуации.

Ошибка центральной тенденции возникает, когда оценщик постоянно выбирает среднюю область значений шкалы. Это может происходить вследствие колебаний в своем праве «быть Господом Богом» или потому, что крайние оценки (неудовлетворительные или плохие) требуют дополнительной поддержки и могут серьезно сказаться на последующих взаимоотношениях оценщика с его подчиненными.

Эффект ореола возникает, когда одна личностная черта оказывает влияние на характер измерения всех остальных. Эффект ореола выражается в положительной генерализации на др. черты; эффект дьявола выражается в отрицательной генерализации.

Ошибка последовательности появляется в тех случаях, когда специфический порядок оцениваемых черт оказывает специфическое воздействие на оценку последующих черт, такое как эффект ореола.

Логическая ошибка возникает, когда оценщик коррелирует специфические черты на основе их предполагаемой согласованности (по эффекту) с др. чертами. Логическая ошибка носит более сложный характер, чем ошибка ореола.

Эффект недавности возникает, когда случай, произошедший незадолго до процедуры оценки, оказывает на оценщика большее влияние, нежели это имело бы место, произойди он гораздо раньше. Особенную проблему здесь представляют события эмоционального характера, напр. трудовой конфликт, несчастный случай, ссора.

О. о. поднимают специфические проблемы, связанные с вопросами надежности и валидности измерений. Кроме того, различия, наблюдаемые в оценках но прошествии времени, могут адекватно отражать изменения в поведении, далее если такое расхождение может демонстрировать искусственный недостаток надежности. Высокая межэкспертная надежность (inter-rater reliability) оказывается полезным инструментом, если оба оценщика хорошо знакомы с оцениваемым индивидуумом.

Наиболее серьезной проблемой, связанной с О. о., яв-ся проблема валидности оценок, поскольку оценочные шкалы чаще всего используются там, где оказываются недоступными более объективные процедуры измерения. Чем в большей степени проявляются О. о. и чем меньше существует возможностей их устранения статистическими методами, тем большей угрозе подвергается валидность оценок.

Для устранения влияния О. о. было предложено множество стратегий. К ним относятся обучение оценщиков, статистическая коррекция систематических различий между оценщиками (напр., снисходительности) и разработка альтернативных оценочных стратегий, таких как поведенчески выверенные оценочные шкалы, методы ранжирования, методики вынужденного выбора и принудительного распределения.

См. также Эффект ореола

Л. Бергер