Анастази А. » Психологическое тестирование

Основной подход. Предположим, 100 человек, поступающих на рабо-

ту, выполнили тест способностей и по прошествии какого-то времени

были оценены их успехи в выполнении своих обязанное} ей. На рис. 17

изображено двумерное распределение результатов тестирования и пока-

зателей выполнения работы. Корреляция между обеими переменными

несколько ниже 0,70. Необходимый минимум выполнения обязанностей,

154

ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

числу людей, не справившихся с работой, а 60 случаев над чертой-спра-

вившихся с ней. Если все 100 поступавших принимаются на работу, то

60Їо справятся с ней. При принятии меньшего числа без учета результа-

тов теста, т. е. наугад, относительное количество удач было бы, вероятно,

близким к 60Їо. Предположим, однако, тестовые показатели используют-

ся для отбора из 100 претендентов 45 наиболее перспективных сотрудни-

ков (индекс отбора-0,45). В таком случае следует выбрать 45 человек,

чьи показатели попали справа от вертикальной толстой линии. Среди

них будет 7 случаев неудач в работе, или ошибочного приема, и 38 слу-

чаев успеха. Процент успеха теперь равен уже не 60, а 84 (т.е. 38/45 ==

= 0,84). Это увеличение обусловлено применением теста в качестве ин-

струмента отбора. Кстати, можно игнорировать ошибки показателей

прогностического критерия, не влияющие на принимаемое решение. Из-

бирательную эффективность теста снижают только те из них, которые

находятся ниже горизонтальной толстой черты и, следовательно, поме-

щают индивида в ошибочную категорию.

Для полной оценки эффективности теста как инструмента отбора

рассмотрим также ошибки другого типа, представленные на рис. 17.

Рис. 17. Рост количества успехов вследствие использования отборочного тесто

и S QJ 0 10 S. ш а о И 1 to s л 1 1правильное принятие.S t С-х (и С U 1 л <о ? S 1" о. >1Ї <и о. х ш

;(38)

(шибочное неп зиняти/

(22)

///

т////

///м-//1111/

itfMiiii///ч

////тii/ill/

Прзвильное/////Mf-iw iiiiii/

непри (3нитие 3)тiiчillОшибочное пр (7)инятие

/iii

s X т 5 1/

той. Таким о, которые ост нормативные по-

ного успеха вао тесте Даала соответсеи,

бораприменяется при клиническоеa Тестировании

ошибоозо Р практике "Ри, если

ложительным в меди "азываются ит называется

Этот Рогии Результаты JC если п означает,

видов "?"Їоз относительно вьи учитывать

нота), а ределенных исключить н о не-

иснытуемых. Вно вьо характер Р серьезные

должен быть дос одимо, J может н граждан-

ожных афицированныи Ря на отбор Jo боль-

достаточно здесь Ует важнее нансла неудач.

щерб или У условиях быв большего ием

"Р-

установленвТо о можно

критериальнораспределение Р, методу ег, 1966;

Kuo-Cheng Hs ep потери, свя

156 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

работой вновь принятых сотрудников с 60 до 84 может служить основа-

нием для оценки преимуществ от использования теста.

Теория статистических решений была разработана А. Уолдом

(A. Wald, 1950) применительно к решениям, принимаемым при контроле

качества промышленных изделий. Модификация этого подхода примени-

тельно к составлению и интерпретации психологических тестов была

осуществлена Л. Кронбахом и Г. Глесером (L. J. Cronbach, G. С. Glesser,

1965). Теория решений в принципе представляет собой попытку придать

процессу принятия решения математическую форму, с тем чтобы исполь-

зовать имеющуюся информацию для выработки в конкретных обстоя-

тельствах наиболее эффективных решений. Математические процедуры,

применяемые в теории решений, весьма сложны, и лишь немногие из них

имеют форму, приемлемую для непосредственного использования

в практических задачах тестирования. Некоторые из основных понятий

теории решений, однако, помогают лучше объяснить ряд касающихся те-

стов вопросов. Часть идей, составивших основу теории решений, была

введена в тестирование еще до того, как был разработан формальный

аппарат этой теории.

Предсказание результатов. Своего рода предвестником теории

решений в психологическом тестировании явились таблицы Тейлора-

Расселла (Н.С. Taylor, J.T. Russell, 1939), позволившие определить вы-

игрыш в точности отбора от использования теста. Для работы с табли-

цами нужно знать коэффициент валидности теста, индекс отбора

и базовый уровень, т.е. oi носи тельные количесгно coip шиков, спра-

вляющихся со своими обязанностями и набранных случайно (без исполь-

зования теста). Изменение любого из этих параметров может повлиять

на прогностическую эффективность теста.

В качестве примера приведем одну из таблиц Тейлора-Расселла, от-

вечающую базовому уровню 0,60 (табл. 14). В верхней ее части приве-

дены различные значения индекса отбора, в крайнем левом столбце-

коэффициенты валидности, а в с троках-относительное число успехов

среди принятых на работу по результатам теста. Разность между такой

величиной и 0,60 указывает на выигрыш от применения теста.

Очевидно, если индекс отбора равен 1,0, т.е. когда приему подлежат

все претенденты, ни один тест, как бы валиден он ни был, не улучшит ка-

чества отбора. Из табл. 14 видно, что при индексе отбора, равном 0,95,

даже тест с коэффициентом валидности, равным 1,0, повышает долю ус-

пехов только на 0,03 (с 0,60 до 0,63). Напротив, если из поступающих

нужно отобрать только 5Ї/", то тест обеспечивает рост правильно приня-

тых с 0,60 до 0,82. Этот рост представляет инкрементную валидность те-

ста (L. Sechrest, 1963), или рост прогностической валидности теста,

и указывает на роль теста в улучшении отбора лиц, которые в дальней-

шем будут удовлетворять минимальным требованиям критериального

выполнения. Применяя таблицы Тейлора-Расселла, необходимо, конеч-

но, знать валидность теста для группы именно того типа, по которой

определялся базовый уровень. Иными словами, польза от применения

теста оценивается не вероятностью успеха отобранных с его помощью

претендентов (если, конечно, до этого поступавшие на работу не при-

нимались наугад, что маловероятно), а тем, насколько улучшает проце-

дуру отбора, основывающуюся на сведениях о предыдущей деятельно-

157

ВАЛИДНОСТЬ ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ

Инкрементная валидность теста зависит не только от индекса отбо-

ра, но и от базового уровня, в чем можно убедиться, сравнивая разные

таблицы Тейлора-Расселла. Рассмотрим случай, когда валидность теста

равна 0,40, а индекс отбора-0,70. Какова в этих условиях инкрементная

валидность при базовом уровне 0,50? 0,10? 0,90? Обращение к соответ-

ствующим таблицам Тейлора-Расселла показывает, что процент успе-

хов повысится в первом случае с 50 до 75Їо, во втором-с 10 до 21Ї(, и

в трет ьем-с 90 до 99Ї. Таким образом, приращение числа успехов при

базовом уровне 0,50 составит 25" тогда как при более крайних его зна-

чениях приращение меньше: соответственно II и 9Ї/,.

Поведение инкрементной валидноста при базовых уровнях, близких

к нулю или единице, представляет особый интерес для клинической пси-

хологии, где базовый уровень равен доле случаев патологии в тестируе-

мой популяции (A.M.Buchwald, 1965; E.E.Cureton, 19570; P.E.Meehl,

A. Rosen, 1955; J.S. Wiggins, 1973). Например, если у У/о клинической по-

пуляции имеется органическое поражение мозга, то базовый уровень для

данного диагноза в данной популяции будет 5Їц. Хотя введение валидно-

го теста повысит точность диагностики, выигрыш будет максимальным,

если базовый уровень близок к 0,50. При низком базовом уровне, озна-

чающем крайне редкий патологический случай, инкрементная валидность

Таблица 14

Ожидаемая величина успехов при исполыовании теста с данной валидностью и данным ин-

дексом отбора для баювою уровня 0,60 (H.L. rayior, J.T. Russell, 1939, р. 576)

ВалидностьИндекс отбора

1 0.05 0,100,200,30 1 0,40 1 0,500,600,700,800,900,95

0,000,690,600,600,600.600,600,600,600,600,600,60

0,050,640,630,630,620,620,620,610,610,610,600,60

0,100,680,670,650.640.640,630,620,610,610,610,60

0,150,710,700.680.670,660,650,640,630,620,610,61

0,200,750,730,710,690.670,660,650,640,630,620,61

0,250,780,760,730,710,690,680,660,650,630,620.61

0,300.820,790,760,730.710.690,680,660,640,620,61

0,350,850,820,780,750.730,710,690,670,650,630,62

0,400,880,850,810,780.750,730,700,680,660,630,62

0,450,900,870,830,800,770,740,720,690,660,640,62

0,500,930,900.860,820,790,760,730,700,670,640,62

0,550,950,920,880.840,810,780,750,710,680,640,62

0,600.960,940,900,870,830,800,760,730,690,650,63

0,650,980,960,920,890,850,820,780,740,700,650,63

0,700,990,970,940,910,870,840,800,750,710,660,63

0,750,990,990,960,930,900,860,810.770,710,660,63

0,801,000,990.980,950.920,880,830,780,720,660,63

0,851,001,000.990,970,950.910.860.800.730.660.63

0,901,001,001,000,990,970,940,880,820,740,670,63

0,951,001,001,001,000,990,970,920,840,750,670,63

1,001,001,001,001.001.001.001,000,860,750,670,63

158 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

теста может оказаться настолько ничтожной, что его применение нельзя

будет считать оправданным, учитывая издержки, связанные с его приме-

нением и обработкой.

Когда редкое заболевание настолько серьезно, что необходим

срочный диагноз, на первом этапе цепи последовательных решений мож-

но применить тест с умеренной валидностью. Например, всех пациентов

можно проверить посредством легко осуществимого теста с невысокой

валидностью. Если нормативный результат установлен достаточно высо-

ким (высокие показатели вообще предпочтительней), то число неверных

отрицательных решений будет мало, а число ложных положительных

диагнозов, т.е. норма, диагностированная как патология, будет велико.

Последние затем могут быть выявлены при более интенсивном индиви-

дуальном обследовании получивших положительный диагноз. Такой

подход целесообразен, когда, например, имеющееся оборудование не по-

зволяет проводить интенсивного индивидуального обследования всех

случаев.

Отношение валидности к среднему уровню выработки. Во

многих практических ситуациях требуется оценить эффективность отбора

теста не по проценту лиц, справляющихся с работой, а по общей выра-

ботке тех, кто был принят. Каков реальный профессиональный уровень

работников, отобранных с помощью теста, по сравнению с теми, кто

был принят на работу без использования теста? После появления ра-

боты X. Тейлора и Дж. Расселла некоторые исследователи заинтересова-

лись этим вопросом (Н.Е. Brogden, 1946; C.W. Brown, E.E. Ghisell, 1953;

R.F.Jarrett, 1948; M.W.Richardson, 1944). Х.Брогден впервые показал,

что ожидаемый прирост выработки прямо пропорционален валидности

теста. Так, эффект от применения теста с валидностью 0,50 составляет

50Їо того, который имел бы место при стопроцентной валидности.

Соотношение между валидностью теста и ожидаемым повышением

критериальных достижений видно из табл. 15 в которой приведены

критериальные показатели, выраженные в виде стандартного показателя

сМ=Ои ет==1. В этой таблице значения базового уровня, соответ-

ствующего выполнению деятельности работниками, принятыми без ис-

пользования данного теста, приводится в колонке нулевой валидности,

ибо тест с валидностью, равной нулю, эквивалентен отсутствию теста

вообще. Покажем, как пользоваться этой таблицей. Предположим, при-

ему подлежат 20Їо претендентов (индекс отбора 0,20), причем отбор про-

изводится с помощью теста, валидность которого равна 0,5. По табл. 15

находим, что средний уровень выработки в отобранной груйпе превы-

шает базовый уровень на 0,7(7. При том же индексе отбора 0,20 выигрыш

от идеального теста (с валидностью 1,0) составит 1,4сг, т.е. будет вдвое

большим, чем при валидности 0,5. Подобная линейная зависимость

имеет место в пределах любой строки табл. 15. Например, при индексе

отбора 0,60 валидность 0,25 повышает средний критериальный показа-

тель на 0,16ст, в то время как валидность 0,50 повышает его на 0,32.

Опять-таки удвоение валидности ведет к удвоению конечного результа-

та.

Судить о валидности теста с точки зрения среднего значения про-

Более подробную таблицу см. в работе Дж. Найлопа и Л ТТТяпча

т r <;hin> in?c

ВАЛИДНОСТЬ. ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ

Q 000101~ОЮГ~-ОООГ1Г~-ОНГ1Г~-0

о oг~~

д " " О" О" О О" О" О" О" О" О" О" О" О

О -

Щ о 00гГЧчOOOOt~-lrfftlч

О" 0" о" о" О" О" О" О" О" О" О" о" о"

о" о" о" о" о" о" о" о" о" о" о" о" о"

ffl ___

гt0oooo0""">oc~<ПООГОгН~~-0

О " О" О" О" О" О" О" О" О" О" О" О" О" О" О"

с> "-1 l гч т сч 1-[> о 1-00 г 0 о г ос с 0

о" о" о О" О" О" О" О О" О" О" О" О"

1Г1 г ч О а 00 (--г--0 <э

" о" о" о" о" о" о" о" о" о" о" о" о" о" о"

о огооооаооооооа-

1-г о. о оо оо г~-о о <

"о" О" о" о" О" О" О" О" о" о" о" о" о" о" о

И r<тггlагlt~-гlггг~-гчггloorlг-

"о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"

r)гoofooгooгlcootг~

О О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О

l~- in [--С> 1-00 гО 00 "-I-О ч Г--г"1 0 v")

О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"

И о 00 Г-О с 00 гП 00 t О (М 00 1 00 О "

О и

S о о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"

1 -

0t~~-OrlrlгnflГГтчOO

О" О" О" О" О" О" О" О" О" О" О" о" о" о" о" о" о" о" о"

" Q OCГ~-0

1 О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"

О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"

3 I "i

О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"

f)гfггггfч~oooo

S о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"

s о

гч 1/-) т-ч оо г") 1-1 а оо t г т-< о оо г~~ vi "j г

о" о" о" о" о" о о" о" о" о" о" о" о" о" о" О" О" О" о"

О" о" о" о" О" О" О" О" О" О" О" О" О" О" о" о" о" о" о"

S "00""-1 о 0 00 1~-0 0 Tf 1 c-j "-1

g" гчооооооооооо

- о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"

000~OOr>llгOгltNCмч

000000000000000000

о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"

5 йЯЯЯ SS ЯЯЯЯ

Q о о о о о о 000 .0 000000000

" о" о" о" о" о" о" о" о" о"- о" о" о" о" о" о" о" о" о" о"

VOIOIOIOVO>OVOVOO>

------ --- . . п г т~-оо оо 0 а

160

ПРИНЦИПЫ ПСИХОЛОГИЧРСКОГО Т1-ГТИРОВАНИЯ

гнозируемой выработки или процента работников, нрсныснвших крите-

риальную норму, очевидно, намного полезнее, чем судить о ней на осно-

ве рассмотренной выше ошибки оценки. Причина в том, что ошибки

прогноза, не влияющие на решение, несущественны для ситуации отбора.

Например, если и Смит, и Джонс-хорошие работники и оба были

приняты на основании теста, то нет белы в том. что с тестом Смит спра-

вился лучше Джонса, тогда как по работе Джонс превосходит Смита.

Роль ценностей в теории решений. Именно теория решений

позволяет оценить тесты по их эффективности в конкретной ситуации.

Такая оценка учитывает не только валидность теста как средства про-

гнозирования определенного показателя, но и ряд других параметров,

включая базовый уровень и индекс отбора. Еще одним важным парамет-

ром является относительная полезность ожидаемых последствий, оценка

их благоприятности и неблагоприятности для конечного результата. От-

сутствие адекватных систем ценностей таких результатов в единой шкале

полезностей составляет главное препятствие для применения теории ре-

шений. В промышленности полезность принимаемых решений часто

можно оценивать в долларах и центах. Однако даже десь трудно дать

денежную оценку доброй воле, социальным отношениям, моральному

духу персонала. Решения в области образования должны приниматься

с учетом целей учебного заведения, общественных ценностей и других

трудно уловимых факторов, а при выборе профессии-с учетом предпоч-

тений и системы ценностей индивида. Неоднократно отмечалось, что

теория решений не поставила проблему ценностей, а сделала ее более яв-

ной. Системы ценностей всегда играли свою роль в принятии решений,

но прежде они четко не фиксировались и не использовались с такой

методичностью.

Цель выбора стратегии в максимизации ожидаемой ее полезности,

вычисленной исходя из полезности и вероятности каждого из возможных