|
Анастази А. » Психологическое тестированиественной регрессии, а другой-системы нормативных результатов Когда тесты применяются для интенсивного индивидуального иссле- дования, скажем для клинического диагноза, при консультировании или при оценке руководителей высоких рангов, экспериментатор, как прави- ло, не прибегает к статистическому анализу результатов. Заполняя меди-
166 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
опыта и теоретических соображений. Такое клиническое использование тестовых результатов подробнее рассматривается в гл. 16. Уравнение множественной регрессии. Уравнение множествен- ной регрессии позволяет для каждого испытуемого по результатам всех тестов батареи рассчитать значение прогнозируемого критерия. Следую- щее уравнение регрессии иллюстрирует применение этой процедуры для предсказания успеваемости старшеклассника по математике на основе результатов вербального (V), числового {N) тестов, а также теста мышле- ния {R). Успехи в математике = 0,21 + 0,21 + 0,327? + 1,35 В этом уравнении станайн ученика по каждому из трех тестов умно- жается на соответствующие веса. Сумма трех таких произведений плюс константа 1,35 дает прогнозируемый станайн ученика по математике. Предположим, Билл Джонс получил следующие станайны: вербальный тест 6 Числовой тест 4 Тест на мышление 8 Ожидаемые успехи по математике у этого ученика будут равны: 0,21 х б + 0,21 х 4 + 0,32 х 8 + 1,35 == 6,01. Итак, ожидаемый станайн Билла примерно 6. Вспомним (гл. 4), что станайн 5 отвечает среднему уровню. Значит, Билл, вероятно, будет иметь по математике оценки не- сколько выше среднего. Его очень хорошее выполнение теста на мышле- ние (R = 8) и неплохие результаты по вербальному тесту (V = 6) ком- пенсируют невысокую скорость и точность вычислений (N = 4). Конкретные процедуры вычислений, связанных с применением урав- нений регрессии, читатель найдет в учебниках по статистике для психо- логов (G. P. Guilford, В. Fruchter, 1973). Существенно, что такие уравне- ния основываются на корреляции каждого теста с критерием и тестов между собой. .Очевидно, что тесты, сильнее коррелирующие с критерием, должны иметь больший вес. Столь же важно, однако, учитывать корре- ляцию каждого теста с другими тестами батареи. .Высокая корреляция указывает на ненужное дублирование одного теста другим, ибо это озна- чает, что тесты в значительной мере направлены на один и тот же аспект критерия. Включение таких тестов не повышает существенно валидности всей батареи, даже если они тесно коррелированы с критерием. В этом случае применение одного из этих тестов столь же эффективно, что и обоих, поэтому в батарее следует оставить только один тест. Однако даже после того, как случаев наиболее выраженного дубли- рования в батарее не остается, тесты все равно будут в той или иной степени коррелировать друг с другом. Ясно, что чем более <уни- кальным> является вклад теста в общие результаты батареи, тем боль- шим должен быть его вес. Таким образом, при расчете параметров урав- нения регрессии вес каждого теста прямо пропорционален его корреля- ции с критерием и обратно пропорционален корреляции с другими тестами. Это значит, что максимальный вес получает тест, обладающий наибольшей валидностью и в наименьшей степени дублирующий осталь- ную часть батареи. Валидность целой батареи можно найти, вычисляя множественную корреляцию (R) между входящими в нее тестами и критерием. Эта кор- реляция отвечает максимуму прогностической силы батаоеи. котопнй
167 ВАЛИДНОСТЬ. ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Следует иметь в виду, что эти веса оптимальны только для частной выборки, в которой они были найдены. Поскольку в используемых при определении весов коэффициентах корреляции возможны случайные ошибки, то эти веса могут меняться от выборки к выборке. Поэтому ба- тарею следует подвергнуть перекрестной валидации, коррелируя ее с прогнозируемыми и действительными критериальными показателями для новой выборки. Существуют формулы для оценки ожидаемого сни- жения множественной корреляции при применении уравнения регрессии к другой выборке, но, если есть возможность, желательно провести эм- пирическую проверку. В целом же, чем больше выборка, по которой определяются веса, тем меньше упомянутое снижение корреляции. В известных условиях прогностическую валидность батареи удается повысить, включая в уравнение регрессии тест, имеющий нулевую корре- ляцию с критерием и высокую корреляцию с одним из тестов батареи. Такая любопытная ситуация возникает, когда тест, не коррелирующий с критерием, действует как подавляющая переменная и элиминирует или подавляет безотносительные к критерию переменные другого теста. На- пример, понимание читаемого текста может тесно коррелировать с пока- зателями теста математических или технических способностей, поскольку выполнение заданий этих тестов требует понимания сложной письмен- ной инструкции. Если понимание текста не имеет отношения к прогнози- руемой деятельности, оно вносит дополнительную дисперсию ошибки в результаты и снижает прогностическую валидность теста. Добавив к батарее тест на понимание читаемого и включив его результаты в уравнение регрессии, мы устраним эту дисперсию ошибки и повысим валидность батареи. Веса таких добавочных тестов входят в уравнение регрессии с отрицательным знаком. Поэтому чем выше результат испы- туемого по тесту понимания читаемого текста, тем большая величина вычитается из его результата по тесту математических или технических способностей. Использование такого рода подавляющих переменных поясняет сле- дующее исследование 63 механиков промышленных предприятий (W.W. Sorenson, 1966). Наиболее эффективная прогностическая батарея включала (1) анкету (сведения об образовании, опыте работы и т.п.) об- щего характера (корреляция с критерием 0,30), (2) тест на механическую сметку типа <завинчивание болтов и гаек> (корреляция с критерием 0,22) и (3) тест на понимание техники, ориентированный на общее знание принципов механики (корреляция с критерием - 0,04; корреляция с те- стом (2) == 0,71). Третий тест выступал в роли подавляющей переменной, что видно из следующего уравнения регрессии:
С = 177 + ЮТ - 6Тз + 866. >
В отсутствие такой переменной батарея давала бы завышенный прогноз для тех, кто справлялся с тестом 2 благодаря своим теоретическим зна- чениям, а не практическим навыкам, требующимся для выполнения ра- боты. Постороннее влияние <теоретического> компонента на результаты теста 2 было тем самым подавлено. Попытки использовать подавляющие переменные для повышения валидноеT личностных тестов не дали ожидаемого эффекта (J. S. Wiggins, 1973). Более того, в большинстве случаев предпочтительней """"""е.пственный пересмотр теста, уменьшающий безотносительную --- ""T такая корреляция неосуществима,
168
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Таблица 16
Данные, используемые для установления норма- тивных результатов батареи GATB (United States Department of Labor, 1958, p. 10)
стоит рассмотреть целесообразность введения <подавляющих> пере- менных. Система нормативных результатов. Другой подход к резуль- татам батареи тестов состоит в использовании системы нормативных ре- зультатов, т.е. системы минимальных проходных результатов, устанав- ливаемых для каждого из тестов батареи. Тот, кто не достигает такого минимума хотя бы по одному из тестов, считается не прошедшим тести- рования. Положительное решение принимается только для тех, кто до- стигает или превосходит проходные минимумы по всем тестам. Приме- ром такого подхода является прогностическая батарея тестов основных способностей (GATB), разработанная Американской службой занятости для консультирования по профессиям в отделениях этой службы (United States Department of Labor..., 1970a). Из девяти показателей этой батареи для каждой профессии на основе корреляции с критерием, среднего зна- чения (М) и стандартного отклонения ст отбираются показатели, лучше всего соответствующие тому или иному ряду занятий. Примером применения GA ТВ к профессиональ- ным стандартам резчиц- мотористок консервной про- мышленности может слу- жить табл. 16. В едини- цах стандартных показате- лей с М == 100 и о- = 20 нормативные результаты по тестам для этой специаль- ности установлены на уров- не 75 для моторной коор- динации (X), пальцевой мо- торики (F) и ручной мото- рики (М) (United States De- partment of Labor..., 1970a, Section IV, p. 51). В табл. 16 приведены сред- ние значения, стандартные отклонения и корреляция с критерием (оценка, даваемая мастером) каждого из девяти показателей для группы из 57 работниц. На основе данных корреляции в качестве предикторов были выбраны ручная моторика и моторная координация. Пальцевая моторика включена, поскольку для нее М достигает максиму- ма, несмотря на то что индивидуальные различия по этому признаку не- значимо коррелируют с критериальными оценками. По-видимому, жен- щины, поступившие и оставшиеся на этой работе, прошли предвари- тельный отбор по уровню развития их пальцевой моторики.
Способности
Корреляция с критерием
Gк обучению (общие)75.114.2- 0.094 vвербальные80,111,3- 0,085 Nвычислительные73,218,4- 0,064 Sпространственная ориентация78,915,90,041 Рвосприятие формы80,123,5-0,012 Qисполнительность86,316,60,088 кмоторная координация89,320,70,316 Fпальцевая моторика92,418,10,155 Мручная моторика88,218,60,437 Значимо на уровне 0,05 Значимо на уровне 0,01
Исследовались также возможности включения в уравнение регрессии непрерывных модераторов в виде неаддитивных функций высшего порядка, но результаты оказались малообнадеживающими (J.J.Kirkpatrick et а1., 1968; D.R.Saunders, 1956; J.S.Wiggins, 1973). Данные для большей ясности приведены в несколько упрощенном виде. На самом деле окончательный выбор типов показателей и нормативных результатов основывался
169
ВАЛИДНОСТЬ. ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Валидность объединенных (К, F, М) тестовых нормативных резуль- татов группы из 194 работниц приведена в табл. 17. Из таблицы видно, что из 150 хороших работниц 120 превысили все три нормативных ре- зультата, а 30 составили группу ошибочно не принятых, ибо они не до- стигли минимума по одному, двум или всем трем тестам. Из 44 неудо- влетворительных работниц 30 были выявлены правильно, а 14 ошибочно приняты на работу. Об общей эффективности данной системы норма- тивных тестовых результатов говорит тетрахорическая корреляция ме- жду прогнозируемым статусом индивида и критериальными оценками, равная в данном случае 0,70. Если учитывать только показатели со значимой валидностью, мож- но упустить из вида существенные способности, по которым все работ- ники данной специальности отличаются от других. Следовательно, необ- ходимо также рассматривать те способности, по которым эти работники превосходят остальных как группа, даже когда индивидуальные различия настолько малы, что они не влияют на успешность выполнения работы. Метод системы нормативных резуль- татов предпочтительней применения уравнения регрессии в тех случаях, " когда результаты теста связаны с Эффективность нормативных рельта-
критерием нелинейной зависимостью. ,ии"ЇнринТ. Более того, поскольку в ряде спе- пригодных работниц (United States циальностей группы работников слиш- Department of Labor, 1958, p. 14). ком однородны по некоторому клю- _______________________, чевому качеству, то диапазон их число работниц индивидуальных различий слишком TST"" ЇЇЇ мал, чтобы корреляция между ре- недостигших превысив-
- " нормативно- шип
зультатами теста и критерием была го норма-
пыашллй результата тивный ЗНаЧИМОИ. результат
Наиболее сильный аргумент в пользу использования системы нор- Пригоден 30 120 150 мативных результатов, а не ура в- Непригоден 30 и нения регрессии связан с пробле- "Ї_______________________ мой компенсированной квалификации. При применении уравнения регрессии индивид, показавший слабый результат по одному тесту, может в целом показать проходной результат, если он особенно хорошо справился с ка- ким-либо другим тестом батареи. Заметная недостаточность в одном на- выке может, следовательно, быть скомпенсирована необычными способ- ностями в другой сфере. Однако определенные виды деятельности предполагают развитие каких-то существенных навыков, без всякой за- мены их другими. В таких случаях индивид с недостаточно развитым су- щественным навыком потерпит неудачу, независимо от его способностей в других областях. Оперный певец, например, должен хорошо различать высоту тона, независимо от того, насколько он удовлетворяет другим требованиям профессии. Точно так же оператору звукоулавливающей установки подводной лодки необходимо иметь хорошие аудиометриче- ские данные. Те же, кто не удовлетворяет этому требованию, не могут рассчитывать на успех, несмотря на превосходные технические способно- сти, общую интеллектуальность и т.д. В случае использования системы нормативных результатов лица, не обладающие каким-либо суще- --_....".. "" " ", п"""р "р Дунут ппиняты. тогда как урав-
170 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
нение регрессии не исключает возможности их приема. Но когда зависимость между тестами и критерием линейна и адди- тивна, уравнение регрессии дает больший процент правильных решений, чем система нормативных результатов. Еще одним важным достоин- ством уравнения регрессии является его свойство давать количественную оценку критериальных показателей индивида, что позволяет сравнивать результаты всех испытуемых. В системе нормативных результатов ника- кого различения испытуемых, кроме как на принятых и не принятых, провести нельзя. Во многих ситуациях наилучшим методом является со- четание обеих процедур. Вначале с помощью системы нормативных ре- зультатов отсеиваются те, которые не удовлетворяют необходимым тре- бованиям, а затем для оставшихся по уравнению регрессии вычисляются ожидаемые критериальные показатели. Если требования к лицам, выпол- няющим определенную работу, известны достаточно хорошо, то предва- рительное просеивание можно произвести, основываясь на одном-двух существенных навыках, а затем применить уравнение регрессии.
ПРИМЕНЕНИЕ ТЕСТА ПРИ РАСПРЕДЕЛЕНИИ
Природа распределения. Психологические тесты могут использо- ваться при отборе, а также при определении места или распределении. При отборе каждый индивид либо принимается, либо не принимается. Решения о принятии в колледж, на работу, о направлении новобранца в офицерскую школу-все это примеры отбора. Когда отбор производит- ся в несколько этапов, начальный период называется отсеиванием, а тер- мин <отбор> сохраняется за более интенсивными заключительными ста- диями. Слово отсеивание может также означать быстрый и приблизи- тельный отбор, даже если отбор на этом и заканчивается. Определение места и распределение отличаются от отбора тем, что их осуществление не связано с выбыванием кого бы то ни было из ис- ходной группы. Все ее члены распределяются так, чтобы итог был на- илучшим. В случае определения места решение может основываться на единственном показателе. Его можно получить с помощью одного те- ста-скажем, теста знаний по математике. Если применяется батарея те- стов, ту же роль может сыграть показатель, вычисленный с помощью уравнения регрессии. Примерами определения места могут служить: рас- пределение первокурсников по различным группам для изучения матема- тики, производимое по данным теста уровня знаний; назначение приня- тых на канцелярскую работу на должности, требующие различного профессионального уровня компетентности и ответственности; помеще- ние душевнобольных в то или иное отделение. Очевидно, что в каждом из этих решений применяется лишь один критерий и определение места зависит от положения результатов индивида на единственной шкале-пре- дикторе. В отличие от определения места при распределении во внимание Категория: Библиотека » Психодиагностика Другие новости по теме: --- Код для вставки на сайт или в блог: Код для вставки в форум (BBCode): Прямая ссылка на эту публикацию:
|
|