Анастази А. » Психологическое тестирование

ствует + 1

Выбор конкретного вида показателя диктуется главным образом

удобством, привычностью и легкостью разработки норм. Ввиду неко-

торых преимуществ, облегчающих составление и статистическую обра-

ботку тестов, различные варианты стандартных показателей (в том числе

и стандартный IQ) в общем вытеснили остальные типы показателей. Од-

нако большинство типов внутригрупповых производных показателей

в принципе подобны друг другу, если они корректно введены и интерпре-

тируются надлежащим образом. При соблюдении определенных стати-

стических условий каждый из этих показателей может быть легко переве-

ден в любой другой.

ОТНОСИТЕЛЬНОСТЬ НОРМ

Межтестовые сравнения. IQ или любой другой показатель сле-

дует всегда приводить вместе с названием теста, в котором они полу-

чены. Тестовые показатели нельзя интерпретировать в отрыве от кон-

кретного теста. Если в школьных записях значится, что Билл Джонс

получил IQ 94, а Том Браун -IQ 110, то без последующих разъяснений

эти данные ни о чем не говорят. Взаимное положение результатов этих

учащихся может оказаться обратным, если им придется <поменяться> те-

стами, которые они проходили в своих школах.

Точно так же относительная позиция индивида по различным функ-

циям может быть неверно интерпретирована из-за несопоставимости те-

стовых норм. Предположим, учащемуся для определения уровня разви-

тия некоторых его навыков были даны тесты на понимание слов

и пространственное восприятие. Если первый из этих двух тестов стан-

дартизован на случайной выборке учеников старших классов, а второй-

на группе мальчиков из ремесленного училища, то можно ошибочно за-

ключить, что индивид гораздо более развит в вербальном, чем простран-

ственном отношении, тогда как на самом деле может иметь место

обратное.

Подобная ситуация может возникнуть при лонгитюдном сравнении

выполнения теста одним и тем же индивидом. Если в личном деле

школьника содержатся IQ 118, 115 и 101, относящиеся соответственно

к IV, V и VI классам, то первый вопрос, который необходимо задать

прежде, чем интерпретировать эти изменения, должен быть таким: <Ка-

кие тесты давались в этих трех случаях?> Очевидное снижение результа-

тов может отражать всего-навсего различие между тестами. В этом слу-

чае результаты остались бы теми же, даже если бы эти три теста были

проведены с интервалом в одну неделю.

Существуют три основные причины систематических изменений ре-

зультатов, полученных одним и тем же индивидом в различных тестах.

Во-первых, тесты, даже если одинаково именуются, могут различаться

- Av,,w Мнп-ж-рттвп ппимеоов тому мы находим среди так назы-

НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА

именем, хотя одни из них включают в себя только вербальные задания,

другие связаны с пространственными навыками, третьи содержат вер-

бальные, пространственные и числовые задания. Во-вторых, могут ока-

заться несравнимыми единицы измерения. Как уже объяснялось, если fQ

одного теста построен при z == 12, а другого-при z = 18, то испы-

туемый, который в первом тесте получит IQ 112, во втором, скорее все-

го, будет иметь IQ 118. В-третьих, характер выборок стандартизации, ис-

пользованных при определении норм для разных тестов, может

оказаться различным. Очевидно, один и тот же индивид будет выглядеть

лучше на фоне более слабой, чем более сильной группы.

Несопоставимость содержания тестов или единиц измерения обычно

выявляется при рассмотрении самого теста или руководства по его ис-

пользованию. Но несоответствие нормативных выборок -заметить труд-

нее, и оно, вероятно, и является причиной многих не поддающихся ино-

му объяснению расхождений в результатах теста.

Нормативная выборка. Любая норма, в чем бы она ни выра-

жалась, ограничивается конкретной совокупностью людей, для которой

она вырабатывалась. Пользующийся тестом всегда должен знать способ,

которым устанавливались нормы теста. Применительно к психологиче-

ским тестам они никоим образом не абсолютны, не универсальны и не

постоянны. Они просто отражают выполнение теста испытуемыми из

выборки стандартизации. При формировании такой выборки обычно

стремятся получить репрезентативный срез популяции, на которую

ориентирован тест. В статистике принято различать выборку и популя-

1 цию. Первый из этих двух терминов обозначает группу, которая реально

1 подвергается тестированию. Второй относится к более широкой, но

1 имеющей тот же состав группе людей, из которой формируется выборка.

Например, если мы хотим установить нормы выполнения теста для

мальчиков 10 лет, живущих в городах и посещающих общественную

школу, то нам нужно протестировать, скажем, 500 десятилетних мальчи-

ков, посещающих такие школы в нескольких американских городах. Их

выборка, чтобы быть репрезентативной для данной популяции, должна

быть выверена по географическому распределению, социоэкономическо-

му уровню, этническому составу и другим существенным характеристи-

кам.

При разработке и применении тестовых норм на выборку стандар-

тизации следует обращать особое внимание. Очевидно, что для обеспече-

ния стабильных значений выборка, на которой основываются нормы,

должна быть достаточно большой. Другая выборка, отобранная по-

добным образом из этой же популяции, не должна приводить к нормам,

заметно отличным от полученных. Ясно, что с точки зрения интерпрета-

ции результатов теста нормы мало чего стоят, если они определены

с большой выборочной ошибкой.

Столь же важно, чтобы выборка была репрезентативна рассматри-

ваемой популяции. Необходимо тщательно исследовать даже незначи-

тельные факторы, влияющие на отбор и делающие выборку нерепрезен-

тативной. Ряд таких факторов может быть продемонстрирован на

выборках по социальной и профессиональной принадлежности. Исполь-

зование таких выборок ввиду их доступности и возможности привлече-

ния большого числа испытуемых представляется заманчивым для сбора

нормативных данных. Однако нужно внимательно проанализировать

гтгктпх/ттгм "ГТ-ТХЛ T11_Tiptf v

Я6 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

свойственно постепенное от класса к классу повышение уровня испы-

туемых, вследствие отсева менее способных учеников. В различных под-

группах это явление выражено неодинаково. Например, процент выбыв-

ших выше для мальчиков, чем для девочек. Он также выше для

социальных групп, находящихся на более низком экономическом уровне.

Факторы отбора действуют и в таких выборках, как сформиро-

ванные, например, из заключенных, пациентов психиатрической лечеб-

ницы или из умственно отсталых, помещенных в специальные дома.

Благодаря конкретным причинам, определившим помещение индивида

в специальное учреждение, упомянутые группы не репрезентативны всей

популяции преступников, душевнобольных или умственно отсталых. Так,

умственно отсталые, страдающие физическими недостатками, чаще

оказываются в специальном учреждении, чем физически полноценные.

Соответственно относительное число лиц с глубокой умственной отста-

лостью будет намного большим в выборке такого типа, чем в популяции

в целом.

К вопросу о репрезентативности выборки непосредственно относит-

ся необходимость определения специфической популяции, к которой при-

менимы полученные нормы. Очевидно, одним из способов обеспечения

репрезентативности выборки является ограничение популяции сообразно

особенностям выборки. Например, если определить популяцию как

14-летние школьники, а не 14-летние дети, то школьная выборка будет

репрезентативной. В идеале, разумеется, желаемая популяция должна

фиксироваться заранее, исходя из целей теста, а затем формируется

надлежащая выборка. Невозможность привлечь нужных испытуемых мо-

жет, однако, сделать эту цель недостижимой. В таком случае лучше су-

зить определение популяции, чем утверждать, что нормы относятся к по-

пуляции, которая не была адекватно представлена в нормативной выбор-

ке. Фактически подавляющее большинство тестов стандартизовано для

не столь широких популяций, как многие полагают. Тестовых норм, дей-

ствительных для всего рода человеческого, не существует! Сомнительно

также, чтобы по какому-либо тесту имелись адекватные нормы для

столь обширных популяций, как <взрослые американцы-мужчины>, <аме-

риканские дети 10-летнего возраста> и т.п. Следовательно, выборки, по-

лучаемые различными создателями тестов, часто не вполне репрезента-

тивны популяции, для которой предназначены, и смещены в тех или

иных отношениях. Отсюда и несопоставимость получаемых норм.

Согласование норм. Один из подходов к решению проблемы

сопоставимости тестов заключается в составлении таблиц эквивалентно-

сти показателей разных тестов. Такие таблицы могут быть составлены

эквипроцентильным методом, и тогда показатели считаются эквива-

лентными, если они имеют равные процентили в данной группе. Напри-

мер, если 80Ї"-ный процентиль в одной и той же группе соответствует IQ

115 по тесту А и IQ 120 по тесту В, то IQ = 115 для теста А считается

эквивалентным IQ -= 120 для теста В. Этот метод в какой-то мере прак-

тиковался некоторыми издательствами, выпускавшими таблицы эквива-

лентности для некоторых из опубликованных ими тестов (R.T. Lennon,

1966й).

Смещенной (огностельно данной популяции) называется выборка, в которой те.

или иные подгруппы популяции представлены непропорционально своей численности

НОРМЫ И ИНТЕРПРЕТАЦИЯ РГ-ЗУЛЬТАТОВ ТЕСТА

Время от времени выдвигаются обширные проекты, предусматри-

вающие калибровку каждого нового теста относительно единого эталон-

ного теста, стандартизованного на весьма репрезентативной норматив-

ной выборке в масштабе всей страны (R.T.Lennon, l966b). Конечно,

никакой единый тест не может использоваться для обоснования норм

всех тестов, независимо от их содержания. Необходима батарея эта-

лонных тестов, стандартизованных на одной и той же общеамериканской

выборке. Любой новый тест мог бы после этого быть выверен -с по-

мощью наиболее близкого к нему эталонного теста из этой батареи.

Пока что ближе всего к реализации этого замысла (применительно

к популяции старшеклассников средних школ) удалось подойти в рамках

осуществления программы TALENT (J.C. Flanagan et а1, 1964). Исполь-

зуя случайную выборку, примерно 5Їо средних школ страны, исследова-

тели применили рассчитанную на два дня батарею особым образом со-

ставленных тестов способностей и достижений, интересов и темперамен-

та приблизительно к 400000 учеников 1Х-Х11 классов. Нужно признать,

что даже при наличии таких согласованных данных разработанные неза-

висимо друг от друга тесты нельзя рассматривать как абсолютно взаи-

мозаменяемые. В лучшем случае использование единых для всей страны

норм сможет лишь заметно снизить несопоставимость тестов, но никак

не устранить ее.

Батарея TALENT были использована для калибровки некоторых ба-

тарей тестов, применяемых в морских и военно-воздушных силах США.

Процедура состоит в следующем. Вначале одной и той же выборке

предъявляются как батарея TALENT, так и тест, подлежащий калибров-

ке. Далее с помощью корреляционного анализа из всей батареи TALENT

выделяется набор тестов, наиболее близкий к калибруемому тесту. Нако-

нец, эквипроцентильным методом составляется таблица, устанавливаю-

щая соответствие между показателями выделенного набора из батареи

TALENTn данным тестом.

Были также получены данные, необходимые для выделения из бата-

реи TALENT набора, соответствующего каждому из тестов таких бата-

рей, как дифференцированные тесты способностей, классификационные

тесты профессиональной пригодности Дж. Фланагана и тесты общей

профессиональной пригодности Службы занятости США.

Особый интерес представляет исследование эталонных тестов, про-

веденное Службой тестирования в образовании при содействии Амери-

канского управления образования (R.M. Jaeger, 1973). Столь обстоятель-

ное исследование было предпринято для разработки сопоставимых

и действительно репрезентативных общенациональных норм по 7 наибо-

лее употребительным тестам навыков чтения, предназначенным для уче-

ников средних классов. В соответствии с необычайно тщательно разра-

ботанным экспериментальным замыслом в 50 штатах было обследовано

свыше 300 000 учеников IV-VI классов. Эталонный тест состоял из субте-

стов понимания текста и словарного запаса, входящих в национальный

тест школьных достижений, и для них в ходе исследования были уста-

новлены новые нормы. При установлении эквивалентности норм каждо-

му ребенку предъявлялись субтесты понимания текста и словарного за-

В. X. Ангоффом (W.H. Angoff, 1964, 1966, 1971 а) блестяще проанализированы техни-

ческие трудности, возникающие в связи с попытками добиться сопоставимости показате-

88 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

паса двух из семи батарей, каждая из которых составляла пару с любой

другой батареей. К некоторым группам применялись параллельные

формы двух субтестов из одной и той же батареи. В еще одних группах

предъявление пар тестов дублировалось в обратной последовательности,

что позволяло контролировать влияние порядка предъявления тестов.

Статистический анализ полученных данных эквипроцентильным мето-

дом позволил составить таблицы эквивалентности показателей для семи

тестов, было также составлено руководство по интерпретации результа-

тов тестов для их использования в школах заинтересованными лицами

(P.O. Loret, A. Seder, J.C. Bianchini, С. A. Vale, 1974).

Специфические нормы. Еще одним решением-и для большин-

ства тестов, вероятно, более реалистичным-проблемы неэквивалентно-

сти существующих норм является стандартизация тестов для более уз-

кой популяции, выбираемой сообразно специфическим целям каждого

теста. В таких случаях границы нормативной популяции должны быть

четко определены и приведены вместе с нормами. Так, можно указать,

что данные нормы относятся к управленческому персоналу крупных

фирм или к первокурсникам технических колледжей. Для многих целей

тестирования желательно иметь достаточно специализированные нормы.

Даже когда имеются репрезентативные нормы для широкой популяции,

часто оказываются полезными так называемые подгрутовые нормы. По-

требность в них возникает, когда показатели теста заметно меняются от

одной подгруппы к другой. Сами подгруппы могут формироваться по

признаку возраста, года обучения, типа школьной программы, пола, гео-

графического региона, проживания в городе или в сельской местности,

социоэкономического уровня и т.д. Характер использования теста опре-

деляет наиболее существенный признак, а также и предпочтительность

общих или специфических норм.

Следует также упомянуть о локальных нормах, которые нередко раз-

рабатываются пользователями тестов для конкретных социальных еди-

ниц (social setting). Группы, к которым относятся такие нормы, еще более

специфичны, чем даже обсуждавшиеся выше подгруппы. Так, наниматель

может выработать нормы, лучше отвечающие специфике предлагаемой

им работы; администрация колледжей-нормы, рассчитанные на обуче-

ние в данном колледже; а школа может оценивать выполнение тестов

своими учениками в соответствии с собственным распределением показа-

телей. Локальные нормы такого типа в большей степени, чем нацио-

нальные, отвечают таким задачам тестирования, как предсказание дости-

жений в труде или учебе, сравнение относительного уровня знаний детей

по различным предметам, исследование динамики их развития.

Фиксированная референтная группа. Хотя большинство

производных показателей ориентировано на непосредственную норма-

тивную интерпретацию выполнения теста, существуют и примеча-

тельные исключения. Одно из них состоит в использовании фиксирован-

ной референтной группы для обеспечения сопоставимости и преемствен-

ности показателей без обращения к нормативным оценкам выполнения

теста. В этом случае для нормативной интерпретации данных необходи-

мо сопоставить их с нормами, полученными для сходной популяции. Не-