Анастази А. » Психологическое тестирование

тельным процессом. Но существуют таблицы, с помощью которых мож-  

но получить ?ь", зная процент справившихся с заданием в группах,  

соответствующих верхним и нижним 1ЧЇ/о распределения значений крите-  

рия (С. Т. Fan, 1952; 1954). С помощью этих таблиц по процентам спра-  

вившихся с заданием в группах В и Н можно найти три величины: р, т. е.  

процент справившихся с заданием по всей выборке; описанный ранее по-  

казатель Д, являющийся мерой трудности задания в интервальной шка-  

ле, и Гы" между заданием и критерием. Но таблицами можно пользовать-  

ся при условии, что В и Н содержат каждая в точности 27Їо всей  

выборки.  

Способа, который позволял бы точно рассчитать уровни значимости  

для так оцениваемой бисериальной корреляции, не существует. Однако  

было установлено, что их стандартные ошибки несколько больше, чем для  

коэффициентов бисериальной корреляции, подсчитанных обычным пу-  

тем. Это значит, что коэффициент г, полученный по таблицам Фана,  

сильнее колеблется от выборки к выборке, чем г, вычисленный по фор-  

муле. Принимая это во внимание, можно использовать стандартную  

ошибку г, чтобы приблизительно оценить, насколько большой должна  

быть статистически значимая корреляция. И в этом случае вычисли-  

тельная техника позволяет легко определить значение бисериальной кор-  

реляции, основываясь на более адекватной процедуре, т. е. по ответам ис-  

пытуемых из всей выборки.  

ВНУТРЕННЯЯ СОГЛАСОВАННОСТЬ  

Анализ заданий нередко проводится относительно суммарного результа-  

та теста. Этот метод находит свое применение в тестах достижений  

и особенно при составлении учителем контрольных работ, когда трудно  

получить внешние критериальные данные. Как отмечалось в главе 6,  

этот подход позволяет получить меру внутренней согласованности, а не  

внешней валидности. Он годится для уточнения валидации по содержа-  

нию и некоторых аспектов конструктной валидации.  

Однако если тест должен быть валидным относительно критерия,  

использование суммарного результата для анализа заданий нуждается  

в тщательном изучении. При определенных условиях эти два подхода  

могут привести к противоположным выводам: задания, выбираемые по  

Формулу для ет можно найти в любом учебнике статистики (J. P. Guilford,  

194 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ  

признаку внешней валидности, могут оказаться неудовлетворительными  

с точки зрения внутренней согласованности. Предположим, что предва-  

рительная форма теста способности к обучению состоит из 100 арифме-  

тических и 50 словарных заданий. Для отбора заданий из первоначаль-  

ной их совокупности методом внутренней согласованности можно  

воспользоваться бисериальной корреляцией между выполнением каждо-  

го задания и суммарными результатами по всем 150 заданиям. Очевид-  

но, что такая бисериальная корреляция будет выше для арифметических,  

а не для лексических заданий, потому что суммарный результат основан  

на вдвое большем числе арифметических заданий. Если в окончательной  

форме теста предполагается сохранить лучшие 75 заданий, то вполне ве-  

роятно, что в большинстве своем они будут состоять из арифметических  

заданий. Но с точки зрения достижений в учении словарные задания мо-  

гут оказаться по сравнению с арифметическими более валидными  

предикторами. В этом случае анализ заданий будет служить не повыше-  

нию, а понижению валидности теста.  

Изъятие заданий, имеющих низкую корреляцию с суммарным ре-  

зультатом, является средством повышения однородности, или <очище-  

ния>, теста. Благодаря применению этой процедуры сохраняются зада-  

ния с наибольшими средними взаимокорреляциями. Данный метод  

отбора заданий повышает валидность теста, только когда первоначаль-  

ная совокупность заданий измеряет одно и то же свойство и когда это  

свойство присутствует и в критерии. Однако некоторые типы тестов из-  

меряют комбинацию свойств, отвечающих сложному критерию. В таком  

случае очищение теста от инородных элементов может сузить охват та-  

кого критерия и тем самым понизить валидность.  

Отбор заданий с целью довести до максимума валидность теста  

аналогичен отбору тестов, с тем чтобы получить батарею тестов с на-  

иболее высокой валидностью. Напомним (гл. 7), что вклад теста в ва-  

лидность батареи тем больше, чем выше его корреляция с критерием  

и чем ниже корреляция с другими тестами батареи. Если этот принцип  

применить к отбору заданий, то наилучшими окажутся задания, имею-  

щие наибольшие значения валидности и наименьшие коэффициенты вну-  

тренней согласованности. На этой основе можно определить чистую эф-  

фективность задания, т.е. чистый прирост валидности теста при  

добавлении к нему конкретного задания. Так, если задание тесно корре-  

лирует с внешним критерием, но относительно слабо коррелирует с сум-  

марным показателем теста, то оно предпочтительнее такого задания, ко-  

торое имеет высокую корреляцию и с критерием, и с тестом в целом,  

ибо первое задание, по-видимому, измеряет некоторый аспект критерия,  

не учитываемый должным образом остальными заданиями.  

Может показаться, что к отбору заданий применимы те же методы,  

что и при комплектовании батареи тестов. В частности, можно было бы  

ориентироваться на корреляцию задания с критерием и с другими зада-  

ниями. Лучшим заданиям, отобранным таким путем, можно было бы за-  

тем приписать веса и представить в уравнении регрессии. Такая процеду-  

ра, однако, неосуществима и теоретически несостоятельна. Дело не  

Такая корреляция части и целого будет несколько завышенной в силу присутствия  

общей специфической дисперсии и дисперсии ошибки в задании и в тесте, частью которо-  

го оно является. Существуют формулы, вносящие необходимую поправку в коэффициент  

195 АНАЛИЗ ЗАДАНИЙ  

только в усилиях, которые потребовались бы для проведения необхо-  

димых вычислений. Более существенно то обстоятельство, что корреля-  

ция между заданиями подвержена зависящим от выборки колебаниям  

и найденные параметры регрессии слишком неустойчивы, чтобы на них  

можно было основывать отбор заданий, не прибегая к чрезвычайно  

большим выборкам. По этой причине для отбора заданий по их чистому  

вкладу в валидность теста было разработано несколько методов апрок-  

симации. Некоторые из этих методов основаны на эмпирическом процес-  

се построения теста, при котором набор заданий растет постепенно,  

а при добавлении задания валидность всего набора каждый раз под-  

считывается заново. Согласно другим методам, вначале берется полный  

набор заданий, из которого последовательно изымаются наименее  

удачные, пока не достигается требуемая валидность теста. Поскольку да-  

же такие методы требуют большого объема вычислений, к ним целесо-  

образно обращаться только при наличии вычислительной техники  

(J.A.Fossum, 1973; S.Henrysson, 1971).  

Следует отметить, что все способы отбора заданий по их чистой эф-  

фективности представляют подход, обратный тому, который ориентиро-  

ван на внутреннюю согласованность. В первом случае чем выше корре-  

ляция между заданием и тестом, тем больше шансов на то, что задание  

будет изъято; во втором же случае чем выше такая корреляция, тем  

больше вероятность того, что задание будет включено в тест. Цели обо-  

их подходов, разумеется, различны. Один направлен на наиболее широ-  

кий охват критерия и меньшее дублирование заданий; второй же предус-  

матривает повышение однородности теста. И то и другое желательно  

иметь в виду при составлении теста. Выбор конкретной процедуры  

в большой степени зависит от характера теста и его назначения. Так,  

в биографическом опроснике задания (вопросы) можно оценивать и от-  

бирать только в соответствии с внешним критерием, причем охватывае-  

мое опросником содержание в высшей степени неоднородно. Примером  

совсем иного рода может служить тест на правописание, весьма одно-  

родный по содержанию; здесь уже существенным ориентиром для отбо-  

ра заданий является внутренняя согласованность.  

Применительно ко многим задачам тестирования удовлетворитель-  

ное решение означает распределение сравнительно однородных заданий  

по отдельным тестам или субтестам, каждый из которых относится к ка-  

кому-то одному аспекту критерия. Таким образом, учет разных аспектов  

достигается разнообразием тестов, каждый из которых позволяет полу-  

чить более или менее однозначный результат, а не разнородностью зада-  

ний в рамках одного теста. При таком подходе задания с низкими ин-  

дексами внутренней согласованности не отбрасываются, а выделяются.  

Тем самым в пределах каждого субтеста или группы заданий может  

быть достигнута довольно высокая внутренняя согласованность. В то же  

время такая согласованность не будет трактоваться как заменитель ва-  

лидности по критерию, и потребуется лишь уделить некоторое внимание  

тому, чтобы разные аспекты критерия были адекватно представлены  

в тесте и чтобы не было чрезмерной концентрации заданий по неко-  

торым из аспектов.  

196 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ  

АНАЛИЗ ЗАДАНИЙ ТЕСТОВ НА СКОРОСТЬ  

Независимо от того, входит ли скорость в число измеряемых функций,  

индексы заданий, вычисленные для скоростных тестов, могут создавать  

ложное впечатление. Если не считать заданий, при выполнении которых  

никто или почти никто из обследуемых не испытывает недостатка време-  

ни, эти индексы отражают не столько действительную трудность или ва-  

лидность заданий, сколько их положение в тесте. Задания, выполняемые  

в тесте позднее, будут выполнены сравнительно малым числом испы-  

туемых, поскольку лишь немногие успевают до них добраться. Каким бы  

легким ни было задание, если оно расположено в конце теста на ско-  

рость, оно будет казаться трудным. Если, скажем, вопрос об имени ис-  

пытуемого поместить в конце скоростного теста, то процент лиц, отве-  

тивших на него, будет весьма низким.  

Точно так же переоценивается валидность заданий, к выполнению  

которых многие испытуемые не успевают приступить. Поскольку более  

опытные индивиды обычно работают быстрее, они, по-видимому, скорее  

доберутся до заданий, находящихся в конце теста на скорость  

(W.G. Mollenkopf, 1950 а). Таким образом, независимо от характера  

самого задания некоторая корреляция между ним и критерием будет об-  

наружена, даже если оно находится ближе к концу теста.  

Чтобы избежать некоторых из этих затруднений, можно ограничить  

анализ каждого задания только данными испытуемых, достигших со-  

ответствующего задания в тесте. Это решение, однако, нельзя считать  

удовлетворительным, если число лиц, выполнивших задание, невелико.  

Такая процедура сопряжена с использованием быстро сокращающегося  

числа испытуемых, вследствие чего результаты по последним заданиям  

могут оказаться ненадежными. Более того, испытуемые, выполнившие  

такие задания, вероятно, будут представлять собой селективную выбор-  

ку, не сопоставимую с более широкой выборкой, использованной для  

анализа ранних заданий. Как уже отмечалось, испытуемые, работающие  

быстро, часто также более опытны. Таким образом, более поздние зада-  

ния будут анализироваться на выборке индивидов с более высоким уров-  

нем. Последствием такого селективного фактора окажется занижение  

уровня трудности более поздних заданий, поскольку процент справив-  

шихся с заданием в селективной выборке выше, чем во всей выборке.  

Отметим, что в данном случае ошибка обратна той, которая появляется  

при вычислении процента справившихся с заданием относительно всей  

исходной выборки. В этом случае происходит завышение трудности  

заданий.  

Влияние вышеописанной процедуры на индексы валидности заданий  

не столь очевидно, но тем не менее реально. Замечено, например, что не-  

которые из испытуемых, показывающих низкие результаты, торопясь  

выполнить тест в отведенное время, отмечают в тестовом бланке (или  

тетради) ответы почти наугад. Среди испытуемых с высокими результа-  

тами эта тенденция выражена гораздо меньше. В итоге выборка, на ко-  

торой производится анализ более позднего задания, нередко включает  

в себя нескольких весьма слабых респондентов, выполняющих задания  

на уровне случайности, и довольно значительное число опытных и бы-  

стрых испытуемых, чьи ответы обычно оказываются правильными. В та-  

кой группе корреляция задания и критерия, вероятно, будет выше. чем  

В боттРР прттгч>">вт11-,1-т"-"-"- ---" "  

197 АНАЛИЗ ЗАДАНИЙ  

респондентов выборка, на которой анализируются задания, располо-  

женные в конце теста, охватывала бы относительно узкий диапазон спо-  

собности. В этих условиях валидность более поздних заданий скорее все-  

го окажется ниже, чем если бы она вычислялась на всей выборке.  

Ожидаемое влияние скорости на индексы трудности и валидности  

заданий проверялось опытным путем как для случаев, когда статистиче-  

ская обработка проводится по всей выборке (A.G.Wesman, 1949), так  

и для случаев, когда выборка ограничивалась лицами, пытавшимися вы-  

полнить задание (W.G. Mollenkopf, 1950 а). Во втором из этих двух ис-  

следований сопоставимым группам старшеклассников давались две  

формы вербального теста и две формы математического теста. Каждая  

из двух форм состояла из одних и тех же заданий, но начальные и ко-  

нечные серии в этих формах менялись местами. Каждая форма предъя-  

влялась в жестких (условия скорости) и свободных (условия возможно-  

стей) временных рамках. Такой способ тестирования позволил сравнить  

между собой как формы тестов, так и временные условия. Результаты  

ясно показали, что положение задания в скоростном тесте влияет на ин-  

дексы трудности и валидности. Когда одной то же задание предъявля-  

лось не в самом начале скоростного теста, оно выполнялось большим  

процентом испытуемых, пытавшихся его решить, и имело более высокую  

корреляцию с критерием.  

Трудности, возникающие в ходе анализа заданий скоростного теста,  

в принципе аналогичны тем, о которых говорилось в гл. 5 в связи  

с надежностью тестов на скорость. Были предложены различные спо-  

собы преодоления этих трудностей, касающиеся как процедуры тестиро-  

вания, так и статистической обработки результатов. Одним из эмпириче-  

ских решений было увеличение лимита времени для групп, на которых  

проводится анализ заданий. Такое решение приемлемо, если только сама  

скорость не является важным аспектом измеряемой тестом способности.  

Помимо технических проблем, относящихся к конкретным тестам, необ-  

ходимо иметь в виду, что данные, получаемые в ходе анализа заданий  

скоростных тестов, ненадежны и нуждаются в тщательном изучении.  

ПЕРЕКРЕСТНАЯ ВАЛИДАЦИЯ  

Значение перекрестной валидации. Важно, чтобы валидность теста  

определялась на выборке испытуемых, отличной от той, с помощью ко-  

торой производился отбор заданий. Такое независимое измерение валид-  

ности всего теста называется перекрестной валидацией (C.I. Mosier,  

1951). Любой коэффициент валидности, найденный по выборке, приме-  

нявшейся для отбора заданий, окажется завышенным, так как случайные  

особенности этой выборки будут учитываться как истинные свойства по-  

пуляции. Фактически при таких обстоятельствах высокий коэффициент  

валидности может появиться, даже когда тест совершенно не обладает  

валидностью в предсказании конкретного критерия.  

Предположим, что в выборке из 100 студентов-медиков было выде-  

лено 30 человек с самой высокой успеваемостью и 30 с наиболее низкой  

успеваемостью, которые составили контрастные критериальные группы.  

Если теперь эти две группы сопоставить по ряду качеств, фактически не  

имеющих отношения к успеваемости в медицинском институте, то, не-  

198 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ  

частных школ и рыжеволосых студентов. Если бы нам пришло в голову  

приписывать каждому человеку по очку за окончание частной школы  

и за рыжий цвет волос, то средний результат оказался бы, несомненно,  

выше в верхней, чем в нижней критериальной группе. Однако это не сви-  

детельствует о валидности выбранных признаков, так как данный про-  

цесс валидации содержит круг в доказательстве. Оба предиктора вы-  

браны в первую очередь на основе случайных особенностей, характери-  

зующих данную выборку. И те же случайные различия ответственны за  

появление различий между суммарными результатами. Однако при про-