Анастази А. » Психологическое тестирование

редко для этой цели используются локальные или иные специфические

нормы.

Одним из наиболее очевидных примеров шкал, выработанных на

/пгТТТЛГТЭМиЙ тчгттгг ппгггтмгм r,>nrn -

89 НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА

способности к обучению (SAT) Совета колледжей (W.H.Angoff, 1962;

1971b). Между 1926 (когда SAT был применен впервые) и 1941 г. показа-

тели этого теста выражались в нормативной шкале, для которой среднее

значение и стандартное отклонение определялись по показателям абиту-

риентов, полученным при очередном применении теста. В связи с увели-

чением и качественным изменением числа колледжей, подчиненных Сове-

ту, изменилась и популяция абитуриентов, но было решено сохранить

преемственность шкалы SAT, ибо в противном случае индивидуальные

показатели зависели бы от особенностей контингента, проходящего об-

следование в том или ином году. Еще более серьезной причиной сохра-

нения преемственности шкалы было различное действие селективных

факторов на одних и тех же учащихся, в результате чего они выполняли

SAT лучше или хуже в зависимости от периода года. Поэтому после

1941 г. все показатели SA Г выражаются в шкале, построенной согласно

среднему значению и стандартному отклонению данных примерно 11000

абитуриентов, проходивших этот тест в 1941 г. Таким образом, эти аби-

туриенты составили фиксированную референтную группу, относительно

которой производится шкалирование всех последующих форм данного

теста. Например, результат 500 любой формы SAT соответствует средне-

му показателю для выборки 1941 г., показатель 600 приходится на 1ст

выше среднего значения и т.д.

Чтобы можно было переводить первичные показатели любой

формы SAT та показатели этой фиксированной референтной группы,

в каждую такую форму включается небольшой эталонный тест. С по-

мощью этого теста каждая новая форма соотносится с одной или двумя

более ранними формами, те, в свою очередь,-с другими, еще более ран-

ними, и т.д., по цепочке, с формой 1941 г. Такие ненормативные показа-

тели SAT затем можно интерпретировать, сопоставляя их с нужным рас-

пределением показателей конкретного колледжа, типа колледжей, регио-

на и т.д. Подобные специфические нормы более пригодны для принятия

решений о приеме, чем ежегодные нормы; основанные на данных всей

популяции абитуриентов. Более того, любые временные изменения попу-

ляции абитуриентов может обнаружить только шкала фиксированных

показателей.

В отличие от ранее обсуждавшихся шкал, основанных на примене-

нии национальных эталонных тестов, шкалы фиксированной референт-

ной группы не требуют формирования единой достаточно репрезента-

II тивной и адекватной вводимым нормам группы. Помимо практических

1 трудностей, связанных с подбором такой группы, и необходимости об-

1 новления норм оказывается, что многие задачи тестирования столь уни-

Н версальных норм и не требуют. Шкалы, основанные на данных фиксиро-

1 ванной референтной группы, в определенном отношении аналогичны

1 шкалам, применяемым в физическом измерении. В этой связи В. X. Ан-

1 гофф (W.H. Angoff, 1962, р. 32-33) пишет:

X-

<Вряд ли кто теперь точно знает первоначальное определение длины фута, которым

1 пользуются для измерения высоты и расстояния. Вряд ли кто назовет имя короля, чья

ступня была принята в качестве эталона. Вместе с тем мало таких, кто не смог бы оце-

нить длину или расстояние с помощью этой единицы измерения. Наше незнание букваль-

ного значения или происхождения фута ни в коей мере не делает его бесполезным, ведь,

сколько бы ни прошло времени, фут останется одним и тем же, и это позволяет нам ос-

воиться с ним. То же самое можно сказать и про другие единицы измерения-дюйм, ми-

90 ПРИНЦИПЫ rU:ИXOЛOrиЧF.CKOrO ТЕСТИРОВАНИЯ

должно следовать. Единственное следствие такого определения-установление постоян-

ства шкалы, что достигается в случае применения различных форм одного теста их стро-

гим взаимным уравниванием, а также получением дополнительных нормативных данных,

облегчающих интерпретацию и принятие конкретных решений, данных, подлежащих пере-

смотру, когда этого требуют обстоятельства>.

ИСПОЛЬЗОВАНИЕ ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ

ПРИ ИНТЕРПРЕТАЦИИ РЕЗУЛЬТАТОВ ТЕСТА

Компьютеры заметно изменили почти все этапы тестирования-от со-

здания теста до его применения, подсчета первичных показателей реги-

страции и интерпретации. Выигрыш, который дает использование

компьютеров, даже самых первых, связан с буквально небывалым увели-

чением скорости, с какой осуществляется анализ данных, подсчет показа-

телей. Однако гораздо важнее для психологического тестирования разра-

ботка новых процедур и изыскание новых методов, которые были бы

неосуществимы, не окажись такого гибкого и скоростного способа пере-

работки данных, как использование компьютеров.

Различные нововведения, явившиеся результатом применения элек-

тронных машин, рассматриваются в соответствующих разделах настоя-

щей книги. В этом разделе обсуждается применение вычислительной тех-

ники при интерпретации показателей тестов. На элементарном уровне

большинство современных тестов, особенно тех, что предназначены для

группового применения, теперь приспособлены к машинной обработке

тестовых показателей (F. В. Baker, 1971). Некоторые издатели тестов,

а также ряд организаций по обработке тестовых данных принимают за-

казы на машинную обработку результатов тестирования. Хотя при этом

обычно используются особые бланки ответов, в вычислительных центрах

имеется аппаратура оптического сканирования, позволяющая считывать

ответы непосредственно с тестовых тетрадей. Такие новшества, как диаг-

ностическая обработка данных и динамический анализ (фиксация дости-

жений учащихся на различных этапах обучения), еще только входят

в употребление.

Несколько более высокий уровень использования компьютеров свя-

зан с приспособлением тестов к машинной интерпретации их показате-

лей, которая теперь обеспечивается для ряда тестов. В подобных случаях

определенные серии ответов связываются машинной программой с теми

или иными словесными формулировками, хранящимися в памяти ма-

шины. Этот подход применяется как в личностных тестах, так и в тестах

способностей. Например, проводя обследование с помощью многоста-

дийного личностного опросника, разработанного в штате Миннесота,

ММР1 (см. гл. 17), применяющий тест наряду с числовыми данными мо-

жет получить распечатку диагностических и интерпретационных форму-

лировок о тенденциях личности испытуемого и его эмоциональном со-

стоянии. Таким же образом тест различных способностей (см. гл. 13)

снабжается сообщением о возможностях профессионального роста, со-

стоящим из профиля результатов по отдельным субтестам и словесного

заключения. Последнее основано не только на данных теста, но и на ин-

формации об интересах и намерениях учащихся, полученной из заполнен-

ной ими анкеты будущей профессии. Применяемые в заключении форму-

лировки похожи на то, что мог бы в индивидуальной беседе сказать

ИСПЫТуеМОМУ КОНСУЛЬТант. ОЧНЯК-пмивтпнйа с п?"зл7тт1--т-сп-а1лтт -гд-т-- <Т ~С

НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА

Еще более сложна индивидуальная интерпретация тестовых резуль-

татов, осуществляемая при помощи так называемых систем взаимодей-

ствия, обеспечивающих диалог <человек-машина> (J.A. Harris, 1973;

W.H. Holtzman, 1970; M.R. Katz, 1974; D.E. Super, 1970). Эффективность

систем взаимодействия исследовалась применительно к выбору дальней-

шего образования и работы. В подобной ситуации результаты тестов

обычно присоединяются к базе машинных данных наряду с другой ин-

формацией, поступающей от учащегося или консультирующего индиви-

да. Важно то, что машина обрабатывает всю доступную информацию об

индивиде с учетом хранящихся в ее памяти данных об учебных програм-

мах и профессиях, использует все относящиеся к делу сведения, отвечая

на вопросы испытуемого и помогая ему прийти к какому-то решению.

В качестве примеров таких систем, находящихся на разных стадиях раз-

работки, назовем системы образования и профориентации, разрабо-

танные фирмами IBM и ETS. Предварительная проверка этих систем по-

казала, что они были хорошо приняты старшеклассниками и их

родителями (J.A. Harris, 1973).

Тестовые результаты также составляют неотъемлемую часть

данных, используемых при обучении с помощью машин. Для того

чтобы предъявить учебный материал, соответствующий уровню разви-

тия ученика, компьютер должен каждый раз воспроизводить результаты

и оценивать его ответы по предыдущему материалу. На основе тенден-

ции ответов, поступивших от него во время сеансов машинного обуче-

ния, ученик либо переводится на изучение более сложного материала, ли-

бо продолжает упражняться на прежнем уровне, либо проходит обучение

на более элементарном подготовительном материале. Предусмотренный

программой диагностический анализ ошибок позволяет выявить и скор-

ректировать свойственные данному ученику трудности в обучении.

Менее дорогостоящим и технически более доступным является ис-

пользование компьютеров как вспомогательного средства (R. К. НатЫе-

ton, 1974). В таких системах обучающийся не взаимодействует

с машиной непосредственно. Ее назначение-помочь учителю в разработ-

ке плана индивидуального обучения, предусматривающего использова-

ние специальных пакетов с учебными материалами или более тради-

ционных пособий. Компьютер главным образом производит обработку

поступающего ежедневно громадного массива данных, касающихся ра-

боты учеников в классе, где каждый может быть занят выполнением ин-

дивидуального задания, и для каждого из них предписывает следующий

шаг обучения. Примером такого типа обучения может служить разрабо-

танная в Питтсбургском университете система индивидуального обучения

(W.W. Cooley, R. Glaser, 1969; R. Glaser, 1968) и программа PLAN (по-

строение обучения в соответствии с потребностями), полученная в амери-

канских исследовательских институтах (J.C.FIanagan, 1971; J.C.FIana-

gan, W.M.Shanner, H.J.Brudner, R.W. Marker, 1975). Система PLAN

помимо обучения предметам, проходимым в V-XII классах, включает

в себя программы самопознания, индивидуального развития и проф-

ориентации.

92 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННОЕ ТЕСТИРОВАНИЕ

Природа и назначение. Метод тестирования, вызвавший волну ак-

тивности. особенно в педагогике, обычно именуется критериально-ориен-

тированным тестированием. Этот термин, впервые предложенный

Р. Гласером (R. Glaser, 1963), все еще употребляется не вполне однознач-

но, и различные авторы определяют его по-разному. Более того, неко-

торые альтернативные термины, указывающие на отнесение результатов

теста к его содержанию, области определения, цели, иногда употребля-

ются как синонимы термина <критериально-ориентированный> с не-

сколько различными оттенками значения. Однако термин <критериаль-

но-ориентированный>, по-видимому, занял господствующее положение,

хотя он и не самый удачный.

Как правило, в критериально-ориентированном тестировании в_каче-_

стве интерпретационной системы отсчета.. используется конкретная

область содержания, а не та или иная популяция людей. В этом отноше-

нии оно отличается от обычного ориентированного на нормы тестирова-

ния, в котором индивидуальный показатель сопоставляется с показателя-

ми других индивидов, выполнявших тот же самый тест. В критериально-

ориентированном тестировании, например, выполнение теста испы-

туемым описывается в терминах освоенных арифметических операций,

объема словаря, уровня трудности доступного пониманию текста (от ко-

миксов до литературной классики), вероятности достижения определен-

ного уровня выполнения будущей деятельности на работе или в учебном

заведении.

Кригсрицльно-орнснтироьаиное тестирование пока что применяется

главным образом лишь в последних педагогических новшествах-в си-

стемах прямого и косвенного машинного обучения и в других индиви-

дуализированных саморегулирующихся системах. Во всех таких системах

тестирование полностью интегрировано с обучением и проводится до, во

время и после выполнения каждого учебного задания для проверки нали-

чия необходимых умений, выявления иозможных затруднений и выбора

.последующих педагогических действий. Упомянутая ранее программа

PLAN и система индивидуального обучения Питтсбургского университе-

та построены именно таким образом.

Еще одним аспектом применения критериально-ориентированных

тестов является их использование службами по образованию, типа На-

ционального совета по достижениям в образовании (F.B. Womer, 1970),

а также при подготовке материалов учебной отчетности (N.E. Gronlund,

1974). Иллюстрацией критериально-ориентированного тестирования мо-

гут служить квалификационные испытания водителей и пилотов для вы-

дачи им прав на вождение автомобиля или самолета. Наконец, отметим,

что знание принципов критериально-ориентированного тестирования по-

зволяет усовершенствовать обычные тесты, составляемые самими учите-

лями для использования в классе. Н. Гронлунд (N.E. Gronlund, 1973) раз-

работал полезное руководство по составлению и проведению таких

тестов с простым и хорошо построенным введением в критериально-

ориентированное тестирование. Краткое, но блистательное обсуждение

основных недостатков такого тестирования приводится в работе

P..Я. И бела sR.L.Ebel, 1972в).

Содержание. Отличительной чертой критериально-опиентиппнян-

1ГОГО TfilTHnrinJirrin {,,.... !---

93 НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА

нием ни выступало) является интерпретация выполнения теста с точки

зрения его содержательного смысла. Упор делается на то, что индивид

может делать и что он знает, а не на то, какой выглядит на фоне дру-

гих. Главное требование, которое необходимо соблюдать при составле-

нии теста такого типа, состоит в четком определении области знаний

и умений, к которой он относится. Чтобы показатели такого теста имели

коммуникативное значение, необходимо выбрать содержательную

область, признаваемую всеми как важную. Выбранная область подразде-

ляется на небольшие единицы, описываемые в терминах деятельности.

В контексте школьного обучения таким единицам соответствуют зада-

ния типа <умножить трехзначное число на двузначное> или <указать сло-

во, в котором ошибочно написана буква е в суффиксе -ян>. В програм-

мах индивидуального обучения число таких заданий достигает несколь-

ких сот по одному только предмету. Сформулировав цели каждого этапа

обучения, нужно составить задания, обеспечивающие выборочную про-

верку достижения каждой из таких целей. По общему признанию, проце-

дура эта достаточно трудна и поглощает много времени. Но без тща-

тельной конкретизации и проверки содержания заданий результаты

тестирования легко могут превратиться в плохо различимую и неинтер-

претируемую мешанину.

Критериально-ориентированное тестирование, если его проводить

по всем правилам, лучше всего приспособлено для определения на эле-

ментарном уровне развития основных навыков (например, в чтении

и арифметике). В этих областях знаний цели обучения могут быть упоря-

дочены в иерархическую последовательность так, чтобы усвоение более

элементарных навыков служило предпосылкой для формирования навы-

ков более высокого уровня. Однако применительно к более высоким

уровням знаний в сравнительно мало структурированных областях труд-

но и, по-видимому, нежелательно формулировать цели с предельной кон-

кретностью. В этих случаях как само содержание, так и последователь-

ность его усвоения, вероятно, должны быть более гибкими.

Вместе с тем своим акцентом на содержательном смысле интерпре-

тации тестовых показателей критериально-ориентированное тестирова-

ние может оказать благотворное влияние на тестирование в целом. От

такого подхода выигрывает, например, интерпретация показателей те-

стов интеллекта. Если выполнение ребенком заданий таких тестов

описывать в терминах специфических интеллектуальных навыков и зна-