Анастази А. » Психологическое тестирование



36 страница


вые для трех ги-  

потетических зада-  

 

188 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ  

 

Характеристические кривые заданий дают наглядное представление  

о различиях между заданиями с точки зрения их валидности. Вместе  

с тем отбор заданий лучше осуществлять, если валидность каждого из  

них выражена числовым индексом. В настоящее время при разработке  

тестов используется свыше пятидесяти таких индексов. Они, в частности,  

различаются по признаку применимости к дихотомическим или  

непрерывным мерам. Более того, среди индексов, применимых к дихото-  

мическим переменным, одни предполагают непрерывность и нормальное  

распределение измеряемого с помощью теста свойства, на которое ис-  

кусственно накладывается дихотомия, тогда как другие вводятся в пред-  

положении истинной дихотомии. Одни меры валидности не зависят от  

трудности заданий, в то время как валидность других тем выше, чем  

ближе уровень трудности к 0,50.  

Независимо от способа получения и исходных допущений большин-  

ство индексов валидности задания дают весьма сходные результаты. Хо-  

тя численные значения индексов могут быть разными, на их основе со-  

храняются или отвергаются в основном одни и те же задания.  

Собственно говоря, колебания данных о валидности задания от выборки  

к выборке в целом больше, чем при использовании различных методов  

их получения. Поэтому выбор метода часто определяется удобством вы-  

числений и наличием соответствующих таблиц и номограмм. Последние  

представляют собой расчетные диаграммы, по которым, например, зна-  

чение корреляции между заданием и критерием легко вычисляется, если  

известен процент испытуемых, справившихся с заданием в группах с вы-  

соким и низким критериальным выполнением (J.P. Guilford, В. Fruchter,  

1973, р. 445-458; S. Henrysson, 1971).  

Использование экстремальных групп. Распространенный ме-  

тод анализа заданий-сравнение числа выполнивших задание в двух  

группах с контрастирующим критериальным выполнением. Если крите-  

рий выражен в непрерывной шкале (как. скажем, в случае годовых оце-  

нок, субъективных оценок качества работы, показателей производитель-  

ности труда и т.д.), то по распределению значений критериальных  

показателей, по верхнему (В) и нижнему (Я), формируются крите-  

риальные группы. Очевидно, что группы с экстремальными показателя-  

ми резче отличаются друг от друга. Однако использование для включе-  

ния в группу предельных значений, скажем верхних и нижних 10%,  

уменьшит надежность результатов вследствие малочисленности групп.  

В случае нормального распределения оптимальный вариант, уравнове-  

шивающий эти два условия, достигается при верхних и нижних 27Їо  

(T.L. Kelley, 1939). Когда распределение более плоско, чем нормальная  

кривая, оптимальная цифра приближается к 33Їо (E.E.Cureton, 1957).  

В случае малых групп-таких, как обычный класс,-ошибка выборки при  

анализе заданий настолько велика, что можно рассчитывать только на  

грубые оценки. Поэтому здесь не приходится заботиться о точном про-  

центе случаев в двух контрастных группах. Приемлема любая цифра ме-  

жду 25 и 33Ї".  

Большие и нормально распределенные выборки используются при  

разработке стандартизованного теста, и в этом случае обычно берут  

 

189 АНАЛИЗ ЗАДАНИЙ  

 

верхние и нижние 27Їо распределения значений критериальных показате-  

лей. Многие таблицы и номограммы, по которым рассчитываются пока-  

затели валидности заданий, составлены в предположении, что сравни-  

ваемые группы формировались согласно <правилу 27Ї">. По-видимому,  

распространение быстродействующих компьютеров позволит заменить  

различные вспомогательные приемы, разработанные для облегчения ана-  

лиза заданий, более точными и совершенными методами. Вычислитель-  

ная техника позволяет проанализировать результаты всей выборки, не  

ограничиваясь краями распределения. Разработаны также методы мате-  

матической обработки характеристических кривых для измерения валид-  

ности заданий, но их применение неосуществимо без соответствующей  

вычислительной техники (F.B. Baker, 1971 ; S. Henrysson, 1971; F.M. Lord,  

M. R. Novick, 1968).  

Анализ заданий в случае малых групп. Поскольку анализ за-  

даний часто проводится на небольших группах, например с учащимися  

одного класса, отвечающими на серию вопросов, рассмотрим сначала  

простую процедуру, особенно подходящую для такой ситуации. Предпо-  

ложим, в классе всего 60 человек, из которых отобрано 20 учеников (33"о)  

с самым высоким и 20-е самым низким общим числом правильных от-  

ветов. Разложим листки с ответами на три стопки, принадлежащие верх-  

ней (В), средней (С) и нижней (Н) группе. Теперь нам нужно определить,  

сколько правильных ответов в каждой из этих групп было дано на  

каждый вопрос. Для этого выпишем в столбик номера заданий, оставив  

справа место для трех колонок, которые обозначим буквами В, С а Н.  

Возьмем из стопки В любой листок и в колонке В проставим палочки  

против тех вопросов, на которые данный ученик ответил правильно. Это  

нужно проделать для каждого из 20 листков группы В, затем для 20  

листков группы С и, наконец, для всех листков группы Н. Подсчитаем  

теперь палочки и выпишем результаты по образцу табл. 19 (для кратко-  

сти в ней приведены цифры только по первым семи вопросам анкеты).  

Приблизительный индекс валидности, или разрешающей силы, любого  

из вопросов находится вычитанием из числа учеников, правильно отве-  

тивших на него в группе В, соответствующего числа, стоящего в колонке  

Н. Их разности приведены в последней колонке табл. 19. Пользуясь те-  

ми же исходными данными, можно оценить трудность каждого вопроса,  

для чего требуется сложить числа, стоящие в соответствующей строке  

таблицы {В+С+Н).  

Анализ табл. 19 выявляет 4 задания, подлежащие дальнейшему рас-  

смотрению или обсуждению в классе. Два вопроса, а именно 2-й и 7-й,  

выделены, поскольку один из них слишком легок (56 из 60 учеников от-  

ветили на него правильно), а другой слишком труден (всего 5 пра-  

вильных ответов). Вопросы 4 и 5 приемлемы с точки зрения трудности.  

но разность В - Н для одного из них равна нулю, а для другого отрица-  

тельна. В ту же категорию были бы включены вопросы и с очень малы-  

ми положительными значениями разности В - Я-примерно 3 и мень-  

ше. Такая граничная цифра действительна для групп того же размера,  

что и в нашем примере. Имея дело с большими группами, следует ожи-  

дать больших различий вследствие случайного появления недискрими-  

нантных заданий.  

Анализ заданий теста, подготовленного учителем, направлен на  

выявление дефектов либо в тесте, либо в преподавании. Обсуждая вы-  

 

190  

 

ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ  

 

Таблица 19  

 

Таблица 20  

 

Простая процедура анализа заданий: число Анализ ответов, предлагаемых на выбор по  

лиц, давших правильный ответ, в группах отдельным вопросам  

с высокими, средними и низкими значения-  

ми критерия  

 

Задание В (вопрос) (20)С (20)(20)Трудность (В+С+Н)Различение (Й-Н)  

1159731  

220201656  

31918946  

410111637  

511131135  

61614939  

75005  

10  

-6  

0  

 

ВопросГруппаВыбранные ответы  

12з45  

2ВО о0200  

н2 01161  

4в0 10901  

н2 16200  

5в2 32112  

н1 33112  

7в5 3543  

н0 5834  

Задания, выбранные для последующего обсуждения. Данные по правильным ответам набраны курсивом.  

 

причина их некорректности. Если вопрос сформулирован неудачно, его  

можно перестроить или вовсе изъять при последующем тестировании.  

.Обсуждение, однако, может обнаружить, что вопрос составлен правиль-  

но, но у учеников нет надлежащего понимания данной темы. В этом слу-  

чае тема может быть разобрана заново и пояснена подробнее. При оты-  

скании менее заметного источника затруднений часто полезно провести  

дополнительный анализ, типа изображенного на табл. 20, хотя бы части  

вопросов, отобранных для обсуждения. В табл. 20 приводится число уче-  

ников из групп В и Н, выбравших тот или иной из пяти приведенных  

в заданиях ответов.  

Хотя вопрос 2 и включен в табл. 20, но из приведенной в ней час-  

тоты ошибочных ответов мало что можно узнать, поскольку непра-  

вильный выбор сделали лишь 4 человека из группы Н и никто-из  

группы В. Обсуждение этого вопроса с учениками, вероятно, выявит,  

действительно ли вопрос слишком легок и не представляет особой цен-  

ности, или какой-то недостаток формулировки позволяет сразу же нахо-  

дить правильный ответ, или же, наконец, это полезный вопрос, но отно-  

сился он к хорошо проработанной и усвоенной теме занятий. В первом  

случае вопрос, видимо, следует изъять, во втором-пересмотреть, а  

в третьем-оставить без изменения.  

Данные по вопросу 4 показывают, что выбор третьего ответа связан  

с тем, что сам ответ содержит в себе нечто такое, что заставляет 9 учени-  

ков из группы В предпочесть его правильной альтернативе. В чем здесь  

дело, нетрудно установить, попросив этих учеников обосновать свой вы-  

бор. Недостаток задания 5, видимо, объясняется неудачностью формули-  

ровки либо самого вопроса, либо правильного ответа, так как непра-  

вильные ответы равномерно распределились по четырем ошибочным  

альтернативам. Вопрос 7 необычно труден: 15 человек из группы В и вся  

группа Н ответили на него неправильно. Несколько больший выбор от-  

вета 3 указывает на его поверхностную привлекательность, особенно для  

легче вводимых в заблуждения членов группы Н. Аналогично отсутствие  

 

191  

 

АНАЛИЗ ЗАДАНИЙ  

 

ломленному ученику эта альтернатива на первый взгляд кажется оши-  

бочной. Оба эти свойства желательны для хорошего тестового задания.  

Обсуждение в классе может показать, что вопрос 7 просто относился  

к плохо усвоенной теме учебной программы.  

Индекс различения. Если число справившихся с заданием членов  

группы с высоким {В) значением критерия выразить в процентах и из не-  

го вычесть аналогичный процент, найденный для групп с низким (Н) зна-  

чением критерия, то полученная разность представляет собой индекс ва-  

лидности задания, интерпретируемый независимо от размера выборки,  

на которой он был получен. Этот индекс неоднократно обсуждался  

в психометрической литературе (R.L.Ebel, 1965; A.P.Johnson, 1951;  

C.I. Mosier, J.M. McQuitty, 1940) и обозначался то как VLT, то как VLD,  

то просто D. Несмотря на свою простоту, этот индекс, как было показа-  

но, хорошо согласуется с другими, более сложными мерами валидности  

задания (M.D. Engelhart, 1965). Поясним подсчет D на примере данных,  

приведенных в табл. 19. Сначала число лиц, справившихся с каждым за-  

данием в группах В и Н, переводится в проценты. Поскольку каждая из  

этих групп состоит из 20 человек, нам нужно каждое число разделить на  

20 и результат умножить на 100. Легче, однако, 100 разделить на 20, что  

дает 5, а затем умножать каждое число на эту константу. Так, для зада-  

ния 1 имеем: 15 х 5=75 (группа В), 7 х 5=35 (группа Н), и, следова-  

тельно, D =73- 35 = 40. Значения D для оставшихся семи заданий при-  

ведены в табл. 21.  

D может принимать любое значение между + 100. Если все члены  

группы В справились и никто из группы Н не справился с заданием, то  

D = 100. И наоборот, если группа Н справилась, а группа В не справи-  

лась с заданием, то D == -100. Если процент справившихся с заданием  

в обеих группах одинаков, то D == 0. Индекс D обладает рядом инте-  

ресных свойств. Было показано (R.L. Ebel, 1965; W.G. Findley, 1956), что  

D прямо пропорционален разности между чис-  

лом правильных и ошибочных различений,  

выявляемых заданием. Правильные различения  

определяются числом справившихся с зада- Таблица 21  

нием в группе В в сравнении с числом не спра- Вычисление индекса различе-  

вившихся в группе Н. Ошибочные различения """ ("Ї данным из табл. 19)  

задаются числом не справившихся в группе ---  

В в сравнении с числом справившихся в группе "яГ разность  

Н. Р.Ибел (R.L.Ebel, 1967) также установил, с заданием (индекс  

что между средним значением индекса заданий йопрос --различения)  

D и коэффициентом надежности теста имеется грпя грша  

тесная связь. Чем больше среднее D, тем выше ---  

надежность, i 40  

Заслуживает упоминания и другое свой- 2 10080 20  

ство D, присущее и некоторым другим индек- 39545 50  

сам валидности заданий. Показатель D небез-  

различен к трудности и изменяется сильнее 68045 35  

при среднем уровне трудности. В табл. 22 при- 7250 25  

ведены максимальные значения D для заданий ____________________  

 

Наблюдательный читатель, вероятно, заметил, что те же результаты можно полу-  

 

192  

 

ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ  

Таблица 22  

 

Соотношеиме максимального  

шачения D и трудности дада-  

 

ПроцентМаксимальное  

справившихсязначение  

с заданиемВ  

1000  

9020  

7060  

50100  

3060  

1020  

00  

с различным процентом правильных ответов.  

Если 100Їо или 0Їо всей выборки выполнили  

задание, то результаты групп В и Н не разли-  

чаются, так что D == 0. С другой стороны, если  

с заданием справилось 50Їо членов выборки, не  

исключено, что все они принадлежат к группе  

В, и тогда D == 100. Если справилось 10Ї/о, то  

максимальное значение D, отвечающее случаю,  

когда все члены группы В справились с зада-  

нием, а остальные 20"о приходятся на группу  

Н, находится следующим образом: (В) 50/50 ==  

= 100Їо; (Н) 20/50 = 40%; D = 100- 40 = 60.  

Напомним, что для большинства тестов пред-  

почтительней задания, уровень трудности ко-  

торых близок к 0,50. Поэтому показатели ва-  

лидности, принимающие максимальные значения при этом уровне  

трудности, часто применяются для отбора заданий.  

Коэффициент (р. Большинство индексов валидности заданий выра-  

жают связь между ними и критерием в виде коэффициента корреляции.  

Одним из них является коэффициент (р, вычисляемый по четырехпольной  

таблице, содержащей число справившихся и не справившихся с заданием  

в группах с высоким и низким значением критерия. Как и все коэффи-  

циенты корреляции, показатель (р принимает значения между + 1,0  

и предполагает наличие дихотомии как в результатах выполнения зада-  

ния, так и в критериальных переменных. Следовательно, он применим  

лишь к тем условиям дихотомии, для которых был найден и не может  

быть перенесен на любые другие соотношения между свойствами, ко-  

торые измеряет задание, и критерием. Как и индекс D, (р принимает наи-  

большие значения для заданий средних уровней трудности, когда дихо-  

томия близка к соотношению 50:50.  

Существует ряд таблиц для определения коэффициента (р. При рав-  

ном численном составе критериальных групп В и Н (р можно найти по  

таблицам Иоргенсена (C.E.Jurgensen, 1947), составленным на основе  

процентов выполнивших задание в каждой из этих групп. Поскольку при  

анализе заданий обычно легко сделать группы В и Н численно равными,  

эти таблицы находят широкое применение. Если же критериальные  

группы неодинаковы по размеру, (р находят по серии таблиц Эдгертона  

(H.A.Edgerton, 1960), хотя их применение требует больших затрат  

времени.  

Уровень значимости коэффициента (р нетрудно вычислить, исходя из  

соотношения между ним, и соотношениями нормальной кривой. С по-  

мощью последнего показателя можно найти минимальное (р, значимое  

на уровне 0,05 или 0,01, по следующим формулам:  

 

1,96  

]//v  

 

2,58  

IV  

 

В этих формулах N есть суммарное число испытуемых в обеих группах.  

Так, если группы В и Н содержат по 50 человек, то N = 100, и минимум  

 

(р, значимый на уровне 0,05, будет равен 1,96:1/100 = 0,196. Любое зна-  

 

4fHWfffn ГЯ11ИМТТТДГТТТ1ТаП10 ff,r"-~---  

 

193 АНАЛИЗ ЗАДАНИЙ  

 

Бисериальная корреляция. В заключение рассмотрим весьма  

распространенную меру валидности задания-коэффициент бисериальной  

корреляции (rbis), отличающийся от (р в двух существенных моментах. Во-  

первых, rjs предполагает существование непрерывного и нормального  

распределения свойства, лежащего в основе ответов на дихотомические  

задания. Во-вторых, г как мера отношений между заданием и крите-  

рием не зависит от трудности задания. Для вычисления г нужно знать  

среднее значение критериального показателя выполнивших и не выпол-  

нивших задание, процент справившихся и не справившихся с заданием  

по всей выборке и стандартное отклонение показателей критерия.  

Подсчет всех необходимых параметров и применение для каждого за-  

дания формулы бисериальной корреляции может оказаться весьма дли-




Скачать бесплатно по прямой ссылке


Просмотров: 674
Категория: Библиотека » Психодиагностика


Другие новости по теме:

  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 5 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 7 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 18 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 21 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 22 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 23 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 24 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 25 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 26 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 27 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 28 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 29 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 30 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 14 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 8 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 20 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 19 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 6 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 4 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 3 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 2 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 1 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 9 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 10 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 11 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 17 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 16 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 15 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 13 страница
  • Барсова Анна » Как прожить свою, а не чужую жизнь, или Типология личности » 12 страница



  • ---
    Разместите, пожалуйста, ссылку на эту страницу на своём веб-сайте:

    Код для вставки на сайт или в блог:       
    Код для вставки в форум (BBCode):       
    Прямая ссылка на эту публикацию:       





    Данный материал НЕ НАРУШАЕТ авторские права никаких физических или юридических лиц.
    Если это не так - свяжитесь с администрацией сайта.
    Материал будет немедленно удален.
    Электронная версия этой публикации предоставляется только в ознакомительных целях.
    Для дальнейшего её использования Вам необходимо будет
    приобрести бумажный (электронный, аудио) вариант у правообладателей.

    На сайте «Глубинная психология: учения и методики» представлены статьи, направления, методики по психологии, психоанализу, психотерапии, психодиагностике, судьбоанализу, психологическому консультированию; игры и упражнения для тренингов; биографии великих людей; притчи и сказки; пословицы и поговорки; а также словари и энциклопедии по психологии, медицине, философии, социологии, религии, педагогике. Все книги (аудиокниги), находящиеся на нашем сайте, Вы можете скачать бесплатно без всяких платных смс и даже без регистрации. Все словарные статьи и труды великих авторов можно читать онлайн.







    Locations of visitors to this page



          <НА ГЛАВНУЮ>      Обратная связь