Бодалев А.А. » Основы психодиагностики, немедицинской психотерапии и психологического конконсультирования

(Рунион P., 1982, с. 57-61). Для каждого пункта строится четырех-

клеточная матрица сопряженности:

<после>

+ -

Л=40 В=36

С==22 D=48

Здесь в клеточке А указана частота сохранения ответа <верно> на

некоторый t-тый вопрос (из 76 ответивших <верно> таких оказалось

только 40 испытуемых), в клетке В - частота изменения ответа <вер-

но> на ответ <неверно> и т. п. Как видим, в этом примере показано

что смена инструкции привела к значительным изменениям. Но дл?

оценки значимого направления этих изменений автор критерия Мак-

нимар предложил сравнивать между собой по, критерию хи-квадра1

только элементы В и С этой таблички:

(IB-CI- з

В-{- С

где - вычисленное эмпирическое значение статистики хи-квадрат

с одной степенью свободы. Для нашего примера е==2,91, что ни

же, чем граничное значение гр. == 3,84, и, следовательно, нулева?

гипотеза об отсутствии значимых направленных изменений не може

быть отвергнута - пункт не является значимо нагруженным артефакт

ным фактором социальной желательности и может быть включен i

диагностический вариант тест-опросника без изменений.

По результатам такого исследования удобно составить табличк

К.Х2: в первом столбце - показатели корреляции пунктов со шкало

лжи, во втором - показатели значимости изменений при переходе

фальсификации. Безусловно достоверными можно считать только т

пункты, которые не получили значимых коэффициентов ни в пepвo

ни во втором столбце. Если таких пунктов оказывается слишком мал

для составления надежной шкалы и если среди недостоверных пункте

достаточно много таких, которые обладают существенной внутренне

(корреляция с суммарным баллом по основной шкале) или внешне

STR.89

(корреляция с критерием) валидностью, то следует прибегнуть к так-

тике балансирования: ввести в основную шкалу поровну <прямых> и

<обратных> пунктов по шкале социальной желательности так, чтобы

все четыре квадранта на рис. 13 были заполнены пунктами равномерно

(среди <прямых> по основной шкале было бы поровну <прямых> и

<обратных> по желательности, и среди <обратных> по основной -

также поровну).

Без указанных предосторожностей тест-опросник неизбежно будет

давать систематическое искажение результатов (в сторону повыше-

ния или понижения баллов по основной шкале) всякий раз, когда

испытуемый будет квалифицировать диагностическую ситуацию как

ситуацию экспертизы.

Указанные проблемы и приемы обеспечения достоверности отно-

сятся не только к тест-опросникам, но и к другим техникам стандар-

тизованного самоотчета, подверженным мотивационным искажениям.

Существует теоретическая возможность преодолеть все эти проблемы.

Но на практике это оборачивается огромной эмпирико-методической

работой.

Другой путь - управление процессами категоризации в ходе самой

диагностики. В так называемой <репертуарной модификации> тест-

опросника испытуемому специально предлагают выполнять тест не

только от своего имени, но и от имени определенного репертуара ро-

лей - <большинство людей>, <моральный человек>, <преуспевающий

человек> и т. п. (Шмелев А. Г. и др., 1984). Но извлечение практиче-

ских выгод из подобной модификации обусловлено возможностью ис-

пользования на линии тестирования ЭВМ - возможностью компьютер-

ной обработки результатов либо сразу же после тестирования, либо

даже в ходе самого тестирования (см. 3.6).

Порядок работы, психолога при проверке валидности. Очень трудно

выделить универсальный алгоритм работы психолога по проверке ва-

лидности, ибо существуют различные подходы к обеспечению валид-

ности, обусловленные теоретико-методологическими различиями опре-

деленных психологических школ. Для прагматически ориентирован-

ных тестологов (какими традиционно являлись до недавнего времени

почти все англо-американские специалисты) главный момент - поиск

операционально строго заданного социально-прагматического критерия

валидности, по отношению к которому -диагностические тесты и их

составные части (пункты) подбираются как бы <автоматически> -

в ходе эмпирико-статистических процедур сбора и корреляционного

анализа результатов. Но, конечно, неверно было бы приписывать этому

подходу <бездумность в опоре на статистику>: ведь статистика только

тогда позволяет выявить валидное подмножество-тестов (пунктов),

когда исходное множество подобрано не случайно - с использованием

априорных корректных содержательно-психологических представлений.

Современные методологи психологического тестирования фактиче-

ски единодушно приходят к признанию (как наиболее оптимальной)

рационально-эмпирической стратегии конструирования теста и про-

верки валидности.

1. Теоретический анализ диагностического конструкта, разработка

теоретической концепции тестируемого психического свойства. Выяв-

ление (с использованием литературы) системы взаимосвязанных диаг-

ностических конструктов, внутри которой новый диагностический кон-

структ характеризуется определенными структурно-функциональными

связями и отношениями. Прогнозирование результатов корреляционных

экспериментов по проверке конструктной валидности.

STR.90

2. Выделение составных частей теоретического конструкта, форму-

лирование системы <эмпирических индикаторов> - операционально

однозначных показателей, фиксирующих проявление конструкта в раз-

личных поведенческих ситуациях. Конструирование пунктов теста.

3. Формулирование релевантного социально-прагматического крите-

рия для проверки валидности - эффективности методики.

4. Планирование и проведение корреляционного исследования (или

квазиэксперимента) на специально подобранной выборке испытуемых,

для которых известно значение (или будет известно) критериального

показателя, а также результаты по родственным психологическим те-

стам. При необходимости на этих испытуемых проводятся дополни-

тельные тесты с целью получить возможность корреляционной проверки

конструктной валидности теста (экспертные оценки в данном случае

рассматриваются в статусе одной из возможных параллельных проце-

дур получения критериальной или психологической информации).. Оцен-

ка валидности эмпирических индикаторов.

5. Исследование достоверности результатов, если используется са>

моотчет и диагностическая ситуация может быть воспринята испытуе-

мыми с настороженностью. Оценка достоверности эмпирических инди-

каторов.

6. Отсев пунктов (индикаторов), не удовлетворяющих критериям

валидности и достоверности. Измерение надежности для сокращенной

шкалы, состоящей только из валидных пунктов. Если надежность ока-

зывается невысокой, то психолог снова возвращается к этапу 1 -

уточняет теоретические представления.

3.4. ТЕХНОЛОГИЯ СОЗДАНИЯ И АДАПТАЦИИ МЕТОДИК

Рассматривая в предыдущем параграфе вопрос о порядке про-

верки валидности, мы вплотную подошли к вопросу о целостной стра-

тегии конструирования, эмпирической апробации и внедрения методики

в практику.

В самом деле, в реальном случае конструирование оригинальной

методики или адаптация зарубежной методики не могут сводится

только к проверке (или перепроверке) отдельных психометрических

свойств - репрезентативности, надежности, валидности, достоверно-

сти - в произвольной последовательности. В одних случаях целесо-

образно начинать с одного, в других - с другого этапа работы.

В действительности любая реальная ситуация использования теста

не является ситуацией только <конструирования> или только <приме-

нения>. Можно без преувеличения сказать, что существует континуум

между крайними полюсами:

<конструирование> ------- <применение>

и каждая ситуация до определенной ступени удалена от обоих полю-

сов. Трудно назвать такой случай, когда бы конструирование совер-

шенно нового теста начиналось <с нуля>, <на пустом месте>. Также

трудно наитии такие случаи, когда все аспекты тестирования были бы

полностью неизменными JH воспроизводили бы уже совершенно исследо-

ванную нормативную ситуацию применения готового теста.

Но все это многообразие ситуаций, всю комбинаторику независи-

мых параметров психологи-практики, как правило, пытаются редуци-

ровать, свести к двум-трем типовым ситуациям.

1. Ситуация применения: тест кем-то разработан (возможно, в дру-

гих социокультурных условиях), известны тестовые нормы, получен-

ные на предстявителях данной языковой культуры (несоответствие вы-

STR.91

борки стандартизации и выборки применения по половозрастной струк-

туре и профессионально-культурным признакам признается несущест-

венным).

2. Ситуация адаптации. Тест кем-то разработан - проверены на-

дежность и валидность, но отсутствуют тестовые нормы (как правило,

отсутствуют вообще для любых представителей данной языковой куль-

туры). Задача адаптации сводится, таким образом, к построению тесто-

вых норм.

3. Ситуация конструирования. Есть концепция психического свой-

ства, но нет <подходящей> процедуры его измерения, удовлетворяю-

щей требованиям места, времени, возможностям количественного ана-

лиза и ограничениям прочих ресурсов. Надо <придумать> измеритель-

ную процедуру, проверить ее надежность, валидность, построить тесто-

вые нормы.

Надо сказать, что если ранее-на период 60-70-х годов-подоб-

ные представления еще могли быть признаны удовлетворительным

уровнем психометрической культуры для советского психолога, то те-

перь - к середине 80-х годов - совершенно очевидна несостоятель-

ность такой упрощенной системы представлений.

Прежде всего остановимся на вопросах адаптации так называемых

<переводных> тестов. Путь быстрого пополнения репертуара методик

за счет множества <готовых> зарубежных методик кажется многим

психологам наиболее экономичным, кратчайшим к надежной и валид-

ной психодиагностике. Но ведь если при этом адаптация сводится

только к построению нормативного распределения тестовых баллов, то

это означает, что валидность и надежность адаптированной методики

в новых условиях принимаются на веру, а теоретическая концепция

автора теста и содержание использованных им критериев валидности

просто переносятся в наши условия без изменений (ведь для любой,

в том числе и для невалидной и ненадежной методики, можно получить

распределение).

Подобный перенос дает прёнебрежимые погрешности только для

тестирования относительно элементарных психических свойств (таких,

как свойства нервной системы, функциональные состояния, сенсомо-

торные параметры, элементарные когнитивные функции, т. е. структур-

но-динамические характеристики психической деятельности), причем с

использованием объективных процедур (психофизиологическая регист-

рация, тесты с <физическими> критериями успеха и т. п.). При тести-

ровании интегральных психических свойств личности и индивидуаль-

ного сознания (черты, мотивы, установки, самооценка, общие способ-

ности, стиль общения, ценностные ориентации, интересы и т. п.), а

также употреблении любых лингвистических средств в самой процедуре

тестирования (включая не только формулировки задач, вопросов, но и

исходную формулировку инструкции к тесту) и при использовании

культурно-специфических критериев оценки правильности результата

(определения шкального ключа) - во всех этих случаях ограничивать-

ся только сбором тестовых норм при адаптации недопустимо!

Требуется серьезная эмпирическая работа по проверке надежности

и валидности в новых социокультурных условиях, работа, фактически

соответствующая по своему объему конструированию оригинальной

методики. С этой точки зрений заимствование зарубежных общедиаг-

ностических тестов способностей, черт характера, интересов и т. п.

вовсе не оказывается кратчайшим путем к психодиагностике. Этот путь

кажется короче только тем, кто сознательно или по неведению прене-

брегает принципами психометрики.

STR.92

Укажем здесь в качестве образца необходимые этапы эмпирико-

статистической работы при адаптации многомерного переводного тест-

опросника.

1. Анализ внутренней валидности, внутренней согласованности пунк-

тов, из которых состоит тест-опросник. Этот анализ совершенно необ-

ходим, если в зарубежной методике он применялся в качестве средства

самого конструирования методики. Этот анализ призван показать, что

некое (еще неясно какое именно) общее диагностическое свойство, ле-

жащее на пересечении всех эмпирических индикаторов (в центре

<пучка> скоррелированных пунктов-векторов), существует. Такой ана-

лиз обязателен по отношению ко всем тестовым шкалам, полученным

с помощью факторного анализа, например к тест-опросникам Айзенка

EPIn 16PF Кэттелла. А вот к опроснику <локус контроля> или ко

многим основным клиническим шкалам ММ.Р1 требование внутренней

согласованности применять необязательно, так как пункты в эти шкалы

подбирались по внешнему критерию и не связаны в один фактор-пучок.

Анализ внутренней согласованности может быть применен и к одно-

мерным, и к многомерным тестам. В первом случае достаточно распо-

лагать настольным калькулятором. Для многомерных тестов необхо-

димо использование специальной программы <анализ пунктов> на

ЭВМ.

По отношению к негомогенным шкалам анализ внутренней согла-

сованности позволяет осуществить в снятом виде необходимую про-

верку информативности пунктов (процент правильных или подтверж-

дающих ответов должен соответствовать оригинальной авторской вер-

сии).

2. Проверка устойчивости к перетестированию. Совершенно необ-

ходима при диагностике свойств, по отношению к которым теорети-

чески ожидается инвариантность во времени. Анализ ретестовой на-

дежности может быть (так же как анализ надежности - согласован-

ности) совмещен с исследованием информативности отдельных пунктов

теста, а также, возможно, и устойчивости отдельных пунктов. Без све-

дений о ретестовой надежности психолог не имеет права использовать

тест для построения любого элементарного статического экстраполи-

рующего прогноза (см. 3.5).

3. Анализ корреляций с релевантным внешним критерием. Этот

этап адаптации совершенно необходим, если тест разрабатывался из-

начально как критериально-ориентированный, т. е. отбор пунктов про-

изводился на основании их корреляций с каким-то критерием валид-

ности. Например, подобная работа проделана для сокращенной моди-

фицированной версии ММР1 коллективом Ф. Б. Березина (Бере-

зин Ф. Б. и др., 1976).

4. Проверка или рестандартизация тестовых норм. Об этом этапе

уже говорилось выше. К сожалению, только этот этап работы по адап-

тации тестов до недавнего времени признавался всеми психологами как

необходимый. Но и в этом случае далеко не всегда воспроизводилась

необходимая статистическая работа по проверке устойчивости получен-

ного распределения тестовых баллов к расщеплению выборки

(см. 3.1).

5. Специфичный этап для многомерных тестов - проверка воспро-

изводимости структуры отношений между шкалами. Например, для

теста Айзенка принципиальна ортогональность, статистическая незави-

симость факторов <экстраверсия - интроверсия> и <нейротизм -

эмоциональная стабильность>. На воспроизводимости структуры связей

шкал между факторами 16PF (Ямпольгкий Л. Г., 1981; Мельни-

STR.93

ков В. М., Ямпольский Л. Г., 1985) основывается корректность под-

счета вторичных факторов.

Уже беглый взгляд на пять указанных этапов адаптации позволяет

убедиться в том, что адаптация зарубежных тестов мало чем уступает

по объему эмпирико-статистической работы конструированию ориги-

нальных методик. Здесь было бы даже более адекватным использо-

вание не термина <адаптация>, но выражения <исследование зару-

бежной методики на отечественной выборке>.

Сказанное тем не менее не следует понимать как призыв к полному

отказу от работы с зарубежными методиками. Нет, конечно же, такая.

работа должна проводится интенсивно и планомерно. Особенно по

отношению к тем методикам, которые уже получили международное

распространение, доказали свою кросскультурную универсальность,

адаптированы и успешно применяются в социалистических странах

(в каталоге братиславского Национального предприятия <Психологиче-

ские и дидактические тесты> больше половины наименований - тесты