7.1. Результаты исследования, их интерпретация и обобщение - Экспереминтальная психология- Дружинин В.Н.

Автор сознательно не включил главу с изложением методов математико-статистической обработки данных. Во-первых, существует обширная учеб­ная литература, справочники и монографии, где эти вопросы изложены профессио­нально и подробно. Во-вторых, студенты-психологи изучают отдельный курс «Мате­матические методы в психологии», а попрактиковаться в их применении они могут, обрабатывая результаты лабораторных исследовании на практикуме по общей пси­хологии. Поэтому содержание этой главы начинается с того момента, когда данные исследования уже обработаны и представлены в той или иной форме. Кроме того, применение статистических критериев уже позволило сделать вывод о принятии или отвержении статистической гипотезы H1 или Н0.

Предположим, что статистическая гипотеза о различии результатов эксперимен­тальной и контрольной групп принята. Какие выводы мы можем сделать после обра­ботки экспериментальных результатов? Итог любого исследования — преобразова­ние «сырых» данных в решение об обнаружении явления (различий в поведении двух и более групп), о статистической связи или причинной зависимости. Подтвержде­ние или опровержение статистической гипотезы о значимости обнаруженных сходств — различий, связей и должно быть интерпретировано как подтверждение (неопровержение) или опровержение экспериментальной гипотезы. Как правило, исследователь пытается подтвердить гипотезы о различиях поведения контрольной и экспериментальной групп. Нуль-гипотеза — гипотеза о тождестве групп.

При статистическом выводе возможны различные варианты решений. Исследо­ватель может принять или отвергнуть статистическую нуль-гипотезу, но она может быть объективно («на самом деле») верной или ложной. Соответственно возможны четыре исхода: 1) принятие верной нуль-гипотезы; 2) отвержение ложной нуль-ги­потезы; 3) принятие ложной нуль-гипотезы; 4) отвержение верной нуль-гипотезы. Два варианта решения правильны, два — ошибочны. Ошибочные варианты называ­ются ошибками 1-го и 2-го рода.

Ошибку 1-го рода исследователь совершает, если отвергает истинную нуль-ги­потезу. Ошибка 2-го рода состоит в принятии ложной нуль-гипотезы (и отвержении верной исследовательской гипотезы о различиях) (см. табл. 7.1).

Таблица 7.1

Чем больше число испытуемых и опытов, чем выше статистическая достовер­ность вывода (принятый уровень значимости), тем меньше вероятность совершения ошибок 1-го рода. Например, если при а = 0,1 слабые различия между средними, определенные с помощью t-критерия, могут быть значимыми, то при а = 0,05 и а = 0,001 значимых различий мы можем не получить.

Ошибка 1-го рода особо значима в уточняющем (конфирматорном) эксперимен­те, а также в тех случаях, когда принятие неверной гипотезы о различиях имеет практическую значимость. Допустим, принятие ложной гипотезы об интеллектуаль­ных различиях представителей разных социальных страт или этнических групп име­ет чрезвычайно значимые социально-политические следствия.

Ошибки 2-го рода — отвержение верной исследовательской гипотезы и приня­тие нуль-гипотезы — особенно существенна при проведении пробного (эксплораторного) эксперимента. Отклонение исследовательской гипотезы на начальной стадии может надолго закрыть дорогу исследователям в данной предметной облас­ти. Поэтому уровень статистической достоверности при проведении эксплораторного эксперимента на малых выборках стремятся понизить, т.е. выбирают а = 0,1 или а = 0,05. Исследователю, разумеется, приятнее получить подтверждение своим собственным мыслям, поэтому субъективная значимость ошибок 2-го рода значи­тельно ниже, чем субъективная значимость ошибок 1-го рода.

Но для науки как сферы человеческой деятельности важнее получить максималь­но достоверное знание, а не «засорять» научные журналы невалидными и ненадеж­ными результатами. Поэтому стратегия исследований в любой области психологической науки такова: переход от эксплораторного (поискового) эксперимента к кон-фирматорному (уточняющему), от низких уровней достоверности — к высоким, от исследований на малых выборках — к исследованиям на больших.

В конкретных же исследованиях значимость ошибок 1-го и 2-го рода может силь­но зависеть от целей, которые преследуются в эксперименте, от предмета изучения и характера решаемой исследовательской задачи и т.д. В обыденной и профессио­нальной жизни мы часто сталкиваемся с такими ситуациями, когда нам надо оце­нить сравнительную значимость ошибок 1-го и 2-го рода. Например, судья или при­сяжные, определяя виновность или невиновность подсудимого, должны для себя ре­шить, что более значимо: признать невиновного виновным или виновного невинов­ным. Установка на «гуманность» диктует правило: пусть будут оправданы десять преступников, чем пострадает один невиновный. «Репрессивная» установка пред­полагает другое правило: пусть пострадают десять невиновных, лишь бы один ви­новный не ушел от наказания.

Принятие или отвержение статистической гипотезы не является единственным условием принятия или не принятия экспериментальной гипотезы. Если статисти­ческая гипотеза отвергнута, то исследователь может это реализовать по-разному. Он может завершить эксперимент и предпринять попытку выдвижения новых гипо­тез. Экспериментатор может провести новое исследование на расширенной выбор­ке с использованием модифицированного экспериментального плана и т.д. «Отри­цательный» результат, как говорят опытные экспериментаторы, тоже результат.

С позиций критического рационализма «отрицательные» выводы, отвергающие экспериментальную гипотезу, — это главный результат любого эксперимента, так как сам эксперимент есть способ выбраковки нежизнеспособных гипотез. Отклоне­ние экспериментальной гипотезы отнюдь не означает, что теорию, следствием кото­рой она являлась, следует сразу отбросить. Возможно, неверно сформулирована тео­ретическая гипотеза: в прямой вывод из теории может вкрасться ошибка. Не исклю­чено, что теоретическая гипотеза верна, но ее экспериментальная версия некоррек­тно сформулирована. При этом зачастую даже подтверждение экспериментальной гипотезы не свидетельствует о подтверждении теории. Допустим, исходя из кон­цепции фасилитации, мы предполагаем, что эмоциональная поддержка действий испытуемого будет приводить к более успешному решению задач. Но вместо пре­вентивной эмоциональной поддержки любых проявлений интеллектуальной актив­ности мы в эксперименте поощряли испытуемого за хорошую работу по окончании решения задания. Разумеется, эффект будет обнаружен, но никакого отношения к исходной теоретической гипотезе он не имеет.

Рассмотрение различных частных случаев подтверждения или неподтверждения конкретных экспериментальных гипотез — дело увлекательное и вполне доступное любому студенту, который усвоил азы психологического экспериментирования. Предположим, что экспериментальная гипотеза подтверждена или, следуя строгой логике К. Поппера, не опровергнута. Требуется решить проблему обобщения резуль­татов эксперимента: на какие группы испытуемых могут быть распространены вы­воды, в каких внешних условиях будут воспроизводиться результаты, не будет ли влиять на результаты исследования смена экспериментатора?

В отличие от классического естествознания, экспериментальный результат в психологии должен быть инвариантен (неизменен) по отношению не только ко всем объектам данного типа, к пространственно-временным (и некоторым другим) усло­виям проведения эксперимента, но и к особенностям взаимодействия эксперимен­татора и испытуемого, а также к содержанию деятельности испытуемого.

1. Обобщение по отношению к объектам. Если мы провели эксперимент на 30 испытуемых — мужчинах в возрасте от 20 до 25 лет, принадлежащих к семьям из среднего класса, обучающихся на 2-3-м курсах университета, то, очевидно, нуж­но решить следующую проблему: на какую популяцию распространить результаты? Предельным обобщением будет отнесение выводов ко всем представителям вида Homo sapiens. Обычно исследователи заканчивают первую экспериментальную часть своей работы предельно широким обобщением. Дальнейшая исследователь­ская практика сводится не только к уточнению, но и к сужению диапазона примени­мости найденных закономерностей.

Исследования Скиннера по оперантному обучению на крысах, голубях и др. дали результаты, которые автор распространил на представителей других видов, занима­ющих верхние ступени эволюционной лестницы, в том числе и на человека. Экспе­рименты И. П. Павлова по выработке классических условных рефлексов у собак по­зволили выявить закономерности высшей нервной деятельности, общие для всех высших животных. Феномены Ж. Пиаже воспроизводятся при исследовании групп детей во Франции, США, России, Израиле и т.д.

Ограничителями генерализации выступают внепсихологические характеристи­ки популяции: 1) биологические и 2) социокультурные.

К основным биологическим характеристикам относятся пол, возраст, раса, конституциональные особенности, физическое здоровье. В дифференциально-пси­хологическом исследовании выявляются изменения зависимости между двумя пе­ременными, которые относятся к дополнительным признакам объекта изучения.

Социокультурные особенности являются вторым важнейшим ограничением обобщения результатов. Решается проблема возможности распространения данных на представителей других народов и культур в кросскультурных исследованиях. Аналогичная работа проводится по уточнению влияния на результаты эксперимен­та таких дополнительных переменных, как уровень образования и уровень доходов испытуемых, классовая принадлежность и т.д.

Бывает, что результаты эксперимента можно применить лишь к той популяции, представители которой вошли в состав экспериментальных групп. Но и в этом слу­чае существует проблема: можно ли данные, полученные на экспериментальной выборке, распространить на всю популяцию? Решение этой проблемы зависит от того, насколько в ходе планирования исследования и формирования эксперимен­тальной выборки соблюдалось требование репрезентативности.

Для проверки выводов, во-первых, проводят дополнительные эксперименты на группах представителей той же популяции, не вошедших в первоначальную выбор­ку. Во-вторых, стремятся максимально увеличить в уточняющих экспериментах чис­ленность экспериментальной и контрольных групп.

2. Условия исследования. В психологическом эксперименте важны не столько пространственно-временные факторы (в отличие от физического), сколько условия деятельности испытуемого, а тем более — особенности заданий. В какой мере влия­ют на результат вариации инструкции, материала заданий, действий испытуемого, предусмотренных в ней, вид мотивации, присутствие или отсутствие «обратной свя­зи»? На все эти вопросы нельзя ответить, ограничившись проведением одного экс­перимента. Исследователь должен варьировать в последующих экспериментальных сериях дополнительные переменные, относящиеся к характеристикам эксперимен­тального задания, чтобы установить, являются ли результаты инвариантными по отношению к задаче испытуемого.

Классическим примером влияния особенностей задачи, решаемой испытуемым, на результат эксперимента стали психофизические исследования абсолютных по­рогов чувствительности.

«Слепой метод» позволяет исключить влияние на результат знания испытуемого о том, когда и какое воздействие он получает.

3. Экспериментатор. Проблеме влияния экспериментатора на результаты ис­следования было уделено достаточно внимания в этой книге. Следует лишь напом­нить, что психология, в отличие от других научных дисциплин, не может полностью исключить, «вынести за скобки» влияние личностных черт, мотивации, компетент­ности исследователя в ходе эксперимента.

«Двойной слепой опыт» позволяет контролировать влияние ожиданий экспери­ментатора на результаты исследования. Однако полный контроль воздействия ин­дивидуальных особенностей экспериментатора предполагает применение фактор­ного плана вида К х L х М, где в качестве дополнительной переменной выступают экспериментаторы, различающиеся по полу, национальной принадлежности, воз­расту, индивидуально-психологическим особенностям и т.д.

Инвариантность результатов по отношению к личности экспериментатора осо­бенно часто нарушается в социально-психологических и дифференциально-психо­логических исследованиях.

Вариация результатов исследования, определяемая влиянием экспериментато­ра, описана в большинстве практических руководств по проведению психологиче­ского эксперимента.

Подведем итог. Исследователь может совершить две ошибки относительно гипо­тезы: 1) принять неверную экспериментальную гипотезу и 2) отвергнуть верную экспериментальную гипотезу. В эксплораторном (поисковом) эксперименте опас­нее ошибка 2-го рода. В конфирматорном (уточняющем) эксперименте большее зна­чение имеет ошибка 1 -го рода. Увеличение объема выборки и статистической досто­верности вывода способствует минимизации ошибки 1-го рода.

Исследователя подстерегает опасность неправомерного обобщения результатов исследования. Ограничителями генерализации результатов выступают: 1) особен­ности выборки; 2) содержание эксперимента (задания испытуемому, воздействия, среда); 3) личность экспериментатора.

Возможны две стратегии проведения дополнительных исследований: 1) ограни­чение генерализации путем введения дополнительных переменных в план экспери­мента; 2) индуктивный путь на основе перепроверки результатов на других рандо­мизированных экспериментальных выборках.

Процедура эксперимента никогда не может дать абсолютно достоверного зна­ния, так как индукция принципиально неполна. Эксперимент — это лучший способ критики и отбора идей, но не лучший способ порождения нового знания.