Методология научных исследований (research methodology)

Методология планирования исслед. в психологии вытекает из принципов методологии исслед. в естественных науках, сформулированных Джоном Стюартом Миллем в методе различия. Он гласит, если за А всегда следует а, и за не-А всегда следует не-а, тогда А определенно является причиной а. В психологии этот базовый принцип дополняется целым рядом специфических соображений. Большинство психол. переменных яв-ся абстрактными и зачастую не имеют непосредственных референтов в биолог. или физ. мире. Сам акт наблюдения или измерения психол. переменных может вызывать реакции или изменение испытуемых. В дополнение к этому, активное включение или исключение испытуемых из состава «выгодной» или «невыгодной» группы в отношении получения или не получения ими некоторого психол. воздействия или условия может послужить причиной того, что эти испытуемые будут отличаться от людей в повседневном мире. Рассмотрением методов научного познания занимается в психологии область М. н. и.

В качестве отправной точки для понимания проблем М. н. и. в психологии рассмотрим одну аксиому и три базовых факта. Общая аксиома науки состоит в том, что не существует знания без сравнения. Для того чтобы убедиться в истинности этого утверждения, достаточно обратиться к методу различия Милля. Из него видно, что сравнение является основой для понимания наблюдений в условиях А и не-А. Для более полного понимания явления необходимы сравнения между парами нескольких различных условий.

Первый факт связан с тем, что измерение в психологии, как правило, оказывается довольно неточным и, на самом деле, никогда не сможет достичь той степени точности, к-рой характеризуются большинство традиционных измерений переменных в физ. и биолог. областях.

Второй факт относится к существованию в психологии довольно большого числа относительно независимых переменных, по-видимому, порядка 400 или более. Некоторые психологи полагают, что таковых существует гораздо больше; другие указывают значительно меньшее число переменных. Тем не менее, попытка удерживать контроль или вести наблюдение даже за таким небольшим числом, как 200 психол. переменных, ставит перед М. н. и. иные проблемы, нежели действительно небольшое число базовых переменных в физике (время, пространство, масса, заряд и т. п.).

Третий факт состоит в том, что исследуемые стороны челов. поведения изменяются со временем: одни не столь сильно (напр., интеллект), тогда как другие, по определению, являются чрезвычайно непостоянными и преходящими (напр., настроение).

Целью психологии является обнаружение новых психол. переменных и демонстрация взаимосвязи этих новых переменных с ранее установленными переменными и, конечно же, новых взаимосвязей между уже известными переменными. Определение психол. переменной состоит в том, что она является понятийной категорией в области психологии.

Именно в этом контексте обнаруживается важность М. н. и. В науке, определение факта есть описание связи между двумя переменными. Однако для понимания значения фактов исследователи должны располагать контекстом компаративных связей, в к-ром только и можно оценить научную значимость полученных ими данных. Именно набор компаративных связей, или контекст наблюдений, придает более полный смысл описанию связи между переменными. Такого рода контекст компаративных связей (отношений) и составляет область методологии и планирования научного исследования.

Поскольку целью большинства наук является понимание того, почему и как возникают связи и отношения, это предполагает в конечном счёте необходимость определения силы, состава и причинного характера (общая причина, взаимодействие, или взаимная обусловленность) этих связей и отношений. Это качество, заключающееся в возможности вывести причинную связь, называется внутренней валидностью плана исследования. Наконец, должно быть показано, что эти исследуемые связи и причинно-следственные утверждения могут быть обобщены или распространены на «реальный» мир за пределами психол. лаборатории или частично контролируемого окружения научного исслед. Возможность таких обобщений называют внешней валидностью плана исследования.

Планы экспериментального исследования в сравнении с планами пассивного обсервационного исследования

Планы исслед. в психологии можно разделить на два широких класса: планы экспериментального исслед. и планы пассивного обсервационного исслед. Планы первого типа предполагают систематическое введение (или исключение) воздействующих на испытуемых переменных либо самим экспериментатором, либо естественно формирующимися условиями в обществе. Затем по интересующим переменным осуществляются сравнения между группами испытуемых, к-рые подвергались и не подвергались воздействию этих переменных или условий. Планы второго типа предполагают, что исследователь просто наблюдает испытуемых в разнообразных естественных условиях и регистрирует показатели (или статус) каждого испытуемого по ряду переменных. Впоследствии устанавливается взаимосвязь между этими показателями и состояниями статуса для условий, в которых проводились наблюдения. Исследователь не предпринимает попыток вводить условия или осуществлять систематические изменения. Довольно широкий спектр психол. исслед. делает затруднительным или невозможным для исследователя изменять статусные переменные. Многие из таких переменных играют в психологии чрезвычайно важную роль, например, возраст, пол, социоэкономический статус и интеллект.

Подлинные эксперименты. Первый широкий класс планов исслед., экспериментальные планы, состоит из двух основных подклассов — подлинные эксперименты и квазиэксперименты. Подкласс «подлинных экспериментов» содержит только один тип плана исслед., хотя этот план может иметь множество вариаций. В подлинных экспериментах испытуемые случайно распределяются по эксперим. и контрольным группам. Можно сказать, что исследуемые группы, формируемые путем распределения испытуемых на основе таблицы случайных чисел, не будут иметь различий в отношении любой переменной за исключением тех, что вызваны влиянием случая, — и степень таких ожидаемых различий может быть с известной точностью определена.

В структуре любого эксперимента можно выделить 3 части: а) группы испытуемых, б) экспериментальные воздействия и в) результаты (или критерии). В подлинном эксперименте, в силу случайного распределения испытуемых по группам, допустимо предположение о том, что все переменные изначально и на протяжении всего времени исслед. будут равносильными, если не вводить некоторых систематически различающихся воздействий или условий. Если же после применения очевидно различающихся воздействий можно показать, что между группами возникают различия в отношении какой-либо переменной, главный вывод будет следующим: такой эффект был вызван именно этими воздействиями, и что такие воздействия действительно различаются. Это очень сильное утверждение, к-рое играет чрезвычайно важную роль в развитии теории в психологии, где утверждения о причинно-следственных связях яв-ся в конечном счете необходимыми для полного понимания явлений. Для исслед., в к-рых могут вводиться или исключаться переменные, подлинный эксперимент, с его исходным случайным распределением испытуемых по группам, является наиболее мощным исследовательским планом. Он не имеет себе равных в отношении внутренней валидности.

Квазиэксперименты. Квазиэкспериментальные группы формируются естественным путем или же в результате вмешательства (но не случайного) других, с описанием вводящихся в эти группы воздействий или условий и критериальных измерений. Кроме того, проведение квазиэксперимента также требует реализации предварительных измерений. Главное отличие квазиэксперимента состоит в неприменимости допущения об изначальном равенстве групп, к-рое имеет место в подлинном эксперименте. Фактически, в основном типе квазиэксперимента (существует несколько их типов), группы со всей очевидностью оказываются изначально неравными.

Изначальный статус (равные или неравные группы) в квазиэкспериментах надлежит определять на основе фактической оценки. Если представляется возможным продемонстрировать, что группы в данном квазиэксперименте являются изначально эквивалентными в отношении одной или более интересующих исследователя переменных, тогда логика исследования становится практически той же самой, что и в подлинном эксперименте. Однако, в большинстве ситуаций оказывается, что квазиэкспериментальные группы действительно изначально различаются. В этих случаях, причинно-следственная логика плана исследования принимает иную форму. Группы изначально являются различными. После введения экспериментального воздействия они должны оказаться или еще более различающимися, или менее различающимися по тем же критериям, чем это имело место в самом начале. Любой из этих вариантов позволяет предположить, что именно данное воздействие могло вызвать большие или меньшие различия в критериях.

Эта общая категория квазиэкспериментов представлена 3 основными типами планов исслед., в рамках к-рых существуют буквально сотни их разновидностей. Эти три типа можно обозначить как: а) сильные квазиэксперименты, в к-рых исходные измерения свидетельствуют об эквивалентности групп; б) слабые квазиэксперименты, в к-рых показана изначальная неэквивалентность групп; в) планы прерывных временных серий. Сильные квазиэксперименты довольно хорошо имитируют причинно-следственную логику подлинных экспериментов. Кроме того, они гораздо более доступны для проведения в реальном мире по сравнению с подлинными экспериментами, где исследователь должен иметь реальную возможность контролировать деятельность тех, кого он изучает, и к кому он применяет условия воздействия.

Основная проблема квазиэкспериментов заключается в том, что даже в тех из них, в которых устанавливается изначальное равенство по нескольким переменным, представляется чрезвычайно трудным определить, что все предшествующие условия, предположительно оказывающие влияние на испытуемых, также являлись равными, или что все переменные в группах испытуемых являлись равными до применения данного воздействия. Нет никакой гарантии, что некоторые неизмеренные важные переменные, которые могут влиять на критерии, окажутся равными в исследуемых группах.

В этом месте с целью иллюстрации проблем валидности эксперим. планов исслед. воспользуемся 2 из 3 базовых фактов. Один факт состоит в том, что психол. переменные изменяются со временем. Другой факт связан с неточностью измерения. Оба этих факта свидетельствуют о том, что никогда нельзя быть абсолютно уверенным в данных эксперим. исслед. — даже подлинного эксперимента. Данные в любом отдельно взятом эксперименте могут быть получены совершенно случайно — в результате естественного процесса изменений со временем и случайных флуктуации в системах измерения. Эта угроза внутренней валидности, называемая нестабильностью, контролируется при помощи статистического анализа.

Проблемы логического вывода о причинно-следственных связях в квазиэксперименте усугубляются. Даже в сильных квазиэкспериментах исследователь должен также предполагать, что все важные переменные функционировали во всех группах одинаковым образом и что все важные предварительные условия в них были тоже одинаковыми. Оба эти допущения может оказаться трудно принять. В слабом квазиэксперименте, где заранее известно об изначальной неэквивалентности групп, возникает еще больше проблем. Прямым следствием из невозможности точного измерения переменных является то, что все наблюдаемые оценки по переменным (за исключением средних оценок) оказываются смещенными. Для высокоточных мер и тех испытуемых, чьи индивидуальные оценки оказываются не слишком далеки от группового среднего, это смещение невелико, но для многих более традиционных мер, широко используемых в психол. исслед., когда обычно измеряют довольно нетипичных испытуемых, оно может оказаться весьма значительным. Это ведет к тому, что при использовании сравнительно неточных мер последующие наблюдаемые оценки таких испытуемых будут иметь тенденцию оказываться ближе к средней даже в отсутствие каких-либо воздействий или необычных условий между начальным и последующими измерениями, такими как измерения по критерию после воздействия в квазиэксперименте. Подобный феномен получил название регрессии к среднему (regression toward mean). Из всего этого можно сделать следующий вывод: хотя слабые квазиэксперименты являются широко распространенным планом исслед. в психологии, они могут вызывать значительные трудности в интерпретации, и их результаты следует рассматривать с известной осторожностью.

Третьим типом квазиэксперимента яв-ся план прерывных временных серий. Он состоит в том, что испытуемые периодически наблюдаются в течение некоторого времени, и в к.-л. момент или в к.-л. определенные моменты между этими наблюдениями применяется воздействие или вводится условие. В сущности, испытуемые здесь выступают в роли собственной контрольной группы благодаря тому, что они наблюдаются до применения воздействия и затем снова наблюдаются после применения воздействия. Хотя эта модель плана исслед. сравнительно успешно работает в классических областях физ. наук и в тех областях биологии, где изучаемые явления характеризуются известной устойчивостью, она имеет непосредственное отношение к одному из трех ранее рассмотренных базовых фактов, а именно, что психол. переменные изменяются со временем — даже в отсутствие каких-либо воздействий. Следовательно, это диктует настоятельную необходимость в проведении некоторого количества наблюдений как до, так и после применения воздействия, с целью оценки степени устойчивости самого изучаемого явления. Систематическое введение и устранение воздействия и последующее наблюдение результатов помогает в более надежном установлении причинно-следственной связи.

Планы пассивного обсервационного исследования

Ко второму основному классу планов исслед. относятся планы пассивного наблюдения, часто включающие внутренние переменные, такие как социоэкономический уровень, средний балл успеваемости и уровень интеллекта, к-рыми невозможно манипулировать. Причинно-следственные связи здесь установить гораздо труднее — они практически не поддаются определению. Анализ результатов таких исслед. обычно проводится с т. зр. оценки силы взаимосвязей между переменными. Различение переменных, относящихся к воздействию или условию, от критериальных переменных может вызывать значительные трудности. Зачастую все наблюдения реализуются в течение одного интервала времени, несмотря на то, что установление направления эффектов может облегчаться путем наблюдений, проводящихся достаточно длительное время, и в лонгитюдных исслед., охватывающих продолжительные периоды развития.

Исслед. методом пассивного наблюдения можно подразделить на 4 основные категории планов исслед.: прогноз и классиф., выборочные и опросные исслед., количественные описательные и качественные описательные. Для 2 последних категорий характерно особенно широкое разнообразие вариантов и методов. Основным ключом для интерпретации результатов пассивного наблюдения служит формулировка тщательно разработанной теории о характере взаимосвязей между переменными и, конечно же, определение круга наиболее важных переменных. Три базовых факта о психол. переменных в исслед. методом пассивного наблюдения начинают играть ведущую роль при интерпретации полученных результатов.

Прогноз и классификация. Они включают К переменных, К — 1 из к-рых используются для прогнозирования будущего (или даже текущего) статуса, а К-я переменная яв-ся прогнозируемой, или критериальной, переменной. Используемый аналитический метод, как правило, яв-ся статистическим и включ. методы множественной корреляции, регрессионного и дискриминантного анализа. Прогноз оказывается особенно полезен в процедурах отбора, где предполагается отбор людей для поступления в учебное заведение или при приеме на работу, и где количество претендентов превышает количество вакантных мест. Основные ограничения этого метода состоят в том, что а) описательный прогноз не обязательно является причинно-следственным прогнозом и что б) возможности прогноза существенно снижаются из-за ограничений точности измерения. Когда прогноз достигает фактических пределов точности измерения, никакая другая переменная, которую можно было бы добавить к набору прогнозирующих переменных, уже не в состоянии повысить уровень этого прогноза.

Выборочные и опросные исследования. Цель этого типа плана пассивного наблюдения заключается в описании большой совокупности людей по сравнительно небольшому числу переменных. Она достигается путем выбора репрезентативной группы, называемой выборкой, из целевой совокупности, и проведением описательных наблюдений. Затем вычисляются средние и показатели изменчивости этих наблюдений и оцениваются интервалы (или размахи) для более широкой совокупности, которые с определенной вероятностью должны содержать выборочные средние для изучаемых переменных.

Количественный описательный план. Этот тип плана исслед. имеет большое количество вариаций. Наблюдения обычно осуществляются примерно в один и тот же промежуток времени на группе или нескольких группах участников исслед. Все наблюдения выражаются в количественной форме при помощи оценочных шкал, тестовых показателей, и т. п. Основным аналитическим методом, использующимся в качестве отправной точки для определения степени связи между каждой парой переменных, обычно служит корреляционный анализ.

Определяется степень поддержки различных гипотез и альтернативных гипотез и, если она оказывается достаточной, выдвигается теория. Проблемы, присущие этому плану исслед., вытекают из базового факта о неточности измерения и принципиальных затруднений с надежным определением причинно-следственных связей. Однако количественные описательные процедуры служат важным этапом в разработке высококачественных эксперим. исследовательских планов. Кроме того, они часто оказываются единственно доступным планом в тех исслед., где переменными невозможно манипулировать в силу их внутреннего характера или по этическим соображениям, либо где манипулирование переменными требует слишком высоких затрат.

Качественный описательный план. Качественный описательный план исслед. характеризуется, пожалуй, еще большим разнообразием вариантов, подходов и тем, чем количественное описательное исслед. К качественному описательному исслед. по большей части относятся теоретические исслед., к-рые ставят своей целью поиск новых неременных и новых взаимосвязей среди старых и новых переменных. Эти обсервационные процедуры, как правило, реализуются в рамках системы представлений о желательности подробной регистрации переменных в наблюдаемых областях. Очевидной целью яв-ся концептуализация новых переменных в области поведения, мышления, чувств и вызывающих их условий внутренней и внешней среды. Наиболее важную роль оно играет в исслед. с изучением только одного или малого количества участников (или, при изучении группового поведения одной или малого количества групп). Этот метод не является независимым от других типов исслед. Он почти неизбежно предваряет собой все др. методы, поскольку здесь часто обнаруживаются новые переменные, к-рые более подробно разрабатываются с помощью количественного описательного метода и впоследствии более строго изучаются эксперим. методами. Данные качественных исслед. обычно представляются в виде подробных повествовательных отчетов.

Угрозы внутренней валидности

«Угрозы внутренней валидности» — выражение, относящееся к плану исслед., к-рое интерпретаторы данных используют для описания ряда вопросов, возникающих в связи с возможными неточностями при интерпретации причинно-следственных связей между изучаемыми переменными. Некоторые из этих угроз уже упоминались, в частности, при описании квазиэкспериментов. Выражение регрессия к среднему показателю используется для описания эффекта неточного измерения текущего и будущих наблюдений, и она представляет собой серьезную угрозу для внутренней валидности плана психол. исслед.

Другой угрозой является естественное развитие, поскольку испытуемые подвержены естественным процессам созревания и развития с течением времени независимо от манипуляций, к-рые совершает над ними исследователь. Эта последняя гипотеза, в частности, объясняет необходимость использования в исслед. контрольных групп, позволяющих осуществлять сравнения с естественно развивающимися испытуемыми.

Еще одной угрозой является отсев. Систематическое сокращение количественного состава групп вследствие выбывания, неявок, переезда людей в другой город, незаполненных критериальных опросников, и т. д. может делать менее заметной в результатах исслед. роль тех оставшихся участников, к-рые оказываются в меньшей степени подвержены эксперим. воздействию. А ведь чем более заметны улучшения по критерию, тем лучше выглядит эффективность самого изучаемого воздействия.

Угроза отбора возникает на этапе формирования исслед. состава групп участников. Систематический отбор или пассивный отбор (собственное желание) участников для изучаемого воздействия или условия может приводить к возникновению различий среди некоторых групп перед началом исслед. Эти группы будут по-прежнему отличаться от других и после реализации воздействия — даже когда они сами не подвергались воздействию. Поэтому, для достижения высокой внутренней валидности (причинно-следственных) утверждений в отношении взаимосвязей переменных, необходима формулировка и проверка альтернативной гипотезы о том, какими могли бы быть эти эффекты в отсутствие такого воздействия или условия.

Фон относится к тем изменениям контекста проводящегося исслед., к-рые могут смешиваться с самими изучаемыми воздействиями. Подобное смешение делает невозможным отнесение изменений в испытуемых на счет исследуемого воздействия или внешних изменений.

Инструментальная погрешность яв-ся угрозой внутренней валидности, почти исключительно присущей психологии, поскольку она возникает в результате происходящих со временем изменений стандартов наблюдателя или условий наблюдения. Эти изменения вызывают различия в оценках. Проблема состоит в том, что подобные расхождения в стандартах измерения могут приводить к ошибочным оценкам тех изменений, к-рые являются следствием изучаемых воздействий.

Эффект тестирования яв-ся примером другой, почти исключительно присущей психологии, угрозы внутренней валидности. Она связана с эффектом улучшения показателей испытуемых просто в результате предыдущего прохождения теста.

Нестабильность, как было указано выше, вытекает из попыток интерпретировать происходящие непосредственно после эксперим. воздействия или спустя к.-л. время естественные изменения испытуемых и измерений.

Существуют также четыре аффективных угрозы внутренней валидности: подражание, компенсаторное соперничество, компенсаторное уравнивание, и деморализация. Они тж присущи исключительно психол. науке, поскольку возникают в результате эмоциональных изменений у испытуемых и проводящего измерения персонала как формы адаптации к тому факту, что они не попали в число «избранных» участников исслед., получающих и осуществляющих эксперим. воздействие.

Внешняя валидность и метаанализ

Наконец, существует понятие внешней валидности — суммы характеристик исслед., к-рая позволяет осуществлять обобщение или распространение получаемых в исслед. (как результат высокой внутренней валидности) причинно-следственных утверждений на сходные категории людей, воздействий и критериев за пределами данного исслед.

Метаанализ. Внешняя валидность результатов исслед. существенно усиливается, когда объединяется и обобщается целый ряд исслед. одной и той же воздействующей переменной. Такая процедура называется метаанализом. В метаанализе определяются величина эффекта, оказываемого эксперим. воздействием и основными условиями исслед. на критериальные переменные. Последние выбираются в зависимости от теоретических интересов проводящего метаанализ исследователя. Т. о., если основной анализ предполагает сравнение связей всех пар переменных, то набор интересующих метааналитика связей является набором из переменных-условий и критериальных переменных, к-рый позволяет судить о величине эффекта изучаемого воздействия на эти критериальные переменные. Величина эффекта для каждого исслед. определяется простым делением разности между средними показателями по критериальной переменной в эксперим. группах и контрольной группе на меру изменчивости индивидуальных показателей в этих группах. В результате такого анализа можно продемонстрировать, что целый ряд изучавшихся переменных условий не оказывают влияния на набор критериев, что позволяет исследователям обобщать результаты своих исслед., не оглядываясь на эти, как было установлено в ходе метаанализа, посторонние условия.

Наконец, можно определить степень влияния каждой переменной-воздействия и их различных сочетаний на критерии. Это представляет особый интерес для прикладных областей, где важно знать не только о том, что одна переменная влияет на другую, но и насколько велико такое влияние.

См. также Контрольные группы, Экспериментальные методы, Проверка гипотезы, Измерение, Статистика в психологии

Дж. Эшер