МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК

- специфич. социологич. метод получения информации об объекте с помощью специалистов - экспертов в определенной области. Экспертные оценки широко используются в прогнозировании, при определении целей соц. развития или принятии плановых решений, помогают оценить значимость показателей и проверить качество методик, применяемых для сбора данных, повысить обоснованность практич. рекомендаций и т. д. Повышение объективности рез-тов оценок экспертов достигается целым рядом логич. и статистич. процедур подбора специалистов, организации их опроса, обработки рез-тов экспертизы. Совокупность этих процедур и наз. М.э.о. Для подготовки экспертизы обычно формируется группа специалистов. В ее задачи входят: а) постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов; б) разработка процедуры экспертизы; в) отбор экспертов, проверка их компетентности и формирование групп экспертов; г) проведение опроса и согласование оценок; д) формализация полученной информации, ее обработка, анализ и интерпретация. В состав группы входят специальной области знания, а также специалисты по экспертным методам (социологи, психологи, математики), всего может быть 5-7 чел. В основе экспертизы обычно лежит вопросник, с помощью к-рого и осуществляется сбор требуемой информации. В своем классич. варианте вопросник отсутствует при свободном интервью, аналитич. экспертных оценках и т. п. Вопросник, или анкета, - это структурно организованный набор вопросов, каждый из к-рых логически связан с центральной задачей экспертизы. Вопросы анкеты в зависимости от их содержания делятся на три группы: а) данные о самом эксперте - его возрасте, стаже работы, образовании, научн. звании, узкой специальности; б) вопросы по существу исследуемой проблемы; в) вопросы, позволяющие оценить мотивы, к-рых придерживался эксперт в своем анализе. По форме вопросы могут быть открытыми, закрытыми и полузакрытыми, прямыми и косвенными. Для обеспечения поступления надежной и достоверной информации обычно сочетают все типы вопросов. Кроме того, для обеспечения равновероятной возможности для каждой альтернативы вопроса попасть в поле зрения эксперта рекомендуется в ходе опроса менять последовательность альтернатив. При использовании оценочных шкал положительные и отрицательные стороны уравновешивают. Вопросы по одной подпроблеме устанавливаются в порядке постепенного перехода от более общих ко все более специфич., конкретным. Вопросник должен отвечать требованиям целостности, логич. последовательности и завершенности. Существует широкий диапазон конкретных методик опроса экспертов. В зависимости от основания классификации их можно разделить на следующие группы: а) по характеру взаимосвязи экспертов между собой - методы очного и заочного опроса экспертов; б) по процедуре согласования оценок - однораз. и итеративные (многораз.); в) по численности экспертов - индивидуальные методы и групповые. Очные методы опроса экспертов направлены на интенсификацию начального этапа исследования - разведки. Привлечение специалистов, представляющих различ. области знания и т. зр., позволяет расширить подход к изучаемой проблеме, учесть все возможные связи и опосредования. Эти методы дают весьма надежные рез-ты. Однако проведение очной экспертизы представляет собой довольно трудоемкий процесс. Кроме того, существенным недостатком этих методов является вероятность нежелательных искажений информации из-за психологич. влияния организаторов опроса или авторитета признанных специалистов на участников экспертизы. Для исключения действия этого фактора обычно применяются специальные организационные меры. Очные методы: Свободное интервью - индивидуальный метод проведения экспертизы, когда исследователь лично обращается к известным ему специалистам за консультацией без какого-либо заранее составленного жесткого плана беседы. Интервью имеет разведывательную цель, помогает более полно представить проблему, уточнить нек-рые теоретич. моменты, более четко интерпретировать употребляемые понятия и наметить основные направления исследования. Число экспертов, как правило, невелико (10-15 чел.), поскольку, с одной стороны, узких специалистов по какой-либо проблеме вообще немного, а с др. - ограничены возможности самого исследователя. Большое значение имеет подбор опрашиваемых экспертов. Желательно, чтобы они представляли различн. в научн. отношении т. зр. 2. "Мозговая атака" - коллективная очная работа экспертов. Цель этого метода - найти пути решения сложной научн. или практич. проблемы. Заседания группы экспертов проводятся по определенным правилам, различающимся в зависимости от типа "мозговой атаки". Во-первых, это прямая "мозговая атака", или метод комиссий. Он предусматривает формулирование проблемы с выделением ее центрального пункта, затем выдвижение и обсуждение предложений по решению проблемы. В процессе выдвижения идей запрещается их критика, что обеспечивает возможность свободного высказывания самых "безумных" идей, связанных с решением поставленной проблемы. Метод наиболее перспективен в тех случаях, когда на повестке дня стоит малоизученная проблема и в процессе экспертизы отыскиваются возможные подходы к ее решению. Во-вторых, это "обмен мнениями", или метод отнесенной оценки. В этом случае ставится задача не только определить возможные пути решения проблемы, но и достичь единства взглядов по поводу достоинств и недостатков выдвинутых идей и выработать коллективные предложения. Часто обсуждение проходит в несколько туров, причем в каждом последующем из них от экспертов требуется получить более согласованные оценки. В-третьих, это "стимулирование наблюдения". Данный тип "мозговой атаки" заключается в том, что поставленная задача решается не в общем виде, а переносится на воображаемый (а иногда и реальный) объект, составляется "сценарий", на к-ром и проигрываются возможные варианты решения проблемы согласно общим правилам "мозговой атаки". Достоинства заочных методов заключаются в их относительной простоте и дешевизне. Однако надежность получаемых данных меньше, чем при проведении очной экспертизы, поскольку нек-рые вопросы эксперт может неправильно истолковать, а на другие не дать ответа. В качестве характеристики группового ответа может использоваться не только медиана, но и средняя арифметич. В конечном счете выбор характеристики центра ряда зависит от особенностей той или иной экспертизы, в т. ч. таких, как численность группы экспертов, процедура получения и согласования информации, суть исследуемой проблемы и возможности представления данных в количественной форме. Групповая экспертная оценка может считаться надежной только при условии достаточной согласованности ответов опрашиваемых, а этот вопрос еще требует дальнейшей разработки. Метод Дельфи весьма трудоемок и организационно сложен. В настоящее время в США нек-рые исследователи практикуют его с непосредственным использованием ЭВМ, что позволяет прекратить до минимума время, требуемое на каждую итерацию, и провести опрос в течение нескольких часов. В общих чертах метод Дельфи характеризуется следующими особенностями: а) анонимностью экспертов, достигаемой с помощью вопросников или др. способами индивидуального вопроса, напр., с помощью ЭВМ; б) регулируемой обратной связью, к-рая осуществляется за счет проведения нескольких туров опроса, причем рез-ты каждого тура сообщаются экспертам групповым ответом, к-рый получается с помощью статистич. методов и отражает обобщенное мнение участников экспертизы. К недостаткам этого метода относится невозможность столкновения в споре различн. мнений и стимулирования возникающего при личном контакте "генерирования" идей, кроме того, он требует значительных затрат времени. Проведение экспертизы начинается с решения целого ряда методич. проблем, связанных с выбором ее участников. Работа по отбору экспертов обычно начинается с составления списка компетентных в исследуемой области специалистов. На основе этого списка с помощью специальных методов оценки качеств специалистов составляются экспертные группы. Подбор экспертов осуществляется на основе: а) объективных оценок компетентности; б) самооценок компетентности; в) экспертных таблиц и анкет; г) метода "снежного кома" (по рекомендации др. специалистов); д) случайного механич. отбора. Более объективные рез-ты дают методы, основанные на данных о прошлой деятельности экспертов. Одним из таких методов является метод, использующий степень надежности эксперта. Этот показатель вычисляется как отношение числа случаев, когда эксперт дал оценки наиболее близкие к истинным, к общему числу случаев, когда данный специалист участвовал в экспертизе. Статистич. методы отбора экспертов требуют накопления информации о работе экспертных комиссий и отдельных экспертов. Точность групповой оценки экспертизы зависит от размеров группы. В последние годы разрабатываются различн. способы определения оптимальной численности участников. Один из них основан на соображении, что существуют максимальные и минимальные границы группы. Нижняя граница зависит от числа оцениваемых событий (сколько событий, столько экспертов); верхняя граница определяется как потенциальное число возможных экспертов. В другом, более общем подходе используются графики, характеризующие зависимость между числом экспертов в группе и средней групповой ошибкой. Кривые этого типа позволяют выбрать минимально допустимое число экспертов. Рациональное использование информации, полученной от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, подготовки и принятия решений. Характер информации зависит от свойств измеряемых объектов, поэтому правила формализации определяются уровнем измерения. Наиболее распространенными способами упорядочения информации являются ранжирование и метод непосредственной оценки. Ранжирование - процедура установления относительной значимости (предпочтительности) исследуемых объектов на основе их упорядочения. Ранг - это показатель, характеризующий порядковое место оцениваемого объекта в группе др. объектов, обладающих существенными для оценки свойствами. Для каждого объекта вычисляют сумму рангов, полученную от всех экспертов, затем упорядочивают эти суммы: высший ранг присваивают объекту, получившему наименьшую сумму, самый низкий ранг - объекту с наивысшей суммой. Точность и надежность ранжирования зависят от количества объектов для сравнения. Практика показывает, что наиболее надежные рез-ты получаются, когда количество объектов для сравнения не превосходит 20. Метод ранжирования чаще всего применяется в сочетании с др. методами упорядочения, обеспечивающими более четкое распределение объектов по степени выраженности изучаемого свойства, напр, с методом непосредственной оценки. Метод непосредственной оценки состоит в том, что диапазон изменения какой-либо качественной переменной разбивается на ряд интервалов, каждому из к-рых присваивается определенная оценка - балл, напр, от 1 до 10. Эксперт помещает каждый из рассматриваемых объектов экспертизы в определенный интервал либо в соответствии со степенью обладания данным свойством, либо в соответствии с предположениями эксперта о значимости объектов экспертизы. Размер шкалы должен быть таким, чтобы каждому баллу соответствовало определенное понятие, выражающее степень интенсивности свойства, качества или предпочтительности. Недостатком этого метода является возможность компенсации низкого качества одного из факторов за счет более высокого качества др. факторов. Для повышения надежности таких оценок выявляются и определяются количественные связи между всеми значимыми для выбора решения факторами. С этой целью используются специальные методы: последовательных предпочтений, парных сравнений, последовательных интервалов и др. Ценность оценок заключается в том, что они позволяют обобщить разнородную информацию. Качественные оценки используются не для определения количественного превосходства одного варианта над др., а для подготовки информации, необходимой для выбора оптимального решения. Лит.: Архангельский Н.Е. и др. Экспертные оценки и методология их использования. М., 1974; Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М., 1974; Маслин А.А. Экспертные оценки в социологическом прогнозировании//Социальное прогнозирование. М., 1975; Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. М., 1976; Чередниченко В.В. Применение экспертных оценок в социологических исследованиях//Социологич. исслед. 1981, № 3; Шнейдерман М.В. Построение итеративных процедур экспертного опроса//Комплексное применение математических методов в социологическом исследовании. М., 1983; Докторов Б.З. Экспертный опрос как метод изучения общественного мнения//Социологич. исслед. 1985, № 4. Н.И. Ростегаева.