На первом этапе эксперты привлекаются в индивидуальном порядке с
целью уточнить модель объекта, ее параметры и показатели, подлежащие
экспертной оценке; уточнить формулировки вопросов и терминологию в
анкетах; согласовать целесообразность представления таблиц экспертных
оценок в той или иной форме; уточнить состав группы экспертов.
На втором этапе экспертам направляются анкеты с пояснительным
письмом, в котором описывается цель работы, структура и порядок за-
полнения анкет с примерами.
Когда имеется возможность собрать экспертов вместе, особенно если
удается их сгруппировать в соответствии с какими-либо признаками,
существенно важными для данного опроса, например эксперты из од-
ной организации, только сотрудники сбытовых служб, то цели и задачи
анкетирования, а также все вопросы, связанные с анкетированием, могут
быть доложены устно. Обязательное условие такой формы экспертного
опроса - последующее самостоятельное заполнение анкет при соблюде-
нии всех правил анкетирования.
Третий этап работы с экспертами осуществляется после получения
результатов опроса и изучения исследуемого объекта другими методами
в процессе обработки и анализа полученных результатов. На этом этапе
от экспертов в форме консультаций обычно получают всю недостающую
информацию, которая требуется для уточнения полученных данных и их
окончательного анализа.
Д. Анализ и обработка экспертных оценок
При проведении анализа собранных экспертных данных в соответ-
ствии с целями исследования и принятыми моделями необходимо опре-
делить согласованность действий экспертов и достоверность экспертных
оценок.
Пусть для каждого события С, на основании оценок а,,, заданных
группой из Р экспертов, образована матрица рангов важности - зза, зз,
где I = 1, 2,..., т - число событий, ] = 1, 2,..., р - число экспертов.
Матрица 1!а1 получается из матрицы На,,!! путем определения, исходя
из коэффициентов относительной важности событий Оу рангов важности
этих событий, т.е. событиям присваиваются номера 1, 2, 3,..., т нату-
рального ряда чисел.
Таким образом, при ранжировании события располагаются в поряд-
ке возрастания или убывания какого-либо признака X, количественно
неизмеримого. Ранг указывает то место, которое занимает 1-е событие
среди других т событий, ранжированных в соответствии с признаком X.
Ранжирование применяется, когда события располагаются согласно
неизмеримому и неподсчитываемому качеству (например, потребитель-
ские свойства товара, направления совершенствования товара и т. д.)
или рассматриваются только относительно взаимного расположения во
времени или пространстве. Ранжирование может являться менее точным
29В Глава 5
выражением упорядоченной связи событий относительно какого-либо1
измеримого или подсчитываемого качества как замена переменной по-
рядковым номером в прикидочных расчетах в целях экономии времени
и уменьшения трудоемкости вычислений.
При использовании рангов важности для сравнения результатов (со-
бытий) нельзя установить, насколько один результат лучше другого,
можно только определить ряд предпочтения рассматриваемых результа-
тов. Иными словами, числа, характеризующие порядковую меру пред-
почтительности результатов, при сравнении, предположим, событий А
и Б нельзя делить или вычитать, пытаясь узнать, насколько первый
результат лучше второго (см. раздел 4.10.1).
Будем рассматривать упорядоченную последовательность суммарных
рангов т событий, которую представим в виде
а, < а, <...< а, < ... < а", (5.2)
где а, находится из матрицы зза, ззпо формуле
В табл. 5.3 приводится условный пример определения рангов важно-
сти событий исходя из их коэффициентов относительной важности. (Бо-
лее важное событие имеет меньший ранг важности.)
Таблица 5.3
Определение рангов важности
События С
123
эксперт] = 10,50,20,3
Оценки
экспертов а,,
эксперт / = 20,30,60,1
эксперт 1=2132
Ранги
важности оц
эксперт / = 2213
Суммарный345
ранг важности о,
Среднее значение для суммарных рангов рассматриваемого ряда
равно
Р Р Р Р
Е". 2>2у> Е. 1.Ї->]
= 1 У=1 У=1
а =-./>(>>+!).
Суммарное квадратическое отклонение 5 суммарных событий от
среднего значения а есть
Экспертные оценки 299
т Гр , 12
5=2:2;а,4р(-)
1=1(>1 " \
Величина 8 достигает максимального значения в случае, если все р
экспертов дадут одинаковые оценки каждому С, событию.
Тогда рассматриваемый ряд суммарных рангов будет иметь вид
р, 2 р,..., тр.
Вычтем из этого ряда среднее значение:
а="(т+1).
,р(1-т); -.р[Ъ-т)... -_р{т-1).
Сумма квадратов этого ряда равняется
тах =Р2(тз~т)
Очевидно, что в качестве меры согласованности экспертов можно
принять отношение
Г 2
т р ч
Е Е01/--,1)
цг , =1 Ь-1 ]
5тах (т2-!)
называемое коэффициентом конкордации. Величина \У изменяется в
пределах от 0 до 1. При 1У= 0 согласованности совершенно нет, т.е. связь
между оценками различных экспертов отсутствует. Наоборот, при ]У = 1
согласованность мнений экспертов полная.
В том случае, если последовательность (5.2) кроме строгих нера-
венств имеет равенства, т.е. существует совпадение рангов, то формула
для вычисления коэффициента конкордации имеет вид
8
-(т2-!)-
12 у=1
- число повторений каждого ранга в у-м ряду;
- число повторяющихся рангов в у-м ряду.
Когда ранги повторяются, то для получения нормальной ранжиров-
ки, имеющей среднее значение ранга, равное
р(т+1),
300 Глава 5
необходимо приписать событиям, имеющим одинаковые ранги, ранг,
равный среднему значению мест, которые эти события поделили между
собой.
Например, получена следующая ранжировка событий:
События /123456
Ранги а,123323
События 2 и 5 поделили между собой второе и третье места. Значит,
им приписывается ранг
2+3
2,5;
события 3, 4 и 6 поделили между собой четвертое, пятое, шестое места,
и им приписывается ранг
4+5+6
=5.
Таким образом, получаем нормальную ранжировку:
События /123456
Ранги а;12.5552.55
Пример. Рассмотрим ранжирование т = 10 событий р = 3 эксперта-
ми: N, 0, К. Результаты расчетов представлены в табл. 5.4.
5 = 591;
Таким образом,
\У =
591
-р2 х(103-10)-з[1-1-1-+7
= 0,828.
Для крайних значений коэффициента конкордации могут быть выс-
казаны следующие предположения. Если \У = 0, то согласованности в
оценках нет, поэтому для получения достоверных оценок следует уточ-
Таблица 5.4
Расчет коэффициента конкордации
N142437-1697-110
2222
0141489д1 о-10б1
22
" 1
к214-414488810
2222
2>>/5-1б1913112202323251261а=161
7=12222222
Р
Е"/-"-11-10-7-1-3-41з1б17910
У-12222
(12110056,25920,2512,2542,254981100
302 Глава 5
нить исходные данные о событиях и (либо) изменить состав группм|
экспертов. При IV =1 далеко не всегда можно считать полученные оцен-1
ки объективными, поскольку иногда оказывается, что все члены экс-
пертной группы заранее сговорились, защищая свои общие интересы,
Необходимо, чтобы найденное значение \У было больше заданного
значения Цз (IV > Из).
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168