Ясно, что в каждом конкретном случае следует осуществлять !
роль такого рода ошибок применительно к данной выборке судей
Так, используя мужчин и женщин в качестве судей для о;
различных занятий на досуге, нашли, что установки мужчин суше.
но отличаются от установок судей - женщин. Более того, это зав>к
того, увлекается ли сам судящий данным видом досуга.
В общем виде решение проблемы состоит в том, чтобы;
а) внимательно проанализировать состав судей с точки зрения
ватности их жизненного опыта и признаков социального статуса
ветствующим показателям обследуемой генеральной совокупное-!!
б) выявить эффект индивидуальных отклонений в оцснка\
относительно общего распределения оценок.
Наконец, следует оценить не только качество, но и объем выб
ной совокупности судей.
С одной стороны, это количество определяется согласован но>
если согласованность мнений судей достаточно высокая и, соотнес с
Процесс маркетинговых исследований 221
но, ошибка измерения мала, численность судей может быть небольшой.
Нужно задать значение допустимой ошибки и на основании ее рассчи-
тать требуемый объем выборки.
При обнаружении полной неопределенности объекта, т.е. в случае,
когда мнения судей распределятся равномерно по всем категориям оцен-
ки, никакое увеличение объема выборки судей не спасет ситуацию и не
выведет объект из состояния неопределенности.
Здесь возникает проблема точности (устойчивости) измерения. Рас-
смотрим с этой точки зрения принципиально разные варианты судей
ства:
1) производится классификация состояний объекта (сам объект
имеет качественные градации);
2) находится количественная оценка изменяющихся состояний
объекта, представляющих собой континуум.
В первом случае при определении объема выборки судей необходи-
мо задать некоторый уровень определенности в их мнениях, т. е. разброс
распределения оценок должен быть не выше некоторого порогового
значения. Во втором - задается уровень допустимой ошибки. Далее воз-
никает вопрос о численности градаций в судейских оценках, что отно-
сится к чувствительности любой измерительной процедуры. В общем слу
чае речь идет не о чем ином, как о чувствительности измерения, зави-
сящего и от изменчивости объекта, и от устойчивости инструмента из-
мерения. Основной способ определения дробности судейских оценок -
выявление их устойчивости путем двух последовательных (с временным
интервалом) судейств по единой процедуре. Эта операция уже рассмат-
ривалась выше в разделе об устойчивости.
Если объект достаточно неопределенен, то большое число градаций
только внесет дополнительные помехи в работу судей и не принесет
более точной информации. Нужно выявить устойчивость судейских мне-
ний с помощью повторной пробы и, соответственно, сузить число гра-
даций.
Выбор того или иного конкретного способа, метода или техники
проверки на обоснованность зависит от многих обстоятельств.
Прежде всего следует четко установить, возможны ли какие-то су-
щественные отклонения от запланированной программы измерения. Если
программа исследования ставит жесткие рамки, следует использовать не
один, а несколько приемов проверки данных на обоснованность.
Во-вторых, нужно иметь в виду, что уровни устойчивости и обо-
снованности данных тесно взаимосвязаны. Неустойчивая информация
уже в силу недостаточной надежности по этому критерию не требует
слишком строгой проверки на обоснованность. Следует обеспечить
достаточную устойчивость и уже затем принять соответствующие меры
для уточнения границ интерпретации данных (т.е. выявить уровень
обоснованности).
Выбор конкретной техники проверки данных на обоснованность -
задача скорее содержательная, чем формальная.
Многочисленные эксперименты по выявлению уровня надежности
позволяют заключить, что в процессе отработки инструментов измере-
ний со стороны их надежности целесообразна следующая последователь-
ность основных этапов работы:
222 Глава 4
а) Предварительный контроль обоснованности методов измсрс
первичных данных на стадии отработки методики. Здесь проверяс;
насколько информация отвечает своему назначению по существу и >
ковы пределы последующей интерпретации данных. Для этой цели ::.
таточны небольшие выборки в 10 - 20 наблюдений с последующей к
ректировкой структуры методики.
б) Второй этап - пилотаж методики и тщательная проверка ст
чивости исходных данных, в особенности выбранных показателе .
шкал. На этом этапе нужна выборка, представляющая микромодел;
альной совокупности обследуемых.
в) В период этого же общего пилотажа осуществляются все нес; ел
димые операции, относящиеся к проверке уровня обоснованности
зультаты анализа данных пилотажа приводят к усовершенствован;
методики, к доработке всех ее деталей, и в итоге - к получению ск
чательного варианта методики для основного исследования.
г) В начале основного исследования желательно провести пропс>;
используемого варианта методики на устойчивость с тем, чтобы расе
тать точные показатели ее устойчивости. Последующее уточнение граж
обоснованности проходит через весь анализ результатов самого исслс.к
вания.
Вне зависимости от использованного метода оценки надежности
исследователя имеется четыре последовательных шага по повышени
надежности результатов измерений.
Во-первых, в случае чрезвычайно низкой надежности измерен)!
некоторые вопросы просто выбрасываются из анкеты, особенно коп
степень надежности можно определить в процессе разработки анкеты
Во вторых, исследователь может <свернуть> шкалы и использова;
меньше градаций. Скажем, шкала Лайкерта в этом случае может вклю
чать только следующие градации: <согласен>, <не согласен>, <не и ме?
мнения>. Обычно так поступают, когда пройден первый шаг и коп;
обследование уже было проведено.
В-третьих, как альтернатива второму шагу или как подход, осушг
ствляемый после второго шага, оценка надежности проводится на ими
видуальной основе. Скажем, проводится прямое сравнение ответов рее
пондентов в ходе их первоначального и повторного тестирований или;
каким-то эквивалентным ответом. Ответы ненадежных респондента
просто не учитываются при проведении заключительного анализа. Оче
видно, что если использовать данный подход без объективной оцени
надежности респондентов, то, выбрасывая <неугодные> ответы, резуль
таты исследования можно подогнать под желаемые.
Наконец, после того, как первые три шага были использована
можно оценить уровень надежности измерений. Обычно надежность из-
мерений характеризуется коэффициентом, изменяющемся от нуля л
единицы, где единица характеризует максимальную надежность.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168