Эмпирически она выражается в отсутствии значимой корреляции с тес-
том, измеряющим концептуально независимое свойство.
STR.80
z у л
Факторы
Рис. II. Связь эмпирических инди-
каторов (показателей Пь Па, Пз) с
релевантным (измеряемым) факто-
ром А и с иррелевантными (<шумо-
выми>) факторами X, Y,Z, обуслов-
ливающими невалидность показа-
телей
С точки зрения теории Айзенка, тест Тейлор не обладает дискри
минантной валидностью по Ьтношению кофактору <экстраверсия-интрс
версия>, хотя и обладает определенной койвергентной валидностью п
отношению к релевантному фактору - <нейротизм>.
Экспертная эмпирическая валидизация. В отсутствие какого-либ
уже валидизированного теста, параллельно измеряющего изучаемо
свойство, а также в отсутствие разрг
ботанного теоретического контекст.
позволяющего проверять конструк"
ную валидность, поиходиагност оказь
вается перед необходимостью привл(
чения к валидизации теста эксперте
В отличие от экспертного анализа ci
держания теста эмпирическая экспер
ная валидизация предполагает рабо
экспертов не с тестом (лучше, чтоб
о нем эксперты вообще ничего i
знали), а с испытуемыми из выбор)
стандартизации.
Экспертам следует обеспечи
стандартные условия для наблюл
ния за испытуемыми. Но не всег,
такое стандартизованное наблюден
удается организовать. Даже если мы предприняли серьезные ус
Л1ия по организации наблюдения за поведением испытуемых в в
кой-либо искусственной лабораторной ситуации, такое наблюдение i
равно будет значительно уступать по информативности <полевом
наблюдению - в естественных условиях. Если измеряемое свойст
теоретически определено как устойчивая универсальная черта лич1
сти - как диспозиция к инвариантному поведению в широком спет
ситуаций (см. гл. 4), то и отдельного полевого наблюдения окаже1
недостаточно для получения полноценного экспертного критерия ]
лядности.
Поэтому на практике часто прибегают к оценкам особого типа
к субъективным оценкам, которые выносят испытуемому люди из i
круга, имеющие опыт реального общения с ним. С учетом этого п
цедура оценивания приспосабливается к обычным людям, не явл?
щимся психологами. На психолога падает большая нагрузка по
ставлению детальной инструкции оценщикам, однозначно задаюи
смысл оцениваемой характеристики. Лучшие условия для такой п
цедуры возникают при наличии группы испытуемых, тесно общающ
ся между собой, которые могут одновременно побывать и испытуе)
ми по отношению к тесту, и оценщиками по отношению друг к др
В советской литературе эта процедура получила сокращенное обоз
чение ГОЛ - <групповая оценка личности> (Кузьмин Н. В., Се
нов В. С., 1977).
Для того чтобы групповая оценка была источником действия
но валидной информации, оценщики должны согласованно оценив
испытуемых. Если в оценках разных оценщиков нет согласованно
то это означает, что либо оцениваемое свойство не проявилос
объекта оценивания, либо оценщики по-разному проинтерпретиров
инструкцию. Для измерения согласованности должна быть пострс
табличка с оценками (табл. 4).
Методы анализа данных, содержащихся в такой табличке, (j
мально совершенно эквивалентны тем методам, которые применяв
STR.81
для обработки таблиц <испытуемые Х пункты> (см. 3.1). В частно-
сти, суммы по строкам дают нам суммарные баллы, полученные каж-
дым испытуемым у всех К оценщиков. Таким образом, оценщики в
данном случае оказываются формально в роли пунктов теста. Рас-
считывая попарные корреляции между различными столбцами этой
таблички, можно получить коэффициенты согласованности для отдель-
Таблица 4
Оценщики
-о,0>S
Испытуемые ~~
HI И.Хц 21XM 22Xift хCi 02
и>XniХпаXnfcCn
ных пар оценщиков. Глобальной мерой согласованности оценщиков
может служить тот же коэффициент надежности а Кронбаха (форму-
ла (3.2.7)).
Если сама групповая оценка не обнаруживает надежности, то она
не может использоваться в качестве критерия валидизации при про-
верке валидности теста.
Эмпирическое значение коэффициента валидности рассчитывается
как линейная или ранговая корреляция между двумя рядами значе-
ний - тестовыми баллами и суммарными баллами экспертной оценки.
Это эмпирическое значение при наличии невысокого коэффициента на-
дежности критерия корректируют по формуле
r--, (3.3.1)
У <с
где Тех - эмпирическая корреляция с критерием;
ас - надежность критерия;
г(х-корреляция с <истинным> критерием (<истинная> валидность
теста).
Анализ пунктов по критерию валидности. Валидность целого теста
зависит от валидности входящих в него пунктов. Максимальная ва-
лидность достигается за счет отбора таких пунктов из пилотажной
батареи, которые, обладая значимой корреляцией с критерием, мини-
мально коррелируют между собой. Отбор пунктов именно по критерию
валидности обеспечивает максимальную прагматическую эффектив-
ность теста. Вручную (на калькуляторе) такой отбор можно произве-
сти, рассчитывая бисериальную корреляцию (или фи-корреляцию) кри-
терия с каждым пунктом из пилотажной батареи (см. формулы (3.2.14)
и (3,2.16)). При наличии компьютера можно использовать более эффек-
тивный алгоритм, основанный на анализе частных корреляций между
критерием и пунктами и предполагающий построение уравнения мно-
жественной регрессии (Аванесов В. С., 1982, с. 153-157). В резуль-
тате в таком уравнении каждый пункт получает весовой коэффициент,
количественно выражающий его вклад в критерий, не сводимый к вкла-
ду других пунктов, т. е. поиск оптимального набора пунктов автома-
тизируется. X. Гаррет приводит следующую яркую иллюстрацию эффек-
Этот весовой коэффициент и используется как ключ к данному пункту в но-
вой, скорректированной версии теста.
81
STR.82
тивности алгоритма, позволяющего подобрать оптимальный набор пунк-
тов. Пусть имеется 20 пунктов, каждый из которых имеет корреляцию
с критерием порядка 0,30. Оказывается, если эти пункты в среднем
коррелируют друг е другом на уровне 7l=0,60, то множественная
корреляция суммарного тестового показателя с критерием равняется
0,38, если же гц= 0,30, множественная корреляция повышается до
0,52. Наконец, при ri,==0,10 эффективность (валидность) теста до-
стигает весьма высокого уровня - 0,79. Те же са-мые проблемы воз-
никают при подборе оптимальной батареи тестов, направленных на
прогнозирование какого-то одного социально ценного показателя
(успеваемость, производительность труда и т. п.).
Как уже указывалось в 3.1, хороший <тест по критерию> (обла-
дающий высокой критериальной валидностью) должен давать моно-
тонную зависимость величины критерия от тестового балла (см.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144