линия регрессии должна
быть монотонной функцией С от X. Иными словами, ни для одного бо-
лее высокого значения Х вероятность Р не должна быть меньшей, чем
для какого-либо менее высокого значения X. Если это условие выпол-
няются, то открывается возможность для критериального шкалирования
3 Зак. 508 65
STR.66
сырых баллов X. Так же как в случае с интервальной нормализацией
когда применяется поточечный перевод интервалов Х в интервалы 2
для которых выполняется нормальная модель распределения, так i
при критериальном шкалировании к делениям сырой шкалы Х приме
няется поточечный перевод прямо в шкалу Р на основании эмпириче
ской линии регрессии. Например, если испытуемый А получил по тест
Х 18 <сырых> очков и этому результату соответствует Р=0,6, то испы
туемому А ставится в соответствие показатель 60%.
Конечно, любая эмпирическая кривая является лишь приближенно:
моделью той зависимости, которая могла бы быть воспроизведена н
Рис. 5. Иллюстрация эмпирической
зависимости между вероятностью
критериального события Р(С==1) и
величиной Х тестового балла
Рис. 6. S-образная зависимость i
роя.тности критериального событ
Р от нормального распределение
диагностического параметра Х
генеральной совокупности. Обычно предполагается, что на генерал
ной совокупности линия регрессии. С по Х должна иметь более сгл
женную форму. Поэтому обычно предпринимаются попытки аппрокс
мировать эмпирическую линию регрессии какой-либо функциональн
зависимостью, что позволяет затем производить прогноз с применен
ем формулы (а не таблицы или графика).
Например, если линия регрессии имеет вид приблизительно так<
какой изображен на рис. 6, то применение процентильной нормали:
ции позволяет получить простую линейную регрессию С по нормали:
ванной шкале Z. Это как раз тот случай, когда имеет место экви)
лентность стратегии, использующей выборочно-статистические тестов
нормы, и стратегии, использующей критериальные нормы.
Операции по анализу распределения тестовых баллов, построен
тестовых норм и проверке их репрезентативности. В заключение эт
параграфа коротко опишем действия, которые последовательно д
жен произвести психолог при построении тестовых норм.
1. Сформировать выборку стандартизации (случайную, или стра
фицированную по какому-либо параметру) из той популяции, на к(
рой предполагается применять тест. Провести на каждом испытуе1
из выборки тест в сжатые сроки (чтобы устранить иррелевантный {
брос, вызванный внешними событиями, происшедшими за время об<
дования).
2. Произвести группировку <сырых> баллов с учетом выбран
интервала квантования (интервала равнозначности). Интервал oi
деляется величиной W/m, где W=Xma-x- Xmin - размах; m - кол]
ство интервалов равнозначности (градаций шкалы).
3. Построить распределение частот тестовых баллов (для задан
STR.67
интервалов равнозначности) в виде таблицы и в виде соответствую-
.щих графиков гистограммы и кумуляты.
4. Произвести расчет среднего и стандартного отклонений, а также
асимметрии и эксцесса с помощью компьютера. Проверить гипотезы о
значимости асимметрии и эксцесса. Сравнить результаты проверки с
визуальным анализом кривых распределения.
5. Произвести проверку нормальности одного из распределений с
помощью критерия Колмогорова (при п<200 с помощью более мощ-
ных критериев) или произвести процентильную .нормализацию с пере-
водом в стандартную шкалу, а также линейную стандартизацию и
сравнить их результаты (с точностью до целых значений стандартных
<очков).
6. Если совпадения не будет - нормальность отвергается, тогда
произвести проверку устойчивости распределения расщеплением вы-
борки на две случайные половины. При совпадении нормализованных
баллов для половины и для целой выборки считать нормализованную
шкалу устойчивой.
7. Проверить однородность распределения по отношению к варьи-
.рованию заданного популяционного признака (пол, профессия и т. п.)
-с помощью критерия Колмогорова. Построить в совмещенных коорди-
натах графики гистограммы и кумуляты для полной и частной выбо-
рок. При значимых различиях разбить выборку на разнородные под-
выборки.
8. Построить таблицы процентильных и нормализованных тестовых
.норм (для каждого интервала равнозначности <сырого> балла). При
наличии разнородных подвыборок для каждой Подвыборки должна
быть своя таблица.
9. Определить критические точки (верхнюю и нижнюю) для дове-
рительных интервалов (на уровне Р<0,01) с учетом стандартной
ошибки в определении среднего значения.
10. Обсудить конфигурацию полученных распределений с учетом
предполагаемого механизма решения того или иного теста.
II. В случае негативных результатов - отсутствия устойчивых
<орм для шкалы с заданным числом градаций (с заданной точностью
прогноза критериальной деятельности) - осуществить обследование
<)олее широкой выборки или отказаться от плана использования данно-
го теста.
3.2. НАДЕЖНОСТЬ ТЕСТА
В дифференциальной психометрике проблемы валидности и надеж-
ности тесно взаимосвязаны, тем не менее мы последуем традиции раз-
дельного изложения методов проверки этих важнейших психометриче-
ских свойств теста.
Надежность и точность. Как уже отмечалось в 3.1, общий раз-
брос (дисперсию) результатов произведенных измерений можно пред-
ставить как результат суммации двух источников разнообразия: само-
го измеряемого свойства и нестабильности измерительной процедуры,
обусловливающей наличие ошибки измерения. Это представление вы-
ражено в формуле, описывающей надежность теста в виде отношения
истинной .дисперсии к дисперсии эмпирически зарегистрированных
баллов:
i.
s
(3.2.1)
67
STR.68
Так как истинная дисперсия и дисперсия ошибки связаны очевид-
ным соотношением, формула (3.2,1) легко преобразуется в формулу
Рюлона:
(3.2.2)
Одиее
распределение
Распределение 1 Распределение
эмпирическом / инШидумьнвго
среднего ~\ /~\\Вчта
где а - надежность теста; S - дисперсия ошибки;
Si - дисперсия теста (эмпирическая);
S - истинная дисперсия (дисперсия измеряемого свойства).
Величина ошибки измерения - обратный индикатор точности из-
мерения. Чем выше ошибка, тем шире диапазон неопределенности на
шкале (доверительный интервал индивидуального балла), внутри ко-
торого оказывается статистически
возможной локализация истинного
балла данного испытуемого. Таким
образом, для проверки гипотезы о зна-
чимости отличия балла испытуемого
от среднего значения оказывается не-
достаточным только оценить ошибку
среднего, нужно еще оценить ошибку
измерения, обусловливающую разбро
в положении индивидуального балла
Возникает картина, схематически пред
ставленная на рис.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144
быть монотонной функцией С от X. Иными словами, ни для одного бо-
лее высокого значения Х вероятность Р не должна быть меньшей, чем
для какого-либо менее высокого значения X. Если это условие выпол-
няются, то открывается возможность для критериального шкалирования
3 Зак. 508 65
STR.66
сырых баллов X. Так же как в случае с интервальной нормализацией
когда применяется поточечный перевод интервалов Х в интервалы 2
для которых выполняется нормальная модель распределения, так i
при критериальном шкалировании к делениям сырой шкалы Х приме
няется поточечный перевод прямо в шкалу Р на основании эмпириче
ской линии регрессии. Например, если испытуемый А получил по тест
Х 18 <сырых> очков и этому результату соответствует Р=0,6, то испы
туемому А ставится в соответствие показатель 60%.
Конечно, любая эмпирическая кривая является лишь приближенно:
моделью той зависимости, которая могла бы быть воспроизведена н
Рис. 5. Иллюстрация эмпирической
зависимости между вероятностью
критериального события Р(С==1) и
величиной Х тестового балла
Рис. 6. S-образная зависимость i
роя.тности критериального событ
Р от нормального распределение
диагностического параметра Х
генеральной совокупности. Обычно предполагается, что на генерал
ной совокупности линия регрессии. С по Х должна иметь более сгл
женную форму. Поэтому обычно предпринимаются попытки аппрокс
мировать эмпирическую линию регрессии какой-либо функциональн
зависимостью, что позволяет затем производить прогноз с применен
ем формулы (а не таблицы или графика).
Например, если линия регрессии имеет вид приблизительно так<
какой изображен на рис. 6, то применение процентильной нормали:
ции позволяет получить простую линейную регрессию С по нормали:
ванной шкале Z. Это как раз тот случай, когда имеет место экви)
лентность стратегии, использующей выборочно-статистические тестов
нормы, и стратегии, использующей критериальные нормы.
Операции по анализу распределения тестовых баллов, построен
тестовых норм и проверке их репрезентативности. В заключение эт
параграфа коротко опишем действия, которые последовательно д
жен произвести психолог при построении тестовых норм.
1. Сформировать выборку стандартизации (случайную, или стра
фицированную по какому-либо параметру) из той популяции, на к(
рой предполагается применять тест. Провести на каждом испытуе1
из выборки тест в сжатые сроки (чтобы устранить иррелевантный {
брос, вызванный внешними событиями, происшедшими за время об<
дования).
2. Произвести группировку <сырых> баллов с учетом выбран
интервала квантования (интервала равнозначности). Интервал oi
деляется величиной W/m, где W=Xma-x- Xmin - размах; m - кол]
ство интервалов равнозначности (градаций шкалы).
3. Построить распределение частот тестовых баллов (для задан
STR.67
интервалов равнозначности) в виде таблицы и в виде соответствую-
.щих графиков гистограммы и кумуляты.
4. Произвести расчет среднего и стандартного отклонений, а также
асимметрии и эксцесса с помощью компьютера. Проверить гипотезы о
значимости асимметрии и эксцесса. Сравнить результаты проверки с
визуальным анализом кривых распределения.
5. Произвести проверку нормальности одного из распределений с
помощью критерия Колмогорова (при п<200 с помощью более мощ-
ных критериев) или произвести процентильную .нормализацию с пере-
водом в стандартную шкалу, а также линейную стандартизацию и
сравнить их результаты (с точностью до целых значений стандартных
<очков).
6. Если совпадения не будет - нормальность отвергается, тогда
произвести проверку устойчивости распределения расщеплением вы-
борки на две случайные половины. При совпадении нормализованных
баллов для половины и для целой выборки считать нормализованную
шкалу устойчивой.
7. Проверить однородность распределения по отношению к варьи-
.рованию заданного популяционного признака (пол, профессия и т. п.)
-с помощью критерия Колмогорова. Построить в совмещенных коорди-
натах графики гистограммы и кумуляты для полной и частной выбо-
рок. При значимых различиях разбить выборку на разнородные под-
выборки.
8. Построить таблицы процентильных и нормализованных тестовых
.норм (для каждого интервала равнозначности <сырого> балла). При
наличии разнородных подвыборок для каждой Подвыборки должна
быть своя таблица.
9. Определить критические точки (верхнюю и нижнюю) для дове-
рительных интервалов (на уровне Р<0,01) с учетом стандартной
ошибки в определении среднего значения.
10. Обсудить конфигурацию полученных распределений с учетом
предполагаемого механизма решения того или иного теста.
II. В случае негативных результатов - отсутствия устойчивых
<орм для шкалы с заданным числом градаций (с заданной точностью
прогноза критериальной деятельности) - осуществить обследование
<)олее широкой выборки или отказаться от плана использования данно-
го теста.
3.2. НАДЕЖНОСТЬ ТЕСТА
В дифференциальной психометрике проблемы валидности и надеж-
ности тесно взаимосвязаны, тем не менее мы последуем традиции раз-
дельного изложения методов проверки этих важнейших психометриче-
ских свойств теста.
Надежность и точность. Как уже отмечалось в 3.1, общий раз-
брос (дисперсию) результатов произведенных измерений можно пред-
ставить как результат суммации двух источников разнообразия: само-
го измеряемого свойства и нестабильности измерительной процедуры,
обусловливающей наличие ошибки измерения. Это представление вы-
ражено в формуле, описывающей надежность теста в виде отношения
истинной .дисперсии к дисперсии эмпирически зарегистрированных
баллов:
i.
s
(3.2.1)
67
STR.68
Так как истинная дисперсия и дисперсия ошибки связаны очевид-
ным соотношением, формула (3.2,1) легко преобразуется в формулу
Рюлона:
(3.2.2)
Одиее
распределение
Распределение 1 Распределение
эмпирическом / инШидумьнвго
среднего ~\ /~\\Вчта
где а - надежность теста; S - дисперсия ошибки;
Si - дисперсия теста (эмпирическая);
S - истинная дисперсия (дисперсия измеряемого свойства).
Величина ошибки измерения - обратный индикатор точности из-
мерения. Чем выше ошибка, тем шире диапазон неопределенности на
шкале (доверительный интервал индивидуального балла), внутри ко-
торого оказывается статистически
возможной локализация истинного
балла данного испытуемого. Таким
образом, для проверки гипотезы о зна-
чимости отличия балла испытуемого
от среднего значения оказывается не-
достаточным только оценить ошибку
среднего, нужно еще оценить ошибку
измерения, обусловливающую разбро
в положении индивидуального балла
Возникает картина, схематически пред
ставленная на рис.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144