Анастази). Если
прибегать к геометрическому изображению нагрузки как проекции
вектора-пункта на ось-фактор, то структура пунктов хорошо согласо-
ванного теста предстанет в виде пуч-
ка векторов, плотно прилегающих к
фактору и вытянувшихся вдоль его
оси (рис. 9).
Последовательность действий при
проверке надежности. 1. Узнать, суще-
ствуют ли данные о надежности теста,
предполагаемого к использованию, на
какой популяции и в какой диагности-
ческой ситуации проводилась провер-
ка. Если проверки не было или приз-
наки новой популяции и ситуации яв-
но специфичны, провести .заново про-
верку надежности с учетом указанных
ниже возможностей.
2. Если возможности обследова-
ния испытуемых, смысл теста и
возможности обработки (наличие
ЭВМ) позволяют, то произвести по-
вторное тестирование на всей выборке стандартизации и подсчитать
все коэффициенты, приведенные в 3.2, как для целого теста, так и
для отдельных пунктов. Анализ полученных коэффициентов позволит
понять, насколько пренебрежима ошибка измерения, дает ли данный
тест интервальную шкалу (высокий г) или только диагностичен для
крайних групп (высокий (р), насколько устойчиво измеряемое свойство
во времени (возможен ли статистический .прогноз - проекция тесто-
вого балла на будущее), в каких своих частях (пунктах) тест менее
надежен (анализ этих пунктов позволяет психологически осмыслить
содержательный механизм взаимодействия пунктов с испытуемыми).
3. Если возможности ограничены, произвести повторное тестирова-
ние только на части выборки (не менее 30 испытуемых), подсчитать
вручную) ранговую или четырехклеточную корреляцию для оценки
внутренней согласованности (методом расщепления) и стабильности
целого теста.
Рем8он1П.-
-" ныи
фактор
Рис. 9. Векторная графическая мо-
дель соотношения <прямых> и <об-
ратных> эмпирических индикаторов
(пунктов) с релевантным (измеряе-
мый) фактором и иррелевантными
(<шумовыми>) факторами
3.3. ВАЛИДНОСТЬ ТЕСТОВ
Проблемы валидизации психологических тестов являются централь-
ными для дифференциальной психометрики, но, к сожалению, до сих
пор решенными не до конца. Решение этой проблемы зависит не от
статистического аппарата, а от уровня развития теоретического аппа-
рата дифференциальной психологии.
Валидность и надежность. Валидность (или обоснованность) всякой
процедуры измерения состоит в однозначности (устойчивости) получае-
мых результатов относительно измеряемых свойств объектов, т. е. от-
носительно предмета измерения. Отличие понятия валидности от на-
дежности измерения удобно раскрывать с помощью различения
<объекта> и <предмета> измерения. Надежность - это устойчивость
STR.75
процедуры относительно объектов. Надежность не обязательно пред-
полагает валидность. В психологии довольно часто возникает такая си-
туация, когда исследователь вначале предлагает определенную про-
цедуру измерения, показывает ее надежность -способность устойчиво
различать объекты, но вопрос о валидности остается открытым.
Если в сенсорной психофизике вопрос о валидности измерений ока-
зывается в значительной степени затушеванным тем обстоятельством,
что простейшие физические стимулы достаточно однозначно детерми-
нируют измеряемые свойства ощущений, то в дифференциальной психо-
метрике значимость проблемы валидности резко возрастает. Здесь си-
туация подобна той, когда в психофизическом опыте испытуемому не
указывают, по какому именно параметру следует сравнивать стимулы.
Пусть испытуемый А понял инструкцию так, что стимульные объекты
надо сравнивать по весу, а испытуемый Б - по размеру. Если проце-
дура измерения будет повторена по отношению к тем же объектам, то
она даст вполне устойчивые данные относительно объектов, но не даст
валидной информации ни о шкале ощущений <веса>, ни о шкале ощу-
щений <размера>.
При измерении способностей предъявляемый тест отнюдь не обяза-
тельно актуализирует именно тот психический процесс, который пред-
полагается измерить. Например, столкнувшись с уже встречавшейся
однажды задачей (например, с анаграммой <дзиканпр>), испытуемый
может начать запоминать просто то решение, к которому он уже одна-
жды пришел (слово <праздник>), чем заново решать эту задачу. Здесь
будет измеряться скорее уровень словесной памяти, чем уровень вер-
бального интеллекта. Точно так же реальная валидность некоторых
тестов раскрывается только в результате значительного опыта работы
с ними. Например, показано, что ряд тестов, внешне выглядящих
интеллектуальными, на деле измеряют скорее личностно-стилевые осо-
бенности индивида, чем операциональные возможности интеллекта, иа-
пример, методика <креативного поля> Д. Б. Богоявленской (1977).
Устойчивость теста относительно объектов (испытуемых) является
необходимым, но не достаточным условием его устойчивости относи-
тельно измеряемых атрибутов (свойств) объектов. Надежность явля-
1 ется необходимым, но не достаточным условием валидности. Отсюда
понятно основное соотношение психометрики:
валидность < надежность..
Это означает, что валидность теста не может превышать надежность
теста.
Данное соотношение, однако, неверно трактовать как указание на
прямо пропорциональную связь валидности и надежности. Повышение
надежности отнюдь не обязательно приводит к повышению валидно-
сти. В терминах А. Анастази валидность определяется репрезентатив-
ностью теста относительно измеряемой области поведения. Если эта
область поведения складывается из разнообразных феноменов, то со-
держательная валидность теста автоматически требует представленно-
сти в нем моделей всех этих разнообразных феноменов. Возьмем гло-
бальное понятие <речевая способность> (этому психолингвистическому
термину в традиционной тестологии соответствует <вербальный интел-
лект>). Сюда относятся такие относительно независимые друг от друга
навыки, как навыки письма и чтения. Если заботиться о содержа
Предельной внутренней согласованностью будет, например, .обладать тест-
опросник, состоящий из повторения одного и того же вопроса. Но валидность
данном случае будет минимальной.
STR.76
тельной валидности соответствующего теста, то нужно ввести в него
группы заданий на проверку этих довольно разных по своему опера-
циональному составу компонентов вербального интеллекта. В резуль-
тате введения разнородных пунктов и субшкал (субтестов) мы обяза-
тельно сокращаем внутреннюю согласованность, одномоментную на-
дежность теста, но зато добиваемся повышения валидности.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144
прибегать к геометрическому изображению нагрузки как проекции
вектора-пункта на ось-фактор, то структура пунктов хорошо согласо-
ванного теста предстанет в виде пуч-
ка векторов, плотно прилегающих к
фактору и вытянувшихся вдоль его
оси (рис. 9).
Последовательность действий при
проверке надежности. 1. Узнать, суще-
ствуют ли данные о надежности теста,
предполагаемого к использованию, на
какой популяции и в какой диагности-
ческой ситуации проводилась провер-
ка. Если проверки не было или приз-
наки новой популяции и ситуации яв-
но специфичны, провести .заново про-
верку надежности с учетом указанных
ниже возможностей.
2. Если возможности обследова-
ния испытуемых, смысл теста и
возможности обработки (наличие
ЭВМ) позволяют, то произвести по-
вторное тестирование на всей выборке стандартизации и подсчитать
все коэффициенты, приведенные в 3.2, как для целого теста, так и
для отдельных пунктов. Анализ полученных коэффициентов позволит
понять, насколько пренебрежима ошибка измерения, дает ли данный
тест интервальную шкалу (высокий г) или только диагностичен для
крайних групп (высокий (р), насколько устойчиво измеряемое свойство
во времени (возможен ли статистический .прогноз - проекция тесто-
вого балла на будущее), в каких своих частях (пунктах) тест менее
надежен (анализ этих пунктов позволяет психологически осмыслить
содержательный механизм взаимодействия пунктов с испытуемыми).
3. Если возможности ограничены, произвести повторное тестирова-
ние только на части выборки (не менее 30 испытуемых), подсчитать
вручную) ранговую или четырехклеточную корреляцию для оценки
внутренней согласованности (методом расщепления) и стабильности
целого теста.
Рем8он1П.-
-" ныи
фактор
Рис. 9. Векторная графическая мо-
дель соотношения <прямых> и <об-
ратных> эмпирических индикаторов
(пунктов) с релевантным (измеряе-
мый) фактором и иррелевантными
(<шумовыми>) факторами
3.3. ВАЛИДНОСТЬ ТЕСТОВ
Проблемы валидизации психологических тестов являются централь-
ными для дифференциальной психометрики, но, к сожалению, до сих
пор решенными не до конца. Решение этой проблемы зависит не от
статистического аппарата, а от уровня развития теоретического аппа-
рата дифференциальной психологии.
Валидность и надежность. Валидность (или обоснованность) всякой
процедуры измерения состоит в однозначности (устойчивости) получае-
мых результатов относительно измеряемых свойств объектов, т. е. от-
носительно предмета измерения. Отличие понятия валидности от на-
дежности измерения удобно раскрывать с помощью различения
<объекта> и <предмета> измерения. Надежность - это устойчивость
STR.75
процедуры относительно объектов. Надежность не обязательно пред-
полагает валидность. В психологии довольно часто возникает такая си-
туация, когда исследователь вначале предлагает определенную про-
цедуру измерения, показывает ее надежность -способность устойчиво
различать объекты, но вопрос о валидности остается открытым.
Если в сенсорной психофизике вопрос о валидности измерений ока-
зывается в значительной степени затушеванным тем обстоятельством,
что простейшие физические стимулы достаточно однозначно детерми-
нируют измеряемые свойства ощущений, то в дифференциальной психо-
метрике значимость проблемы валидности резко возрастает. Здесь си-
туация подобна той, когда в психофизическом опыте испытуемому не
указывают, по какому именно параметру следует сравнивать стимулы.
Пусть испытуемый А понял инструкцию так, что стимульные объекты
надо сравнивать по весу, а испытуемый Б - по размеру. Если проце-
дура измерения будет повторена по отношению к тем же объектам, то
она даст вполне устойчивые данные относительно объектов, но не даст
валидной информации ни о шкале ощущений <веса>, ни о шкале ощу-
щений <размера>.
При измерении способностей предъявляемый тест отнюдь не обяза-
тельно актуализирует именно тот психический процесс, который пред-
полагается измерить. Например, столкнувшись с уже встречавшейся
однажды задачей (например, с анаграммой <дзиканпр>), испытуемый
может начать запоминать просто то решение, к которому он уже одна-
жды пришел (слово <праздник>), чем заново решать эту задачу. Здесь
будет измеряться скорее уровень словесной памяти, чем уровень вер-
бального интеллекта. Точно так же реальная валидность некоторых
тестов раскрывается только в результате значительного опыта работы
с ними. Например, показано, что ряд тестов, внешне выглядящих
интеллектуальными, на деле измеряют скорее личностно-стилевые осо-
бенности индивида, чем операциональные возможности интеллекта, иа-
пример, методика <креативного поля> Д. Б. Богоявленской (1977).
Устойчивость теста относительно объектов (испытуемых) является
необходимым, но не достаточным условием его устойчивости относи-
тельно измеряемых атрибутов (свойств) объектов. Надежность явля-
1 ется необходимым, но не достаточным условием валидности. Отсюда
понятно основное соотношение психометрики:
валидность < надежность..
Это означает, что валидность теста не может превышать надежность
теста.
Данное соотношение, однако, неверно трактовать как указание на
прямо пропорциональную связь валидности и надежности. Повышение
надежности отнюдь не обязательно приводит к повышению валидно-
сти. В терминах А. Анастази валидность определяется репрезентатив-
ностью теста относительно измеряемой области поведения. Если эта
область поведения складывается из разнообразных феноменов, то со-
держательная валидность теста автоматически требует представленно-
сти в нем моделей всех этих разнообразных феноменов. Возьмем гло-
бальное понятие <речевая способность> (этому психолингвистическому
термину в традиционной тестологии соответствует <вербальный интел-
лект>). Сюда относятся такие относительно независимые друг от друга
навыки, как навыки письма и чтения. Если заботиться о содержа
Предельной внутренней согласованностью будет, например, .обладать тест-
опросник, состоящий из повторения одного и того же вопроса. Но валидность
данном случае будет минимальной.
STR.76
тельной валидности соответствующего теста, то нужно ввести в него
группы заданий на проверку этих довольно разных по своему опера-
циональному составу компонентов вербального интеллекта. В резуль-
тате введения разнородных пунктов и субшкал (субтестов) мы обяза-
тельно сокращаем внутреннюю согласованность, одномоментную на-
дежность теста, но зато добиваемся повышения валидности.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144