Это, однако, маловероятно, если на первом
этапе вы использовали хорошо сформированные выборки. На новой
выборке сравните средние значения для мужчин и для женщин: они,
конечно же, не должны сильно различаться.
196
(9) В этой процедуре производится только анализ заданий. В ней
мы не встречались с проблемами подбора дистракторов для заданий
с несколькими вариантами выбора или случайного угадывания отве-
тов, обсуждавшимися в главе 2, посвященной тестам способностей,
или с устранением влияния установок на ответы, с которыми мы
имели дело в главе 3 о личностных тестах.
Понятие надежности, возникающее на шаге 5 приведенной про-
цедуры, нуждается в некотором дополнении. Некоторые авторы от-
стаивают систематический подход к определению надежности, суть
которого в том, что лучшие задания (по критерию корреляции с
общим показателем) должны добавляться к тесту до тех пор, пока не
будет достигнуто настолько высокое значение коэффициента надеж-
ности, насколько это было желательно, и на этом шаге конструиро-
вание теста завершается. С нашей точки зрения, при таком подходе
игнорируются другие важные аспекты теста (как обсуждалось выше)
и слишком много внимания уделяется его внутренней согласованно-
сти.
До сих пор при обсуждении процедур анализа заданий и констру-
ирования тестов предполагалось, что для конструирования шкалы,
которую уже можно исследовать на валидность, было сформулирова-
но достаточное количество заданий. Однако, на различных этапах
процедуры отбора заданий часто возникает необходимость в пере-
формулировании заданий.
Переформулирование заданий
Если по некоторым аспектам исследуемой переменной нет удов-
летворительных заданий, или их недостаточно для создания надеж-
ного теста, как и в том случае, когда при повторном испытании
некоторые задания не удовлетворяют критериям, может возникнуть
необходимость в переформулировании заданий. При переформули-
ровании заданий может быть полезно знание того, отчего задание
было устранено в процедуре анализа, а также его статистические
оценки. Поясним это на примерах.
ПРИМЕР 1
Это задание 3 из таблицы 6.1, в которой показан удобный способ
представления результатов анализа заданий: "Объедались ли вы ког-
да-нибудь?" Статистические оценки задания указывают, что слиш-
ком много испытуемых ответили на этот вопрос утвердительно, а
поэтому он неэффективен. Хотя этот вопрос и предназначался для
выявления обжорства, он соответствует поведению, которое допу-
скал практически каждый. Необходим такой образец обжорства, ко-
197
торый встречается намного реже. Например, удачным приемом мо-
жет оказаться вопрос: "Съедали ли вы когда-нибудь шесть порций
мороженого за раз?" Это гипотетический пример. Все другие приме-
ры взяты из моей собственной работы над личностными тестами.
ПРИМЕР 2
"Воспользовались бы вы чьей-нибудь зубной щеткой?" На этот
вопрос ответили "нет" большинство испытуемых из эксперименталь-
ной выборки. Очевидно, что это была слишком суровая проверка на
безразличие к бактериям. Вместо него было использовано более уме-
ренное задание: "Воспользовались бы вы зубной щеткой своего дру-
га?"
ПРИМЕРЗ
"Ваши хобби и интересы такие же, как у большинства других
людей?" На этот вопрос многие испытуемые не дали утвердительного
ответа. Это были те, кто отметили этот вопрос (как им было позволе-
но при испытании заданий) как такой, для ответа на который им
понадобилась неопределенная категория ответа. Проблема заключа-
лась в словах "большинство людей". Действительно, кто знает, что
делают большинство людей? Вместо этого я подставил "у многих
людей", и задание успешно прошло повторные испытания.
ПРИМЕР 4
Является ли курение плохой привычкой? Это задание эффектив-
но работало в Великобритании, но оказалось непригодным в Амрит-
саре, штат Пенджаб, где почти все испытуемые из выборки ответили
"да". Однако невозможность использовать его в Амритсаре объясня-
ется тем фактом, что этот город является центром религии сикхов,
которая запрещает курение!
Эти примеры в достаточной степени показывают, что процедура
анализа заданий может дать нам ключ к тому, как они должны быть
переформулированы. Будучи переформулированными, новые зада-
ния вместе с отобранными ранее должны быть предъявлены вновь
соответствующим выборкам испытуемых и подвергнуты процедуре
анализа так, как описано выше. Это должно дать достаточное коли-
чество репрезентативных заданий для формирования приемлемого
теста.
Если тест сформировать не удалось
Однако, иногда, даже после переформулирования заданий, коли-
чества заданий все еще недостаточно для формирования теста или
даже для получения среднего значения надежности. Существует не-
198
сколько причин, по которым это могло произойти, и будут обсуждены
меры, которые могут быть приняты в каждом случае.
Такой переменной не существует
Возможна, особенно в сфере личности и мотивов, где даже среди
специалистов по психометрии мало согласия по поводу того, что
представляют собой конкретные переменные, (не говоря уже о почти
полном отсутствии согласия между психометрией и клинической тео-
рией) , ситуация, когда мы пытаемся измерить переменную или син-
дром, которые попросту не существуют.
Так, если мы попытаемся измерить фаллический характер
(Freud, 1905), гипотетический синдром личностных черт, появляю-
щийся, согласно теории Фрейда, в результате фиксации на фалличе-
ской фазе онтогенеза, впаяне может произойти такая неудача. Ни
одному исследователю не удалось сконструировать валидное средст-
во измерения этой переменной (см. Kline, 1972; Fisher и Greeaberg,
1977). Представляется, что в этом случае нет корреляции между
составляющими ее чертами. Следовательно, тест не может быть
сконструирован. Как я уже утверждал при обсуждении внутренней
согласованности, при измерении синдромов, включающих широкий
набор черт, допустимо, чтобы значение коэффициента надежности
было ниже, чем для других более однородных переменных, если же
нет корреляции, то даже это становится невозможным. Если это
имеет место, от данного теста лучше отказаться.
КАК ПОКАЗАТЬ, ЧТО ПЕРЕМЕННАЯ НЕ СУЩЕСТВУЕТ
Единственный обоснованный метод для проверки этой гипотезы,
отличный от выводов из природы той переменной, которую мы пыта-
емся измерить, - вычислить корреляцию между заданиями и, воз-
можно, подвергнуть их факторному анализу, хотя это и не всегда
необходимо.
Эта процедура не описывается подробно, так как она идентична
приводимой ниже процедуре конструирования факторизованных те-
стов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96
этапе вы использовали хорошо сформированные выборки. На новой
выборке сравните средние значения для мужчин и для женщин: они,
конечно же, не должны сильно различаться.
196
(9) В этой процедуре производится только анализ заданий. В ней
мы не встречались с проблемами подбора дистракторов для заданий
с несколькими вариантами выбора или случайного угадывания отве-
тов, обсуждавшимися в главе 2, посвященной тестам способностей,
или с устранением влияния установок на ответы, с которыми мы
имели дело в главе 3 о личностных тестах.
Понятие надежности, возникающее на шаге 5 приведенной про-
цедуры, нуждается в некотором дополнении. Некоторые авторы от-
стаивают систематический подход к определению надежности, суть
которого в том, что лучшие задания (по критерию корреляции с
общим показателем) должны добавляться к тесту до тех пор, пока не
будет достигнуто настолько высокое значение коэффициента надеж-
ности, насколько это было желательно, и на этом шаге конструиро-
вание теста завершается. С нашей точки зрения, при таком подходе
игнорируются другие важные аспекты теста (как обсуждалось выше)
и слишком много внимания уделяется его внутренней согласованно-
сти.
До сих пор при обсуждении процедур анализа заданий и констру-
ирования тестов предполагалось, что для конструирования шкалы,
которую уже можно исследовать на валидность, было сформулирова-
но достаточное количество заданий. Однако, на различных этапах
процедуры отбора заданий часто возникает необходимость в пере-
формулировании заданий.
Переформулирование заданий
Если по некоторым аспектам исследуемой переменной нет удов-
летворительных заданий, или их недостаточно для создания надеж-
ного теста, как и в том случае, когда при повторном испытании
некоторые задания не удовлетворяют критериям, может возникнуть
необходимость в переформулировании заданий. При переформули-
ровании заданий может быть полезно знание того, отчего задание
было устранено в процедуре анализа, а также его статистические
оценки. Поясним это на примерах.
ПРИМЕР 1
Это задание 3 из таблицы 6.1, в которой показан удобный способ
представления результатов анализа заданий: "Объедались ли вы ког-
да-нибудь?" Статистические оценки задания указывают, что слиш-
ком много испытуемых ответили на этот вопрос утвердительно, а
поэтому он неэффективен. Хотя этот вопрос и предназначался для
выявления обжорства, он соответствует поведению, которое допу-
скал практически каждый. Необходим такой образец обжорства, ко-
197
торый встречается намного реже. Например, удачным приемом мо-
жет оказаться вопрос: "Съедали ли вы когда-нибудь шесть порций
мороженого за раз?" Это гипотетический пример. Все другие приме-
ры взяты из моей собственной работы над личностными тестами.
ПРИМЕР 2
"Воспользовались бы вы чьей-нибудь зубной щеткой?" На этот
вопрос ответили "нет" большинство испытуемых из эксперименталь-
ной выборки. Очевидно, что это была слишком суровая проверка на
безразличие к бактериям. Вместо него было использовано более уме-
ренное задание: "Воспользовались бы вы зубной щеткой своего дру-
га?"
ПРИМЕРЗ
"Ваши хобби и интересы такие же, как у большинства других
людей?" На этот вопрос многие испытуемые не дали утвердительного
ответа. Это были те, кто отметили этот вопрос (как им было позволе-
но при испытании заданий) как такой, для ответа на который им
понадобилась неопределенная категория ответа. Проблема заключа-
лась в словах "большинство людей". Действительно, кто знает, что
делают большинство людей? Вместо этого я подставил "у многих
людей", и задание успешно прошло повторные испытания.
ПРИМЕР 4
Является ли курение плохой привычкой? Это задание эффектив-
но работало в Великобритании, но оказалось непригодным в Амрит-
саре, штат Пенджаб, где почти все испытуемые из выборки ответили
"да". Однако невозможность использовать его в Амритсаре объясня-
ется тем фактом, что этот город является центром религии сикхов,
которая запрещает курение!
Эти примеры в достаточной степени показывают, что процедура
анализа заданий может дать нам ключ к тому, как они должны быть
переформулированы. Будучи переформулированными, новые зада-
ния вместе с отобранными ранее должны быть предъявлены вновь
соответствующим выборкам испытуемых и подвергнуты процедуре
анализа так, как описано выше. Это должно дать достаточное коли-
чество репрезентативных заданий для формирования приемлемого
теста.
Если тест сформировать не удалось
Однако, иногда, даже после переформулирования заданий, коли-
чества заданий все еще недостаточно для формирования теста или
даже для получения среднего значения надежности. Существует не-
198
сколько причин, по которым это могло произойти, и будут обсуждены
меры, которые могут быть приняты в каждом случае.
Такой переменной не существует
Возможна, особенно в сфере личности и мотивов, где даже среди
специалистов по психометрии мало согласия по поводу того, что
представляют собой конкретные переменные, (не говоря уже о почти
полном отсутствии согласия между психометрией и клинической тео-
рией) , ситуация, когда мы пытаемся измерить переменную или син-
дром, которые попросту не существуют.
Так, если мы попытаемся измерить фаллический характер
(Freud, 1905), гипотетический синдром личностных черт, появляю-
щийся, согласно теории Фрейда, в результате фиксации на фалличе-
ской фазе онтогенеза, впаяне может произойти такая неудача. Ни
одному исследователю не удалось сконструировать валидное средст-
во измерения этой переменной (см. Kline, 1972; Fisher и Greeaberg,
1977). Представляется, что в этом случае нет корреляции между
составляющими ее чертами. Следовательно, тест не может быть
сконструирован. Как я уже утверждал при обсуждении внутренней
согласованности, при измерении синдромов, включающих широкий
набор черт, допустимо, чтобы значение коэффициента надежности
было ниже, чем для других более однородных переменных, если же
нет корреляции, то даже это становится невозможным. Если это
имеет место, от данного теста лучше отказаться.
КАК ПОКАЗАТЬ, ЧТО ПЕРЕМЕННАЯ НЕ СУЩЕСТВУЕТ
Единственный обоснованный метод для проверки этой гипотезы,
отличный от выводов из природы той переменной, которую мы пыта-
емся измерить, - вычислить корреляцию между заданиями и, воз-
можно, подвергнуть их факторному анализу, хотя это и не всегда
необходимо.
Эта процедура не описывается подробно, так как она идентична
приводимой ниже процедуре конструирования факторизованных те-
стов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96