То, как это делается, описано ниже.
Проблемы анализа заданий
Первое критическое замечание касается порочного круга, кото-
рый вытекает из этой процедуры. Если все задания из нашей выбо-
рочной совокупности будут иметь широкий разброс показателей и не
будут измерять то, что мы хотели, то по данной процедуре задания
будут отбираться в соответствии с таким критерием, как их корреля-
ции с общим показателем, который никогда не будет адекватным.
Следует заметить, что те же самые аргументы применимы к проце-
дуре факторизации множества заданий. Возможно существование
генерального фактора для множества неэффективных заданий. Это
критическое замечание имеет веские основания и должно быть опро-
вергнуто эмпирически. Получив при помощи процедуры анализа
заданий множество однородных заданий, мы тем не менее должны
представить доказательства их валидности. То есть недостаточно
сконструировать однородный тест, должно быть осуществлено иссле-
дование его валидности. Таком образом, это критическое замечание
легко опровергнуто.
Второе критическое замечание может быть сделано исходя из того
факта, что хотя процедура анализа заданий и обеспечивает однород-
ность теста, она не обеспечивает чистоту факторов. Возможно, что
тест, таким образом сконструированный, будет нагружать несколько
182
коррелирующих факторов. Так, если, например, в тесте способно-
стей в одно и то же множество заданий были включены задания,
измеряющие кристаллизованные способности (gc) и вербальные спо-
собности, то весьма вероятно, что по процедуре анализа заданий
будут отобраны оба эти вида заданий, поскольку эти факторы высоко
коррелируют. Следовательно, процедура анализа заданий как метод
конструирования тестов имеет меньшее значение, чем факторный
анализ.
Это последнее критическое замечание может быть опровергнуто
только дальнейшими исследованиями теста. Факторный анализ дан-
ного теста со средствами измерения других факторов покажет, изме-
ряет ли этот тест один фактор или нет. Если нет, то необходим
факторный анализ заданий (по методике, описанной в главе 9).
Однако, если в результате процедуры анализа заданий может
быть получен тест, не являющийся факторно чистым, возникает оче-
видный вопрос: почему используется этот метод? Почему нельзя
сразу использовать факторный анализ? Ответом является то, что, как
будет указано в главе 9, существуют серьезные технические пробле-
мы при факторизации заданий, которые не были преодолены полно-
стью. Помимо этого, необходимы очень большие выборки; Nunnally
(1978) утверждает, чтонеобходимовдесятьразбольшеиспытуемых,
чем имеется заданий. Все это делает сомнительной эффективность
непосредственного проведения факторизации заданий, особенно
когда процедура анализа заданий и факторно-аналитические иссле-
дования высоко коррелируют (Nunnally, 1978). Следовательно, в
качестве первого шага процедура анализа заданий является очень
ценным методом конструирования тестов.
Задания
Сконструируйте примерно вдвое больше заданий, чем необходи-
мо для окончательного теста. Величина окончательного теста будет
зависеть от его назначения и сущности. Тест способностей для детей
начальной школы должен занимать не более, чем 30 минут, в против-
ном случае на результаты повлияют усталость и скука. Личностный
тест для взрослых также должен быть не длиннее. В идеале тесты
должны быть настолько краткими, насколько возможно, в соответ-
ствии с оценками надежности и валидности. Это означает, что в
выборочной совокупности должно быть по крайней мере пятьдесят
заданий (для надежности). Задания должны отбираться из генераль-
ной совокупности заданий (для валидности).
Аналогично, в тесте, определяющем нейротические или психоти-
ческие симптомы, доля испытуемых, давших ключевые ответы, бу-
183
дет значительно отличаться в группе нормальных испытуемых и
группе, составленной из пациентов психиатрических клиник.
Важные переменные выборки
Сказать, что выборка должна отражать конкретную категорию
лиц (популяцию) - это значит не сказать ничего, пока не установ-
лены основные переменные, характеризующие данную категорию
(популяцию). Очевидно, что такие определяющие переменные будут
различными для разных тестов. Так, в тестах способностей возраст
и, в случае со взрослыми испытуемыми, уровень образования будут
существенными переменными, поскольку тест способностей для оп-
ределения некоторой переменной для всех возрастов и на всех уров-
нях способностей был бы чрезвычайно длинным. Тем не менее, для
большинства тестов несколько переменных выборки являются осо-
бенно важными. Они перечислены ниже. Их нужно принимать во
внимание при формировании выборок испытуемых для испытания
заданий.
Пол испытуемых
При конструировании заданий для тестов практически любого
типа необходимо учитывать, что весьма вероятны различия в ответах
на них в зависимости от пола испытуемых. Покажем это на несколь-
ких примерах. Обычно при выполнении тестов способностей детьми
до 16 лет девочки демонстрируют превосходство в словесно-логиче-
ских навыках, а мальчики - в работе с цифрами. Вероятнее всего,
что задания из этих областей будут иметь различные статистические
оценки. Различия испытуемых по полу также обнаруживаются во
многих заданиях личностных тестов, например, тех, которые каса-
ются интереса к одежде, спорту, своей внешности, вождению автомо-
биля, рисованию, верховой езде. Аналогично, в тестах, задания ко-
торых связаны с хобби и интересами, вероятно, также проявятся
такие тенденции. Суть состоит в том, что было бы разумно предви-
деть различия между мужчинами и женщинами при ответах на такие
задания. Но я не утверждаю, что такие различия действительно бу-
дут иметь место.
Одним из решений этой проблемы было бы разделить мужчин и
женщин на отдельные выборки, а затем отобрать задания, удовлет-
воряющие критериям процедуры анализа заданий для обеих групп.
Именно так поступал автор данной книги при разработке собствен-
ных тестов, хотя при этом возникают некоторые трудности, частично
теоретические по своей сути, которые следует полностью осознать,
прежде чем применять эту процедуру.
184
Первая проблема состоит в том, что хотя задания почти всегда
могут быть сформулированы так, что они пройдут процедуру анализа
(с корреляцией задание/общий показатель 0,2 и долей Р ответивших
в соответствии с ключом испытуемых в пределах от 0,20 до 0,80) в
обеих группах, даже для эффективных заданий эти оценки могут не
быть идентичными. Особенно важным здесь является коэффициент
Р, так как если он всегда больше, скажем, для мужчин, чем для
женщин, на большом количестве заданий, то это может привести к
влиянию пола испытуемых на результаты тестирования.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96
Проблемы анализа заданий
Первое критическое замечание касается порочного круга, кото-
рый вытекает из этой процедуры. Если все задания из нашей выбо-
рочной совокупности будут иметь широкий разброс показателей и не
будут измерять то, что мы хотели, то по данной процедуре задания
будут отбираться в соответствии с таким критерием, как их корреля-
ции с общим показателем, который никогда не будет адекватным.
Следует заметить, что те же самые аргументы применимы к проце-
дуре факторизации множества заданий. Возможно существование
генерального фактора для множества неэффективных заданий. Это
критическое замечание имеет веские основания и должно быть опро-
вергнуто эмпирически. Получив при помощи процедуры анализа
заданий множество однородных заданий, мы тем не менее должны
представить доказательства их валидности. То есть недостаточно
сконструировать однородный тест, должно быть осуществлено иссле-
дование его валидности. Таком образом, это критическое замечание
легко опровергнуто.
Второе критическое замечание может быть сделано исходя из того
факта, что хотя процедура анализа заданий и обеспечивает однород-
ность теста, она не обеспечивает чистоту факторов. Возможно, что
тест, таким образом сконструированный, будет нагружать несколько
182
коррелирующих факторов. Так, если, например, в тесте способно-
стей в одно и то же множество заданий были включены задания,
измеряющие кристаллизованные способности (gc) и вербальные спо-
собности, то весьма вероятно, что по процедуре анализа заданий
будут отобраны оба эти вида заданий, поскольку эти факторы высоко
коррелируют. Следовательно, процедура анализа заданий как метод
конструирования тестов имеет меньшее значение, чем факторный
анализ.
Это последнее критическое замечание может быть опровергнуто
только дальнейшими исследованиями теста. Факторный анализ дан-
ного теста со средствами измерения других факторов покажет, изме-
ряет ли этот тест один фактор или нет. Если нет, то необходим
факторный анализ заданий (по методике, описанной в главе 9).
Однако, если в результате процедуры анализа заданий может
быть получен тест, не являющийся факторно чистым, возникает оче-
видный вопрос: почему используется этот метод? Почему нельзя
сразу использовать факторный анализ? Ответом является то, что, как
будет указано в главе 9, существуют серьезные технические пробле-
мы при факторизации заданий, которые не были преодолены полно-
стью. Помимо этого, необходимы очень большие выборки; Nunnally
(1978) утверждает, чтонеобходимовдесятьразбольшеиспытуемых,
чем имеется заданий. Все это делает сомнительной эффективность
непосредственного проведения факторизации заданий, особенно
когда процедура анализа заданий и факторно-аналитические иссле-
дования высоко коррелируют (Nunnally, 1978). Следовательно, в
качестве первого шага процедура анализа заданий является очень
ценным методом конструирования тестов.
Задания
Сконструируйте примерно вдвое больше заданий, чем необходи-
мо для окончательного теста. Величина окончательного теста будет
зависеть от его назначения и сущности. Тест способностей для детей
начальной школы должен занимать не более, чем 30 минут, в против-
ном случае на результаты повлияют усталость и скука. Личностный
тест для взрослых также должен быть не длиннее. В идеале тесты
должны быть настолько краткими, насколько возможно, в соответ-
ствии с оценками надежности и валидности. Это означает, что в
выборочной совокупности должно быть по крайней мере пятьдесят
заданий (для надежности). Задания должны отбираться из генераль-
ной совокупности заданий (для валидности).
Аналогично, в тесте, определяющем нейротические или психоти-
ческие симптомы, доля испытуемых, давших ключевые ответы, бу-
183
дет значительно отличаться в группе нормальных испытуемых и
группе, составленной из пациентов психиатрических клиник.
Важные переменные выборки
Сказать, что выборка должна отражать конкретную категорию
лиц (популяцию) - это значит не сказать ничего, пока не установ-
лены основные переменные, характеризующие данную категорию
(популяцию). Очевидно, что такие определяющие переменные будут
различными для разных тестов. Так, в тестах способностей возраст
и, в случае со взрослыми испытуемыми, уровень образования будут
существенными переменными, поскольку тест способностей для оп-
ределения некоторой переменной для всех возрастов и на всех уров-
нях способностей был бы чрезвычайно длинным. Тем не менее, для
большинства тестов несколько переменных выборки являются осо-
бенно важными. Они перечислены ниже. Их нужно принимать во
внимание при формировании выборок испытуемых для испытания
заданий.
Пол испытуемых
При конструировании заданий для тестов практически любого
типа необходимо учитывать, что весьма вероятны различия в ответах
на них в зависимости от пола испытуемых. Покажем это на несколь-
ких примерах. Обычно при выполнении тестов способностей детьми
до 16 лет девочки демонстрируют превосходство в словесно-логиче-
ских навыках, а мальчики - в работе с цифрами. Вероятнее всего,
что задания из этих областей будут иметь различные статистические
оценки. Различия испытуемых по полу также обнаруживаются во
многих заданиях личностных тестов, например, тех, которые каса-
ются интереса к одежде, спорту, своей внешности, вождению автомо-
биля, рисованию, верховой езде. Аналогично, в тестах, задания ко-
торых связаны с хобби и интересами, вероятно, также проявятся
такие тенденции. Суть состоит в том, что было бы разумно предви-
деть различия между мужчинами и женщинами при ответах на такие
задания. Но я не утверждаю, что такие различия действительно бу-
дут иметь место.
Одним из решений этой проблемы было бы разделить мужчин и
женщин на отдельные выборки, а затем отобрать задания, удовлет-
воряющие критериям процедуры анализа заданий для обеих групп.
Именно так поступал автор данной книги при разработке собствен-
ных тестов, хотя при этом возникают некоторые трудности, частично
теоретические по своей сути, которые следует полностью осознать,
прежде чем применять эту процедуру.
184
Первая проблема состоит в том, что хотя задания почти всегда
могут быть сформулированы так, что они пройдут процедуру анализа
(с корреляцией задание/общий показатель 0,2 и долей Р ответивших
в соответствии с ключом испытуемых в пределах от 0,20 до 0,80) в
обеих группах, даже для эффективных заданий эти оценки могут не
быть идентичными. Особенно важным здесь является коэффициент
Р, так как если он всегда больше, скажем, для мужчин, чем для
женщин, на большом количестве заданий, то это может привести к
влиянию пола испытуемых на результаты тестирования.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96