е. при 9 -> 0. Для заданий с пятью вариантами ответов С. = 0,2, с
четырьмя вариантами - С. = 0,25 и т.д.
Нетрудно заметить, что характеристическая кривая задания при
учете параметра С становится более пологой, так как 0 < С < 1,но
при всех С = 0 кривая поднимается над осью 9 на величину С.. Тем
самым даже самый неспособный испытуемый не может показать
нулевой результат. Дифференцирующая сила тестового задания при
введении параметра С. снижается. Из этого следует нетривиальный
вывод: тесты с "закрытыми" заданиями (вынужденным выбором от-
вета) хуже дифференцируют испытуемых по уровням свойства, чем
тесты с "открытыми" заданиями.
Модель Бирнбаума не объясняет парадоксального, но встречаю-
щегося в практике тестирования феномена: испытуемый может реже
выбирать правильный ответ, чем неправильный. Таким образом, час-
тота решения некоторых заданий может не соответствовать предска-
заниям модели Р. < С., тогда как, согласно модели Бирнбаума, в пре-
деле Р. = С..
Рассмотрим еще одну модель, которую предложил В.С.Аванесов.
Как мы уже заметили, в IRT не решается проблема валидности: ус-
пешность решения задачи зависит в моделях IRT только от одного
свойства. Иначе говоря, каждое задание теста считается априорно
валидным.
Аванссов обратил внимание на это обстоятельство и ввел допол-
нительный, четвертый, параметр, который можно обозначить как
внутреннюю валидность задания. Успешность решения задания оп-
ределяется нетолько "основной" способностью (6), но и множест-
вом условий, нерелевантных заданию, однако влияющих на деятель-
ность испытуемого.
Четырехпараметрическая модель представляет, по мнению ряда
исследователей, лишь теоретический интерес:
схра (в,-Р,)
р = с+ fv_Г ) -------
ч Ч (Ъ l+cxpa,(Q,-f>
где
у. - валидность тестового задания.
Ьсли у < 1, то тест не является абсолютно валиднным. Следова-
тельно, вероятность решения задания не только определяется тео-
ретически выделенным свойством, но и зависит от других психи-
ческих особенностей личности.
Бирнбаум считает, что количество информации, обеспеченное j-м
заданием теста, при оценивании 9. является величиной, обратно про-
порциональной стандартной ошибке измерения данного значения
9 j-м заданием. Более подробно вычисление информационной функ-
ции рассмотрено в работе М.Б.Челышковой.
Многие авторы, в частности Пол Клайн, отмечают, что IRT об-
ладает множеством недостатков. Для того, чтобы получить надеж-
ную и независимую от испытуемых шкалу свойств, требуется про-
вести тестирование большой выборки (не менее 1000 испытуемых).
Тестирование достижений показывает, что существуют значитель-
ные расхождения между предсказаниями модели и эмпирическими
данными.
В 1978 г. Вуддоказал, что любые произвольные данные могутбыть
приведены в соответствие с моделью Раша. Кроме того, существует
очень высокая корреляция шкал Раша с классическими тестовыми
шкалами (около 0,90).
Шкалирование, по мнению Раша, способно привести к образо-
ванию бессмысленных шкал. Например, попытка применить его мо-
дель к опроснику EPQ Айзенка породила смесь шкал N, Е, Р и L.
Главный же недостаток IRT - игнорирование проблемы валид-
ности. В психологической практике не наблюдается случаев, когда
ответы на задания теста были бы обусловлены лишь одним факто-
ром. Даже при тестировании общего интеллекта модели ГТ непри-
менимы.
Клайн рекомендует использовать модели IRT для коротких тес-
тов с валидными заданиями (факторно простые тесты).
В пособии Клайна "Справочное руководство по конструирова-
нию тестов" (Киев, 1994) приведен алгоритм конструирования тес-
тов на основе модели Раша.
В заключение рассмотрим вероятностную модель тестов "уров-
ня" Ф.М.Юсупова, аспиранталаборатории психологии способнос-
тей Института психологии РАН. Его модель разработана для тестов
с "закрытыми" заданиями (выбором ответов из множества), разли-
чающимися по уровню трудности. В "закрытых" тестах испытуемый
может применить стратегию "угадывания" ответа. Вероятность уга-
дывания
Р=1/т,
где
m - число альтернатив.
Сложность тестового задания
Wn/N,
п - число испытуемых, способных решить задание,
N - общее количество испытуемых в выборке валидизации.
При WP невозможно определить, решена задача случайно или за-
кономерно. Полагается, что биноминальное распределение вероят-
ности успешного выполнения тестового задания при больших N апп-
роксимируется нормальным.
Должны выполняться следующие условия:
1. Правильный ответ выбирается неслучайно, если:
егоэкспериментально полученная частота больше I/in:
это превышение статистически значимо;
оценить его можно с помощью t-критерия Стьюдента.
2. Все ложные варианты ответов должны выбираться нечаще, чем
случайные:
q=n,/N< 1/т,
п. - частота выбора неверного ответа.
Тем самым тестовое задание стимулирует испытуемого к выбору
правильного ответа.
3. В тестах "уровня" диапазон изменения показателя сложности
О W < 1 должен быть уменьшен "слева" на величину W, значимо
отличающуюся от W, в которой t = t (t- критерий Стьюдента).
Чем больше вариантов ответов в тесте, тем меньше W и шире об-
ласть допустимых значений показателя сложности тестового зада-
ния. Например, для N = 100, а= 0,05 (t. = 1,90) и 10>m>3 расчет
показывает, что уже при m > 6 скорость расширения области значе-
ний показателя сложности значимо замедляется. Поэтому рекомен-
дуется выбирать 6-10 вариантов ответа.
В тесте "уровня" число градаций сложности и число заданий свя-
зано. Чем точнее оценка свойства, тем больше число градаций. Но
это влечет снижение достоверности измерения, так как длина теста
(число заданий) ограниченна. Уменьшение числа градаций приве-
дет к нивелированию различий между испытуемыми.
Предельно возможное число заданий в тесте выбирается при ус-
ловии, что различие в уровне их сложности гарантируется с выбран-
ной вероятностью.
Поскольку дисперсия биноминального распределения максималь-
на в центре интервала 0 - 1 и уменьшается к периферии до 0, шаг
градаций сложности на разных участках этого интервала будет раз-
личным: на периферии он должен стремиться к нулю.
Удобно принять в качестве шага градации сложности 1/10 интер-
вала. Для а == 0,05, N = 100 получается 7 значений показателя слож-
ности, что при шаге, равном 0,1, гарантирует различение междууров-
нями с вероятностью 0,9.
Если учесть условие минимизации случайного выбора правиль-
ного ответа, то число градаций сложности должно быть еще мень-
ше. Например, при 6 вариантах ответа число заданий разного уров-
ня сложности не может быть больше 6.
Эти выводы верны в том случае, если биноминальное распреде-
ление аппроксимируется нормальным распределением.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84
четырьмя вариантами - С. = 0,25 и т.д.
Нетрудно заметить, что характеристическая кривая задания при
учете параметра С становится более пологой, так как 0 < С < 1,но
при всех С = 0 кривая поднимается над осью 9 на величину С.. Тем
самым даже самый неспособный испытуемый не может показать
нулевой результат. Дифференцирующая сила тестового задания при
введении параметра С. снижается. Из этого следует нетривиальный
вывод: тесты с "закрытыми" заданиями (вынужденным выбором от-
вета) хуже дифференцируют испытуемых по уровням свойства, чем
тесты с "открытыми" заданиями.
Модель Бирнбаума не объясняет парадоксального, но встречаю-
щегося в практике тестирования феномена: испытуемый может реже
выбирать правильный ответ, чем неправильный. Таким образом, час-
тота решения некоторых заданий может не соответствовать предска-
заниям модели Р. < С., тогда как, согласно модели Бирнбаума, в пре-
деле Р. = С..
Рассмотрим еще одну модель, которую предложил В.С.Аванесов.
Как мы уже заметили, в IRT не решается проблема валидности: ус-
пешность решения задачи зависит в моделях IRT только от одного
свойства. Иначе говоря, каждое задание теста считается априорно
валидным.
Аванссов обратил внимание на это обстоятельство и ввел допол-
нительный, четвертый, параметр, который можно обозначить как
внутреннюю валидность задания. Успешность решения задания оп-
ределяется нетолько "основной" способностью (6), но и множест-
вом условий, нерелевантных заданию, однако влияющих на деятель-
ность испытуемого.
Четырехпараметрическая модель представляет, по мнению ряда
исследователей, лишь теоретический интерес:
схра (в,-Р,)
р = с+ fv_Г ) -------
ч Ч (Ъ l+cxpa,(Q,-f>
где
у. - валидность тестового задания.
Ьсли у < 1, то тест не является абсолютно валиднным. Следова-
тельно, вероятность решения задания не только определяется тео-
ретически выделенным свойством, но и зависит от других психи-
ческих особенностей личности.
Бирнбаум считает, что количество информации, обеспеченное j-м
заданием теста, при оценивании 9. является величиной, обратно про-
порциональной стандартной ошибке измерения данного значения
9 j-м заданием. Более подробно вычисление информационной функ-
ции рассмотрено в работе М.Б.Челышковой.
Многие авторы, в частности Пол Клайн, отмечают, что IRT об-
ладает множеством недостатков. Для того, чтобы получить надеж-
ную и независимую от испытуемых шкалу свойств, требуется про-
вести тестирование большой выборки (не менее 1000 испытуемых).
Тестирование достижений показывает, что существуют значитель-
ные расхождения между предсказаниями модели и эмпирическими
данными.
В 1978 г. Вуддоказал, что любые произвольные данные могутбыть
приведены в соответствие с моделью Раша. Кроме того, существует
очень высокая корреляция шкал Раша с классическими тестовыми
шкалами (около 0,90).
Шкалирование, по мнению Раша, способно привести к образо-
ванию бессмысленных шкал. Например, попытка применить его мо-
дель к опроснику EPQ Айзенка породила смесь шкал N, Е, Р и L.
Главный же недостаток IRT - игнорирование проблемы валид-
ности. В психологической практике не наблюдается случаев, когда
ответы на задания теста были бы обусловлены лишь одним факто-
ром. Даже при тестировании общего интеллекта модели ГТ непри-
менимы.
Клайн рекомендует использовать модели IRT для коротких тес-
тов с валидными заданиями (факторно простые тесты).
В пособии Клайна "Справочное руководство по конструирова-
нию тестов" (Киев, 1994) приведен алгоритм конструирования тес-
тов на основе модели Раша.
В заключение рассмотрим вероятностную модель тестов "уров-
ня" Ф.М.Юсупова, аспиранталаборатории психологии способнос-
тей Института психологии РАН. Его модель разработана для тестов
с "закрытыми" заданиями (выбором ответов из множества), разли-
чающимися по уровню трудности. В "закрытых" тестах испытуемый
может применить стратегию "угадывания" ответа. Вероятность уга-
дывания
Р=1/т,
где
m - число альтернатив.
Сложность тестового задания
Wn/N,
п - число испытуемых, способных решить задание,
N - общее количество испытуемых в выборке валидизации.
При WP невозможно определить, решена задача случайно или за-
кономерно. Полагается, что биноминальное распределение вероят-
ности успешного выполнения тестового задания при больших N апп-
роксимируется нормальным.
Должны выполняться следующие условия:
1. Правильный ответ выбирается неслучайно, если:
егоэкспериментально полученная частота больше I/in:
это превышение статистически значимо;
оценить его можно с помощью t-критерия Стьюдента.
2. Все ложные варианты ответов должны выбираться нечаще, чем
случайные:
q=n,/N< 1/т,
п. - частота выбора неверного ответа.
Тем самым тестовое задание стимулирует испытуемого к выбору
правильного ответа.
3. В тестах "уровня" диапазон изменения показателя сложности
О W < 1 должен быть уменьшен "слева" на величину W, значимо
отличающуюся от W, в которой t = t (t- критерий Стьюдента).
Чем больше вариантов ответов в тесте, тем меньше W и шире об-
ласть допустимых значений показателя сложности тестового зада-
ния. Например, для N = 100, а= 0,05 (t. = 1,90) и 10>m>3 расчет
показывает, что уже при m > 6 скорость расширения области значе-
ний показателя сложности значимо замедляется. Поэтому рекомен-
дуется выбирать 6-10 вариантов ответа.
В тесте "уровня" число градаций сложности и число заданий свя-
зано. Чем точнее оценка свойства, тем больше число градаций. Но
это влечет снижение достоверности измерения, так как длина теста
(число заданий) ограниченна. Уменьшение числа градаций приве-
дет к нивелированию различий между испытуемыми.
Предельно возможное число заданий в тесте выбирается при ус-
ловии, что различие в уровне их сложности гарантируется с выбран-
ной вероятностью.
Поскольку дисперсия биноминального распределения максималь-
на в центре интервала 0 - 1 и уменьшается к периферии до 0, шаг
градаций сложности на разных участках этого интервала будет раз-
личным: на периферии он должен стремиться к нулю.
Удобно принять в качестве шага градации сложности 1/10 интер-
вала. Для а == 0,05, N = 100 получается 7 значений показателя слож-
ности, что при шаге, равном 0,1, гарантирует различение междууров-
нями с вероятностью 0,9.
Если учесть условие минимизации случайного выбора правиль-
ного ответа, то число градаций сложности должно быть еще мень-
ше. Например, при 6 вариантах ответа число заданий разного уров-
ня сложности не может быть больше 6.
Эти выводы верны в том случае, если биноминальное распреде-
ление аппроксимируется нормальным распределением.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84