Легче, однако, 100 разделить на 20, что
дает 5, а затем умножать каждое число на эту константу. Так, для зада-
ния 1 имеем: 15 х 5=75 (группа В), 7 х 5=35 (группа Н), и, следова-
тельно, D =73- 35 = 40. Значения D для оставшихся семи заданий при-
ведены в табл. 21.
D может принимать любое значение между + 100. Если все члены
группы В справились и никто из группы Н не справился с заданием, то
D = 100. И наоборот, если группа Н справилась, а группа В не справи-
лась с заданием, то D == -100. Если процент справившихся с заданием
в обеих группах одинаков, то D == 0. Индекс D обладает рядом инте-
ресных свойств. Было показано (R.L. Ebel, 1965; W.G. Findley, 1956), что
D прямо пропорционален разности между чис-
лом правильных и ошибочных различений,
выявляемых заданием. Правильные различения
определяются числом справившихся с зада- Таблица 21
нием в группе В в сравнении с числом не спра- Вычисление индекса различе-
вившихся в группе Н. Ошибочные различения """ ("Ї данным из табл. 19)
задаются числом не справившихся в группе ---
В в сравнении с числом справившихся в группе "яГ разность
Н. Р.Ибел (R.L.Ebel, 1967) также установил, с заданием (индекс
что между средним значением индекса заданий йопрос --различения)
D и коэффициентом надежности теста имеется грпя грша
тесная связь. Чем больше среднее D, тем выше ---
надежность, i 40
Заслуживает упоминания и другое свой- 2 10080 20
ство D, присущее и некоторым другим индек- 39545 50
сам валидности заданий. Показатель D небез-
различен к трудности и изменяется сильнее 68045 35
при среднем уровне трудности. В табл. 22 при- 7250 25
ведены максимальные значения D для заданий ____________________
Наблюдательный читатель, вероятно, заметил, что те же результаты можно полу-
192
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Таблица 22
Соотношеиме максимального
шачения D и трудности дада-
ПроцентМаксимальное
справившихсязначение
с заданиемВ
1000
9020
7060
50100
3060
1020
00
с различным процентом правильных ответов.
Если 100Їо или 0Їо всей выборки выполнили
задание, то результаты групп В и Н не разли-
чаются, так что D == 0. С другой стороны, если
с заданием справилось 50Їо членов выборки, не
исключено, что все они принадлежат к группе
В, и тогда D == 100. Если справилось 10Ї/о, то
максимальное значение D, отвечающее случаю,
когда все члены группы В справились с зада-
нием, а остальные 20"о приходятся на группу
Н, находится следующим образом: (В) 50/50 ==
= 100Їо; (Н) 20/50 = 40%; D = 100- 40 = 60.
Напомним, что для большинства тестов пред-
почтительней задания, уровень трудности ко-
торых близок к 0,50. Поэтому показатели ва-
лидности, принимающие максимальные значения при этом уровне
трудности, часто применяются для отбора заданий.
Коэффициент (р. Большинство индексов валидности заданий выра-
жают связь между ними и критерием в виде коэффициента корреляции.
Одним из них является коэффициент (р, вычисляемый по четырехпольной
таблице, содержащей число справившихся и не справившихся с заданием
в группах с высоким и низким значением критерия. Как и все коэффи-
циенты корреляции, показатель (р принимает значения между + 1,0
и предполагает наличие дихотомии как в результатах выполнения зада-
ния, так и в критериальных переменных. Следовательно, он применим
лишь к тем условиям дихотомии, для которых был найден и не может
быть перенесен на любые другие соотношения между свойствами, ко-
торые измеряет задание, и критерием. Как и индекс D, (р принимает наи-
большие значения для заданий средних уровней трудности, когда дихо-
томия близка к соотношению 50:50.
Существует ряд таблиц для определения коэффициента (р. При рав-
ном численном составе критериальных групп В и Н (р можно найти по
таблицам Иоргенсена (C.E.Jurgensen, 1947), составленным на основе
процентов выполнивших задание в каждой из этих групп. Поскольку при
анализе заданий обычно легко сделать группы В и Н численно равными,
эти таблицы находят широкое применение. Если же критериальные
группы неодинаковы по размеру, (р находят по серии таблиц Эдгертона
(H.A.Edgerton, 1960), хотя их применение требует больших затрат
времени.
Уровень значимости коэффициента (р нетрудно вычислить, исходя из
соотношения между ним, и соотношениями нормальной кривой. С по-
мощью последнего показателя можно найти минимальное (р, значимое
на уровне 0,05 или 0,01, по следующим формулам:
1,96
]//v
2,58
IV
В этих формулах N есть суммарное число испытуемых в обеих группах.
Так, если группы В и Н содержат по 50 человек, то N = 100, и минимум
(р, значимый на уровне 0,05, будет равен 1,96:1/100 = 0,196. Любое зна-
4fHWfffn ГЯ11ИМТТТДГТТТ1ТаП10 ff,r"-~---
193 АНАЛИЗ ЗАДАНИЙ
Бисериальная корреляция. В заключение рассмотрим весьма
распространенную меру валидности задания-коэффициент бисериальной
корреляции (rbis), отличающийся от (р в двух существенных моментах. Во-
первых, rjs предполагает существование непрерывного и нормального
распределения свойства, лежащего в основе ответов на дихотомические
задания. Во-вторых, г как мера отношений между заданием и крите-
рием не зависит от трудности задания. Для вычисления г нужно знать
среднее значение критериального показателя выполнивших и не выпол-
нивших задание, процент справившихся и не справившихся с заданием
по всей выборке и стандартное отклонение показателей критерия.
Подсчет всех необходимых параметров и применение для каждого за-
дания формулы бисериальной корреляции может оказаться весьма дли-
тельным процессом. Но существуют таблицы, с помощью которых мож-
но получить ?ь", зная процент справившихся с заданием в группах,
соответствующих верхним и нижним 1ЧЇ/о распределения значений крите-
рия (С. Т. Fan, 1952; 1954). С помощью этих таблиц по процентам спра-
вившихся с заданием в группах В и Н можно найти три величины: р, т. е.
процент справившихся с заданием по всей выборке; описанный ранее по-
казатель Д, являющийся мерой трудности задания в интервальной шка-
ле, и Гы" между заданием и критерием. Но таблицами можно пользовать-
ся при условии, что В и Н содержат каждая в точности 27Їо всей
выборки.
Способа, который позволял бы точно рассчитать уровни значимости
для так оцениваемой бисериальной корреляции, не существует. Однако
было установлено, что их стандартные ошибки несколько больше, чем для
коэффициентов бисериальной корреляции, подсчитанных обычным пу-
тем. Это значит, что коэффициент г, полученный по таблицам Фана,
сильнее колеблется от выборки к выборке, чем г, вычисленный по фор-
муле. Принимая это во внимание, можно использовать стандартную
ошибку г, чтобы приблизительно оценить, насколько большой должна
быть статистически значимая корреляция. И в этом случае вычисли-
тельная техника позволяет легко определить значение бисериальной кор-
реляции, основываясь на более адекватной процедуре, т.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143
дает 5, а затем умножать каждое число на эту константу. Так, для зада-
ния 1 имеем: 15 х 5=75 (группа В), 7 х 5=35 (группа Н), и, следова-
тельно, D =73- 35 = 40. Значения D для оставшихся семи заданий при-
ведены в табл. 21.
D может принимать любое значение между + 100. Если все члены
группы В справились и никто из группы Н не справился с заданием, то
D = 100. И наоборот, если группа Н справилась, а группа В не справи-
лась с заданием, то D == -100. Если процент справившихся с заданием
в обеих группах одинаков, то D == 0. Индекс D обладает рядом инте-
ресных свойств. Было показано (R.L. Ebel, 1965; W.G. Findley, 1956), что
D прямо пропорционален разности между чис-
лом правильных и ошибочных различений,
выявляемых заданием. Правильные различения
определяются числом справившихся с зада- Таблица 21
нием в группе В в сравнении с числом не спра- Вычисление индекса различе-
вившихся в группе Н. Ошибочные различения """ ("Ї данным из табл. 19)
задаются числом не справившихся в группе ---
В в сравнении с числом справившихся в группе "яГ разность
Н. Р.Ибел (R.L.Ebel, 1967) также установил, с заданием (индекс
что между средним значением индекса заданий йопрос --различения)
D и коэффициентом надежности теста имеется грпя грша
тесная связь. Чем больше среднее D, тем выше ---
надежность, i 40
Заслуживает упоминания и другое свой- 2 10080 20
ство D, присущее и некоторым другим индек- 39545 50
сам валидности заданий. Показатель D небез-
различен к трудности и изменяется сильнее 68045 35
при среднем уровне трудности. В табл. 22 при- 7250 25
ведены максимальные значения D для заданий ____________________
Наблюдательный читатель, вероятно, заметил, что те же результаты можно полу-
192
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Таблица 22
Соотношеиме максимального
шачения D и трудности дада-
ПроцентМаксимальное
справившихсязначение
с заданиемВ
1000
9020
7060
50100
3060
1020
00
с различным процентом правильных ответов.
Если 100Їо или 0Їо всей выборки выполнили
задание, то результаты групп В и Н не разли-
чаются, так что D == 0. С другой стороны, если
с заданием справилось 50Їо членов выборки, не
исключено, что все они принадлежат к группе
В, и тогда D == 100. Если справилось 10Ї/о, то
максимальное значение D, отвечающее случаю,
когда все члены группы В справились с зада-
нием, а остальные 20"о приходятся на группу
Н, находится следующим образом: (В) 50/50 ==
= 100Їо; (Н) 20/50 = 40%; D = 100- 40 = 60.
Напомним, что для большинства тестов пред-
почтительней задания, уровень трудности ко-
торых близок к 0,50. Поэтому показатели ва-
лидности, принимающие максимальные значения при этом уровне
трудности, часто применяются для отбора заданий.
Коэффициент (р. Большинство индексов валидности заданий выра-
жают связь между ними и критерием в виде коэффициента корреляции.
Одним из них является коэффициент (р, вычисляемый по четырехпольной
таблице, содержащей число справившихся и не справившихся с заданием
в группах с высоким и низким значением критерия. Как и все коэффи-
циенты корреляции, показатель (р принимает значения между + 1,0
и предполагает наличие дихотомии как в результатах выполнения зада-
ния, так и в критериальных переменных. Следовательно, он применим
лишь к тем условиям дихотомии, для которых был найден и не может
быть перенесен на любые другие соотношения между свойствами, ко-
торые измеряет задание, и критерием. Как и индекс D, (р принимает наи-
большие значения для заданий средних уровней трудности, когда дихо-
томия близка к соотношению 50:50.
Существует ряд таблиц для определения коэффициента (р. При рав-
ном численном составе критериальных групп В и Н (р можно найти по
таблицам Иоргенсена (C.E.Jurgensen, 1947), составленным на основе
процентов выполнивших задание в каждой из этих групп. Поскольку при
анализе заданий обычно легко сделать группы В и Н численно равными,
эти таблицы находят широкое применение. Если же критериальные
группы неодинаковы по размеру, (р находят по серии таблиц Эдгертона
(H.A.Edgerton, 1960), хотя их применение требует больших затрат
времени.
Уровень значимости коэффициента (р нетрудно вычислить, исходя из
соотношения между ним, и соотношениями нормальной кривой. С по-
мощью последнего показателя можно найти минимальное (р, значимое
на уровне 0,05 или 0,01, по следующим формулам:
1,96
]//v
2,58
IV
В этих формулах N есть суммарное число испытуемых в обеих группах.
Так, если группы В и Н содержат по 50 человек, то N = 100, и минимум
(р, значимый на уровне 0,05, будет равен 1,96:1/100 = 0,196. Любое зна-
4fHWfffn ГЯ11ИМТТТДГТТТ1ТаП10 ff,r"-~---
193 АНАЛИЗ ЗАДАНИЙ
Бисериальная корреляция. В заключение рассмотрим весьма
распространенную меру валидности задания-коэффициент бисериальной
корреляции (rbis), отличающийся от (р в двух существенных моментах. Во-
первых, rjs предполагает существование непрерывного и нормального
распределения свойства, лежащего в основе ответов на дихотомические
задания. Во-вторых, г как мера отношений между заданием и крите-
рием не зависит от трудности задания. Для вычисления г нужно знать
среднее значение критериального показателя выполнивших и не выпол-
нивших задание, процент справившихся и не справившихся с заданием
по всей выборке и стандартное отклонение показателей критерия.
Подсчет всех необходимых параметров и применение для каждого за-
дания формулы бисериальной корреляции может оказаться весьма дли-
тельным процессом. Но существуют таблицы, с помощью которых мож-
но получить ?ь", зная процент справившихся с заданием в группах,
соответствующих верхним и нижним 1ЧЇ/о распределения значений крите-
рия (С. Т. Fan, 1952; 1954). С помощью этих таблиц по процентам спра-
вившихся с заданием в группах В и Н можно найти три величины: р, т. е.
процент справившихся с заданием по всей выборке; описанный ранее по-
казатель Д, являющийся мерой трудности задания в интервальной шка-
ле, и Гы" между заданием и критерием. Но таблицами можно пользовать-
ся при условии, что В и Н содержат каждая в точности 27Їо всей
выборки.
Способа, который позволял бы точно рассчитать уровни значимости
для так оцениваемой бисериальной корреляции, не существует. Однако
было установлено, что их стандартные ошибки несколько больше, чем для
коэффициентов бисериальной корреляции, подсчитанных обычным пу-
тем. Это значит, что коэффициент г, полученный по таблицам Фана,
сильнее колеблется от выборки к выборке, чем г, вычисленный по фор-
муле. Принимая это во внимание, можно использовать стандартную
ошибку г, чтобы приблизительно оценить, насколько большой должна
быть статистически значимая корреляция. И в этом случае вычисли-
тельная техника позволяет легко определить значение бисериальной кор-
реляции, основываясь на более адекватной процедуре, т.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143