Однако применительно к более высоким
уровням знаний в сравнительно мало структурированных областях труд-
но и, по-видимому, нежелательно формулировать цели с предельной кон-
кретностью. В этих случаях как само содержание, так и последователь-
ность его усвоения, вероятно, должны быть более гибкими.
Вместе с тем своим акцентом на содержательном смысле интерпре-
тации тестовых показателей критериально-ориентированное тестирова-
ние может оказать благотворное влияние на тестирование в целом. От
такого подхода выигрывает, например, интерпретация показателей те-
стов интеллекта. Если выполнение ребенком заданий таких тестов
описывать в терминах специфических интеллектуальных навыков и зна-
ний, то это устранило бы многие нападки на IQ, вызванные недоразуме-
ниями и неправильными представлениями. В общем виде критериально-
ориентированный подход равносилен интерпретации тестовых результа-
тов соответственно доказанной валидности конкретного теста, а не
посредством неких туманных сущностей, лежащих в его основе. Разуме-
ется, такая интерпретация может сочетаться с отнесением результатов
к нормам.
Тестирование овладения навыком. Второй важной особен-
ностью почти любого критериально-ориентированного теста является ме-
тодика тестирования овладения навыком. Существенно, что оценка вы-
полнения заданий в этом случае производится по принципу <все или
В идеале такие тесты следуют симплексной модели шкалы Гуттмана (W.J. Ро-
pham, T.R. Husek, 1969), так же как и уже обсуждавшиеся в этой главе порядковые шкалы
-r--- - -
Вследстви епени трудно.
,
95
НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
Следует отметить, что критериально-ориентированное тестирование
вовсе не так ново и не столь уж сильно отличается от тестирования,
ориентированного на нормы, как полагают некоторые из его сторонни-
ков. Абсолютная оценка индивидуального выполнения теста в баллах
или процентах, несомненно, намного старше нормативной интерпрета-
ции. Еще до введения термина <критериально-ориентированное тестиро-
вание> делались попытки более точно описать выполнение теста с точки
зрения его содержания (R.L. Ebel, 1962; J.C. Flanagan, 1962; A. Anastasi,
1968, p. 69-70). Другим примером могут служить первые шкалы продук-
тивности, оценивавшие качество почерка, сочинений или рисунков сопо-
ставлением индивидуальной работы с серией стандартных эталонов. Бо-
лее того, Р. Л. Ибел (R.L. Ebel, 1972Ь) заметил, что в педагогике понятие
<овладение навыком>, означающее усвоение определенных единиц зна-
ния по принципу <все или ничего>, было достаточно популярным
в 20-30-х гг. нашего столетия, но позднее было забыто.
В том или ином виде нормы всегда дают о себе знать независимо от
того, как выражаются показатели теста (W.H. Angoff, 1974). Сам выбор
содержания или навыков, подлежащих измерению, определяется знанием
экспериментатора, чего можно добиться от испытуемого на определен-
ном уровне его развития или обучения. Такой выбор предполагает нали-
чие сведений о том, как в подобных ситуациях действовали другие испы-
туемые. Более того, наложение дихотомии <овладел-не овладел> на
континуум умений не снимает индивидуальных различий. Например, ес-
ли уровень понимания текста задается формулировкой <умение понять
содержание газеты <Нью-Йорк Тайме>, то все еще остается достаточно
места для значительных индивидуальных различий в степени понимания.
Прогностические таблицы. Результаты теста можно также
интерпретировать в соответствии с критерием ожидаемого выполнения
предстоящей программы обучения или работы. В этом случае термин
<критерий> употребляется сообразно тому, как это вообще принято
в психометрии, т. е. так, как, скажем, в выражении <валидность теста
определяется относительно некоторого критерия> (см. гл. 2). Строго го-
воря, термин <критериально-ориентированное тестирование> должен
был бы относиться к этому типу интерпретации выполнения теста, тогда
как другие подходы, обсуждавшиеся в этом разделе, правильнее было бы
назвать отнесением к содержанию. Собственно, именно эта терминоло-
гия и используется в тестовых стандартах Американской психологиче-
ской ассоциации (Standards.., 1974).
В прогностической таблице приводится вероятность различных кри-
териальных результатов испытуемых в зависимости от полученного ими
результата теста. Например, если учащийся в тесте SAT показал резуль-
тат 530, то каковы шансы на то, что первый курс колледжа он закончит
со средней оценкой А, В, С, D или f? Информацию такого рода можно
получить, сверив двумерное распределение показателей предиктора
В американских колледжах и старших классах средних школ принята следующая
система оценки успеваемости. По каждому предмету учащийся получает итоговую оценку
по пятибалльной системе А, В, С, D и F. Эти балльные оценки переводятся в цифровую
форму: А приравнивается к 4 (наивысший балл), В-к 3, С-к 2, D-к 1 и. наконец, FK 0.
Каждая из полученных оценок в цифровом выражении умножается на зачетное число ча-
сов по соответствующему предмету. Все такие произведения складываются, и результат
делится на сумму зачетных часов по всем предметам. Полученная таким образом средняя
90 11"ИНЦИ11Ы ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
(SAT) с критерием будущего статуса (средняя оценка успеваемости пер-
вокурсника). Заменив число случаев в каждой ячейке такого двумерного
распределения на проценты, мы получим прогностическую таблицу.
Примером может служить табл. 6, в которой представлены данные, по-
лученные мальчиками-старшеклассниками (всего 171 человек), записав-
шимися на курс истории США. В качестве предиктора здесь использо-
ван показатель теста словесного мышления из батареи DAT, применен-
ного в начале курса, а в качестве критерия будущего статуса-оценки, по-
лученные по окончании курса. Корреляция между показателем теста
и данным критерием составила 0,66.
В первой колонке табл. 6 приведены тестовые результаты, распреде-
ление на классы интервалов, во второй-число учеников, результаты ко-
торых попали в тот или иной интервал. Остальные цифры таблицы
указывают процент учеников из каждого интервала значений предикто-
ра, получивших ту или иную оценку по окончании курса. Так, из 46 уче-
ников, получивших в тесте на словесное мышление 40 и более очков, 15Їо
получили оценки в 100-балльной системе в интервале 70-79, 22Їо-в ин-
тервале 80-89 и 63Їо-90 и выше. С другой стороны, из 46 учеников, по-
казавших в тесте результат ниже 20, 30Ї получили оценки ниже 70,
52Їо-между 70 и 79 и 17Їо-между 80 и 89. В пределах рассматриваемых
данных эти проценты лучше всего выражают вероятность получения ин-
дивидом того или иного критериального балла.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143
уровням знаний в сравнительно мало структурированных областях труд-
но и, по-видимому, нежелательно формулировать цели с предельной кон-
кретностью. В этих случаях как само содержание, так и последователь-
ность его усвоения, вероятно, должны быть более гибкими.
Вместе с тем своим акцентом на содержательном смысле интерпре-
тации тестовых показателей критериально-ориентированное тестирова-
ние может оказать благотворное влияние на тестирование в целом. От
такого подхода выигрывает, например, интерпретация показателей те-
стов интеллекта. Если выполнение ребенком заданий таких тестов
описывать в терминах специфических интеллектуальных навыков и зна-
ний, то это устранило бы многие нападки на IQ, вызванные недоразуме-
ниями и неправильными представлениями. В общем виде критериально-
ориентированный подход равносилен интерпретации тестовых результа-
тов соответственно доказанной валидности конкретного теста, а не
посредством неких туманных сущностей, лежащих в его основе. Разуме-
ется, такая интерпретация может сочетаться с отнесением результатов
к нормам.
Тестирование овладения навыком. Второй важной особен-
ностью почти любого критериально-ориентированного теста является ме-
тодика тестирования овладения навыком. Существенно, что оценка вы-
полнения заданий в этом случае производится по принципу <все или
В идеале такие тесты следуют симплексной модели шкалы Гуттмана (W.J. Ро-
pham, T.R. Husek, 1969), так же как и уже обсуждавшиеся в этой главе порядковые шкалы
-r--- - -
Вследстви епени трудно.
,
95
НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
Следует отметить, что критериально-ориентированное тестирование
вовсе не так ново и не столь уж сильно отличается от тестирования,
ориентированного на нормы, как полагают некоторые из его сторонни-
ков. Абсолютная оценка индивидуального выполнения теста в баллах
или процентах, несомненно, намного старше нормативной интерпрета-
ции. Еще до введения термина <критериально-ориентированное тестиро-
вание> делались попытки более точно описать выполнение теста с точки
зрения его содержания (R.L. Ebel, 1962; J.C. Flanagan, 1962; A. Anastasi,
1968, p. 69-70). Другим примером могут служить первые шкалы продук-
тивности, оценивавшие качество почерка, сочинений или рисунков сопо-
ставлением индивидуальной работы с серией стандартных эталонов. Бо-
лее того, Р. Л. Ибел (R.L. Ebel, 1972Ь) заметил, что в педагогике понятие
<овладение навыком>, означающее усвоение определенных единиц зна-
ния по принципу <все или ничего>, было достаточно популярным
в 20-30-х гг. нашего столетия, но позднее было забыто.
В том или ином виде нормы всегда дают о себе знать независимо от
того, как выражаются показатели теста (W.H. Angoff, 1974). Сам выбор
содержания или навыков, подлежащих измерению, определяется знанием
экспериментатора, чего можно добиться от испытуемого на определен-
ном уровне его развития или обучения. Такой выбор предполагает нали-
чие сведений о том, как в подобных ситуациях действовали другие испы-
туемые. Более того, наложение дихотомии <овладел-не овладел> на
континуум умений не снимает индивидуальных различий. Например, ес-
ли уровень понимания текста задается формулировкой <умение понять
содержание газеты <Нью-Йорк Тайме>, то все еще остается достаточно
места для значительных индивидуальных различий в степени понимания.
Прогностические таблицы. Результаты теста можно также
интерпретировать в соответствии с критерием ожидаемого выполнения
предстоящей программы обучения или работы. В этом случае термин
<критерий> употребляется сообразно тому, как это вообще принято
в психометрии, т. е. так, как, скажем, в выражении <валидность теста
определяется относительно некоторого критерия> (см. гл. 2). Строго го-
воря, термин <критериально-ориентированное тестирование> должен
был бы относиться к этому типу интерпретации выполнения теста, тогда
как другие подходы, обсуждавшиеся в этом разделе, правильнее было бы
назвать отнесением к содержанию. Собственно, именно эта терминоло-
гия и используется в тестовых стандартах Американской психологиче-
ской ассоциации (Standards.., 1974).
В прогностической таблице приводится вероятность различных кри-
териальных результатов испытуемых в зависимости от полученного ими
результата теста. Например, если учащийся в тесте SAT показал резуль-
тат 530, то каковы шансы на то, что первый курс колледжа он закончит
со средней оценкой А, В, С, D или f? Информацию такого рода можно
получить, сверив двумерное распределение показателей предиктора
В американских колледжах и старших классах средних школ принята следующая
система оценки успеваемости. По каждому предмету учащийся получает итоговую оценку
по пятибалльной системе А, В, С, D и F. Эти балльные оценки переводятся в цифровую
форму: А приравнивается к 4 (наивысший балл), В-к 3, С-к 2, D-к 1 и. наконец, FK 0.
Каждая из полученных оценок в цифровом выражении умножается на зачетное число ча-
сов по соответствующему предмету. Все такие произведения складываются, и результат
делится на сумму зачетных часов по всем предметам. Полученная таким образом средняя
90 11"ИНЦИ11Ы ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
(SAT) с критерием будущего статуса (средняя оценка успеваемости пер-
вокурсника). Заменив число случаев в каждой ячейке такого двумерного
распределения на проценты, мы получим прогностическую таблицу.
Примером может служить табл. 6, в которой представлены данные, по-
лученные мальчиками-старшеклассниками (всего 171 человек), записав-
шимися на курс истории США. В качестве предиктора здесь использо-
ван показатель теста словесного мышления из батареи DAT, применен-
ного в начале курса, а в качестве критерия будущего статуса-оценки, по-
лученные по окончании курса. Корреляция между показателем теста
и данным критерием составила 0,66.
В первой колонке табл. 6 приведены тестовые результаты, распреде-
ление на классы интервалов, во второй-число учеников, результаты ко-
торых попали в тот или иной интервал. Остальные цифры таблицы
указывают процент учеников из каждого интервала значений предикто-
ра, получивших ту или иную оценку по окончании курса. Так, из 46 уче-
ников, получивших в тесте на словесное мышление 40 и более очков, 15Їо
получили оценки в 100-балльной системе в интервале 70-79, 22Їо-в ин-
тервале 80-89 и 63Їо-90 и выше. С другой стороны, из 46 учеников, по-
казавших в тесте результат ниже 20, 30Ї получили оценки ниже 70,
52Їо-между 70 и 79 и 17Їо-между 80 и 89. В пределах рассматриваемых
данных эти проценты лучше всего выражают вероятность получения ин-
дивидом того или иного критериального балла.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143