Что такое дистракторы в тестах
Вадим Аванесов: Дистракторный анализ
«Мир постоянно изменяется и подаёт нам сигналы.
реагировать на них, то есть изменяться.
как саму реальность, так и её восприятие».
Рассматриваются вопросы оценки качества правдоподобных, но неправильных ответов к заданиям в тестовой форме. Так в теории педагогических измерений называются дистракторы, от которых зависит качество отдельного задания и теста в целом. Хороший дистрактор выглядят подходящим ответом для тех, кто не знает правильный ответа.
Чем больше некачественных дистракторов в заданиях теста, тем хуже его качество.
Невнимание к вопросам разработки дистракторов привело к тому, что самым слабым местом в т.н. едином государственном экзамене (ЕГЭ) оказались именно неумело написанные дистракторы. Писать их должны были специально обученные разработчики, но руководители ЕГЭ пренебрегли необходимостью их обучения. В итоге, из-за высокого процента угадываемости правильных ответов, возникла инфляция баллов ЕГЭ. Кроме того, в заданиях появились алогизмы, ухудшилось понимание смысла заданий, что и предопределило низкое качество самого государственного экзамена (1).
Рассмотрены два метода оценки качества дистракторов – один используется в статистической (классической) теории педагогических измерений. Другой метод оценки качества дистракторов применяется в математической теории измерений (Item Response Theory, IRT).
Введение
Вот уже более ста лет в практике применяются задания с выбором одного правильного ответа. И не виден пока переход к заданиям с выбором нескольких правильных ответов или к заданиям других форм.
Между тем, задания с выбором только одного правильного ответа имеют зримые недостатки. В них довольно высока вероятность угадывания правильного ответа. Эти задания формируют т.н. конвергентное мышление, связанное с поиском одного решения учебных и иных проблем, хотя в реальности решений может быть несколько. Отсюда потребность формирования т.н. дивергентного мышления, способствующего поиску нескольких правильных решений. Например, лечение какой-то болезни сейчас редко происходит с применением только одно лекарства. На разных этапах лечения используются несколько лекарственных форм. Не случайно задания с выбором только одного ответа стали главным предметом критики со стороны тех педагогов, которые противостоят применению тестовых формы при обучении и аттестации учащихся и студентов.
Определение
Психологический смысл применения дистрактора заключается в создании интерферентной среды тестирования, которая развивает рефлексивное мышление. В такой среде один ответ кажется привлекательнее другого: при этом приходится искать аргументы в пользу правильности того или иного ответа. В итоге появляется привычка аргументировать выбор ответа. Известно, что аргументированные знания всегда ценнее и прочнее знаний неаргументированных.
Пример задания с выбором одного правильного ответа
Рассмотрим пример задания с выбором одного правильного ответа из пяти ответов. Задание начинается с инструкции: «Нажимайте на клавишу с номером правильного ответа»:
1.КАРЛ МАРКС РОДИЛСЯ В
Отсюда берёт начало понимание необходимости предварительной, до начала тестирования, проверки приемлемости каждого дистрактора в данной или похожей группе испытуемых. В этом и заключается исходная идея проведения анализа частоты выбора испытуемыми каждого неправильного ответа к заданиям проектируемого теста.
Если незнающие испытуемые дистрактор выбирают достаточно часто, то это означает, что он эффективен.
Алогизмы
1.ВОССТАНИЕ СПАРТАКА БЫЛО
г) пока еще не было (2)
Здесь логическая ошибка заключается в том, что в одном и том же задании одновременно утверждается, что восстание было и «пока ещё не было».
1.ПРИЕХАВ В СТОЛИЦУ,
1)всех поражает шум и суета;
2) у вас не будет времени сходить в музей;
3)идите сразу на Красную площадь;
4)у меня было прекрасное настроение (3).
Здесь оказались неопределёнными и размытыми содержание и предмет задания.
Актуальность дистракторного анализа
Ежегодно по всему миру миллионы школьников и студентов подвергаются тестированию, добровольно или принудительно, по множеству различных тестов. В России качественного тестового процесса нет, и пока что он не предвидится. Вместо него используется ряд тестоподобных форм, которые применяются при проведении единого государственного экзамена и при аттестации студентов высших ученых заведений.
Необходимость проведения дистракторного анализа вытекает из логики организации качественного процесса педагогического тестирования. Не бывает теста без качественных тестовых заданий. Не бывает и хороших тестовых заданий, без качественных и эффективных дистракторов. Поэтому без проведения дистракторного анализа и публикации информации о качестве каждого использованного задания и ответа к ним утверждения о качестве тестов или измерений носят предположительный характер.
Важный вопрос
Невольно напрашивается вопрос: а в российском ЕГЭ проводят дистракторный анализ? Науке это не известно. В отчётах Федерального института педагогических измерений (ФИПИ) нет информации по данному вопросу. Стараниями лоббистов ЕГЭ в Государственной Думе эта полезная научно-педагогическая информация превратилась в надуманный государственный секрет. Так им удалось скрыть недостатки ЕГЭ от научной критики. И это больше, чем ошибка.
Если дистракторный анализ не проводится, и результаты выбраковки неудачных заданий не публикуются, то в практике ошибочные дистракторы становятся главной причиной негодности заданий. Именно отсюда начинаются истоки некачественности т.н. КИМов ЕГЭ. В основном по причине негодности дистракторов они так и не стали методом педагогических измерений (1). Научную критику творцы единого государственного экзамена во внимание не принимали. Где такое возможно?
Дистракторный анализ, в нормальных условиях проведения тестирования на научной основе педагогических измерений, – обязательный и неизменный спутник разработчика заданий в тестовой форме. В ЕГЭ это оказалось не так.
Пример задания с выбором нескольких правильных ответов
Сейчас почти везде начинают применяться задания с выбором нескольких правильных ответов (4). Они тоже начинаются с инструкции, но с другой: «Вашему вниманию предлагаются задания, в которых могут быть один, два, три и большее число правильных ответов. Нажимайте на клавиши с номерами всех правильных ответов».
4. БУКВА «О» ПИШЕТСЯ В CЛОВАХ
3)р. птать на судьбу
4)прил. скать собаку
5)отк. заться от услуг
6)опр. вдать поступок
7)угр. жать расправой
8)в. пиющий произвол
9)раск. лить сковороду
10)усл. жнить обстановку
Безошибочный выбор всех правильных ответов в каждом задании с выбором нескольких правильных ответов обычно оценивается двумя баллами. За одну допущенную ошибку один балл снижается. За вторую допущенную ошибку снижается ещё один балл. Таким образом, две допущенные ошибки обнуляют ответ испытуемого. Три и большее число возможных ошибок редко когда учитываются. Они указывают на глубину незнания.
В итоге оценка за выполнение каждого задания имеет три градации: 2-1-0. Впрочем, в некоторых случаях количество градаций может меняться, если на это есть статистические обоснования.
Задания с выбором нескольких правильных ответов труднее заданий с выбором одного правильного ответа. Они проверяют знания полнее, глубже и точнее. Они технологичнее и эффективнее заданий с выбором одного правильного ответа. Это перспективные задания для образовательных технологий XXI века.
Необходимость эмпирического обоснования качества дистракторов
Качество дистрактора формируется совокупностью свойств, повышающих у испытуемых вероятность его выбора в процессе тестирования. Это могут быть высокая правдоподобность неправильного ответа, привлекательная кажущаяся оригинальность, краткость, кажущаяся обоснованность или парадоксальность. Хорошие дистракторы обычно создаются опытными педагогами, которые знают типичные ошибки учащихся и студентов.
Если предполагаемый дистрактор не выбирается ни одним испытуемым, то это может означать, что он не обладает свойствами дистрактора. Это случай несоответствия названия его сути, а потому теряется право на название дистрактора. Задание надо переформулировать и опробовать заново с другими дистракторами. При отсутствии возможности замены негодных дистракторов количество ответов приходится сокращать.
В практике обычно тяготеют к разработке заданий с одинаковым числом ответов. Однако не всегда можно придумать достаточное и одинаковое для всех заданий число дистракторов. Поэтому число ответов в каждом задании не обязательно должно быть одинаковым. Так же не одинаковым должно быть соотношение числа правильных и неправильных ответов в каждом задании.
Эффективность дистрактора
Дистрактор можно считать эффективным, если его выбирает заметная часть испытуемых, имеющих низкую подготовленность. Этот факт может означать, что он хорошо выполняет свою миссию дифференциации испытуемых по уровню неподготовленности. Но если дистрактор оказывается привлекательным и для испытуемых с высоким уровнем подготовленности, то это алогичное, нежелательное свойство дистрактора. Этот случай может означать необходимость переформулирования как самого задания, так и ответа. Бывают особые случаи, когда хорошо подготовленные испытуемые выбирают тот или иной неправильный ответ. Причины такого ошибочного выбора подлежат тщательному содержательному анализу.
Методы проведения дистракторного анализа
В практике тестирования используется два метода проведения дистракторного анализа.
Первый метод можно условно назвать частотным или процентным. В нём за основу берётся частота выбора каждого ответа на множестве испытуемых так называемой целевой группы. Чем выше процент выбора неправильного ответа, тем выше его привлекательность.
Применение IRT для проведения дистракторного анализа
Второй метод основан на IRT. Среди многочисленных применений IRT для решения прикладных образовательных задач в данной статье рассматривается вариант использования IRT для проведения т.н. дистракторного анализа качества заданий в тестовой форме. Напомним, что дистракторами называют неправильные, но правдоподобные ответы в заданиях с выбором одного или нескольких правильных ответов.
Посмотрим на пример задания И. Парчева с выбором одного правильного ответа, из трёх, предлагаемых на выбор (5).
5.ПЛОЩАДЬ КРУГА С РАДИУСОМ 3 см РАВНА
Поскольку каждый испытуемый может выбрать только один ответ из трёх предлагаемых взаимоисключающих случаев, то применима теорема сложения вероятностей: сумма вероятностей выбора любого одного из трёх ответов равна 1.
Рисунок 1
И, наконец, выбор только третьего ответа может свидетельствовать о знании и умении применить формулу для определения площади круга. Соответственно, первый график, изображённый на рис. 1, показывает, что по мере роста уровня подготовленности испытуемых вероятность выбора первого ответа заметно уменьшается. Этот математический факт вполне согласуется с педагогической логикой. Чем выше уровень подготовленности испытуемых, тем меньше следует ожидать выбора неправильного ответа. Этот ответ в качестве правильного могут выбирать только незнающие испытуемые.
Второй график, изображённый на рис.1, показывает на иной характер изменения вероятности выбора испытуемыми второго, интерферентного, т.е. мешаюшего, похожего на правильный ответ, дистрактора. Из графика этой функции видно, как меняется вероятность выбора второго ответа в зависимости от уровня подготовленности испытуемых. Максимум вероятности выбора такого ответа приходится на испытуемых среднего уровня подготовленности.
И только график третьей функции, изображённый на рисунке 1, чётко указывает на педагогически осмысленное поведение испытуемых с хорошей подготовкой: чем выше уровень подготовленности испытуемых, тем выше у них вероятность правильного ответа.
Заключение
Качество и эффективность дистракторов можно улучшить вместе с качеством каждого задания в тестовой форме.
Для этого рекомендуется:
1)представлять задания в логической форме высказывания, а не вопроса;
2) устранять в заданиях слова в повелительном наклонении, типа «оцените», «назовите», «решите» и т.п.;
3) прибавить число ответов, там, где можно, с целью уменьшить вероятность угадывания. Число ответов и правильных ответов в разных заданиях может быть разным. Они не должны быть одинаковым во всех заданиях;
4) использовать в тесте для проверки знаний, в основном, задания с выбором нескольких правильных ответов. Такие задания практически исключают догадку;
5) в ответах вместо номера и точки лучше писать номер и круглую скобку, что даёт возможность писать текст ответов со строчных букв.
2. Источник: Российская газета, 23 марта 2001г.
3. Педагогическая диагностика, N2, 2004, с.88. Задание написано так, как это было написано в источнике.
4. Аванесов В.С. Форма тестовых заданий. М. Центр тестирования. 2006. 156 с.
Дистрактор (тестология)
Дистракторы используются для отвлечения внимания участников оценки, которые либо плохо знакомы с предметом, либо совсем не знают правильный ответ и пытаются его угадать. С психометрической точки зрения дистракторы должны увеличивать вероятность неправильных ответов, сохраняя при этом его дискриминативность (различительную способность). Хорошо разработанные дистракторы должны «притягивать» плохо знающих (или совсем незнающих) участников оценки, при этом хорошо знающие не должны «попадаться» на них. По результатам психометрического анализа определяют так называемые «слабые» дистракторы, которые по статистике выбирают очень мало участников, и «сильные» — те, которые выбирают многие.
Разработка дистракторов [ | ]
Разработка дистракторов требует определённых навыков от разработчиков, так как поначалу довольно сложно придумывать правдоподобные ответы, которые при этом точно являются неправильными. Для эффективной разработки необходимо понимать «психологику» участника оценки (логику участников, которые пытаются «угадать» верный ответ, имитируя логику мышления автора). Плохо знающие участники пытаются найти знакомые и подходящие к теме ответы. Участники, полностью не знающие ответ, пытаются угадать по формальным признакам (самый длинный ответ, самый умный ответ и т. п.).
Разработчик тестового задания должен создать дистракторы для обеих категорий участников. Примеры возможных дистракторов для полностью незнающих ответ:
Дистракторы для «плохо знающих» писать сложнее. Вот наиболее частые приемы:
Существуют определённые требования по количеству вариантов ответа в задании теста и, соответственно, по количеству дистракторов. Для заданий с выбором одного правильного ответа (multiple choice) минимально допустимым является 4 варианта ответа (следовательно, 3 дистрактора). Для заданий с выбором нескольких вариантов ответа (multiple response) жёстких требований нет, но рекомендуется придумывать не менее 5 вариантов ответа и не менее 3 дистракторов.
Самая частая ошибка при разработке дистракторов — это так называемая «частичная правильность». Это ситуация, когда «неправильный» ответ кажется неправильным только автору тестового задания (или же какой-то определённой группе участников оценки). При этом непредвзятый анализ ответов может показать, что с определённой точки зрения дистрактор вполне можно назвать правильным ответом. Преодолеть эту проблему можно, проводя экспертизу разработанных заданий — решение теста предметными экспертами (не авторами заданий), которые могут выявить и устранить частичную правильность.
Материал из Википедии — свободной энциклопедии
Дистракторы используются для отвлечения внимания участников оценки, которые либо плохо знакомы с предметом, либо совсем не знают правильный ответ и пытаются его угадать. С психометрической точки зрения дистракторы должны увеличивать вероятность неправильных ответов, сохраняя при этом его дискриминативность (различительную способность). Хорошо разработанные дистракторы должны «притягивать» плохо знающих (или совсем незнающих) участников оценки, при этом хорошо знающие не должны «попадаться» на них. По результатам психометрического анализа определяют так называемые «слабые» дистракторы, которые по статистике выбирают очень мало участников, и «сильные» — те, которые выбирают многие.
Разработка дистракторов
Разработка дистракторов требует определённых навыков от разработчиков, так как поначалу довольно сложно придумывать правдоподобные ответы, которые при этом точно являются неправильными. Для эффективной разработки необходимо понимать «психологику» участника оценки (логику участников, которые пытаются «угадать» верный ответ, имитируя логику мышления автора). Плохо знающие участники пытаются найти знакомые и подходящие к теме ответы. Участники, полностью не знающие ответ, пытаются угадать по формальным признакам (самый длинный ответ, самый умный ответ и т. п.).
Разработчик тестового задания должен создать дистракторы для обеих категорий участников. Примеры возможных дистракторов для полностью незнающих ответ:
Дистракторы для «плохо знающих» писать сложнее. Вот наиболее частые приемы:
Существуют определённые требования по количеству вариантов ответа в задании теста и, соответственно, по количеству дистракторов. Для заданий с выбором одного правильного ответа (multiple choice) минимально допустимым является 4 варианта ответа (следовательно, 3 дистрактора). Для заданий с выбором нескольких вариантов ответа (multiple response) жёстких требований нет, но рекомендуется придумывать не менее 5 вариантов ответа и не менее 3 дистракторов.
Самая частая ошибка при разработке дистракторов — это так называемая «частичная правильность». Это ситуация, когда «неправильный» ответ кажется неправильным только автору тестового задания (или же какой-то определённой группе участников оценки). При этом непредвзятый анализ ответов может показать, что с определённой точки зрения дистрактор вполне можно назвать правильным ответом. Преодолеть эту проблему можно, проводя экспертизу разработанных заданий — решение теста предметными экспертами (не авторами заданий), которые могут выявить и устранить частичную правильность.
О дистракторах к тестовым заданиям
Валентин Идиатулин
ФГОУ ВПО Ижевская ГСХА
e-mail: root @ isa.nivad.ru
Опубликовано в ж. «Педагогические Измерения» №2 2006ю С.64-84.
Рассмотрены когнитивные основания формы тестовых заданий с выбором правильного ответа. Показано, что эта форма наиболее отвечает пропозициональной репрезентации знаний, что способствует измеримости их латентной структуры. Обсуждаются способы составления дистракторов к тестовым заданиям, дидактические аспекты частот и причин выбора дистракторов. Подробно рассмотрены вопросы измерения обученности при довузовской подготовке, когда входной, текущий и итоговый контроль проводятся на базе одного пакета тестовых заданий.
Ключевые слова: тестовое задание, дистрактор, измерение уровня обученности.
Целью настоящей работы является обсуждение принципов составления тестовых заданий с выбором одного правильного ответа, обоснование их преимуществ и применимости для измерения структуры обученности. Обсуждаемая проблема связана с противоречием между потребностью в объективной информации об учебных достижениях, которая вызвала рост масштабов использования тестов, и их неправомерным, а нередко, и неудачным распространением на случаи, когда их применение ни методологически, ни содержательно, ни методически несостоятельно. Задачей работы ставится демонстрация на конкретных примерах причин такой несостоятельности.
Посредством тестовой формы педагогического контроля можно проверить усвоение не только фрагментов знаний, которые входят в содержание экзаменационного билета, но и, в определенной мере, весь подлежащий проверке учебный материал. Как элемент педагогической практики тест еще не завершил стадию полного признания педагогической общественностью. Большая часть критики тестирования относится к возможности угадывания ответа и рассматривается обычно в двух аспектах: случайный выбор из нескольких предложенных вариантов и выделение наиболее правильного из них без выполнения задания. Первое легко определяется из вида структуры обученности или статистических рядов тестовых баллов, как описано автором[1] и обсуждается ниже; второе требует содержательного анализа – примером могут служить результаты, полученные И.Ф. Шарыгиным на материале заданий в тестовой и в нетестовой форме ЕГЭ по математике[2]. Конечно же, нет необходимости решать математическое уравнение, если можно подставить готовое решение из предлагаемого перечня, но и другие формы заданий оказались далеко не безупречными; почти во всех из них было можно найти ответ, не приступая к решению задачи. От такого рода заданий страдают как научная, так и общая культура обучаемых. Сходная ситуация была продемонстрирована автором настоящей работы на примере опубликованных вариантов тестовых заданий по физике[3]. Как ниже показано, аналитические выражения дистракторов позволяют легко исключать их после рассмотрения предельных значений или размерностей входящих в них величин. Возможность находить верные ответы без выполнения заданий заметно искажает исходную дидактическую задачу, превращает ее в менее контролируемую, далекую от целей педагогического измерения и иначе оцениваемую. Неприятие вызывает распространение тестовых форм на области недоступные им, либо их неудачное составление и применение.
Когнитивные основания формы тестовых заданий
В предисловии к книге Р. Солсо[4] В.П. Зинченко пишет, что одним из достижений когнитивной психологии стало установление того факта, что объем хранения в памяти в 3-4 раза превышает объем воспроизведения, по которому обычно судят о восприятии и усвоении. В.П. Беспалько[5] также различал узнавание с подсказкой и воспроизведение без опоры на нее. Для измерения усвоенного объема фактуальных знаний подсказка бывает часто необходима.
Знания как совокупность усвоенных элементов опыта человека и общества, проверенные общественной практикой, воспроизводятся обучаемым в речи и деятельности. Наименьшая значимая единица знания, выделяемая в отдельное утверждение, элемент семантической памяти, связывающий идеи и понятия, в когнитивной психологии названа пропозицией5. Современная психолингвистика[6] подтверждает пропозициональный характер хранимых в памяти сведений, близость к ним по структуре фраз и предложений облегчает оперирование последними. Любая осмысленная информация, в конце концов, перекодируется в вербальную форму, которая является основной в обучении. Понимание также основано на пропозициях, упорядоченных в когнитивных структурах – понятно уже выраженное знакомым образом. По этой причине представляется важным на этапе закрепления переводить учебный материал в системы пропозиций, тематически и логически связанных друг с другом. Пропозициональная репрезентация вербальной части учебного знания должна использоваться в утвердительных выражениях тестовых заданий для обеспечения и облегчения вербализации когнитивных референтов латентного знания. Эту функцию и способны выполнять тестовые задания с выбором правильного ответа, особенностям конструирования и результатам эмпирической проверки которых посвящена настоящая работа.
Учебная дисциплина состоит обычно из разделов, в которых выделены темы, состоящие из конечного числа учебных элементов, которые сохраняют самостоятельный смысл, их дальнейшее членение ведет к утрате включенной в них учебной и научной информации. Смысловые учебные элементы представляются в виде утверждений, отражающих положительное содержание учебной дисциплины. Логическая структура заданий в тестовой форме как раз и использует такое их представление, которое в зависимости от выбора испытуемого превращается в истинное или ложное кодируемое высказывание.
Вопросительная форма задания исключает эту возможность, так как вопросы не могут быть истинными или ложными, а ответы на них, как правило, многовариантны, неопределенны, многословны и, в конечном счете, нетехнологичны[7]. Важную роль играют интонация, логические ударения, расстановку которых в тексте вопроса непросто выразить однозначно.
Для целей измерения в структуре обученности по каждой дисциплине возможно выделение концептуальных знаний, относящихся к данному предмету, которые должны оставаться в памяти любого обучаемого, к ним примыкают базовые знания, которые необходимы для усвоения учебного материала изучаемой дисциплины. Следующая категория включает программные знания, которые нужны для обеспечения готовности к усвоению других дисциплин учебного плана и могут быть дополнены блоком специальных знаний, которые либо рассчитаны на потребности обучаемых, либо отражают требования специальности, вуза, региона.
Достаточно полно измерим фактуальный уровень усвоения, т.е. готовность узнавать, идентифицировать, воспроизводить основные факты, сведения, термины, определения, формулировки, формулы, принципы, законы, положения изучаемой дисциплины, т.е. все то, что можно узнать, усвоить, выучить и потом воспроизвести по памяти или выделить среди подобного.
Форма задания с выбором одного правильного ответа на этом уровне наиболее уместна, т.к. оценка правильности выбора может быть сделана вполне однозначно, а открытый ответ бывает многовариантен. Воспроизведение и узнавание, как мнемонические процессы, согласно К. Ингенкампу, не имеют существенных различий, и нет особых оснований полагать, что задания с выбором ответа измеряют нечто иное, чем задания со свободным ответом[8].
Операционно-алгоритмический уровень усвоения изученного материала измерим столь же полно. Он предполагает выполнение действий и операций по освоенному образцу, правилу, рецепту, алгоритму, т.е. умение делать все то, чему можно научиться. Подразумевается, что действия и операции настолько однозначно выполнимы, что для оценки их правильности достаточно сравнения полученного результата с эталоном верного ответа, при этом исключаются операции, которые не являются результатом обучения по данной дисциплине. На этом уровне одинаково применимы задания как открытой, так и закрытой формы, однако последняя уместней в дидактическом и методологическом отношениях. Первое обеспечивается разработкой дистракторов, мотивированных типичными ошибками обучаемых, для последующего их анализа и исправления; открытая форма в этом случае не дает никакой новой информации. Методологически существенно то, что закрытая форма имеет естественную меру вероятности случайного выбора, с которой возможно сравнение эмпирических частот.
Умение проводить эвристический анализ и строить процедуры операций без известного однозначного алгоритма, но с установленным эталоном правильного решения, также доступно измерению. Эвристический анализ опирается во многом на догадку, развитую интуицию, способность к трансформации усвоенного на еще не изведанные области. Этот уровень включает все то, что нельзя просто выучить, чему нельзя и научиться, не обладая определенными задатками, которые обуславливают развитие способностей, позволяющих успешно овладевать такой деятельностью. От творческого уровня он отличается, пожалуй, лишь тем, что результат деятельности только субъективно неизвестен, хотя для обучаемого он является открытием пусть и небольшого масштаба. Закрытая форма заданий эвристического уровня четко выделяет эталон правильного ответа, но налагает особые требования на искусство составления дистракторов. Они должны включать не неправильные ответы, а, например, ответы, которые соответствуют другим условиям, что и потребует их эвристического анализа.
Способы составления дистракторов
При составлении дистракторов можно использовать принципы композиции заданий в тестовой форме, которые предложены в книге В.С. Аванесова[9], с теми ограничениями, которые накладывают содержание и предметная область тестовых заданий2. Например, в заданиях по физике сравнительно редко употребим принцип формального противоречия, который широко применяется в заданиях с двумя ответами, т.е. с одним дистрактором, отрицающим истинное утверждение. Значительно чаще может быть использован принцип противоречия диалектического, в соответствии с которым дистрактор не только формально отрицает утверждение, но дает конструктивное высказывание другого утверждения или его отрицание. Для утверждения, что объект обладает данным свойством, могут быть составлены дистракторы, согласно которым он может обладать рядом других свойств, отличных от данного. Это расширяет число дистракторов, имеющих отношение к утверждаемому явлению и способствует более полному его пониманию. Так утверждение «Свет обладает волновыми свойствами» и его отрицание «Свет не обладает волновыми свойствами» могут быть дополнены утверждениями «Свет обладает корпускулярными свойствами», «Свет обладает или волновыми или корпускулярными свойствами» и «Свет обладает и корпускулярными и волновыми свойствами», а также их отрицаниями.
При кумуляции дистракторов, когда их содержание вбирает в себя все или часть предыдущих, отвергается их независимость друг от друга, а кроме того менее полные ответы тоже бывают верными. Так в задании
1. ПРОДОЛЬНЫЕ ВОЛНЫ МОГУТ РАСПРОСТРАНЯТЬСЯ В
4) газах и жидкостях
5) газах и твердых телах
6) жидкостях и твердых телах
7) любых упругих средах
если не добавлять к первым семи слова «только», то они все верны. Если же заменить продольные волны на поперечные, то верным ответом окажется только третий. Если в этом примере удалить первые три дистрактора, то он будет демонстрировать принцип сочетания (по два или по три) дескрипторов, применение которого способствует увеличению их числа.
Для создания параллельных заданий, используются принципы фасетности и обратимости. Например:
2. РАБОТА, СОВЕРШАЕМАЯ ПОДНИМАЮЩИМСЯ (ОПУСКАЮЩИМСЯ) ЭСКАЛАТОРОМ (ЧЕЛОВЕКОМ) НАИБОЛЬШАЯ (НАИМЕНЬШАЯ), ЕСЛИ ЧЕЛОВЕК НА ЭСКАЛАТОРЕ
Обратимость удобна на операционном уровне, когда расчетная формула связывает несколько величин, каждая из которых поочередно может выводиться за пределы основы задания и сопровождаться набором дистракторов, мотивированных типичными ошибками обучаемых.
Степень проявления какого-либо качества или свойства или их изменений дает возможность проверки усвоения зависимостей:
3. ЕСЛИ ГРУППОВАЯ СКОРОСТЬ ВОЛНЫ МЕНЬШЕ ФАЗОВОЙ, ТО С РОСТОМ ДЛИНЫ ВОЛНЫ ФАЗОВАЯ СКОРОСТЬ
4) проходит через минимум
5) проходит через максимум
6) достигает экстремума
Помимо качественного, возможно и количественное градуирование:
4. ЕСЛИ МАССА ГАЗА В ОДНОМ СОСУДЕ ВДВОЕ БОЛЬШЕ, ЧЕМ В ДРУГОМ ТАКОМ ЖЕ ПРИ ОДИНАКОВЫХ ДАВЛЕНИЯХ И ТЕМПЕРАТУРАХ, ТО МОЛЯРНАЯ МАССА ГАЗА В ПЕРВОМ СОСУДЕ
5) вчетверо меньше, чем во втором.
Здесь, кроме того продемонстрирована возможность включения верного ответа и дистракторов в текст основы задания.
Принцип неотрицательности содержания заданий, безусловно, верен в отношении логики определений и, по-видимому, обязателен для открытой формы тестовых заданий. Для заданий с выбором ответа он, в некоторых случаях, дидактически является полезным. Так, например, известно несколько эквивалентных формулировок второго начала термодинамики, но едва ли целесообразно сочинять еще и им неэквивалентные в достаточном для набора дескрипторов количестве. Форма задания2: «Неэквивалентно второму началу термодинамики утверждение, что невозможны процессы …(перечисляются)» даже при наличии двух отрицаний дидактически и когнитивно уместна, во-первых, потому, что второе начало ограничивает протекание некоторых процессов в природе к его исторически сложившиеся формулировки или эквивалентные им как раз и указывают на их невозможность, во-вторых, потому, что эти формулировки не тавтологичны, за каждой стоит свое глубокое содержание, в третьих, все они верны и лишний раз вспомнить их очень полезно для обучаемого. Подогнано по форме неэквивалентное утверждение, но чтобы осознать это, придется проделать заметную умственную работу.
5. НЕВЕРНО УТВЕРЖДЕНИЕ, ЧТО
1) энтропия является функцией состояния термодинамической системы
2) при обратимом адиабатическом процессе изменение энтропии равно нулю
3) изменение энтропии при необратимом процессе всегда меньше, чем при обратимом процессе, связывающим те же два термодинамических состояния
4) максимум энтропии достигается в наиболее вероятном состоянии системы
5) изменение энтропии системы при изотермическом процессе равно отношению переданной теплоты к температуре».
Так или иначе, и здесь отрицательная форма задания не противоречит логической определенности его содержания как способности продуцировать правильный ответ и организовывать умственный процесс по его нахождению.
Большую часть приведенных в учебной книге9 тестовых заданий с выбором ответа из трех вариантов легко можно дополнить, пользуясь теми же принципами композиции, а именно альтернативы (противоположности), однородности, кумуляции, двойной альтернативы, импликации, градуирования и их сочетаний. Так, например, задания с естественнонаучным содержанием можно преобразовать в такие:
6. ГРАФИК НЕЧЕТНОЙ ФУНКЦИИ АСИММЕТРИЧЕН ОТНОСИТЕЛЬНО
7. ЯДРО АТОМА СОСТОИТ ИЗ
8. ПРИ ДВИЖЕНИИ КОНВЕЙЕРА РЕЛЕ СКОРОСТИ
9. ФУНКЦИЯ С ПОЛОЖИТЕЛЬНОЙ ПРОИЗВОДНОЙ В ИНТЕРВАЛЕ
10. НАПРАВЛЕНИЕ СИЛЫ ЛОРЕНЦА ОПРЕДЕЛЯЕТСЯ ПО ПРАВИЛУ
11. УДЕЛЬНАЯ ПРОВОДИМОСТЬ ЭЛЕКТРОЛИТА С УВЕЛИЧЕНИЕМ КОНЦЕНТРАЦИИ
12. ПОЛОВЫЕ КЛЕТКИ ОБРАЗУЮТСЯ В РЕЗУЛЬТАТЕ
Избыток дистракторов на этапе составления тестовых заданий лишь способствует их правильному отбору по результатам эмпирической проверки.
В заданиях с четырьмя ответами четыре варианта редко исчерпывают полную систему возможных альтернатив. Так фасетный пример «Свободно падающее тело в северном (южном) полушарии отклоняется к 1) югу, 2) северу, 3) западу, 4) востоку» может быть дополнен дистракторами типа «К юго-западу» и дистрактором «не отклоняется», хотя его и труднее включить в грамматический строй задания.
Дистракторы к заданиям с выбором одного правильного ответа
Проблема угадывания, которая всегда служила основой критики заданий с выбором ответа, разрешается путем статистического анализа распределений обученности. Из наших результатов[10] следует, что при должной мотивации оно отсутствует у студентов: в области вероятного угадывания (для пяти вариантов ответов она лежит вблизи 20% степени усвоения) эмпирические распределения имеют минимум частоты. Если бы угадывание имело место для всех, то здесь был бы максимум, если бы для некоторой части, то локальный максимум, который при больших размахе и стандартном отклонении распределения мог бы перекрываться последним, – как раз это отмечалось при входном контроле слушателей курсов довузовской подготовки (см. ниже). Без анализа эмпирических распределений обученности нет необходимости априорно вводить коррекцию на угадывание, там, где оно отсутствует. Упорный труд над заданиями, поиск правильного ответа – все это требует напряжения ума, работы мысли и следует отделять их от бездумного гадания. Смешивание этих двух процессов как раз и служит почвой для сторонних критиков, которые не давали себе труда вникать в сущность тестирования как умственной деятельности, происходящей на высоком для тестируемого уровне.
Задания по физике. в отличие от уравнений математики, могут включать этапы их вывода или составления, когда прямая подстановка решений невозможна, однако некоторые особенности дистракторов позволяют легко исключать их часть или же все до единого после внимательного рассмотрения их возможных предельных значений, размерностей и других факторов. Это может быть продемонстрировано на примере заданий из пособия для подготовки к тестированию[11]. Начнем с задания, входящего во все варианты (тексты заданий конспективны, трение, где не оговорено, не учитывается):
13. ИЗ ВЕРХНЕЙ ТОЧКИ ПОЛУСФЕРИЧЕСКОГО УГЛУБЛЕНИЯ В БРУСКЕ МАССОЙ m1 СОСКАЛЬЗЫВАЕТ ШАЙБА МАССОЙ m2, ПОСЛЕ ЧЕГО БРУСОК ДВИЖЕТСЯ ПО ГЛАДКОЙ ПОВЕРХНОСТИ, ПРИ ЭТОМ ЕГО МАКСИМАЛЬНАЯ СКОРОСТЬ РАВНА
Здесь v0=√2gR – скорость шайбы после первого соскальзывания. При равной нулю массе шайбы либо при бесконечной массе бруска его скорость равна нулю, этим исключаются все дистракторы, остается первый ответ, который составители считали правильным. Остается сожалеть, что эта достаточно интересная задача так легко теряет заложенный в нее смысл.
14. ЗА ДВА ПЕРИОДА ПОЛУРАСПАДА РАСПАДАЕТСЯ ЧАСТЬ ЯДЕР
Коль скоро за один период полураспада распадается половина ядер, то за два периода, конечно же, больше – и сразу готов единственный ответ 4) 3/ 4.
15. ЧЕТЫРЕ КУБИКА НА ГЛАДКОЙ ПОВЕРХНОСТИ СОЕДИНЕНЫ НИТЯМИ, К ПЕРВОМУ ПРИЛОЖЕНА СИЛА F. К ТРЕТЬЕМУ (ПОСЛЕДНЕМУ) КУБИКУ ПРИЛОЖЕНА СИЛА
Сколько кубиков тянут, столько четвертей силы и будет в ответах.
16. ГРУЗ ПОДНИМАЕТСЯ ЛЕНТОЧНЫМ ТРАНСПОРТЕРОМ ПОД УГЛОМ Α К ГОРИЗОНТУ ПРИ КОЭФФИЦИЕНТЕ ТРЕНИЯ Μ С МАКСИМАЛЬНЫМ УСКОРЕНИЕМ
При μ = 0 груз просто скользит вниз, а отрицателен лишь пятый ответ.
17. ГОРИЗОНТАЛЬНЫЙ СОСУД РАЗДЕЛЕН ПОРШНЕМ НА ДВЕ ЧАСТИ, ЗАПОЛНЕННЫЕ РАВНЫМИ МАССАМИ РАЗНЫХ ГАЗОВ, МОЛЯРНЫЕ МАССЫ КОТОРЫХ Μ1 И Μ2. В РАВНОВЕСИИ ПЕРВЫЙ ГАЗ ЗАНИМАЕТ ЧАСТЬ ОБЪЕМА СОСУДА, РАВНУЮ
Пятый ответ очевиден в предельном случае малой молярной массы Μ1, когда число молекул велико и ими заполнен весь объем
18. ПРИ КОЭФФИЦИЕНТЕ ТРЕНИЯ О ПОЛ μ ЛЕСТНИЦА У ГЛАДКОЙ СТЕНЫ МОЖЕТ СТОЯТЬ ПОД НАИМЕНЬШИМ УГЛОМ К ПОЛУ, РАВНОМ:
19. МОЛЬ ГАЗА СОВЕРШАЕТ ЦИКЛ, СОСТОЯЩИЙ ИЗ ДВУХ ИЗОХОР И ДВУХ ИЗОБАР. НАИМЕНЬШАЯ ТЕМПЕРАТУРА ЦИКЛА Т1, НАИБОЛЬШАЯ Т3, ТЕМПЕРАТУРЫ ДРУГИХ УГЛОВЫХ ТОЧЕК ЦИКЛА ОДИНАКОВЫ, ПРИ ЭТОМ РАБОТА ГАЗА ЗА ЦИКЛ РАВНА
При равных температурах цикл сходится в точку и работа равна нулю – три дистрактора отпадают сразу, а последний явно не дает площадь цикла.
20. НА ГЛАДКОЙ ПОВЕРХНОСТИ ЛЕЖИТ ДОСКА МАССЫ М, НА НЕЙ БРУСОК МАССЫ m, КОЭФФИЦИЕНТ ТРЕНИЯ МЕЖДУ НИМИ μ. БРУСОК СОСКАЛЬЗЫВАЕТ, ЕСЛИ К ДОСКЕ ПРИЛОЖИТЬ СИЛУ, БОЛЬШУЮ, ЧЕМ
Здесь выбор второго ответа нетруден при малых (больших) массах доски, бруска или малом коэффициенте трения между ними.
21. УСКОРЕНИЯ КАЧАЮЩЕГОСЯ НА НИТИ ШАРИКА МАССЫ m В НИЖНЕМ И КРАЙНИХ ПРИ ОТКЛОНЕНИИ НА УГОЛ α ПОЛОЖЕНИЯХ РАВНЫ ПО МОДУЛЮ, А СИЛА НАТЯЖЕНИЯ НИТИ В НИЖНЕМ ПОЛОЖЕНИИ ПРИ ЭТОМ РАВНА
При нулевом отклонении шарика сила натяжения нити равна mg и может лишь возрастать с ростом угла – подходит только четвертый ответ.
22. МАТЕМАТИЧЕСКИЙ МАЯТНИК СОВЕРШАЕТ КОЛЕБАНИЯ С ПЕРИОДОМ Т. ЕСЛИ НА ПУТИ НИТИ УСТАНОВИТЬ ГВОЗДЬ ПОД ТОЧКОЙ ПОДВЕСА НА РАССТОЯНИИ 3/4 ДЛИНЫ НИТИ, ТО ПЕРИОД КОЛЕБАНИЙ БУДЕТ РАВЕН
Ясно, что полпериода маятник движется, как и раньше, поэтому период не намного больше Т/2, но, конечно же, меньше Т; верен четвертый ответ.
Условие повторяет предыдущее задание. ЕСЛИ ЧАСТОТА КОЛЕБАНИЙ БЫЛА РАВНА ν, ТО ПОСЛЕ УСТАНОВКИ ГВОЗДЯ ОКАЖЕТСЯ РАВНОЙ
Ясно, что период немного больше Т/2 (равен 3Т/4), а частота обратна ему.
23. К ГЛАДКОЙ ВЕРТИКАЛЬНОЙ СТЕНЕ НА ТРОСЕ ПОД УГЛОМ Α К НЕЙ ПОДВЕШЕН ШАР МАССЫ М, ПРИ ЭТОМ СИЛА НАТЯЖЕНИЯ ТРОСА РАВНА
Натяжение троса равно Mg при нулевом угле и может только увеличиваться, поэтому выбор третьего ответа сомнений не вызывает.
Условие повторяет предыдущее, при этом СИЛА ДАВЛЕНИЯ ШАРА НА СТЕНУ РАВНА
Лишь пятый ответ верен при нулевом угле, когда эта сила равна нулю.
24. НА ГРАНИЦЕ РАЗДЕЛА ЖИДКОСТЕЙ ПЛАВАЕТ ОДНОРОДНОЕ ТЕЛО, ПЛОТНОСТЬ КОТОРОГО ρ БОЛЬШЕ ПЛОТНОСТИ ρ1 ВЕРХНЕЙ И МЕНЬШЕ ПЛОТНОСТИ ρ2 НИЖНЕЙ ЖИДКОСТИ, ПРИ ЭТОМ В НИЖНЕЙ НАХОДИТСЯ ЧАСТЬ ОБЪЕМА ТЕЛА РАВНАЯ
Здесь только первый ответ определенно равен 1 при одинаковых плотностях тела и нижней жидкости, когда оно заведомо полностью в ней находится.
Условие повторяет предыдущее. ПРИ ЭТОМ В ВЕРХНЕЙ ЖИДКОСТИ НАХОДИТСЯ ЧАСТЬ ОБЪЕМА, РАВНАЯ
Пятый ответ очевиден при одинаковых плотностях тела и верхней жидкости.
25. ШАРИК МАССЫ m ПРИКРЕПЛЕН К ВЕРТИКАЛЬНОЙ ОСИ ПРУЖИНОЙ ЖЕСТКОСТИ К И ДВИЖЕТСЯ ВОКРУГ ОСИ С УГЛОВОЙ СКОРОСТЬЮ ω ПО ОКРУЖНОСТИ РАДИУСА R; ПРИ ЭТОМ ДЛИНА НЕДЕФОРМИРОВАННОЙ ПРУЖИНЫ РАВНА
Выбор первого ответа нетруден при нулевых частотах или массах при понимании того, что длина пружины (и. радиус) может только увеличиваться.
Задание повторяет предыдущее: ЕСЛИ ДЛИНА НЕДЕФОРМИРОВАННОЙ ПРУЖИНЫ ЕСТЬ l0, ТО ЖЕСТКОСТЬ ПРУЖИНЫ РАВНА
Выбор третьего ответа однозначен для очень жесткой пружины, когда ее растяжение отсутствует, т. е. радиус остается равным первоначальной длине.
В ряде заданий, независимо от содержания, достаточно знать, что если модули перпендикулярных векторов 3 и 4, то для результирующего жди 5. Пифагоровых чисел существует гораздо больше: 6, 8, 10; 5, 12, 13; 8, 15, 17; 7, 24, 25; 9, 12, 15; 10, 24, 26; 12, 16, 20; 20, 21, 29; 15, 20, 25; 16, 30, 34 и др.
Рисунки здесь сознательно опущены: они не нужны для нахождения правильного ответа в этих заданиях. Не все задания повышенной сложности (например, самое первое из них содержится в сборнике задач физических олимпиад[12]) таковыми являются. Даже беглый обзор рассмотренных дистракторов показывает, что их аналитические выражения позволяют находить верные ответы без выполнения задания, чем заметно искажают исходную дидактическую задачу. Это превращает ее может быть в не менее интересную, но гораздо менее контролируемую и иначе оцениваемую. Замена аналитических выражений численными ответами, как это сделано в следующих выпусках пособия, не украшает тест в целом, да и не требует, по сути, набора дистракторов, в этих случаях достаточны будут и тесты открытого типа со свободным ответом.
Частоты выбора дистракторов
Самостоятельным направлением эмпирической проверки тестовых заданий является определение частот предпочтения дистракторов. Классическая теория педагогических измерений требует равновероятного отвлечения испытуемых от правильного ответа, что достижимо далеко не всегда, а скорее в тех случаях, когда содержательная основа дистрактора безразлична для испытуемого. В педагогической же практике наиболее удачными являются дистракторы, которые отражают самые распространенные типичные ошибки и заблуждения обучаемых. Их не приходится даже специально придумывать, а самый предпочитаемый дистрактор становится важным дидактическим фактором процесса обучения. Равновероятность же выбора дистракторов больше относится к их случайному выбору.
Процедура эмпирической проверки сводится к построению обычных матриц тестовых результатов с тем отличием, что вместо нуля на пересечении строки и столбца матрицы ставится номер выбранного дистрактора, а правильный ответ при этом отмечается уже не единицей, а другим обусловленным знаком (удобней всего знак «плюс»). Такие матрицы строятся для каждого из параллельных пакетов тестовых заданий по всем темам с одновременной статистической обработкой тестовых баллов.
Когда 90% испытуемых считают правильным утверждение «Во всех инерциальных системах отсчета тело движется с одной и той же скоростью», забывая при этом даже закон сложения скоростей, который сразу его опровергает, то это говорит скорее в пользу такого дистрактора, вскрывающего непонимание учебного материала. Когда 70% испытуемых, вычисляя работу равномерно возрастающей силы, выбирают дистрактор, который основывает расчет на приращении силы вместо ее среднего значения, то этим он предвосхищает такую их типичную ошибку, хотя и довольно неожиданную. Повсеместное использование калькуляторов без оценки результата часто ведет к ошибке в сотни, тысячи и даже миллионы раз; если ее иной раз и не удается предугадать, то все равно неработающий дистрактор здесь как раз предостерегает от нее. Когда в задание входит ускорение свободного падения, то дистракторы 100 и 98, 50 и 49 лишь подсказывают, что его численное значение не стоит здесь округлять до 10. Наконец, неработающий дистрактор может быть включен в перечень противоположных альтернатив, так что его отсутствие просто станет подсказкой для выбора одной из них.
Объяснить выбор дистрактора в заданиях операционного уровня можно, когда они подобраны составителем не произвольно, а являются конечным результатом какой-либо вычислительной процедуры, предугадать которую помогает опыт работы. Только в этом случае численный результат задания однозначно связывается с ошибочным алгоритмом вычислений испытуемого и может быть проанализирован в дальнейшем. Если же дистракторы и ответ задавать в виде аналитических выражений, то причину выбора одного из них установить будет непросто, вероятнее всего, это будет сделано наугад. Наиболее предпочтительно, чтобы за выбором дистрактора стояла некоторая логика, составление таких дистракторов весьма полезно и преподавателю, заставляя его глубже вникать в сущность даже хорошо знакомых положений и пытаться представлять, как они воспринимаются обучаемыми.
И совсем иначе представляется ситуация, когда групповая скорость меньше фазовой при убывании последней с ростом длины волны лишь для 20% обучаемых, а для остальных при ее возрастании, постоянстве или даже достижении минимума; при этом неработающим остался почему-то дистрактор «при достижении максимума», на который логика составителя возлагала самые большие надежды. Скорее всего, более важно предугадать или выявить самую распространенную ошибку обучаемых и отразить ее в наборе дистракторов, чем отслеживать разброс их гаданий или размышлений при полном не знании предмета; это заставляет задумываться о полезности дистрактора «не знаю», который объективно ориентирован на признание обучаемым этого факта и не провоцирует его на придумывание или угадывание ответов. Для групповой и общей коррекции обучения нужнее анализ ошибочности предпочитаемого дистрактора и правильное решение при его отсутствии; индивидуальная коррекция предполагает уже самостоятельную работу над своими ошибками.
Измерение обученности в довузовской подготовке
Уникальную возможность измерения обученности одним и тем же средством дает довузовская подготовка. В отличие от вузовской ее предметная область почти полностью совпадает с общеобразовательной по всем изучаемым дисциплинам, поэтому входной, текущий, тематический, рубежный и итоговый контроль могут проводиться на базе одного и того же пакета тестовых заданий и даже с помощью одних и тех же параллельных тестов. Это позволяет напрямую сопоставлять результаты разных видов тестирования и выделять факторы, связанные с конкретными дидактическими процессами в группах слушателей. Такая работа была начата автором совместно с разработчиками тестов для входного, рубежного и итогового контроля знаний слушателей подготовительных курсов по физике. Пять параллельных тестов, содержащих по 15 заданий разной сложности, которые охватывают учебный материал, предусмотренный требованиями, использованы для входного контроля подготовленности слушателей. По результатам тестирования 55 испытуемых построено эмпирическое распределение частот n тестовых баллов Х, статистический ряд для которого представлен в таблице 1.
Статистический ряд тестовых баллов Таблица 1