Тестирование как разновидность контроля знаний

Тестирование как контроль усвоения различных дисциплин все настойчивее внедряется в учебный процесс вузов, школ и других образовательных учреждений. Успеваемость обучающихся (итоговые баллы-оценки) по-прежнему является одним из основных показателей качества обучения. Поэтому продумывая стратегию тестирования мы, преподаватели, выбираем или разрабатываем гибкие, объективные способы выставления оценок при автоматизированном контроле, которые позволяют адекватно отразить реальные знания учащегося и максимально приблизиться к системе оценок при традиционном устном или письменном опросе.

Так, если сформулировать вопросы заниженного уровня сложности, всеми будут получены неоправданно высокие оценки; и наоборот, вопросы слишком сложные покажут заниженный уровень усвоения материала. Само понятие уровня сложности вопроса также весьма условно. Распределение вопросов по сложности – это пожалуй самое важное и трудное дело при организации тестирования, которое разрешается, как правило, эмпирическим путем, экспертами, на основании многолетнего опыта преподавания конкретной дисциплины и наблюдений за тем, как усваиваются ее конкретные разделы и темы подавляющей частью обучающихся.

Поскольку интегральный ответ тестируемого должен быть приведен к общепринятой в нашей системе образования пятибалльной шкале оценок (как количественно-качественному эквиваленту знаний), мы (преподаватели), составляя тесты (даже для механического карточного тестирования), стараемся в каждом варианте подобрать вопросы разного уровня сложности. Должна быть группа вопросов, гарантирующая при правильных ответах оценку 3; группа вопросов посложнее – оценку 4 (при положительном результате в 1 группе); группа вопросов сложных – оценку 5 (при положительных результатах в 1,2 группах). Чем больше вопросов в каждой группе, тем легче определить интегральный результат по полученным ответам в этой группе. Каждый преподаватель делает это по-своему, но чаще всего исходя из соотношений правильных и неправильных ответов в группе и граничных значений этих соотношений, которые дают эксперты-преподаватели.

Таким образом, существующие и разрабатываемые в настоящее время методики тестирования учитывают трудность вопросов и включают довольно несложные вычисления для обработки результатов контроля. А применение современных ЭВМ (вместо карточек и “механического контролера”) дает возможность полностью автоматизировать и ускорить весь процесс тестирования, накапливать в электронном виде информацию об успеваемости, последующий анализ которой помогает совершенствовать учебный процесс. Все это очень удобно для текущего контроля знаний (рейтингов) и весьма актуально в условиях возрастающих возможностей дистанционного обучения и контроля студентов, школьников и пр.

Тестирующие методики и программные системы на их основе можно разделить на два вида:

- статистические, использующие жесткий или случайный порядок следования

тестовых заданий;

- динамические или адаптивные, “формирующие” вопросы соответственно уровню

знаний испытуемого, т. е. динамически меняющиеся в ходе тестирования.

Выбор осуществляется в зависимости от поставленной цели тестирования. Так, для текущего рейтинг-контроля знаний студентов по учебным дисциплинам главное заключается в том, чтобы результаты текущего контроля стимулировали студентов к дальнейшей работе и помогли успешной сдачи экзаменов. Поэтому мы выбрали и программно реализуем традиционную статистическую методику со случайным выбором заданий из каждой группы вопросов теста и вычислением результирующей оценки, подобно тому, как на экзамене по вопросам разной сложности выставляется итоговая оценка. Разница лишь в том, что диапазон вопросов выбранного случайным образом билета – это весь курс, а для теста – какая-то его часть и вопросов в каждой группе не 1, как в билете, а несколько. Последнее, как уже отмечалось, облегчает положение испытуемого, так как снижает жесткость требований из-за возможности уменьшить норму правильных ответов.

Если же главная цель – получить объективную оценку уровня реальных знаний учащегося в какой-то области знаний – то выбор за адаптивным тестированием. Бывают такие моменты в жизни каждого, когда важно не оценку получить как можно более высокую, а реально оценить свои возможности. Например, выпускник школы, выбирая направление и место своего будущего образования, должен соразмерить свои желания со своими силами. Кстати, на работу наших выпускников все чаще принимают лишь при удовлетворительном уровне их реальных знаний и умений. Нами разрабатывается программная система адаптивного тестирования именно с целью помочь оценить уровень знаний испытуемого по конкретной дисциплине. Предполагается, что данная система может быть включена в образовательный сайт “Открытое научное общество школьников”, разрабатываемый кафедрами Физики и прикладной математики и Экологии ВлГУ. Особенность адаптивного алгоритма: формирование тестовой последовательности непосредственно в ходе тестирования; обучающийся получает уникальный по своему составу тест, наиболее точно соответствующий уровню его знаний.

Если сравнивать статистический и адаптивный алгоритмы, то можно отметить следующее:

1. Статистический тест дает не столь объективную оценку знаний учащегося, так как результаты тестирования всегда зависят от конкретного теста, включающего вопросы всех уровней сложности, по которым и рассчитывается итоговый балл. В отличие от него адаптивный алгоритм позволяет определить уровень подготовленности учащегося в зависимости от его знаний. Конечно, и оценка будет соответствовать именно этому уровню знаний.

2. С психологической точки зрения адаптивное тестирование лучше и эффективнее статистического в том случае, когда статистический тест оказывается слишком сложным для учащегося или наоборот очень легким. При адаптивном тестировании испытуемому предъявляются задания, уровень сложности которых соответствует его истинным знаниям. Таким образом, учащийся находится в постоянном умственном напряжении, и задания для него являются стимулирующими.

3. При неоднократном прохождении адаптивного тестирования учащемуся предлагаются задания, соответствующие уровню его знаний, полученному в ходе предыдущего тестирования. Таким образом, формируется некоторая методика закрепления хорошо изученных разделов и методика постепенного изучения слабо усвоенных более сложных разделов.

Идея реализуемого алгоритма адаптивного тестирования заключается в следующем. На каждом шаге тестирования испытуемому предъявляется несколько заданий конкретного уровня сложности, анализируются ответы и формируется начальная оценка на данном уровне в соответствии с процентным соотношением правильных и неправильных ответов. В зависимости от оценки возможно дальнейшее изменение (повышение или понижение) уровня сложности задач, предъявляемых испытуемому или остановка на данном уровне. При остановке дается еще ряд задач того же уровня для определения степени знаний.

Всю табличную информацию о: пользователях, заданиях к тестам, результатах тестирования решено хранить в БД, используя все преимущества работы с ней. Информация о пользователях и результатах формируется в ходе работы системы, а задания к тестам - до ее запуска (хотя будет обеспечена возможность их модификации и перераспределения по уровням сложности и во время сеанса работы).

Процесс исполнения алгоритма включает: обращение к базе данных (БД) учащихся с целью их идентификации, формирование тестовой оболочки, собственно тестирование, аналитические расчеты результатов и передачу итогов испытуемому. Результаты тестирования:

• определение уровня знаний (приведенное к общепринятой системе оценок);
• определение степени усвоения знаний на данном уровне;
• определение примерной степени усвоения знаний на других уровнях, на которых испытуемому предъявлялись задания.

Первоначальное разбиения вопросов по уровням выполняем практическим методом, т.е. на основе учебно-методической литературы и практических навыков преподавателей-экспертов. Полученное разбиение можно уточнить и улучшить уже во время тестирования, применяя статистический метод. Необходим набор учащихся конкретной категории, которым надо предложить статистический тест, содержащий все задания без исключения. Затем надо рассчитать рейтинг для каждого вопроса и на основании статистических показателей произвести распределение задач по уровням сложности. Его хорошо применять в синтезе с адаптивным тестированием, чтобы. изменять принадлежность отдельных задач к уровням сложности на основании статистического анализа результатов адаптивного тестирования учащихся разных категорий.

Первоначальная версия системы планируется для работы со школьниками,

поэтому обеспечивается дизайн и визуализация игровой формы адаптивного тестирования (с использованием трехмерной графики Direct 3D). Возможность определить уровень подготовленности учащихся по разделам конкретного предмета и степень усвоения ими требуемых знаний будет отрабатываться пока на одной дисциплине - школьном курсе “Информатика” (на ряде его разделов) с использованием соответствующих учебно-методических материалов, накопленных за многие годы преподавания. Практическая экспертиза работы системы будет проводиться с помощью учащихся старших классов школ, имеющих договоры о сотрудничестве с кафедрой.

Итак, применяемые нами варианты тестирования учитывают сложность вопросов, включенных в тест, а поэтому в той или иной степени повышают объективность полученной оценки, создавая тем самым предпосылку для эффективных дальнейших действий самих обучаемых. Именно это и является главной задачей любого контроля.