Программная реализация алгоритма оценивания тестовых заданий открытой формы

Описан формат подготовки заданий открытой формы тестирования на электронных носителях для автоматизации ввода исходных данных. Представлена программная реализация системы тестирования на основе открытых тестов.

Современный этап развития информационных систем тестирования знаний обучающихся характеризуется наличием огромного числа систем тестирования с заданиями закрытой формы и практически единичными вариантами с тестами открытой формы. Причины такого состояния известны и описаны в литературе [1]. Помимо этого известно, что тестирование с заданиями открытой формы помимо более корректной проверки знаний (в системах с закрытыми тестами возможно угадывание верного ответа с вероятностью 20% при пяти вариантах ответов и 33% при тр? х вариантах) превращает сам процесс экзамена в обучающий. Таким образом, весьма актуальна задача разработки систем автоматизированной проверки знаний на базе заданий открытой формы. Автоматизация на современном этапе развития компьютерной техники подразумевает создание программного продукта, способного решить эту непростую задачу [1,2].

Решение этой задачи нами велось в два этапа. На первом этапе были сформулированы основные концепции подготовки самих тестовых заданий преподавателем. При этом учитывалось требование максимального удобства набора этих заданий в любом текстовом редакторе с возможностью последующей автоматизации ввода этой информации в базу данных с электронных носителей.

При формулировке заданий открытой формы преподавателем должны быть учтены требования [3], позволяющие студенту корректно ответить на поставленный вопрос. Поэтому в разработанной системе предлагается применять 4 вида формулировки вопроса:

• · задание, требующее в качестве ответа вставить один термин;
• · задание, требующее в качестве ответа вставить несколько терминов вместо пропущенных;
• · задание на вычисления;
• · задание на приведение формулы.

При подготовке ответов на задание преподавателем должны быть приведены все синонимы понятий, требуемых в качестве верного ответа. Помимо этого преподаватель может оценить предлагаемые задания по степени сложности: как простые, средней сложности и сложные для определения количества баллов за верный ответ.

На основе приведенных выше концепций была разработана структура таблиц базы данных тестов и алгоритм проведения тестирования и выставления баллов [4].

Пример заданий открытой формы, разработанных преподавателем, представлен на рисунке 1:

Рисунок 1 Структура четырех видов вопроса.

Вопросу должно предшествовать служебное поле. 3 позиции символа ?$` означают начало вопроса, следующие за этим полем цифры — номер вопроса, буква — вид вопроса. Поле может содержать одну их 4-х букв вопроса, означающих вид вопроса. ?М` - вопрос определение, многосложный (вид заданий — 2), ?О` - вопрос определение, односложный (вид заданий — 1), ?В` - задача на вычисление (вид заданий — 3), ?Ф`- формула (вид заданий — 4). На рисунке 1 вопрос номер 21 многосложный, требующий вставки трех пропущенных понятий, которые при формулировке заменены многоточиями.

Строки ответов на вопрос начинаются со служебных символов ?***`, следом идет номер ответа, вставляемого вместо многоточия термина. При этом цифра после звездочки, означает номер вставляемого термина. Для задания 21 должно быть вставлено 3 термина, следовательно, первый вставляемый термин должен иметь номер 1, второй — 2 и так далее. Варианты ответов должны содержать все синонимы данного вставляемого понятия.

Второй этап представлял собой последовательность решения следующих задач:

• · разработки алгоритма визуализации заданий;
• · проверки правильности вводимых тестируемым ответов;
• · вычисления баллов за тестирование;
• · пополнения и корректировки базы тестовых заданий;
• · ведение базы результатов тестирования.

В ходе решения задач второго этапа была разработана экспертная система тестирования. Реализация системы тестирования на основе спроектированной базы данных проводилась в системе программирования бесплатного распространения TurboDelphi. Помимо основной задачи тестирования, экспертная система обладает следующими возможностями:

• · возможность ввода, просмотра и редактирования баз данных вопросов и ответов;
• · ввод исходной информации (данные студента, информация о виде вопросов);
• · выдачу выходного документа (результатов тестирования студентов);
• · изменение пароля авторизованных пользователей.

На рисунке 2 представлена одна из форм экспертной системы, с примером многосложного задания открытой формы, на которое тестируемый вставляет требуемые понятия по мере вывода на экран очередной порции формулировки. Данное задание требует вставки 2-х понятий, с использованием алгоритма последовательной визуализации [4]:

Рисунок 2 Основное окно тестирования.

Основное окно тестирования разработанной экспертной системы имеет следующий вид:

• · в верхней части окна установлено время, через которое тестирование будет закрыто, даже если студент не ответит на все вопросы;
• · тестируемый может просматривать вопросы, и отвечать на них не по порядку;
• · возможность ввода ответа у студента есть только один раз, при неверно введенном ответе программа перейдет на следующий вопрос.

Алгоритм проставления баллов зависит от степени сложности задания, так за ответ на сложный тест студенту начисляется 3 балла, за среднюю сложность — 2 балла, за простой — 1 балл. Если тест содержит несколько ответов, то есть тест является многосложным, то за каждое верно вставленное понятие студенту добавляется k n балла, где kколичество баллов за весь вопрос, n — количество вставляемых терминов.

На рисунке 2 изображен простое тестовое задание многосложной формы, требующее вставки двух понятий «вращаться» и «безразличным», итоговый балл вычисляется как Ѕ + Ѕ.

Результаты тестирования студента сохраняются в базу данных, и после окончания тестирования программа выводит окно результатов, представленное на рисунке 3:

Рисунок 3 Окно вывода «Результаты тестирования».

Для преподавателей имеется возможность ввода, редактирования и удаления тестовых заданий (отфильтровав по первой букве вопроса). Форма, реализующая выше перечисленные функции, приведена на рисунке 4:

Рисунок 4 Форма «Редактор тестов».

Итоги тестирования студентов можно просматривать с помощью опции меню «Результаты тестирования», причем данные таблицы не подлежат изменениям. Форма визуализации результатов тестирования группы студентов изображена на рисунке 5:

Рисунок 5 Форма визуализации «Просмотр результатов тестирования».

Данные результатов тестирования можно отправить на печать. Пример отчета представлен на рисунке 6:

Рисунок 6 Отчет о результатах тестирования.

тестирование электронный программный тест Отчеты о результатах тестирования сохраняются в формате таблиц Excel. Данная методика позволяет, воспользовавшись технологиями Excel, выполнять построение графиков и диаграмм для дальнейшего анализа успеваемости студентов.

Выводы

• · Разработан формат подготовки тестовых заданий открытой формы на электронных носителях для автоматизации ввода исходных данных.
• · Выполнена программная реализация системы тестирования на основе открытых тестов.

• 1. Чахоян Л. Ю., Рыбанов А. А. Анализ способов и алгоритмов реализации тестовых заданий открытой формы в компьютерных системах тестирования знаний. Волжский: ВПИ (филиал ВолгГТУ).
• 2. Аванесов В. С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, техникумов и училищ, учителей школ, гимназий и лицеев, для студентов и аспирантов педагогических вузов. М.: Центр тестирования, 2002. 240 с.
• 3. Зайцева Н. М, Саринова А. Ж. Анализ существующих моделей экспертных систем контроля знаний // Вестник Инновационного Евразийского университета. 2010. № 1. С. 84−87.
• 4. Зайцева Н. М, Саринова А. Ж. Методология разработки тестовых заданий открытой формы для компьютерного тестирования // Вестник Инновационного Евразийского университета. № 1. С. 176−179.