Количественные оценки эффективности процесса формирования ответов на тестовые задания при дистанционном тестировании знаний

44

КОНТРОЛЬ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА À.À. Ðûáàíîâ

A.A.Rybanov

QUANTITATIVE ESTIMATIONS OF EFFICIENCY OF PROCESS OF FORMATION OF ANSWERS TO TEST TASKS AT REMOTE TESTING KNOWLEDGE

КОЛИЧЕСТВЕННЫЕ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПРОЦЕССА ФОРМИРОВАНИЯ ОТВЕТОВ НА ТЕСТОВЫЕ ЗАДАНИЯ ПРИ ДИСТАН: ЦИОННОМ ТЕСТИРОВАНИИ ЗНАНИЙ Ïðåäëàãàåòñÿ ìàòåìàòè÷åñêàÿ ìîäåëü îöåíêè îòâåòîâ íà òåñòîâûå çàäàíèÿ çàêðûòîé ôîðìû, ó÷èòûâàþùàÿ äèíàìèêó ïðîöåññà èõ ôîðìèðîâàíèÿ. Ââåäåíà êîëè÷åñòâåííàÿ îöåíêà ýôôåêòèâíîñòè ïðîöåññà ôîðìèðîâàíèÿ êîíå÷íîãî îòâåòà íà òåñòîâîå çàäàíèå.

Is offered mathematical model of an estimation of answers to test tasks of the closed form, considering dynamics of process of their formation. The quantitative estimation of efficiency of process of formation of the final answer to the test task is entered.

Содержание

В

настоящее время в системах дистанционного тестирования знаний при оценке степени соот5 ветствия ответа на тестовое задание эталонно5 му ответу во внимание принимается конечный ответ тестируемого и не учитывается динамика про5 цесса его формирования. В свою очередь, по динами5 ке процесса формирования конечного ответа можно судить о: выборе правильного ответа наугад; сомне5 нии в правильности своего знания; использовании подсказок и др. Анализ процесса формирования ответа начнем с тестовых заданий закрытой формы с выбором не5 скольких альтернативных вариантов из множества, так процедура их обработки носит более сложный

характер и тестовые задания закрытой формы с вы5 бором одного альтернативного варианта из множест5 ва являются их частным случаем. На рис. 1 представлен процесс формирования ко5 нечного ответа на тестовое задание закрытой формы с выбором нескольких льтернативных вариантов из множества. В существующих системах тестирования знаний итоговая оценка ответа тестируемого на тестовое за5 дание включает только сравнение конечного ответа (рис. 1 – шаг 4) с эталонным ответом (рис. 2), и вы5 числяется по формуле: ,

(1)

Рис. 1. Пример процесса формирования ответа на тестовое задание закрытой формы

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ

№5, 2006

45

КОНТРОЛЬ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА где – мера трудности тестового задания; – степень соответствия конечного ответа на тестовое задание эталонному ответу. Но, один и тот же конечный ответ на тестовое за: дание, может быть получен при различных траекто: риях процесса его формирования. Поэтому динамика процесса формирования ответа должна учитываться при вычислении степени соответствия δ конечного ответа эталонному ответу на тестовое задание. Предлагается динамику процесса формирования окончательного ответа оценивать следующими кри: териями: µ – критерий потерь времени при формировании конечного ответа на тестовое задание; η – эффективность процесса формирования ко: нечного ответа на тестовое задание. Критерий µ учитывает потери времени при фор: мировании конечного ответа на тестовое задание, вызванные выбором и последующей отменой альтер: нативных вариантов ответов. Например, на шаге 2 (рис. 1) тестируемый выбирает альтернативный ва: риант ответа «Отношение», который на шаге 4 (рис. 1) отменяет. Критерий η характеризует эффективность про: цесса формирования конечного ответа, т.е. учитыва: ет последовательность выбора правильных и непра: вильных альтернативных вариантов ответов с учетом их весовых коэффициентов. Например, траектория процесса формирования конечного ответа на тесто: вое задание, представленная на рис. 1 (шаг 1 – выбор «Атрибут», шаг 2 – выбор «Отношение», шаг 3 – вы: бор «Связь», шаг 4 – отмена «Отношение»), приво: дит к конечному ответу {«Атрибут», «Связь»} и должна иметь более высокое значения критерия , чем траектория получения того же самого конечного от: вета: шаг 1 – выбор «Отношение», шаг 2 – выбор «Атрибут», шаг 3 – выбор «Связь», шаг 4 – отмена «Отношение». Т. е., чем быстрее тестируемый выби: рает правильные альтернативные варианты с на: ибольшими весовыми коэффициентами, тем выше критерий эффективности процесса формирования конечного ответа. Таким образом, итоговая оценка θ ответа тестиру: емого на тестовое задание должна выражаться степе: нью соответствия δ окончательного ответа эталонно: му ответу и критериями µ и η. Рассмотрим математические модели процесса формирования ответа на тестовые задание закрытой формы с выбором нескольких альтернативных вари: антов ответов из множества. Эталонный образ Sk ответа на тестовое задание закрытой формы с выбором нескольких альтернатив: ных вариантов ответов из множества:

№5, 2006

Рис. 2. Эталонный ответ на тестовое задание закры4 той формы

,

(2)

где – дескриптор i:го альтернативного – i i варианта ответа (i = 1,m); sk = 0 (sk = 1), если i:й аль: тернативный вариант ответа правильный (непра: вильный); m = n1 + n1 – количество альтернативных вариантов ответа; n1 – количество правильных аль: тернативных вариантов ответа; n2 – количество не: правильных альтернативных вариантов ответа (дист: i ракторов); γ k – весовой коэффициент i:го альтерна: тивного варианта ответа. Весовой коэффициент правильного (неправиль: ного) альтернативного варианта ответа на тестовое задание характеризует его значимость среди всех правильных (неправильных) альтернативных вари: антов. При гибкой оценке степени соответствия окончательного ответа, весовые коэффициенты аль: тернативных вариантов ответов должны удовлетво: рять следующим условиям: (3) Образ ответа Wj(tj) обучаемого на тестовое зада: ние закрытой формы, полученный в момент времени tj представим в виде:

,

(4)

где – дескриптор i:го альтернативного варианта ответа в образе

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ

46

КОНТРОЛЬ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА

если i%й альтернативный вариант ответа в образе Wj(tj) помечен как правильный (неправильный). Параметры соответствия образа ответа Wj(tj) обу% чаемого эталонному образу ответа Sk на тестовое за% дание можно представить в виде таблицы 1. Здесь aj,k(tj) – доля суммы весов правильных аль% тернативных вариантов ответов на тестовое задание, помеченных в образе Wj(tj) как правильные, от сум% марного веса всех правильных альтернативных вари% антов эталонного образа; hj,k(tj) – доля суммы весов неправильных альтернативных вариантов ответов на тестовое задание, помеченных в образе Wj(tj) как не% правильные, от суммарного веса всех неправильных альтернативных вариантов эталонного образа. Параметры соответствия, представленные в таб( лице 1, рассчитываются по следующим формулам: ,

(5) ,

(6)

В случае, когда образ ответа Wj(tj) идентичен об% разу эталонного ответа Sk выполняются следующие условия:

Формулы (2)–(6) определяют математическую мо% дель представления ответов на тестовые задания за% крытой формы закрытой формы с выбором несколь% ких альтернативных вариантов ответов из множества. Начальной точкой траектории процесса форми( рования ответа на тестовое задание закрытой фор( мы назовем образ W0(t0) в момент времени t0, удов% летворяющий следующим условиям:

Таблица 1. Параметры соответствия эталону

(8) (9) (10) где – число альтернативных вариантов отве% та помеченных в образе Wj(tj) как правильные, и не помеченных как правильные в образе Wj–1(tj–1); – число альтернативных вариантов ответа, помеченных в образе Wj–1(tj–1) как правильные, и не помеченных как правильные в образе Wj(tj); tj – точ% ка фиксации образа ответа Wj(tj) в процессе форми% рования ответа ( ). Заключительной точкой траектории процесса формирования ответа на тестовое задание закры% той формы будем называть последний элемент тра% ектории процесса формирования ответа Wn(tn). Один и тот же ответ на тестовое задание закрытой формы закрытой формы с выбором нескольких аль% тернативных вариантов ответов из множества может быть получен при различных траекториях процесса его формирования (пример 1). Пример 1. Примеры траекторий процесса форми% рования одного и того же ответа на тестовое задание закрытой формы формы с выбором нескольких аль% тернативных вариантов ответов из множества:

(7)

Точкой фиксации образа ответа Wj(tj) будем назы% вать время tj установления (снятии) метки о пра% вильности альтернативного варианта ответа на тес% товое задание или завершения процесса формирова% ния траектории правильного ответа. Траекторией процесса формирования ответа на тестовое задание закрытой формы с выбором не( скольких альтернативных вариантов ответа из мно( жества назовем упорядоченную последовательность образов ответов, удовлетворяющую следующим ус% ловиям:

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ

№5, 2006

47

КОНТРОЛЬ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА

Пусть tj – точка фиксации образа ответа Wj(tj) в процессе формирования ответа ( ), и t0=0 – время начала процесса формирования траектории ответа на тестовое задание, а tn+1 – время заверше9 ния процесса формирования траектории ответа на тестовое задание. Представим в виде множества – точки фиксации образов ответов . Тогда, любой динамический параметр процесса формирования ответа на тестовое задание можно представить в виде непрерывной кусочно9линейной функции (рис. 3):

Траектория процесса формирования ответа отра9 жает динамику выбора ответа на тестовое задание. Учитывая, что тестируемый в первую очередь выби9 рает альтернативные варианты, которые он считает правильными (критерий η), а также количество ша9 гов, за которое он приходит к конечному ответу (кри9 терий µ), в качестве метрики, характеризующей ди9 намику процесса формирования ответа предлагается использовать критерий общей эффективности про9 цесса формирования конечного ответа ξ: . (12) С учетом критерия ξ, итоговая оценка θ ответа те9 стируемого на тестовое задание будет вычисляться как: .

(13)

Коэффициент эффективности η процесса форми9 рования конечного ответа на тестовое задание опре9 делим как: ,

(11)

Формулы (7)–(11) определяют математическую модель процесса формирования ответов на тестовые задания закрытой формы с выбором нескольких аль9 тернативных вариантов из множества.

(14)

где g(t), b(t) – функции изменения суммы весов всех правильных (неправильных) альтернативных вари9 антов ответов, выбранных тестируемым в процессе формирования конечного ответа на тестовое задание. Значения g(tj), b(tj) показывает сумму весов всех правильных (неправильных) альтернативных вари9 антов ответов по всем точкам фиксации, включая tj, с начала процесса формирования ответа t0.

Рис. 3. Пример динамических параметров соответствия для траектории T2 (пример 1) процесса формирования от6 вета на тестовое задание закрытой формы

№5, 2006

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ

48

КОНТРОЛЬ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА

Для тестовых заданий закрытой формы с выбо6 ром нескольких альтернативных вариантов ответов из множества: ,

(15)

.

(16)

Коэффициент потерь времени µ определим как: ,

(17)

где I(t), O(t) – функции изменения количества опе6 раций «установление метки» («снятие метки»), сде6 ланных тестируемым в процессе формирования ко6 нечного ответа на тестовое задание. Значение I(tj), O(tj) показывает какое количество операций «установление метки» («снятие метки») о правильности альтернативного варианта ответа сде6 лал тестируемый по всем точкам фиксации, включая tj, с начала процесса формирования ответа t0. Начальные условия процесса формирования окончательного ответа на тестовое задание закрытой формы: I(t) = O(t) = 0. Для тестовых заданий закрытой формы с выбо6 ром нескольких альтернативных вариантов ответов из множества: (18) (19) Критерий общей эффективности процесса фор6 мирования ответа на тестовое задание ξ изменяется в пределах [0; 1]. На рис. 4–5 представлены динамические характе6 ристики g(t), b(t) и I(t), O(t) для траектории T5 про6 цесса формирования конечного ответа на тестовое задание. Значения критерие для траектории T5: . Для траекторий T1, T2, T3, T4 процесса формиро6 вания одного и того же ответа на тестовое задание (с равнозначными альтернативными вариантами отве6 тов) изменение критерия ξ представлено на рис. 6. При гибкой оценке ответа на тестовые задания за6 крытой формы с множественным выбором ответа Wj(tj) возникает вопрос оцени степени соответствия образа ответа эталонному образу ответа. В работе [1] предлагается ответы на тестовые зада6 ния закрытой формы с множественным выбором от6

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ

вета оценивать по степени сходства δ между ответом обучаемого (множество )и эталонным ответом (множество ). Степень сходства определяется как величина, обрат6 ная расстоянию r (δ = 1 – r), рассчитывается как: ,

(20)

где Критерий δ не учитывает граничное условие, ког6 да тестирыемый выбирает все альтернативные вари6 анты тестового задания. В ряде случаев (например, для тестового задания с характеристиками n1 = 3, n2 = 4, L = 3 при Ka = 1, Kb = 0 – δ = 0,333, при Ka = 2, Kb = 3 – δ = 0,333, при Ka = 2 – b(tj)) степень соответ6 ствия ниже, чем при выборе всех вариантов ответа (например, для тестового задания с характеристика6 ми n1 = 3, n2 = 4, L = 3 при Ka = 3, Kb = 4 – δ = 0,429), что говорит о том, что не думая над ответом, выбрав все альтернативные варианты, тестируемый получит более высокую оценку. Предлагается функция расчета степени соответ6 ствия ответа на тестовое задание закрытой формы за6 крытой формы с выбором нескольких альтернатив6 ных вариантов ответов из множества, устраняющая указанную выше кооллизию: .

(21)

Примеры функций степени соответствия δ(a, h) и λ(a, h) по формулам (20)–(21) для тестового задания закрытой формы с выбором трех альтернативных ва6 риантов из семи возможных представлены на рис. 7. С учетом весовых коэффициентов альтернатив6 ных вариантов тестового задания, формулу (21) для степени соответствия λ преобразуем к виду: .

(22)

Контурный график функции соответствия по формуле (21) для тестового задания закрытой фор6 мы с выбором трех альтернативных вариантов из се6 ми возможных представлены на рис. 8. Формулы (12)–(20), (22) определяют математи6 ческую модель критерия дифференцированной оценки ответа на тестовые задания закрытой формы с выбором нескольких альтернативных вариантов из множества. Траектория процесса формирования ответа на те6 стовое задание, при последовательном выборе толь6 ко правильных альтернативных вариантов ответа стремится к максимально правильному ответу. И по тенденции изменения λ(tj) можно судить о правиль6 ности ответа тестируемым на тестовое задание.

№5, 2006

49

КОНТРОЛЬ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА

Рис. 4. Пример динамических параметров g(t) и b(t) для траектории процесса формирования ответа T5

Рис. 5. Пример динамических параметров I(t) и O(t) для траектории процесса формирования ответа T5

Пример изменения λ(t) для траектории T5 про0 цесса формирования ответа на тестовое задание представлен на рис. 9. Ниже приведена таблица критериев, характери0 зующих динамику процесса формирования ответа на тестовое задание для траекторий из примера 1. Из таблицы видно, что без учета динамики процес0 са формирования ответа, степень соответствия λ(tn) для одного и того же ответа на тестовое задание оди0 накова для всех траекторий его выбора. Учет дина0 мики процесса формирования ответа на тестовое за0 дание позволяет получить более объективную оцен0 ку (таблица 2).

№5, 2006

Рис. 6. Изменение критерия ξ для траекторий T1, T2, T3, T4

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ

50

КОНТРОЛЬ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА

λ

δ

п2

п1

п2

п1

Рис. 7. Коэффициенты степени соответствия ответа тестируемого эталонному ответы для тестового задания с равнозначными альтернативными вариантами ответов и характеристиками n1 = 3, n2 = 4, L = 3: a) степень соот! ветствия δ, б) степень соответствия λ

нению с математическим описанием для тестовых за: даний с выбором нескольких альтернативных вари: антов из множества.. На рис. 10 представлен процесс формирования окончательного ответа на тестовые задание закрытой формы с одним выбором ответа из множества. Специфика тестовых заданий закрытой формы с выбором одного альтернативного варианта ответа из множества заключается в том, что все альтернатив: ные варианты этих заданий имеют одинаковый вес. Вследствие этого, эталонный образ Sk ответа на тес: товое задание закрытой формы с выбором одного альтернативного варианта ответа из множества:

.

(23)

Рис. 8. Контурный график поверхности функции λ(a(t), h(t)) для тестового задания примера 1

Разработана система критериев, учитывающих динамику процесса формирования ответов на тесто: вые задания закрытой формы. Таким образом, математические модели (1)!(6), (8)!(11), ((12)–(20), (22)) и система критериев при условии , где tmax – время, отведенное на ответ на тестовое задание, опи: сывают процесс формирования ответов на тестовые задания закрытой формы с выбором нескольких аль: тернативных вариантов из множества. Математическое описание процесса формирова: ния конечного ответа на тестовое задание закрытой формы с выбором одного альтернативного варианта ответа из множества имеет свои особенности по срав:

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ

Параметры соответствия, представленные в табли: це 1, для тестовых заданий закрытой формы с выбо: ром одного альтернативного варианта ответа из мно: жества рассчитываются по следующим формулам: (24) (25)

Траекторией процесса формирования ответа на тестовое задание закрытой формы с выбором одного альтернативного варианта ответа из множества назовем упорядоченную последовательность образов ответов, удовлетворяющую следующим условиям:

№5, 2006

51

КОНТРОЛЬ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА

Рис. 9. Изменение l(t) для траектории T5 процесса формирования ответа на тестовое задание Таблица 2. Учет динамики процесса формирования ответа на тестовое задание

Рис. 10. Пример процесса формирования ответа на тестовое задание закрытой формы с одним выбором ответа

(26) Пример 2. Траектории процесса формирования одного и того же ответа на тестовое задание закрытой формы с выбором одного альтернативного варианта ответа из множества. Рис. 11. Эталонный ответ на тестовое задание закры: той формы

№5, 2006

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ

52

КОНТРОЛЬ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА

Рис. 12. Пример динамических параметров g(t) и b(t) для траектории процесса формирования ответа T3

Рис. 13. Пример динамических параметров I(t) и O(t) для траектории процесса формирования ответа T3

Для тестовых заданий закрытой формы с выбо@ ром одного альтернативного варианта из множества для траетории: . Реализации тестовых заданий закрытой формы с выбором одного альтернативного варианта ответа из множества заключается в том, что начиная с момента времени tj ( ), каждой последующей операции «установление метки», предшествует автоматичес@ кое выполнение операции «снятие метки», т.е. коли@ чество операций «установление метки» связано с количеством операций «снятие метки» следующей зависимостью: .

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ

(27)

(28)

На рис. 12–13 приведены динамические характе@ ристики процесса формирования конечного ответа на тестовое задание закрытой формы с выбором од@ ного альтернативного варианта из множества для траетории T3 примера 2. Ниже приведена таблица критериев, характери@ зующих динамику процесса формирования ответа на тестовое задание для траекторий из примера 2. Таким образом, математические модели ((1), (4), (23)0(25)), ((11), (26)), ((12)0(17), (20), (22), (27),

№5, 2006

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В МЕНЕДЖМЕНТЕ КАЧЕСТВА И ИННОВАЦИОННОМ МЕНЕДЖМЕНТЕ

53

Таблица 3. Учет динамики процесса формирования ответа на тестовое задание

(28)) и система критериев при ус, ловии , где tmax – время, отведенное на ответ на тестовое задание, описывают процесс формирова, ния ответов на тестовые задания закрытой формы с выбором одного альтернативного варианта из мно, жества. Система критериев, представленная в работе, учитывает динамику процесса формирования отве, тов на тестовые задания закрытой формы, что обес, печивает корректную оценку знаний при дистанци, онном тестировании. Математическая модель оцен, ки ответов на тестовые задания закрытой формы, представленная в работе, отличается от существую, щих тем, что оценка ответа определяется динамикой процесса его формирования.

ЛИТЕРАТУРА

1. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах. Карпова Ирина Петровна. Специальность 05.13.13. – Телекоммуникацион, ные системы и компьютерные сети. Автореферат диссертации на соискание ученой степени канди, дата технических наук. Московский государ, ственный институт электроники и математики (техническом университете), 2002. А.А. Рыбанов, канд. техн. наук, Волжский политехнический институт (филиал) ВолгГТУ, [email protected]

Ê.Ï. Âîðîíêîâ

K.P. Voronkov

REUSE OF ELEMENTS FOR IMPROVEMENT OF QUALITY AND EFFICIENCY OF THE NETWORK SOFTWARE

ПОВТОРНОЕ ИСПОЛЬЗОВАНИЕ ЭЛЕ; МЕНТОВ ДЛЯ ПОВЫШЕНИЯ КАЧЕС; ТВА И ЭФФЕКТИВНОСТИ СЕТЕВОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ Â ñòàòüå ðàññìîòðåíû îñíîâíûå ïðîáëåìû ïðîåêòèðîâàíèÿ ñåòåâîãî ïðîãðàììíîãî îáåñïå÷åíèÿ, à òàêæå ñîâðåìåííûå ìåòîäû ïîâûøåíèÿ êà÷åñòâà çà ñ÷åò ïîâòîðíîãî èñïîëüçîâàíèÿ ýëåìåíòîâ äèçàéíà, êîäà è ñòàíäàðòîâ. Òàêæå â ñòàòüå ðàññìîòðåíû îñíîâíûå ìåòîäû, ïðèìåíÿåìûå äëÿ ñíèæåíèÿ ñòîèìîñòè ïðîèçâîäñòâà ñåòåâîãî ïðîãðàììíîãî îáåñïå÷åíèÿ.

Òhe article covers network software design problems and the contemporary methods for quality increase by reuse of design, code, and standards. Basic means for reducing cost of network software production are also considered in the article.

Содержание СЛОЖНОСТЬ ПРОИЗВОДСТВА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ При проектировании и разработке сетевых приложе, ний на множество платформ различных операцион, ных систем возникают проблемы, связанные с высо, кой сложностью производства. В наше время сокра,

№5, 2006

щено регулирование экономики со стороны государ, ства и существует глобальная конкурентная борьба, и поэтому разрабатывать приложения почти с нуля, используя только программные интерфейсы опера, ционной системы и методы алгоритмического про, ектирования, непомерно дорого и долго. Увеличение

КАЧЕСТВО ИННОВАЦИИ ОБРАЗОВАНИЕ