Методика и средства индивидуального тестирования в ВУЗе

Бутенков С.А., Сальников В.А., Бутенков Д.С.

Методика и средства индивидуального тестирования в ВУЗе

Таганрог, 2005

Содержание Введение ............................................................................................................................ 3 Задачи тестирования......................................................................................................... 4 Теоретическая база тестирования ................................................................................... 5 Практические проблемы тестирования .......................................................................... 7 Наш взгляд на тестирование ............................................................................................ 8 Опыт ТРТУ в применении тестирования ....................................................................... 9 Реализация генераторов тестов в среде MathCAD ........................................................ 10 Примеры реализации тестов ............................................................................................ 13 Заключение ........................................................................................................................ 19 Литература......................................................................................................................... 20

2

Введение Настоящая работа отражает взгляд педагога высшей школы на задачи и сложности тестирования, а также попытку постановки и в некотором смысле решения ряда реальных проблем педагогической практики с использованием программных средств для создания материалов к тестированию. Какова цель тестирования учащихся? Согласно стандарту [Стандарт 2001] это род измерения. Теоретической основой подобного измерения являются либо результаты теории обработки измерений, либо теории IRT (порусски ТМПТ) по работам [Нейман Ю.М. и др., 2002], которые являются прикладными направлениями теории вероятностей. Оба подхода в настоящее время развиты до такой степени, что уже страдают некоторой формальностью, что, как известно, противоречит практической полезности. Причиной является то, что в них присутствуют совершенно неизвестные функции (отклики), которые пытаются оценивать без априорной информации. Классические и новые методы статистики, основанные на аксиоматике Колмогорова и прекрасно себя зарекомендовавшие в статистической физике, массовом производстве и т.п. хотя и применяются в тестировании широко, но совершенно не корректны с точки зрения репрезентативности, что, впрочем, отмечал еще Н. Винер [Винер Н., 1958] Статистика, основанная на аддитивных вероятностных мерах [Броневич А.Г. и др., 1996] мало подходит для подобного класса задач, скорее связанных с субъективным оцениванием [Литвак Б.Г., 1981], [Кини Р.Л. и др., 1981], [Ларичев О.И. и др., 1996]. Между тем, сравнительно опытный преподаватель при личном контакте сразу оценивает степень владения материалом по косвенным признакам (владение терминологией, свободный переход от одной темы к другой и т.п.). С неформальной точки зрения практической задачей тестирования является создание инструментальных средств поддержки учебного процесса. Государственное тестирование имеет совершенно иные задачи, являясь инструментом измерения при переходах между ступенями образования (начальная школа – средняя школа, школа - ВУЗ). Внутри ВУЗов тесты государственного образца по ряду существенных причин мало пригодны для повседневной работы. Область их применения, в соответствии с официально сформулированной целью, лежит, скорее, в поле переходных и государственных экзаменов. Целью повседневной работы преподавателя является не контроль (измерение в терминологии тестологов), а обучение. С этой точки зрения государственные тесты исключительно негибки, так как изготовляются централизованно и попытки приспособить их к проблематике ВУЗа если и возможны, то потребуют много времени. При попытке обеспечить студентов индивидуальными тестами будет необходима закупка значительных количеств готовых тестов. Наконец, бланки тестов являются одноразовыми. Все это требует значительных затрат на обеспечение учебного процесса рабочими тестовыми материалами. Итак, целью работы является разработка идеологии тестирования, дополняющего централизованное тестирование в тех областях, где его отрицательные качества проявляются наиболее явно. С этой целью необходимо разработать методику и технику создания требуемого количества равносложных контрольных материалов для текущего контроля и обучения больших масс учащихся. Важнейшей особенностью оперативных тестов является возможность оперативной проверки (лучше прямо на месте проведения), что позволяет организовать обратную связь с учащимся и использовать эти материалы именно для обучения, а также для самообучения при дистанционном обучении. На наш взгляд подобную роль могут играть малоразмерные карточки, содержащие индивидуальные варианты задач равной сложности, снабженные соответствующими карточками с точными ответами (для проверки или самоконтроля). Подобные материалы могут тиражироваться (без повторения) и использоваться очень гибко. 3

Задачи тестирования В соответствии с ОСТ Министерства образования [Стандарт 2001] педагогические тесты должны разрабатываться как измерительные инструменты для объективного сравнения результатов обучения в различных условиях. Тесты должны обеспечивать органы управления образованием достоверной информацией об общих результатах обучения и обеспечивать учащимся и их родителям возможность объективно оценивать уровень достижений учащегося. Средством к достижению указанных целей является в соответствии с работами [Нейман Ю.М. и др., 2002], [Хлебников В.А., 2002] конструирование таких измерительных инструментов и/или процедур, с помощью которых возможно одинаково надежно и точно (с наперед заданной доверительной вероятностью и границами доверительных интервалов) определять учебные достижения учащихся любого уровня подготовленности. Достижению этих целей препятствует наличие объективно существующих неточностей в данных на всех этапах тестирования. В соответствии с работой [Хлебников В.А., 2002] основными источниками неточностей педагогических измерений являются: 1. Латентность (недоступность для прямого измерения) как уровня подготовленности тестируемого, так и уровня трудности задания. Более того, эти величины, тесно связаны между собой и проявляются в измеряемой функции успеха. Между тем, основные законы математической статистики основываются на гипотезах независимости оцениваемых величин. 2. Использование при оценке латентных параметров (с использованием модели Раша) гипотезы нормального распределения баллов, что справедливо в случае применимости Закона больших чисел, предъявляющего весьма жесткие формальные требования к обрабатываемым данным. 3. Необходимость использования для оценки с помощью статистических методов оценки моментов распределения, максимального правдоподобия больших выборок (N>>100) для получения достоверных результатов. Реально имеющиеся выборки баллов чаще всего имеют гораздо меньший объем, причем их увеличение невозможно из-за роста трудоемкости теста. В силу указанных причин классические результаты теории измерений (например, вычисление орбиты Нептуна по неточным измерениям и т.п.) плохо применимы к измерениям в тестировании. В результате в настоящее время возникает объективная необходимость улучшения модели Раша. По этому поводу В. Аванесов пишет: “В современной литературе нет ясности относительно теоретической основы педагогических измерений. Раньше в качестве такой основы ошибочно рассматривались статистические теории. Ситуация несколько выправилась после классических работ Лорда, однако затем, в последние тридцать лет, она вновь ухудшилась под влиянием сторонников Item Response Theory (IRT). Последняя имеет на Западе и другое, более общее и точное название – Latent Trait Theory (LTT), переводимое как математическая теория измерения латентных качеств личности. В России IRT нередко провозглашается как “единственная” и “современная” теоретическая основа педагогических измерений. Между тем ни одна из упомянутых теорий не являются ни современными, ни педагогическими. Это уже давно известные формальные и общие теории, применение которых в педагогических измерениях хотя и плодотворно, но имеет вполне понятные пределы ...” В настоящее время существует высокий интерес к проблеме решения задач при неточных, неполных, ошибочных и т.п. исходных данных [Нариньяни А.С., 2004]. Проблемы тестирования делятся на два больших и слабо связанных класса: • Теоретические проблемы • Практические проблемы. В данной работе мы попробуем сформулировать и решить некоторую часть практических проблем для задач тестирования в рамках существующей модели обучения в ВУЗе (на примере курса математики). 4

Теоретическая база тестирования Дадим математическую формулировку описанных выше трудностей теории тестирования по [Rash G., 1960], [Rash G., 1977] с точки зрения современных теорий неточности и неопределенности данных. При анализе результатов тестирования мы имеем дело с проблемой извлечения полезной (и достоверной) информации из исходов некоторого эксперимента (ответов на вопросы теста) [Броневич А.Г. и др., 1996]. Важной особенностью исходов эксперимента (иначе называемых наблюдениями) является их случайность, т.е. непредсказуемость результата каждого опыта (ответа на каждый вопрос). Надо преобразовать их в измерения. Множество всех исходов тестирования образуют выборочное пространство S тестирования. Некоторым подмножествам A выборочного пространства S можно поставить в соответствие неотрицательное число P ( A) ∈ [0,1] , которое называют вероятностью исхода. Эта величина характеризует относительную частоту того, что действительный исход эксперимента будет принадлежать A. Если получаемая величина оценки является непрерывной, то величину P удается определить только для борелевских множеств. Для этого на выборочном пространстве введем понятие σ -алгебры. В данном контексте семейство Σ подмножеств пространства S, называется σ -алгеброй если выполняются следующие условия: S ∈ Σ ; A ⊂ Σ ⇒ A ∈ Σ и ∞

U A ∈ Σ . Множества из Σ называют событиями. i

i =1

Для заданного выборочного пространства S с σ -алгеброй Σ вводят неотрицательную функцию, определенную для всех событий из Σ , которую называют вероятностной мерой (или распределением) P на Σ . Эта функция удовлетворяет условиям нормированности P (∅) = 0 , P( S ) = 1 , аддитивности P( A ∪ B) = P ( A) + P( B) и непрерывности

⎛∞ ⎞ A1 ⊇ A2 ⊇ ... ⊇ An ⊇ ..., Ai ⊆ Σ ⇒ P ⎜ I An ⎟ = lim P( An ) . ⎝ n =1 ⎠ n →∞ Тройка ( S , Σ, P) называется вероятностным пространством. В теории вероятностей рассмотренное пространство S часто называют пространством элементарных событий. Общая проблема измерений в тестировании, порождающая все указанные в [Нейман Ю.М. и др., 2002], [Хлебников В.А., 2002] трудности, состоит в том, что результаты тестирования содержат неустранимые погрешности, в результате чего между двумя введенными пространствами имеются весьма существенные различия. Действительно, в случае неточности наблюдений мы не можем утверждать, что при наблюдении исхода A действительно произошло событие B (латентное событие в терминологии тестирования). С учетом этих обстоятельств мы записываем A ⊆ B в случае, если исход эксперимента влечет наступление B, A ∩ B = ∅ если событие B не произошло и, наконец, в ситуации неопределенности, когда A ⊄ B и A ∩ B ≠ ∅ мы говорим, что событие B возможно произошло, а возможно и нет. В России и за рубежом большое число исследователей работают над теоретической базой улучшения методики тестирования [King J., et al., 2001], [Wilson M., et al., 1995], [Junker B.W., et al., 2001], [Lauritzen S.L., et al., 2003], [Linardakis M., et al., 2000], [Junker B.W., et al., 2001 А], [Kreiner S., et al., 1998] и др.. Коллектив научной лаборатории ТРТУ участвовал в первых опытах внедрения централизованного тестирования в 1996 г. и накопил значительный опыт обработки результатов педагогических измерений в рамках работы в рейтинговой системе обучения РИТМ, используемой в ТРТУ [Иванов Е.А., и др., 1993], [Бутенков С.А., и др., 1996]. С точки зрения анализа неточной информации эффективный путь улучшения существующих моделей шкалирования заключается в их интеллектуализации. За счет введения элементов теории искусственного интеллекта [Beck J.E., et al., 1997], [Rudner L., 5

2001], [Colins J., 1999], [Yao J.T., et al., 2002] в модель шкалирования по Рашу можно получить теоретически обоснованные результаты, учитывающие неточности данных, поскольку нечеткие методы работают с такими же нормированными величинами, что и вероятностные, но ограничения на применимость гораздо менее жесткие. Математическим аппаратом изучения неточности в данных является теория ДемпстераШейфера [Dempster A., 1967], [Shafer G., 1976]. В этой теории результаты эксперимента рассматривается как наступление некоторого события, называемого фокальным событием соответствующей σ -алгебры. Таким образом, при получении первичных баллов теста мы получаем фокальные события, в то время как истинные события остаются недоступными непосредственному измерению, что подробно описано в [Хлебников В.А., 2002]. Для корректировки вероятностных оценок в описанных условиях могут быть использованы меры, называемые мерами правдоподобия и доверия. Мера правдоподобия (plausibility) Pl ( B) – это численная характеристика относительной частоты случаев, которые не противоречат одновременному наступлению события B при проведении эксперимента. В условиях тестирования по требованиям ОСТ мы имеем конечное число исходов (фокальных событий) { Ai | i = 1,... n} , для каждого из которых известны ~

вероятности появления во время тестирования p ( Ai ) . Тогда, опуская необходимые условия, приведенные в [21] можно получить формулу Pl ( B) =

∑

Ai ∩ B ≠∅

~

p( Ai ) .

Мера доверия (confidence) Cr ( B) по определению характеризует относительную частоту случаев, при которых наблюдения позволяют фиксировать наступление события B и численно равна вероятности того, что B обязательно произойдет. В силу этого, так как событие B является необходимым при наблюдении исхода Ai если Ai ⊆ B , то Cr ( B ) =

~

∑ p( A ) .

Ai ⊆ B

i

Эти меры широко используются в современной теории интеллектуальных систем и могут существенно уточнить результаты, полученные при тестировании.

6

Практические проблемы тестирования Важнейшей практической проблемой, которая совершенно не учитывается организаторами централизованного тестирования, является широко распространенное списывание, или, более широко, различные формы несанкционированного получения ответов. Незначительные усилия контролируемых по применению различных форм списывания сводят на нет все теоретические достижения ТМПТ. Это совершенно неактуально в США, где родилась теория IRT, так как, судя по свидетельствам очевидцев, списывание там пресекается не столько преподавателями, сколько самими студентами, сразу сообщающими преподавателю, если их коллега списывает. Ситуация в России совершенно иная. Списывание применяется охотно большей частью студентов, формы его совершенствуются, особенно с появлением наладонных ПК и мобильных телефонов. Существуют сотни способов обманного получения верных результатов централизованного тестирования: от добычи (тем или иным способом) бланков до явки по чужому паспорту, сигнализации в аудитории с целью передачи правильных номеров ответов и т.д. В последнее время значительно увеличивается опасность активного применения средств связи (Ночь, улица, фонарь, аптека …). Распространенной проблемой являются также опечатки (ошибки) в материалах тестирования. Практика показывает, что их процент достаточно высок и они оцениваются проверяющими как неверно решенные. Следует отметить, что такие ошибки будут всегда, так как они возникают в процессе тиражирования и при исправлении обнаруженных опечаток будут возникать новые. Чем больше лиц участвуют в промежуточных этапах подготовки и проведения тестов, тем выше опасность снижения качества и утечки информации о тестах. В то же время, эти недостатки легко аннулируются при оперативном изготовлении материалов на месте, а также при проведении контроля преподавателем, лично знающим контингент. Итак, проблемы централизованного тестирования и текущих тестов лежат совершенно в разных плоскостях, поэтому внося в текущее тестирование элементы централизованного – мы вносим и его недостатки. Недостатки делятся на • Теоретические • Практические Первые связаны с математическими проблемами, изложенными в предыдущем разделе. Попытка полностью формализовать тестирование, к сожалению, обречена на провал (по известной формуле ”гладко было на бумаге, да забыли про овраги”). Единственным вариантом, позволяющим избежать многих недостатков, а также значительно уменьшить влияние списывания было бы проведение централизованного тестирования по образцу сдачи TOEFL, т.е. абитуриенты должны прибывать в Москву и использовать персональные задания, непосредственно сгенерированные для них на компьютере. Однако очевидно, что такая ПОЛНАЯ ФИЗИЧЕСКАЯ централизация тестирования разрушит имеющуюся систему высшего образования при сложившихся ценах на транспорт и их неуклонном росте, а также при существующих ценах на тесты типа TOEFL.

7

Наш взгляд на тестирование В соответствии с сформулированными ранее проблемами, рабочие тестовые материалы должны быть рассчитаны на: 1. Проведение одним человеком; 2. Отсутствие ошибок при тиражировании; 3. Минимальное число лиц, участвующих в тиражировании; 4. Абсолютная индивидуальность заданий; 5. Выровненность по сложности; 6. При всех предыдущих условиях тематика тестов должна быть весьма узкой. Нами предложен подход в виде карточек с заданиями по определенной узкой теме, которые сопровождаются точными ответами. Тест может составляться из нескольких карточек. Задания на карточках одинаковы, но содержат индивидуальные числовые значения, т.е. прямое списывание невозможно. Карточки тиражируются самим преподавателем непосредственно перед тестированием. Каждая карточка содержит индивидуальный код, что не позволяет подменить их (по технологии ”колесо”, когда изымается одна из карточек, а вместо нее вбрасываются заранее подготовленные). Каково должно быть содержание подобных рабочих материалов? В отличие от централизованного тестирования, когда проверяется уровень знаний по широкому полю материала, рабочие карточки должны быть ориентированы, скорее, на проверку навыков, оставляя окончательную оценку за преподавателем. При этом существенными являются полная неповторяемость числовых данных, выравнивание по сложности и наличие точных ответов у преподавателя. В практическом применении подобные материалы скорее должны обеспечить проверку минимального уровня знаний и навыков. В частности, благодаря указанным свойствам они очень хорошо подходят для оперативной проверки перед допуском к экзаменам, лабораторным работам и т.п., так как очевидно, что лицо не владеющее уверенно базовыми навыками не может допускаться к теоретической части контроля. Для технической реализации этих идей нами было разработано программное обеспечение, расширяющее стандартные возможности среды MathCAD и позволяющее работать с файлами произвольного формата. На его основе был разработан ряд программ на языке программирования MathCAD, позволяющих генерировать неограниченное количество карточек, содержащих индивидуальные задания и ответы к ним в виде HTML файлов (задания и ответы содержатся в разных файлах). На сайт нами представлена часть подобных программ с образцами их применения. Напомним, что подобные задания являются продуктом индивидуального дизайна и мы можем поддержать будущих разработчиков, предоставив им широкий набор типовых функций и примеров для использования. Интересной особенностью файлов HTML является возможность включения графики, что в сочетании с графическими возможностями MathCAD позволяет создавать тесты с элементами графики. В качестве примера мы разработали тест на рисование графиков функций, в котором ответы содержат собственно оцифрованные графики. С точки зрения преподавателя проверка сводится к классическому ”Смотри”. Отметим, что на предложенной основе можно получить гораздо более интересные результаты в использовании графики.

8

Из опыта применения в курсе высшей математики ТРТУ. Строгость предлагаемого варианта индивидуального тестирования не в его жестокости, а, скорее, в точности ответа. Поскольку каждая карточка обязательно имеет точный ответ, то можно не засчитывать неверно решенные задания. Поскольку карточка покрывает отдельный раздел курса, то условием получения минимального балла является точное решение всех задач. Практика показывает, что следует ограничивать время решения (по нормативу), чтобы отлично подготовленные студенты не могли решить сравнительно простые задания для соседей. Возможно также поощрение быстро работающих в виде повышения баллов за скорость решения, с последующим удалением из аудитории на заслуженный отдых. В таком контексте предложенные виды карточек отлично выявляют объективный уровень освоения минимума практического материала по теме. Это наиболее важно с целью фильтрации не заинтересованных в обучении студентов от проникновения на более высокий уровень тестирования. На опыте ТРТУ контроль проводится в два этапа. Сначала раздаются индивидуальные задания на наших карточках и выделяется лимит времени. В порядке решения студенты подходят к преподавателю, который по листам с ответами проверяет правильность решения. В случае правильного решения студент получает минимальный зачетный балл (уд) и задание следующего уровня, дающее возможность получения максимального балла. Не справившиеся с базовым заданием на карточках (напомню, что следует учитывать только точное решение всех базовых задач) удаляются из аудитории. Отметим, что описанная методика никогда не вызывала протестов у студентов, так как даже неадекватные обучению в ВУЗе студенты понимают, что задачи типовые и не очень сложные и обвинения в необъективности преподавателя отпадают сами собой. Эти же материалы использовались для получения допусков к ряду лабораторных работ, чтобы выяснить, насколько студент, собирающийся выполнять работы по СЛАУ способен оперировать основными понятиями на простых примерах (решение различными модификациями метода Гаусса и т.п.). Здесь же проверяется понимание условий существования и единственности решения, применимости конкретных методов к конкретным видам СЛАУ и т.п. На заочном отделении эти карточки могут использоваться для самоподготовки студентов, при условии выдачи им карточек с ответами. Наконец, благодаря формату HTML они могут быть выставлены для дистанционного доступа. Можно отметить, что предлагаемая реализация с помощью MathCAD является развитием ранних разработок, в которых использовался управляемый вывод на матричный принтер. На кафедре высшей математики ТРТУ нами использовались 14 типов подобных индивидуальных заданий, покрывающих все основные разделы курса математики технического ВУЗа. Эти задания как по отдельности, так и в комбинации друг с другом широко использовались для оперативного контроля базовых навыков значительного контингента учащихся. В настоящее время мы ведем работу над повторением этих материалов в среде MathCAD.

9

Реализация в среде MathCAD Для реализации проекта мы выбрали MathCAD, так как он обладает (с нашей точки зрения) рядом преимуществ перед другими пакетами. Его внутренний язык программирования (в отличие, к примеру, от MatLab и Mapple) является абстрактным языком структурного программирования, близким к языку C. В отличие от Maple, мы проводим численные а не символические расчеты. При таких условиях достаточно опытный программист способен перевести отработанные в MathCAD алгоритмы на любой из языков структурного программирования достаточно быстро. При этом мы имеем значительные возможности для отладки на математическом уровне (вывод массивов, промежуточные проверки в тексте, рисование графиков различных типов и т.п.). При разработке наших алгоритмов генерации карточек в другой среде программирования (Delphi, Visusl C) на это понадобилось бы значительное время и ресурсы). Мы написали небольшую библиотеку программ, обеспечивающих функции, которые пока отсутствуют в MathCAD. Это, во-первых ввод-вывод файлов в произвольном формате, во-вторых чтение системного таймера для рандомизации. Формат PRN, поддерживаемый MathCAD, рассчитан на чтение/запись массивов. Это не всегда удобно, так как приводит к громоздким файлам (см. пример со шрифтами). Слабым местом MathCAD, существенным для поставленной задачи, является неудовлетворительная система получения псевдослучайных последовательностей. Они всегда начинаются одним и тем же значением Random Seed. Это значение нужно менять вручную. Хотя в последней версии появилась функция установки Random Seed, но получение его значения остается на совести программиста. По аналогии с продуктами Borland мы ввели простую функции, которая считывает миллисекунды с системного таймера, что в сочетании с функцией установки Random Seed дает возможность начинать последовательности с разных значений. Наконец, предложенный продукт является Open Source, т.е. каждый может переработать его для своих целей, а также сделать свои разработки, о которых, как мы надеемся, он сообщит нам, как и об опыте применения наших карточек по адресу [email protected].

Описание библиотеки дополнительных функций для MathCAD Для реализации в среде MathCAD нами была разработана дополнительная пользовательская библиотека (dll), содержащая ряд функций чтения/записи файлов произвольного формата, а также чтения системного таймера для установки начального значения Random Seed. Для использования dll FileWork следует разместить ее в каталоге UseEFI пакета MathCAD. После этого можно использовать в своих документах ее функции. Приведем список дополнительных функций библиотеки: 1. FWReadFile(filename, pos, count, datatype) – чтение данных; 2. FWWriteFile(data, filename, pos, datatype) – запись данных в файл, при этом файл должен уже существовать; 3. FWCreateFile(filename) – создание нового пустого файла; 4. FWFileSize(filename) – определение размера файла; 5. FWGetTimer(1) – получение миллисекунд после полуночи с системного таймера. Описание параметров: 1. data: Array, данные для записи в файл; 2. filename: String, имя файла; 3. pos: Integer, позиция в файле в байтах; 4. count: Integer, кол-во элементов заданного типа(байт в зависимости от типа); 5. datatype: String, имя типа каждого элемента. 10

Значение pos: неотрицательное - от начала файла, отрицательное – с конца файла, причем [-1] это первый байт за пределами файла, [-2] – первый байт файла с конца и т.д. Чтобы добавить данные в файл(append) нужно в функции FWWriteFile для параметра pos указать [-1]. Значения типов: 1. "char" – символ; 2. "sint8" – байт, знаковое; 3. "sint16" – слово, знаковое; 4. "sint32" – двойное слово, знаковое; 5. "uint8", - байт, беззнаковое; 6. "uint16" – слово, беззнаковое; 7. "uint32" – двойное слово, беззнаковое; 8. "float" – пл. точка, 4байта; 9. "double" – пл. точка, 8байт. Простой пример показывает применение дополнительных функций для вывода в файлы символьных значений, что позволяет выводить из среды MathCAD данные в формате HTML. Более подробные примеры содержатся в документе StandHTM.mcd, который содержит функции, обеспечивающие вывод произвольных данных. Write ( Fn , S) :=

data ← str2vec ( S) c ← FWWriteFile( data , Fn , −1 , "char" ) c

Writeln( Fn , S) :=

data ← str2vec ( S) c ← FWWriteFile( data , Fn , −1 , "char" ) t ← 13 0

t ← 10 1

c ← FWWriteFile( t , Fn , −1 , "char" ) c

Следующий пример показывает применение функций чтения из бинарного файла. Она используется в документе StandhGRAPH.mcd, который содержит функции, обеспечивающие вывод линий и надписей в массивы с последующим их сохранением в файлы формата bmp посредством стандартной функции WRITEBMP. Для вывода надписей мы использовали имеющиеся экранные шрифты для DOS, позволяющие крайне экономно записывать растровые шрифты с богатым набором символов. В целом применение подобных растровых шрифтов служит, в основном, для демонстрации новых возможностей нашей библиотеки.

11

ReadFont( Fn) :=

SizeX ← FWReadFile ( Fn , 19 , 1 , "uint8" ) SizeY ← FWReadFile ( Fn , 20 , 1 , "uint8" ) Len ← FWReadFile ( Fn , 16 , 1 , "uint8" ) Fs ← FWReadFile ( Fn , 17 , 1 , "uint8" ) Size ← Len⋅ SizeY fontmas ← FWReadFile ( Fn , 344 , Size , "uint8" )

⎛ SizeX ⎞ ⎜ ⎟ ⎜ SizeY ⎟ ⎜ Len ⎟ ⎜ ⎟ ⎜ Fs ⎟ ⎜ Size ⎟ ⎜ ⎟ ⎝ fontmas ⎠ Для более глубокого освоения техники работы с dll рекомендуется изучение текстов документов, прилагаемых к работе.

12

Примеры реализации тестов Общая схема документа начинается с выбора раскладки вариантов решения. Практически во всех задачах следует переставлять варианты таким образом, чтобы соседние карточки не были одинаковы по раскладке вариантов. Например, задачи по решению СЛАУ содержат несовместную систему и две совместные (с единственным и неединственным решениями), но их порядок изменяется от задания к заданию. Второй важной особенностью процесса программирования псевдослучайных заданий является определение структуры промежуточных данных, на основании которых в дальнейшем генерируются как задание, так и ответ. Все задания должны быть примерно равной сложности в решении. Это представляет собой скорее, теоретическую и методическую задачу и решается на этапе проектирования. Следует так подобрать задачи и способ получения данных, чтобы получить случайные по виду данные, не содержащие ошибок. Отметим сразу, что простое получение параметров с помощью генераторов случайных чисел НИКОГДА не дает корректного результата. Получение корректных данных представляет собой сложный процесс со множеством проверок. Кроме того, следует разработать общую концепцию получения данных. Например, в заданиях по векторной алгебре используется принцип случайного масштабирования и вращения трех типов исходных пирамид, в результате чего создаются качественные данные, имеющие вид случайных. В соседних вариантах тип пирамиды не повторяется, поэтому раздавая карточки по номерам можно гарантировать то, что рядом сидящие студенты не смогут списывать с точностью ”до букв”. При этом числовые данные различны во всех вариантах. При построении тестов большую проблему составляет ”запутывание” вариантов так, чтобы по виду задания нельзя было сразу получить данные к ответу. Наконец, большую проблему представляет содержание ответа. Он должен быть весьма информативным и в то же время достаточно компактным. Важным является дизайн карточек в HTML, его целью является создание компактных карточек и при этом использование возможностей HTML. В частности, мы можем генерировать не только текстовые данные, но и изображения (с помощью стандартной функции MathCAD), и включать их в тексты карточек. Для размещения карточек на листах без их разделения используются тэги HTML4, позволяющие прервать печать листа. В целом процесс конструирования документа является достаточно сложным и в значительной мере творческим и требует глубокого знания предметной области. Сложность создания новых тестовых материалов в дальнейшем вполне окупается возможностью многолетнего использования. Структура документа в целом напоминает структуру программы на языке программирования высокого уровня. Во-первых, используются файлы включения, содержащие вспомогательные функции (StandHTM и StandGRAPH), которые подключаются путем установки ссылок. Далее в документе вводятся новые функции, а также сразу после описания выполняется их тестирование на подобранных примерах. Это позволяет отрабатывать довольно сложные алгоритмы ”снизу вверх”, получая гарантированную достоверность функций нижнего уровня. Завершающая часть документа содержит параметры задания, такие как число вариантов, код для идентификации и т.п. Далее обычно получаются массивы промежуточных данных, содержащие данные, необходимые для печати как задания, так и ответов. С целью оптимизации использования бумаги вводится число карточек, размещающихся на листе бумаги. Отметим, что представленные варианты рассчитаны на формат А4 с установкой минимальных полей в Internet Explorere) (по 10мм.). Перевод страницы осуществляется автоматически после того, как на странице будет напечатано заданное число карточек.

13

В целом эксплуатация документов не требует внесения дополнительных изменений за счет использования функции автоматической установки Random Seed. Благодаря этому при каждом просчете документа генерируются новые значения параметров заданий. Может оказаться необходимым только изменение кода задания или числа требуемых вариантов. СЛАУ Начнем с типового примера: решение СЛАУ. Задачей является проверка навыков исследования и решения СЛАУ на примере систем третьего порядка. Документ начинается с процедуры выбора вариантов расположения СЛАУ в карточке. Каждая карточка содержит три типа СЛАУ, но их порядок изменяется. Далее следуют процедуры, генерирующие случайные треугольные матрицы, а также векторы решений и правые части систем. После этого приводятся процедуры, в соответствии с назначенными вариантами приводящие матрицы систем к нужному рангу. Наконец, вводится процедура эквивалентного преобразования систем с целью ”маскировки” треугольной формы исходной матрицы каждой системы. При этом отслеживается качество матриц, т.е. в заданиях не должно быть сильно разреженных матриц. Далее приводятся процедуры формирования карточек заданий и ответов, использующие для вывода функции дополнительной библиотеки. В завершающей части документа происходит собственно генерирование карточек. Определяется их общее количество и количество карточек на листе. Задается заголовок HTML файла и код идентификации карточек. Код идентификации играет роль неповторяемого шифра, поэтому в разных комплектах карточек (например, для разных групп) его следует менять. Код также устанавливает соответствие между листами заданий и ответов. В завершение документа вызываются собственно процедуры вывода заданий и ответов, использующие полученные ранее массивы данных. В целом структура подобна программе на языке высокого уровня и позволяет при необходимости реализовать этот алгоритм на любом универсальном языке программирования. Вариант #1

Код "TESTPage"

Даны три СЛАУ, представленные в виде расширенных матриц коэффициентов. Необходимо исследовать системы и, в случае совместности, найти решения

a) -5 -4 3 -15 -20 3 -5 12 15

| 15 | 89 | -73

b) 1 -4 -3 -1 1 18 3 -14 1

| 20 | -56 | 31

Вариант #2

c) -1 2 -1 -2 20 10 5 -22 -14

| -10 | -48 | 41

Код "TESTPage"

Даны три СЛАУ, представленные в виде расширенных матриц коэффициентов. Необходимо исследовать системы и, в случае совместности, найти решения

a) -4 -3

3

| -14

b) 2

4 -3

|

-27

c) -5

4

2

|

11 14

-16 -8 20 -8 0 3

| -84 | -25

Вариант #1 a). Множество решений: b). Система несовместна. c). <>

Определители:

Вариант #2 a). Определители: <> b). Множество решений: c). Система несовместна.

-8 -26 37 4 4 4

| 213 | -12

О Т В Е Т Ы

5 -12 -14 25 -24 -16

| 29 | -33

Код "TESTPage"

x1= (6/5)t+(7/5); x2= -(3/4)t-(11/2); x3= t; Единственное решение

x2= -4

x3= 3

Δ 0= -160 Δ 1= -640 Δ 2= 480

Δ= 160

О Т В Е Т Ы

x1= -1

Код "TESTPage"

Единственное решение Δ= 240

x1= 2

x2= -1

x3= -3

Δ 0= 480 Δ 1= -240 Δ 2= -720

x1= -(7/2)t+(15/2); x2= (5/2)t-(21/2); x3= t;

Применение карточек. Сгенерированные документом карточки могут применяться для проверки навыков решения как методами типа Гаусса, так и Крамера, так как ответ содержит определители для системы с единственным решением. Варьировать сложность можно либо задавая метод решения, либо предлагая решить задания карточки несколькими методами, а затем сравнить результаты. Отметим, что в любом случае необходимо обнаружить систему с невырожденной матрицей, что затрудняет выбор. Эти же задания можно использовать для проверки применения теоремы КронеккераКапелли, определения ранга матриц, вычисления определителей и т.д.

Оптимизация Следующим примером является программа проверки навыков оптимизации на примере квадратичных форм двух переменных. Предлагается исследовать задачу поиска наибольших и наименьших значений квадратичной формы на плоскости, в прямоугольнике и в треугольнике. Документ также начинается с процедуры выбора вариантов. Далее следуют процедуры, генерирующие матрицы квадратичных форм имеющих max, min и особую точку. После этого приводится процедура, в соответствии с назначенными вариантами формирующая массивы коэффициентов квадратичных форм. Наконец, вводится процедура, генерирующая параметры областей оптимизации. В данном документе предлагается решить задачу оптимизации в прямоугольной и треугольной областях. На наш взгляд этого вполне достаточно для проверки базовых навыков. Далее приводятся процедуры формирования карточек заданий и ответов, использующие для вывода функции дополнительной библиотеки. 15

В завершающей части программы происходит собственно генерирование карточек. Определяется их общее количество и количество карточек на листе. Задается заголовок HTML файла и код идентификации карточек. Он играет роль как неповторяемого шифра, так и устанавливает соответствие между листами заданий и ответов. Наконец, вызываются собственно процедуры вывода заданий и ответов, использующие полученные ранее массивы данных. Вариант #1

Код "Avia2K"

Для каждой из заданных функций двух переменных найти наибольшие и наименьшие значения:

Задание 1 : f(x,y)= -2x2+20x -150 +8xy +10y -3y2 без ограничений. Задание 2 : f(x,y)= -4x2+10x -19 +6xy +0y -6y2 в области, огр. линиями x=-2 ; x= 8 ; y= -2 ; y= 8. Задание 3 : f(x,y)= 8x2+38x +29 +6xy +14y +1y2 в области, огр. линиями x=3 ; y= 4 ; y= x +4 .

Вариант #2

Код "Avia2K"

Для каждой из заданных функций двух переменных найти наибольшие и наименьшие значения:

Задание 1 : f(x,y)= -9x2-42x +27 -8xy -38y -5y2 без ограничений. Задание 2 : f(x,y)= -2x2+32x -48 +8xy -44y -3y2 в области, огр. линиями x=-1 ; x= 7 ; y= 2 ; y= 10. Задание 3 : f(x,y)= 4x2-20x +16 -6xy +18y +3y2 в области, огр. линиями x=-3 ; y= -2 ; y= -x +4 .

Вариант #1 Ответ 1 : Ответ 2 : Ответ 3 :

О Т В Е Т Ы

Ос. точка (-5,-5) - ? ; A=-4; B=8; C=-6; D=-40; Ос. точка (2,1) - max, f=-9; A=-8; B=6; C=-12; D=60; угл. точки: A(-2,-2); f(A)=-55; B(-2,8); f(B)=-535; C(8,8); f(C)=-195; D(8,-2); f(D)=-315; экстр. на сторонах: AB (-2,-1) f=-49; BC (7.25,8) f=-192.75; CD (8,4) f=-99; DA (-0.25,-2) f=-42.75; Ос. точка (-2,-1) - min, f=-16; A=16; B=6; C=2; D=-4; угл. точки: A(3,4); f(A)=359; B(3,7); f(B)=488; C(0,4); f(C)=101; экстр. на сторонах: нет;

Вариант #2 Ответ 1 : Ответ 2 : Ответ 3 :

Код "Avia2K"

О Т В Е Т Ы

Код "Avia2K"

Ос. точка (-1,-3) - max, f=105; A=-18; B=-8; C=-10; D=116; Ос. точка (4,-2) - ? ; A=-4; B=8; C=-6; D=-40; угл. точки: A(-1,2); f(A)=-198; B(-1,10); f(B)=-902; C(7,10); f(C)=-102; D(7,2); f(D)=90; экстр. на сторонах: нет; Ос. точка (1,-2) - min, f=-12; A=8; B=-6; C=6; D=12; угл. точки: A(-3,-2); f(A)=52; B(-3,7); f(B)=511; C(6,-2); f(C)=88; экстр. на сторонах: BC (3.30,0.69) f=-6.23; AC (1,-2) f=-12;

16

Применение карточек. Сгенерированные карточки могут применяться как для проверки навыков решения задач оптимизации, так и для исследования квадратичных форм, допуска к лабораторным работам по теории оптимизации и т.д.

Исследование функций Интересным примером генератора тестовых заданий является генератор вариантов исследования типовых функций. Мы остановились на логарифмической, показательной и дробно-рациональной функциях как наиболее часто использующихся в теории сигналов. По нашему мнению специалист должен на глаз чертить эскизы таких функций (с учетом параметров) и определять характерные точки. Документ выбирает значения параметров для рисования типовых функций и заносит их в файл промежуточных значений. Далее следует вывод файла с функциями. Наиболее интересной частью документа является генератор ответов. В документе используются готовые шрифты для DOS, которые читаются с помощью дополнительной dll, разработанной авторами и используются для создания надписей в изображениях. Процедура создания ответов создает файлы bmp, которые используются для вставки в HTML-файл с ответами. Ответ содержит эскиз графика с отмеченными характерными точками. Разумеется, в дальнейшем содержание ответа можно расширить. Примеры карточек приводятся ниже.

Вариант #1

Код "Test"

Для каждой из заданных функций двух переменных выполнить исследование и нарисовать эскиз графика:

Задание 1 : Задание 2 : Задание 3 :

f(x)=-3xln(6x) . f(x)=(0.8x-2)e(-0.9x-2) . 4x2-64 f(x)= -4x2+12x+40

Вариант #2

Код "Test"

Для каждой из заданных функций двух переменных выполнить исследование и нарисовать эскиз графика:

Задание 1 : Задание 2 : Задание 3 :

f(x)=2xln(4x) . f(x)=(-0.5x+1)e(0.8x+3) . -3x2+3x+60 f(x)= 4x2-12x+8

17

Вариант #1 Ответ 1 :

Вариант #2 Ответ 1 :

О Т В Е Т Ы Ответ 2 :

О Т В Е Т Ы Ответ 2 :

Код "Test" Ответ 3 :

Код "Test" Ответ 3 :

Сгенерированные карточки могут применяться как для проверки навыков решения задач исследования функций, так и для проверки навыков дифференцирования и вычисления пределов, допуска к лабораторным работам по теории оптимизации и т.д.

18

Заключение В настоящей работе кратко изложены как теоретические, так и практические основы организации технической поддержки эффективного текущего контроля успеваемости с помощью разработанных тестовых заданий. Полученные результаты позволяют использовать наши тесты как дополнительные по основным показателям к стандартным государственным тестам. Новые тесты содержат неограниченное количество типовых заданий с неповторяющимися параметрами, выровненных по сложности и по представлению результатов. Очень важной неотъемлемой чертой наших тестов является получение на отдельных носителях точных ответов. Это придает высокую оперативность проверке с одной стороны и значительно расширяет возможности применения тестов для самоконтроля и самообучения (в т.ч. и дистанционного) с другой стороны. Для решения этих задач нами по ряду положительных качеств был выбран пакет MathCAD и была разработана дополнительная библиотека, позволяющая значительно расширить возможности пакета MathCAD с точки зрения обмена информацией со внешней средой. С ее помощью были реализованы образцы тестов, позволяющие продемонстрировать возможности индивидуального подхода к тестированию Приводятся примеры реализации как библиотек процедур MathCAD, позволяющих создавать новые тестовые задания, так и творческого решения задачи выбора примеров, представления ответов и т.д. В работе содержатся также некоторые опытные результаты, полученные в ТРТУ после многолетнего применения предыдущей версии разработанной системы, а также некоторых из представленных в работе документов. Опыт работы с индивидуальными тестами показывает, что нам удалось создать гибкий и мощный инструмент поддержки учебного процесса, позволяющий творчески применять получаемые тесты для широкого круга задач. В ТРТУ были разработаны подобные тесты, использовавшиеся для промежуточного контроля, рубежного контроля знаний а также для самоподготовки и т.п. Разработка и применение подобных индивидуальных заданий представляют широкое поле для деятельности специалистов как в программировании, так и в методике преподавания и организации учебного процесса. Мы приглашаем всех заинтересованных лиц к диалогу и сотрудничеству в этой области. Лаборатория математических проблем ИИ, 44. пер. Некрасовский, г. Таганрог, 347928. E-mail [email protected]

19

Литература [Винер Н., 1958] Винер Н. Кибернетика.- М.:1958, Сов. Радио. [Стандарт 2001] Педагогические тесты. Термины и определения. – Отраслевой стандарт Министерства Образования РФ. Москва, 2001 г. [Нейман Ю.М. и др., 2002]Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение. – Москва, 2002. [Хлебников В.А., 2002] Хлебников В.А. Вводная статья, ж. “Вопросы тестирования в образовании”, №2, 2002. [Rash G., 1960] Rasch G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. The Danish Institute of Educational Research, Copenhagen [Rash G., 1977] Rasch G. (1977). On specific objectivity. An attempt at formalizing the request for generality and validity of scientific statements. In Blegvad, M. (ed.). The Danish Yearbook of Philosophy, 58-94. Munksgaard, Copenhagen [Броневич А.Г. и др., 1996] Броневич А.Г., Каркищенко А.Н. “Вероятностные и возможностные модели классификации случайных последовательностей”.- Таганрог:ТРТУ, 1996. [King J., et al., 2001] King J., Bond T. “Parents’ and Students’ Satisfaction with the Use of Information Technology in Government Schools. Computers in Education 2001: Australian Topics, Volume 8. Sydney: Australian Computer Society Inc [Wilson M., et al., 1995] Wilson M., Pirolli, P. (1995). The relationship between the Rasch model and conjoint measurement structures (Tech. Rep. Berkeley, CA: University of California. [Junker B.W., et al., 2001] Junker B. W., Sijtsma K. (2001). Nonparametric item response theory in action: An overview of the special issue. Applied Psychological Measurement, 25, 211–220. [Lauritzen S.L., et al., 2003] Lauritzen S.L., Bernardo J.M., et al “Rasch Models with Exchangeable rows and columns. Bayesian Statistics 7”. eds. J. M. Bernardo et al. pp 215-232. Oxford University Press, Oxford, 2003. [Linardakis M., et al., 2000] Linardakis M., Dellaportas P. “An Approach to Multidimensional Item Response Modeling”, The Sixth World Meeting of the International Society for Bayesian Analysis ISBA 2000, pp. 331-340. [Junker B.W., et al., 2001] Junker B. W. et al., “On the interplay between nonparametric and parametric IRT, with some thoughts about the future”. 2001. Essays on item response theory, pp. 247–276. New York: Springer-Verlag. [Kreiner S., et al., 1998] Kreiner S., Christensen K. Graphical Rash Models. Population Health Research, 116-159. Sage Publications, London. 1998. [Иванов Е.А., и др., 1993] Иванов Е.А., Бутенков С.А., Клово А.Г. “Методика проведения тестов по курсу высшей математики в системе РИТМ”. В сб. трудов Всероссийской конференции “Применение средств вычислительной техники в учебном процессе кафедр физики, высшей и прикладной математики“.- Ульяновск : УлПИ, 1993, с. 76-81. [Бутенков С.А., и др., 1996] Бутенков С.А., Клово А.Г. О сравнении результатов оценки знаний абитуриентов по различным методикам. В сб. трудов Всероссийской конференции “Применение средств вычислительной техники в учебном процессе кафедр физики, высшей и прикладной математики“.- Ульяновск : УлПИ, 1996, с. 23-28. [Beck J.E., et al., 1997] Beck J. E., Stern M.K., and Woolf B.P. (1997). “Using the Student Model to Control Problem Difficulty”. Proceedings of Seventh International Conference on User Modeling, 277-288. [Rudner L., 2001] Rudner L. (2001). “Informed test component weighting”. Educational Measurement: Issues and Practice, 20(1), pp. 16-20. [Colins J., 1999] Colins J. “Adaptive Testing with Granularity”. University of Saskatchewan, Dep. of CS, Saskatchewan, 1999. [Yao J.T., et al., 2002] Yao J.T., Yao Y.Y. “Induction of Classification Rules by Granular Computing. Rough Sets and Current Trends”. In: Computing. 2002: 331-338. 20

[Dempster A., 1967] Dempster A. Upper and Lower Probabilities indiced by a multivalued mapping. Ann. Math. Statist., 1967, v.38, pp.325-339. [Shafer G., 1976] Shafer G. A Mathematical Theory of Evidence. Princeton University Press, Princeton, N.J., 1976. [Нариньяни А.С., 2004] Нариньяни А.С. НЕ-факторы 2004. В сб. трудов 9 Национальной конференции по ИИ КИИ-2004, М.:Физматлит, 2004, т.1, с. 420-432. [Литвак Б.Г., 1981] Литвак Б.Г. “Экспертная информация: методы получения и анализа”. - М.: Радио и связь, 1981. [Кини Р.Л. и др., 1981] Кини Р.Л., Райфа Х. “Принятие решений при многих критериях: предпочтения и замещения”. -М. : Радио и связь, 1981. [Ларичев О.И. и др., 1996] Ларичев О.И., Мошкович Е.М. “Качественные методы принятия решений”. - М.: Физматлит, 1996.

21