Автоматизированная система распределения мест и оценок качества олимпиадных заданий - Педагогика - Скачать бесплатно
ГЛАВА 1. Постановка задачи.
§1. Введение.
Новая шкала ценностных приоритетов, отражающая государственную
политику и отношение педагогической науки к образованию, является на
сегодняшний день главным фактором, определяющим необходимость
реформирования школьной системы образования и перехода к 12-летней школе.
Ожидаемые в связи с этим преобразования носят достаточно существенный
характер, поскольку предполагают «осуществление принципиально другой
направленности образования, связанной не с подготовкой «обезличенных»
квалифицированных кадров, а с общим, социально-нравственным и
профессиональным развитием личности».
Радикальность предстоящих перемен, в процессе которых во главу угла
предполагается поставить создание условий для максимально полной
самореализации каждого учащегося и свободного развития его личности, делает
весьма актуальным вопрос о порядке реформирования традиционной системы
образования, базирующейся в основном на «знаниевой» парадигме. Совершенно
очевидно, что режим «шоковой терапии» в данном случае абсолютно неуместен.
Единственно верным в создавшейся ситуации представляется путь
последовательного и щадящего реформирования, предполагающий не безоглядную
ломку сложившейся системы образования, а ее приспособление к решению новых
задач с сохранением всего ценного, что она накопила. При таком подходе
большую значимость приобретает проблема педагогического моделирования,
результаты которого могут служить аргументированным основанием как для
сохранения накопленного потенциала традиционной системы образования, так и
для выбора форм и методов ее реформирования. Особый интерес в этой связи
приобретают случаи, когда педагогическое моделирование ведется в
количественном виде и сопровождается установлением функциональных и
корреляционных соотношений, связывающих конечные педагогические показатели
с параметрами образовательного процесса и исходными характеристиками учебно-
воспитательного коллектива. Именно они способны обеспечить доказательность
и оптимальность выбираемого пути реформирования педагогического процесса и
его приспособления к решению изменившихся задач.
В настоящей работе приводятся результаты исследований, посвященных
проблеме педагогического моделирования интеллектуального испытания
школьников. В арсенале педагогических методов и средств интеллектуальному
испытанию принадлежит одно из важнейших мест. В режиме интеллектуального
испытания, например, проходит большинство способов контроля уровня знаний
учащихся (опросы, контрольные и самостоятельные работы, экзамены, тесты).
Интеллектуальное испытание лежит в основе мероприятий соревновательного
характера олимпиад, викторин, конкурсов. Без интеллектуального испытания
учащихся невозможно представить себе не только проблемное, но и
традиционное обучение, поскольку сам процесс обучения, если говорить по
большому счету, ведется в форме распределенного во времени
интеллектуального испытания учащихся. При этом студенты, не выдерживающие
этого испытания, просто отчисляются из вуза, а школьники переводятся на
более щадящий режим обучения, например, в классы коррекции.
Очевиден и воспитательный аспект интеллектуального испытания, которое
можно рассматривать как определенную форму воздействия на испытуемого
школьника. Тот факт, что режим этого воздействия задается непосредственно
педагогом, превращает интеллектуальное испытание в инструмент формирования
личности учащегося, его характера, способности к самоорганизации и
концентрации усилий на преодоление трудностей. С этой точки зрения,
интеллектуальное испытание являет собой пример управляемого тренинга,
подготовки школьника к будущей «взрослой» жизни, представляющей собой, как
известно, бесконечную цепь весьма непростых испытаний.
Выбор олимпиады школьников в качестве предметной базы для отработки
педагогической модели интеллектуального испытания обусловлен целым рядом
обстоятельств. Здесь, в первую очередь, следует отметить простоту и
прозрачность олимпиады как педагогического мероприятия с четко определенным
регламентом, в рамках которого многие педагогические проблемы приобретают
смысл, доступный для описания на языке количественных соотношений. Вторым
обстоятельством, выделяющим олимпиаду в качестве оптимального объекта
педагогических исследований, является уникальность ансамбля ее участников,
представляющего простейшую педагогическую систему, образованную
«механическим» соединением школьников. Данная система действительно
уникальна. Она характеризуется заведомой аддитивностью своих свойств и
соответствует наиболее простой (если не сказать самой примитивной) форме
взаимоотношения личности и коллектива, выражающейся в элементарном
сложении.
Простота олимпиады заключается еще и в небольшом разбросе ее
участников по уровням подготовки (все они в большинстве своем хорошо
успевающие школьники). Это создает условия для использования линейных
приближений, что значительно упрощает математическое описание.
Моделирование итогов олимпиады облегчается тем, что распределение
участников по способностям известно априори. В силу многоэтапного характера
олимпиады оно соответствует распределению отобранного ансамбля, в котором
основную массу испытуемых составляют именно «способные» учащиеся, поскольку
малая доля «истинно талантливых» школьников определяется чисто объективными
причинами, а незначительное представительство в ансамбле «откровенно
слабых» учащихся - их отсевом на предыдущих этапах.
Олимпиада школьников в дополнение ко всему является чрезвычайно
удобным объектом не только для теоретических, но и для экспериментальных
педагогических исследований. По отношению к проблеме интеллектуального
испытания она является готовым экспериментальным полигоном. С одной
стороны, циклический характер олимпиады и практически неизменный порядок ее
проведения обеспечивают благоприятные условия для долговременного
констатирующего эксперимента по изучению параметров интеллектуального
испытания, необходимых при формулировке исходных позиций моделирования. С
другой стороны, автономия отдельных этапов олимпиады предоставляет
составителям заданий и организаторам олимпиад достаточно широкие
возможности для формирующего этапа эксперимента, связанного с апробацией
модели и внедрением модельных разработок в практику проведения олимпиад.
Многоуровневая структура олимпиады в сочетании с иерархической взаимосвязью
отдельных этапов обеспечивает при этом широкомасштабный характер
исследований как на пассивной, так и на активной стадиях эксперимента. Она
позволяет работать с большими статистическими ансамблями, представляющими в
то же самое время соединение весьма разнообразных выборок учащихся. Это
обеспечивает необходимую репрезентативность и достоверность получаемых
экспериментальных результатов.
Непосредственную опытную базу настоящего исследования составили
региональные физические олимпиады школьников, проходившие в Рязани в 2003
г., а также ведомости успеваемости студентов физико-математического
факультета по разным предметам. Это дало возможность судить о гуманности
преподавания на тех или иных кафедрах Рязанского педагогического
университета им. С. А. Есенина. Кроме того, в настоящем исследовании были
использованы материалы, взятые во время прохождения педагогической практики
в средней школе №43 г. Рязани.
§2. Цель работы.
Работа полностью опирается на теоретические исследования Б. С.
Кирьякова, и была призвана дополнить их. С самого начала передо мной
ставилась задача превратить эти исследования, а также накопленную в них
математическую базу, в нечто осязаемое, то есть попросту упростить тот
процесс обработки экспериментальных результатов, который предлагает сам
автор теории. Таким образом, целью данной работы можно считать разработку
автоматизированной системы распределения мест и оценки уровня качества
олимпиадных задач по физике. При выполнении работы, мною была разработана
специальная программа, которая инкапсулирует в себе ту математическую
теорию, которую разработал Б. С. Кирьяков. Совместно с ним была произведена
проверка данной программы на примере городской олимпиады по физике в 11
классах. Кроме этого, в качестве эксперимента, через программу «прогнали» и
ведомости студентов физмата по некоторым дисциплинам. При этом были
получены очень интересные результаты, о которых речь пойдет ниже.
Вообще говоря, разработанная программа может оказаться полезной не
только на олимпиадах. Она может помочь и на простых уроках, причем по любым
предметам.
Математическая теория, лежащая в основе программы, оперирует
достаточно простыми понятиями, и, в принципе, может быть понятна рядовому
учителю. Однако необходимости в изучении азов нет, так как не каждому
педагогу интересна начинка какого-либо сложного с первого взгляда объекта,
а большую важность здесь имеет результат. Собственно говоря, программа и
призвана для получения конкретного результата без акцентирования на деталях
расчета, а если этот результат представлен визуально, то это дополнительный
плюс всей системе.
Глава 2. Проблема распределения мест на олимпиаде и ее решение. Оценка
уровня качества олимпиадных заданий.
§1. Теория распределения мест. Проблема дифференцированного подхода.
Проблема автоматизированного распределения мест на олимпиадах не
нова. Существуют определенные системы распределения мест во многих странах
мира (например, в США), и все они имеют ряд очевидных преимуществ по
сравнению со стандартной схемой.
Первое (и самое главное) преимущество – отсутствие «человеческого
фактора» при этой процедуре. Машине чужды эмоции, она бесстрастна, а что
еще нужно для грамотной постановки вопроса. К тому же, в связи с широким, в
последние 5 лет, распространением компьютерной техники в России, разработка
таких систем является достаточно перспективной областью.
Второе преимущество – это так называемый «фактор времени». Всем
известно, что любая школьная (городская, областная и т.д.) олимпиада – это
дело долгое. Сначала участники выполняют задания, потом жюри оценивает их,
а далее следует процесс сортировки работ по местам, причем, чем больше
участников на олимпиаде, тем больше времени этот процесс занимает. В школе
это время небольшое, но в масштабах области или страны это может занять
очень много времени. Машина же выполняет этот процесс гораздо быстрее, и
время на сортировку можно сократить на порядок, а то и два.
Скажем сразу – полностью автоматизированной системы для проведения
олимпиад, их оценки, распределения мест нет, хотя проекты такие существуют.
Машина пока может лишь работать с данными, которые в нее вводит человек. В
будущем, возможно, будут созданы системы, которые сами будут проверять
задания, оценивать их, распределять места и т.д., а человек будет лишь
контролировать эту деятельность и пожинать ее плоды.
Вот к чему на данном этапе все стремятся, однако это не так просто как
кажется. Поэтому мы остановились на обычной системе, работающей с
протоколом, который вводится оператором. Исходя из данных, которые
содержатся в этом протоколе, программа получает конечный результат и
визуализирует его, но об этом ниже.
Теперь немного теории.
Распределение участников олимпиады по занимаемым местам происходит на
заключительной стадии олимпиады. Именно здесь определяются призеры,
представляемые к награждению, и участники, допускаемые к выходу на
следующий этап олимпиады. Отвечает за распределение мест обычно
председатель предметного жюри.
Фактическую базу, определяющую распределение мест, образуют итоги
олимпиады, отражающие успехи школьников в решении олимпиадных задач. Обычно
их представляют в виде (1):
x1, x2, x3, …,xi, …, xn, (1)
где xi = 0, 1, 2, …, m – баллы, набранные участником за задачу с номером
i.
Распределение мест непосредственно проводят не по итогам решения
отдельных задач (1), а по некоторым показателям ?1, ?2, ?3, ...,
характеризующим выполнение олимпиадного задания в целом:
(?1, ?2, ?3, ...)=|П|( x1, x2, x3, …) (2)
где |П| - некоторые преобразования, переводящие описание итогов олимпиады с
языка переменных х1,х2,х3,… (равных набранным баллам за отдельно взятые
задачи), на язык показателей ?1, ?2, ?3, ..., характеризующих выполнение
всего олимпиадного задания.
Показатели ?1, ?2, ?3, ..., определяющие распределение мест, удобно
называть показателями приоритета. Одним из таких показателей, как известно,
является суммарный балл:
S=х1+х2+х3 + ... + хi+... + хn (3)
В общем, порядок распределения участников соревнования по местам при
множественном числе показателей приоритета определяется выбором самих
показателей ?1, ?2, ?3, ..., их числом l и логикой приоритета, определяющей
место участника олимпиады в соответствии с численными значениями
показателей ?1, ?2, ?3, ... . С формальной стороны использование
нескольких показателей при выстраивании какой-либо одномерной очередности
объектов не создает больших сложностей. Для этого достаточно один
показателей считать «главным», второй - «второстепенным», третий -
«третьестепенным» и т.д. При распределении мест главный показатель ?1
следует принимать во внимание в первую очередь, второстепенный ?2 при
равенстве главных, а третьестепенный ?3 при одновременном равенстве главных
и второстепенных показателей и т.д.
Подобное распределение очень часто используется в спорте. Примером
того может служить распределение футбольных команд по итогам чемпионата,
которое проводят по двум показателям - по числу набранных очков (главный
показатель) и по разнице между забитыми и пропущенными мячами
(второстепенный показатель).
Однако это только формальная сторона дела. Вся сложность проблемы
заключается в том, что ввести отмеченную иерархию показателей приоритета
(«главный», «второстепенный» и т.д.) достаточно непросто. Особенность
ситуации состоит в том, что формальная логика распределения мест при
множественном числе показателей
l?2 (4)
оказывается внутренне противоречивой. Данное противоречие кроется в
равноправной возможности двух подходов к распределению мест между
участниками олимпиады - одного с ориентацией на большее удаление от
«абсолютного аутсайдера» (участника, не набравшего ни одного балла),
другого с ориентацией на наибольшее приближение к «абсолютному лидеру»
(участнику, давшему исчерпывающее решение всех задач),
Отмеченное противоречие не имеет места при одном показателе приоритета
?1. В этом случае каждый участник, набирая баллы по задачам и удаляясь от
аутсайдера, неминуемо приближается к лидеру.
Подобная однозначность, как это ни странно, не является достоинством.
Достаточно вспомнить, что распределению подвергаются не абстрактные
объекты, а школьники. Распределение по местам подростков и юношей,
отягощенных комплексом проблем своего возраста, можно проводить лишь с
учетом соображений психолого-педагогического характера, которые по своей
сути являются вариативными, зависящими от конкретной ситуации. При одном
показателе приоритета условий для подобной вариативности, а соответственно
и для дифференцированного подхода нет. Все однозначно определяется
формальной логикой, а соображения психолого-педагогического характера
просто некуда включить.
Однако руководствоваться соображениями только формальной логики
нельзя. Данная ситуация представляется чрезвычайно интересной. Ее
уникальность заключается в том, что она соответствует условиям, когда
необходимо привлечение педагогических соображений к распределению мест.
Понятна и роль, отводимая при этом педагогике. Это роль «третейского суда»,
который в рамках сложившегося противоречия может стать на одну из двух
взаимоисключающих точек зрения, руководствуясь соображениями педагогической
целесообразности.
Ситуация соответствует случаю, когда возможный порядок распределения
мест таков, что приоритет численных значений показателя ?1, определяется
формальной логикой, а приоритет значений показателя ?2 - педагогической
целесообразностью. В силу вариативного характера педагогических соображений
данное распределение можно провести дифференцированно, меняя точку зрения
на приоритет значений ?2 по отношению к каким-то выделенным группам
школьников.
Отмеченные «взаимоотношения» показателей ?1 и ?2 говорят о логическом
главенстве ?1. При распределении мест его необходимо рассматривать в
качестве главного показателя и принимать во внимание в первую очередь, а
показатель ?2 - в качестве второстепенного и учитывать лишь при равенстве
значений ?1.
Приведенные выше соображения говорят о том, что дифференцированный
подход к участникам олимпиады в рамках ее регламента вполне возможен. Он
может быть реализован лишь на стадии распределения мест, но только в том
случае, когда оно проводится по нескольким показателям приоритета (4).
Одного главного показателя ?1, определяющего приоритет выполненного задания
с позиций формальной логики, для этого недостаточно. Педагогические
соображения, обеспечивающие дифференцированный характер распределения мест,
могут быть учтены лишь с помощью второго, третьего и других показателей
более высокой степени.
Смысл главного показателя приоритета ?1 вполне ясен. Суммарный балл
(3) способен исполнять роль лишь главного показателя приоритета ?1, и в
принципе не может служить предметной базой для дифференцированного подхода.
Возможность использования величины ?2= x1-x2 (5) в качестве
второстепенного показателя приоритета, дополняющего суммарный балл ?1 (4),
достаточно очевидна. Если суммарный балл ?1 определяет выполнение задания с
количественной стороны, то показатель ?2 (5) характеризует качество
выполнения задания. Он показывает, в решении какой из задач (простой или
сложной) участник больше преуспел.
Множественный характер показателей приоритета является свидетельством
самой возможности дифференцированного подхода. С этой точки зрения
соотношение (4) можно рассматривать как необходимое условие, определяющее
соответствие используемой системы распределения мест требованиям
дифференцированного подхода. Следует отметить, что в условиях рязанских
региональных олимпиад условие (4) никогда не выполнялось. Места традиционно
распределялись с использованием лишь одного показателя приоритета -
суммарного балла S (3), что не дает никаких оснований даже говорить о
дифференцированном подходе.
В общепедагогическом плане пренебрежение дифференцированным подходом
может вызывать лишь глубокое сожаление. Олимпиада, являясь педагогическим
мероприятием, должна заниматься не только констатацией способностей
участников на момент ее проведения, но и заботиться о создании
мотивационной базы для развития скрытых потенциальных возможностей
учащихся. В первую очередь, здесь следует обращать внимание на участников,
которые выступили на олимпиаде пока еще не совсем удачно. Этих школьников
необходимо поддержать и отметить хотя бы самые малые их успехи на
олимпиаде, подкрепив все соответствующим поощрением по соображениям
педагогического характера. Дифференцированный подход к распределению мест,
возможный при выполнении соотношения (4), создает для этого все необходимые
условия.
Следует отметить, что введение множественного числа показателей
приоритета, определяющих саму возможность дифференцированного подхода, не
может быть произвольным. Для этого необходимы различаемые этапы решения
задач или различаемые задачи (что несколько предпочтительнее). Именно по
этой причине для олимпиады должны быть использованы разноуровневые задачи
(2). Только различие этих задач сделало понятным смысл ?2 (5) как
показателя поляризации способностей школьника. Для одноуровневых
неразличимых задач показатель ?2 (в отличие от ?1, характеризующий
выполнение задания с количественной стороны) потерял бы всякий смысл, что
сделало бы невозможным его использование как показателя приоритета.
В нашем случае мы ограничиваемся лишь тремя показателями приоритета
?1, ?2 и ?3 при распределении мест, чего вполне достаточно для нашей
задачи. Смысл этих показателей достаточно прозрачен. Показатель ?1, как
показано выше, тождественен суммарному баллу и сам по себе не может быть
использован в качестве критерия для распределения мест. Показатель ?2
характеризует успехи школьника в репродуктивно-продуктивной деятельности по
сравнению со средним арифметическим значением его успехов за отдельно
взятые испытания репродуктивного и продуктивного характера. Он показывает,
насколько соединение способностей школьника отличается от их простого
арифметического сложения. Показатель же ?3 характеризует поляризацию
способностей школьника, представляя его достижения в решении творческих
задач, рассчитанных на продуктивную деятельность, в сравнении с успехами в
решении типовых задач, носящих репродуктивный характер. Все три показателя
являются целыми числами, что существенно облегчает процесс расчета.
Таким образом, имея результаты олимпиады (или, например, сессии),
можно точно подсчитать эти три показателя, исходя из них, можно с большой
точностью говорить о распределении мест. Здесь возникает еще один вопрос:
какой из показателей главный, а какие второстепенный и третьестепенный?
Частично эта проблема решена выше, но там описывались только два параметра.
Решение здесь может быть таким. Необходимо вводить несколько
«дифференцированных подходов» на базе значений показателя ?1 (так как он
является основным и главным для других). Если значения ?1 для большей части
(или для всех) участников отрицательны (это говорит о потенциальной
слабости испытуемого коллектива), то имеет смысл за второстепенный
показатель принять ?2, а за третьестепенный – ?3. Проще говоря, в этом
случае мы акцентируем внимание на репродуктивные (типовые) задачи,
которые, по логике вещей, участники должны решить. Продуктивные
(творческие) же задачи мы как бы не учитываем вообще в силу того, что такой
коллектив может их не решить вообще. Например, таким ансамблем является
коллектив школьников, представленный в программе в базе dbolymp1. Это
условно первый вариант дифференцированного подхода.
Возможен вариант, что значения ?1 для всех участников только равны
нулю или положительны (это признак сильного коллектива). В этом случае за
второстепенный показатель приоритета имеет смысл принять ?3, а за
третьестепенный – ?2. Другими словами, здесь мы делаем упор именно на
продуктивные задачи (они обычно сложнее), а решение типовых задач считаем
саморазумеющимся. Этот подход можно назвать вторым методом
дифференцированного подхода.
И, наконец, самый интересный случай – ?1 для всех участников
принимает и нулевые, и положительные, и отрицательные значения. Здесь
процесс распределения мест несколько усложняется, так как во всем
количестве участников присутствуют и потенциально сильные ученики, и
слабые. Понятно, что всех их сортировать только одним из способов нельзя
(исчезает главный принцип дифференцированного подхода), поэтому мы
прибегаем к комбинационному методу. Суть метода такова. Все многообразие
участников делится пополам, исходя из значений ?1. Тех участников, у
которых ?1?0, относят к условно «сильной» группе и для сортировки
используют метод ?1> ?3> ?2. Те же участники, у которых ?1<0, попадают в
условно «слабую» группу, и для этой группы используют метод ?1> ?2> ?3.
Таким образом достигается полная реализация принципов дифференцированного
подхода. Реально, олимпиадных коллективов с такой комбинацией значений
параметра ?1, практически не встречается. Это можно отнести к минусу
составителей олимпиадных заданий, а можно – к учителям, которые готовят
школьников к олимпиадам. Это самый общий принцип дифференцированного
подхода. Мы назовем его условно третьим методом. Этот метод, вообще говоря,
применим всегда, так как видно, что он является сочетанием первых двух
методов. Поэтому, всегда рекомендуется использовать именно его. В
частности, разработанная система не требует вмешательства пользователя в
процесс выбора типа метода, сама выбирает необходимый и сортирует,
придерживаясь этого типа.
Сложно сказать, что должно быть в идеальном случае. С одной стороны,
если сильных участников будет много – это хорошо. С другой стороны – можно
с полной уверенностью сказать о том, что всегда будут и сильные, и слабые
ученики. Единственное, о чем можно точно говорить – модель, которая
использовалась при построении теории, базируется на последнем варианте
распределения.
Это было краткое введение в теорию распределения мест, которая
использовалась при создании автоматизированной системы. Теперь, опять же с
точки зрения теории, рассмотрим проблему оценки уровня качества олимпиадных
заданий, что тоже в дальнейшем понадобится.
§2. О проблеме оценки уровня качества олимпиадных заданий.
Проблема оценки уровня качества олимпиадных заданий является
достаточно интересной областью исследования на данном этапе. Понятно, что
сейчас есть смысл говорить о качестве заданий, предлагаемых на олимпиадах
по различным тематикам. Подобно тому, как любой продукт питания или элемент
домашней техники должен удовлетворять каким-то определенным требованиям,
олимпиадное задание должно также характеризоваться набором каких-либо
параметров, которые, в свою очередь, должны характеризовать его качество и
класс его составителя. Однако такие параметры для конкретного олимпиадного
задания найти достаточно сложно или правильнее сказать практически
невозможно. В этом случае реально можно использовать только один очевидный
параметр – сложность задачи. Но, с другой стороны, одна и та же задача
может быть «сложной по-разному» для разных учеников. Здесь подразумевается
то, что у задачи может быть разный ход решения, приводящий к правильному
результату, и этот ход по-разному воспринимается разными учениками. Проще
говоря, для одного ученика данная задача окажется
|
