Департамент образования города Москвы

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ города Москвы

«МОСКОВСКИЙ ГОРОДСКОЙ ПЕДАГОГИЧЕСКИЙ УНИВЕРСИТЕТ»

Математический факультет

Кафедра информатики и прикладной математики

Дипломная работа

По теме: «Проектирование и методика использования информационной системы оценки знаний по информатике учащихся средней школы»

По специальности 050202.65 «Информатика»

МОСКВА, 2010

Введение

В последние годы в России в сфере образования наблюдается стремительное усиление интереса к автоматизации различных видов учебной и административной деятельности. В процессе обучения, прежде всего это коснулось информатизации контроля результатов обучения учащихся. Самым популярным видом такого контроля является тестирование, основанное на диалоге информационной системы с пользователем. Стремительный рост быстродействия технических средств, уменьшение цен на вычислительную технику, появление качественных и мощных систем программирования увеличило потребность в системах, позволяющих объективно, быстро и надежно оценивать знания учащихся, предлагая интересные формы взаимодействия с ними.

Вопрос создания таких систем является не однозначным, и авторы существующих разработок иногда отходят от педагогической и психологической стороны вопроса, пытаясь максимально увеличить привлекательность своих программных продуктов за счет средств мультимедиа. Иногда программисты просто игнорируют процесс взаимодействия непосредственно с преподавателями, что отражается на существующих приложениях. Очень часто сами преподаватели не владеют в должной мере методами оценки качества контрольно-измерительных материалов.

В настоящее время достаточно большое число ведущих ученых и педагогов высказывают аргументы в пользу расширения сферы применения средств информационных технологий в процессе контроля результатов обучения, что зачастую является педагогической проблемой.

Проведение контроля достижения результатов обучения с использованием современных средств информационных технологий в процессе обучения по сравнению с другими методами контроля имеет ряд очевидных преимуществ, в числе которых: высокая степень стандартизации, объективность оценки результатов, удобная количественная форма выражения результатов, повышенная устойчивость к фальсификациям, высокая скорость обработки результатов, единство требований ко всем учащимся, исключение субъективизма при оценке результатов.

При этом удобство в наличии количественных показателей выражается в возможности сравнения знаний и умений одних обучаемых с другими, или отслеживании динамики усвоения знаний одним учащимся в процессе обучения.

Как показывает практика, проведение контроля образовательного процесса с использованием современных технических средств в средней школе, положительно влияет на качество обучения. Безусловно, современные технические средства оценки, методология и методические основы технологий тестирования, должны быть теснейшим образом связаны и исследоваться в комплексе перед непосредственным внедрением в учебный процесс и применением их на практике.

Таким образом, проблема исследования заключается в целесообразности комплексной оценки знаний учащихся средней школы по информатике с использованием средств информационных технологий и недостаточным количеством разработок направленных на методическую и техническую реализацию данного компонента образовательного процесса.

Необходимость устранения указанного противоречия посредством описания информационной системы оценки знаний учащихся средней школы на основе анализа теоретических основ проведения контроля достижения результатов обучения, обусловила актуальность темы, выбранной для настоящего дипломного исследования: «Проектирование и методика использования информационной системы оценки знаний по информатике учащихся средней школы».

Цель исследования – описать функциональные возможности и методику использования информационной системы оценки знаний по информатике учащихся средней школы.

Объект исследования – оценка знаний по информатике учащихся средней школы.

Предмет исследования – использование средств информационных технологий в процессе оценки знаний по информатике учащихся средней школы.

Гипотеза исследования заключается в том, что результаты оценки знаний учащихся, полученные в ходе контроля образовательного процесса с использованием информационной системы комплексной оценки знаний, являются ценным педагогическим материалом, на основании которого можно выстроить индивидуальные образовательные траектории учащихся и как следствие повысить эффективность учебного процесса.

Для достижения цели и доказательства гипотезы исследования необходимо решить следующие задачи:

1. Изучить теоретическую и методическую литературу, посвященную контролю уровня усвоения знаний;

2. Провести анализ истории развития и перспектив автоматизации процесса контроля знаний;

3. Спроектировать и описать методику использования информационной системы оценки знаний учащихся по информатике;

4. Провести опытно-экспериментальную оценку полученных результатов.

Методологическая и теоретическая основа исследования. Исследование опиралось на изучение и анализ научной, психолого-педагогической, методической и специальной литературы по проблематике исследования, анализ существующих средств автоматизации процесса контроля знаний, обобщение опыта их использования в учебном процессе.

В ходе решения поставленных задач применялись следующие методы исследования: анализ методической литературы по проблеме исследования, современного программного и информационного обеспечения процесса обучения; методы мониторинга знаний и умений.

Теоретическая значимость исследования определяется тем, что в результате проведенного исследования выявлены и теоретически обоснованы назначение и функции средств информационных технологий контроля знаний по информатике, определены принципы обуславливающие повышение качества контроля знаний за счет использования указанных средств.

Практическая значимость результатов состоит в том, что разработана информационная система оценки знаний по информатике. Использование данной системы позволит повысить качество оценки уровня знаний за счет повышения объективности оценки, сведения к минимум возможности фальсификации, Появление возможности отслеживать динамику успеваемости родителям и ученикам, повышения прозрачности процесса выставления четвертной оценки. Разработанная информационная система оценки знаний может быть внедрена в образовательный процесс других учебных заведений.

Глава 1. Теоретические основы оценки знаний учащихся

1.1 Виды контроля

В основе методов измерения и оценки результативности проведения контроля в образовательном процессе учебных заведений начального и среднего образования, базирующемся на использовании современных технических средств, могут лежать различные подходы. Выбор таких подходов осуществляется конкретным педагогом. В этом случае преподаватель описывает методику и технологию измерения результативности обучения учащихся, отражающую специфику преподаваемой дисциплины и позволяющую организовать эффективное обучение и педагогическое измерение.

На порядок и форму измерений и оценки могут оказать влияние имеющиеся средства обучения и контроля.

Описания методик или технологий, которые планируется использовать в процессе проведения контроля с использованием современных технических средств в образовательном процессе учебных заведений начального и среднего образования, предоставляются преподавателем по соответствующей дисциплине.

В случае отсутствия у преподавателя необходимости в разработке специализированных методов и технологий измерения и оценки результативности обучения учащихся учебных заведений начального и среднего образования может быть использована универсальная технология, предлагаемая для реализации контроля.

В этом случае основным критерием и подходом к оцениванию результатов обучения отдельного учащегося в рамках каждого вида контроля является сравнение реальных знаний, умений и навыков учащихся с требованиями, оговоренными в описании проведения текущего, рубежного и заключительного контроля качества освоения учебного материала. Сравнение результатов обучения различных участников между собой и выставление оценок с учетом относительной результативности нежелательно.

Текущий контроль осуществляется на аудиторных занятиях, а также на индивидуальных консультациях. При этом оцениваются:

• уровень теоретической и практической подготовки учащихся;

• творческая активность учащихся;

• качество и степень самостоятельности решенных в ходе тестирования задач;

• готовность учащегося к выполнению тестовой работы;

• своевременность сдачи отчета и выполненных практических работ.

Текущий контроль осуществляется в повседневной учебной работе и выражается в систематических наблюдениях учителя за учебно-познавательной деятельностью учащегося на каждом уроке. Главное его назначение - оперативное получение объективных данных об уровне знаний учеников и качестве учебно-воспитательной работы на уроке. Полученная во время поурочного наблюдения информация о том, как ученики усваивают учебный материал, как формируются их умения и навыки, помогает учителю наметить рациональные методы и приемы учебной работы. Правильно дозировать материал, находить оптимальные формы учебной работы учеников, осуществлять постоянное руководство их учебной деятельностью, активизировать внимание и пробуждать интерес к изучаемому учебному материалу. Отличительной особенностью текущего контроля является его проведение на всех этапах изучения темы или раздела: ознакомления с учебным материалом, формирования и развития знаний и умений, их закрепления и углубления. В процессе текущего контроля от учащихся можно требовать знания только на том познавательном уровне, какой предусматривается определенным этапом овладения учебным материалом.

Выявление и оценка знаний и умений учащихся, усвоенных не на одном, а на нескольких уроках, так же обеспечиваются корректирующим контролем.

Рубежный контроль осуществляется в рамках контрольных работ. Рубежный контроль осуществляется по окончании периода обучения, его также рекомендуется проводить в тестовой форме.

Данный вид контроля позволяет проверить и оценить знания учеников по каждой теме учебного предмета, выяснить, как усвоены понятия, положения существенные связи и отношения между явлениями и процессами, охваченными одной темой. Рубежный контроль, являясь разновидностью корректирующего, особенной его формой, представляет собой качественно новую систему проверки и оценки знаний тесно связанную с проблемным обучением.

Рубежный контроль осуществляется за определенный учебный отрезок времени. Назначение данного вида контроля - проверка усвоения и оценка результатов каждой темы, постоянное изучение учителем работы всего класса и отдельных учеников. По результатам этого контроля учитель выясняет, готовы ли учащиеся к усвоению последующего учебного материала. Наиболее часто встречающимся недостатком является сосредоточение внимания учителя на отстающих учениках.

Заключительный контроль проводится в форме компьютерного теста в рамках экзамена или зачета в конце изучения курса с целью выявления, насколько полны и глубоки приобретенные учащимися знания, соответствуют ли они их содержанию обязательного минимума, насколько полно могут быть использованы в практической деятельности и при изучении нового материала.

Как правило, заключительная проверка и оценка знаний, навыков, умений учащихся проводится в конце каждой четверти и учебного года. Ее цель - определить объем и глубину усвоенных знаний и умений, их прочность и осознанность. Итоги проверки служат основанием для оценки успеваемости учащихся, которая характеризует степень овладения учащимися знаниями, навыками и умениями в соответствии с требованиями учебной программы. В современных программах выделены специальные разделы «Основные требования к знаниям и умениям учащихся».

Заключительная оценка отражает результаты работы учащихся за четверть или учебный год. Однако она не представляет собой среднее арифметическое всех оценок, полученных учеником за год. Учитель должен хорошо представлять процесс овладения каждым учащимся знаниями и умениями, видеть успехи и неудачи, отношение к ним учащихся. Только при соблюдении всех этих условий учитель может объективно оценить работу учащихся.

При итоговой оценке успеваемости учащихся, если задачей оценки ставится чисто контрольная функция (например, экзамены, четвертные или другие контрольные работы, разовые проверочные опросы и работы, срезы), то объективные отметки за них выставляются всем ученикам без исключения.

Очень важно, чтобы ученики видели бы в классе нормы оценок (хотя бы на плакате «Проверь себя»), и понимали, за что они получили тот или иной балл, а также осознавали, что в нужных случаях или хотят помочь и помогают преодолевать возникающие в учении трудности. Проверка знаний с использованием современных компьютерных технологий позволяет в полной мере реализовать эту задачу.

Преподаватель всегда должен быть справедлив в выставлении оценки и убежден, что показанные учащимся знания соответствуют этой оценке. Но только этого не достаточно. Учащийся не менее учителя должен быть убежден в объективности выставленной ему оценки. Проверка знаний с использованием современных компьютерных технологий позволяет в полной мере реализовать эту задачу, обеспечив эффективный контроль достижения результатов обучения.

Заключительный контроль производится накануне перевода в следующий класс или ступень обучения. Его задача - зафиксировать минимум подготовки, который обеспечивает дальнейшее обучение. Знания по итогам изучения темы могут быть оценены положительно, если учащиеся овладели всеми основными элементами программного материала.

1.2 Обзор традиционных форм контроля

Контроль знаний является одним из основных элементов оценки качества образования. Педагоги ежедневно контролируют учебную деятельность своих учеников путем устных опросов во время занятий и путем оценки различных письменных работ.

Для проведения текущего контроля используются разнообразные формы его организации. Наиболее распространенными являются письменные проверочные работы (самостоятельные работы).

По мнению И.Э. Унт, наиболее важным признаком, отличающим самостоятельную работу от других близких по смыслу понятий, является самостоятельность работы в организационном смысле, т.е. «самостоятельная работа учащихся – это такой способ учебной работы, где:

1. Учащимся предлагают учебные задания и руководства для их выполнения;

2. Работа проводится без непосредственного участия учителя, но под его руководством;

3. Выполнение работы требует от учащихся умственного напряжения».

Самостоятельная работа является одной из форм организации учебной деятельности учащихся, которая способствует развитию их самостоятельности и активности в обучении. Она может выполняться на уроках и во внеурочное время (в том числе и при выполнении учебных заданий) по заданию учителя и на основании инструктажа и консультации.

Самостоятельная работа – это средство организации и управления самостоятельной деятельностью учащихся.

Самостоятельная работа – непродолжительная по времени (15-20 мин.) письменная проверка знаний и умений учащихся по небольшой теме курса. Одной из главных целей этой работы является проверка усвоения способов решения задач; осознание понятий; ориентировка на конкретные правила и закономерности. Если самостоятельная работа проводится на начальном этапе становления умения и навыка, то она не оценивается отметкой. Вместо нее преподаватель дает аргументированный анализ работы учащихся, который он проводит совместно с ними. Если умение находится на стадии закрепления, автоматизации, то самостоятельная работа может оцениваться отметкой.

Предлагается проводить и динамичные самостоятельные работы, рассчитанные на непродолжительное время (5-10 мин). В случае систематического проведения таких работ, этот способ проверки знаний и умений по отдельным существенным вопросам курса позволяет непрерывно контролировать и корректировать ход усвоения учебного материала и правильность выбора методики обучения. Применение этого метода дает возможность в наиболее короткий срок одновременно проверить усвоение учебного материала всеми учащимися группы, определить направления для индивидуальной работы с каждым.

Рубежный контроль позволяет определять качество изучения учащимися учебного материала по разделам, темам, предметам. Обычно такой контроль проводится несколько раз в полугодие. Примером такого контроля могут служить контрольные работы.

Рубежный контроль, как правило, охватывает учеников всего класса и проводится в виде устного опроса или письменных работ. Рассмотрим особенности проведения письменных контрольных работ.

Письменная проверка используется во всех видах контроля и осуществляется как в классной, так и во внеклассной работе (выполнение домашних заданий). Домашние контрольные работы, на выполнение которых отводится 10-15 дней, охватывают большой раздел учебной программы, требуют работы с литературой и другими материалами.

Обязательные контрольные работы проводятся, как правило, после завершения изучения темы или раздела (модуля). Сроки их проведения необходимо определять таким образом, чтобы избежать перегрузки учащихся. Целесообразно составлять график проведения, рационально распределив все запланированные учебным планом работы в течение отчетного периода.

В практической деятельности наиболее часто используются следующие виды контрольных работ:

• теоретические (проверяют усвоение основных теоретических положений изученного раздела);

• практические (проверяют умения применять полученные знания для решения конкретных задач);

• комплексные (содержат задания теоретического и практического характера).

При проверке контрольных работ преподавателю необходимо исправить каждую допущенную ошибку и определить полноту изложения вопроса, качество и точность расчетной и графической части, учитывая при этом развитие письменной речи, четкость и последовательность изложения мыслей.

Во время проверки и оценки контрольных письменных работ проводится анализ результатов их выполнения, выявляются типичные ошибки, а так же причины их появления. В методике преподавания информатики настоятельно рекомендуется проводить анализ любой проверочной работы на следующем после ее сдачи практическом занятии. При большом количестве однотипных ошибок, свидетельствующих о недостаточном усвоении многими учащимися того или иного раздела (темы), на занятии следует провести разбор плохо усвоенного материала. Однако анализ не должен ограничиваться только рассмотрением ошибок. Важное значение для обучения и воспитания школьников имеет анализ контрольных работ, выполненных на «хорошо» и «отлично», с точки зрения полноты и оригинальности предложенного решения или ответа.

Например, на лабораторных и практических работах преподаватель имеет возможность проверить не только знание теоретических положений, необходимых для выполнения заданий. В процессе наблюдения за ходом таких работ последовательностью, уверенностью в действиях – выявляется сформированность умений обращаться со средствами информационных технологий, производить измерения, выполнять расчеты, анализировать полученные результаты, делать выводы, оформлять отчет о проделанной работе.

Итоговый контроль направлен на проверку конечных результатов обучения, выявление степени усвоения учащимися системы знаний, умений и навыков, полученных в результате изучения отдельного предмета.

Итоговый контроль – это интегрирующий контроль и именно он позволяет судить об общих достижениях учащихся. При подготовке к нему происходит более углубленное обобщение и систематизация усвоенного материала, что позволяет поднять знания и умения на новый уровень. При систематизации и обобщении знаний и умений учащихся проявляется в большей степени и развивающий эффект обучения, поскольку на этом этапе особенно интенсивно формируются интеллектуальные умения и навыки.

Итоговая проверка всегда должна обеспечивать контроль усвоения системы знаний и умений. Это означает подбор таких заданий или вопросов, ответы на которые предполагают усвоение максимального числа исходных понятий и действий. Итоговый контроль предусматривает, что задания должны обеспечивать продуктивную работу учащихся. С этой целью целесообразно ставить вопросы так, чтобы они выявляли знания способов и условий деятельности. Проверка умений осуществляется с помощью практических заданий. В процессе выполнения подобных задач ученик даст обоснование своего решения, которое позволяет установить, насколько он владеет теоретическими знаниями, лежащими в основе данного способа деятельности, т.е. одновременно с проверкой умений осуществляется проверка знаний.

Устный опрос при итоговом контроле, устанавливает непосредственный контакт между преподавателем и учащимися, в процессе которого преподаватель получает информацию об усвоении школьниками учебного материала. При проведении итоговой проверки знаний и умений целесообразнее всего проводить индивидуальный опрос, который предполагает постановку вопросов требующих развернутого ответа. Вопросы должны быть четкими, ясными, конкретными, иметь прикладной характер, охватывать основной изученный материал.

Заключительная часть устного опроса – подробный анализ ответов, где отмечаются положительные стороны, указываются недостатки, делается вывод о том, как изучен материал.

Контроль знаний и умений учащихся - обязательное условие результативного учебного процесса. О требованиях к уровню подготовленности учащихся должен знать не только учитель, но и ученик и его родители, ибо при правильно организованной системе учета успеваемости оценочные баллы должны быть объективными сигналами к доработке обязательного учебного материала.

В практике преподавания в настоящее время всё чаще применяется устная проверка, и это надо приветствовать. Контроль должен проходить в том же плане, что и обучение, поэтому для того чтобы проверить умения и навыки устной речи, следует применять устные приёмы проверки. Однако и понимание читаемого, хотя чтение является умением в области письменной речи, хорошо проверять устным путём. Это занимает меньше времени, чем письменная проверка.

Устная форма способствует выработке быстрой реакции на вопрос, развитию памяти учащихся.

До последнего времени письменному контролю отводилось большое место в системе проверки. У письменной формы контроля имеются некоторые преимущества. Во-первых, ею можно охватить одновременно всех учащихся; во-вторых, гораздо удобнее обрабатывать письменные работы, нежели устные ответы. Ошибки в письменных работах легче кваллифицировать и анализировать, поскольку действия ученика точно зафиксированы, в то время как при устном ответе учащиеся часто говорят предложение, затем тут же его исправляют, не заканчивают одно предложение и начинают другое и т.д. На их речь влияет выражение лица учителя или товарищей; они часто начинают исправлять предложение, которое было с самого начала правильно построено, лишь по той причине, что кто-либо из товарищей покачал головой или учитель нахмурился, хотя эти действия относились не к отвечающему, а к кому-нибудь из класса, и т.д.

Однако письменный контроль не может быть использован для проверки всех умений, несмотря на названные выше его достоинства. Невозможно проверить в письменной форме умение учащихся вести беседу или высказываться по теме. Применяя в этих случаях письменную проверку, невозможно проконтролировать ни произношение учащихся, ни темп их речи. Учитель не может судить о том, насколько автоматизировано учащиеся пользуются речевыми единицами, как свободно они заполняют их соответствующей лексикой.

Поэтому прибегать к письменной проверке рекомендуется с целью контроля умений и навыков письма, а также для контроля умений переводить научно – популярную литературу со словарём. Для контроля правописания можно проводить короткие диктанты. Для проверки умения письменно излагать свои мысли можно давать учащимся на дом небольшие сочинения в связи с пройденной тематикой, например: « опишите свой день, свою семью, чем вы занимаетесь в школе » и т.д.

Письменный контроль эффективнее развивает логическое мышление, приучает к большей точности в ответах.

Диагностика уровня усвоения знаний и умений на каждом этапе обучения позволяют оптимально выбирать формы и методы обучения, а также формы коррекции ошибок и пробелов в усвоении и применении знаний и умений.

1.3 Тест как форма контроля

Так как тесты являются той формой контроля, которая наиболее просто поддается автоматизации, то остановимся на этой форме более подробно.

Одна из важных задач квалиметрии - быстрая и надежная оценка знаний человека. Теория педагогических тестов рассматривается как часть педагогической квалиметрии. Исследовалось состояние контроля знаний учащихся школ с применением тестовых измерителей и выявлялись основные проблемы при использовании тестов: качество и валидность содержания тестовых заданий, надежность результатов тестирования, недостатки обработки результатов по классической теории тестов, отсутствие использования современной теории обработки тестовых материалов с применением вычислительной техники. Высокая погрешность измерения тестовых результатов не позволяет говорить о высокой надежности результатов измерения.

Тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества. В этом смысле ни одна из известных форм контроля знаний учащихся с тестированием сравниться не может. Но и абсолютизировать возможности тестовой формы нет никаких оснований.

Применение диагностических тестов в зарубежных школах имеет давнюю историю. Признанный авторитет в области педагогического тестирования Э. Торндайк (1874-1949) выделяет три этапа внедрения тестирования в практику американской школы:

1. Период поисков (1900-1915 гг.). На этом этапе происходило осознание и первоначальное внедрение тестов памяти, внимания, восприятия и других, предложенных французским психологом А. Бинэ. Разрабатываются и проверяются тесты интеллекта, позволяющие определять коэффициент умственного развития.

2. Последующие 15 лет - годы "бума" в развитии школьного тестирования, когда было разработано и внедрено множество тестов. Это привело к окончательному осмыслению роли и места тестирования, возможностей и ограничений.

3. С 1931 г. начинается современный этап развития школьного тестирования. Поиски специалистов направляются на повышение объективности тестов, создание непрерывной (сквозной) системы школьной тестовой диагностики, подчиненной единой идее и общим принципам, созданию новых, более совершенных средств предъявления и обработки тестов, накопления и эффективного использования диагностической информации. Напомним в связи с этим, что педология, развившаяся в России в начале века, безоговорочно приняла тестовую основу объективного школьного контроля.

После известного постановления ЦК ВКП(б) "О педологических извращениях в системе Наркомпроса" (1936 г.) были ликвидированы не только интеллектуальные, но и безобидные тесты успеваемости. Попытки возродить их в 70-х годах ни к чему не привели. В этой области наша наука и практика значительно отстали от зарубежной.

В школах развитых стран внедрение и совершенствование тестов шло быстрыми темпами. Широкое распространение получили диагностические тесты школьной успеваемости, использующие форму альтернативного выбора правильного ответа из нескольких правдоподобных, написания очень краткого ответа (заполнения пропусков), дописывания букв, цифр, слов, частей формул и т.п. С помощью этих несложных заданий удается накапливать значительный статистический материал, подвергать его математической обработке, получать объективные выводы в пределах тех задач, которые предъявляются к тестовой проверке. Тесты печатаются в виде сборников, прилагаются к учебникам, распространяются на компьютерных дискетах.

Виды тестового контроля знаний.

При подготовке материалов для тестового контроля необходимо придерживаться следующих основных правил:

• Нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована учащимися.

• Неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными.

• Правильные ответы среди всех предлагаемых ответов должны размещаться в случайном порядке.

• Вопросы не должны повторять формулировки учебника.

• Ответы на одни вопросы не должны быть подсказками для ответов на другие.

• Вопросы не должны содержать "ловушки".

Тесты обученности применяются на всех этапах дидактического процесса. С их помощью эффективно обеспечивается текущий, рубежный и итоговый контроль знаний, умений, учет успеваемости, академических достижений.

Тесты обученности все больше проникают в массовую практику. Ныне кратковременный опрос всех учащихся на каждом уроке с помощью тестов используют почти все педагоги. Преимущество такой проверки в том, что одновременно занят и продуктивно работает весь класс и за несколько минут можно получить срез обученности всех учащихся. Это вынуждает их готовиться к каждому уроку, работать систематически, чем и решается проблема эффективности и необходимой прочности знаний. При проверке определяются прежде всего пробелы в знаниях, что очень важно для продуктивного самообучения. Индивидуальная и дифференцированная работа с обучаемыми по предупреждению неуспеваемости также основывается на текущем тестировании.

Естественно, не все необходимые характеристики усвоения можно получить средствами тестирования. Такие, например, показатели, как умение конкретизировать свой ответ примерами, знание фактов, умение связно, логически и доказательно выражать свои мысли, некоторые другие характеристики знаний, умений, навыков диагностировать тестированием невозможно. Это значит, что тестирование должно обязательно сочетаться с другими (традиционными) формами и методами проверки. Правильно действуют те педагоги, которые, используя письменные тесты, дают возможность обучаемым устно обосновывать свои ответы. В рамках классической теории тестов уровень знаний испытуемых оценивается с помощью их индивидуальных баллов, преобразованных в те или иные производные показатели. Это позволяет определить относительное положение каждого испытуемого в нормативной выборке.

Другой подход к созданию педагогических тестов и к интерпретации результатов их выполнения представлен в так называемой современной теории педагогических измерений Item Response Theory (IRT), получившей широкое развитие в 60-80-е годы в ряде западных стран. К исследованиям последних лет в этом направлении относятся труды B.C. Аванесова, В.П. Беспалько, Л.В. Макаровой, В.И. Михеева, Б.У. Родионова, А.О. Татура, В.С. Черепанова, Д.В. Люсина, М.Б. Челышковой, Т.Н. Родыгиной. Е.Н. Лебедевой и др.

К наиболее значимым преимуществам IRT относят измерение значений параметров испытуемых и заданий теста в одной и той же шкале, что позволяет соотнести уровень знаний любого испытуемого с мерой трудности каждого задания теста. Критики тестов интуитивно осознавали невозможность точного измерения знаний испытуемых различного уровня подготовки с помощью одного и того же теста. Это одна из причин того, что в практике стремились обычно создавать тесты, рассчитанные на измерение знаний испытуемых самого многочисленного, среднего уровня подготовленности. Естественно, что при такой ориентации теста знания у сильных и слабых испытуемых измерялись с меньшей точностью.

В зарубежных странах в практике контроля нередко используются так называемые тесты успешности, которые включают несколько десятков заданий. Естественно, что это позволяет более полно охватить все основные разделы курса. Предъявляемые задания обычно выполняются в письменном виде. При этом используются два вида заданий:

• требующие от учащихся самостоятельного составления ответа (задания с конструктивным типом ответа);

• задания с выборочным типом ответа. В последнем случае учащийся выбирает из числа предъявленных ответ, который он считает правильным.

Важно отметить, что эти типы заданий подвергаются серьезной критике. Отмечается, что задания с конструктивным типом ответа приводят к необъективности оценок. Так, разные экзаменаторы и нередко даже один и тот же экзаменатор ставят разные оценки за один и тот же ответ. Кроме того, чем больше свободы в ответе у учащихся, тем больше и вариантов оценки преподавателей.

Одним из недостатков тестового метода контроля знаний учащихся является то, что создание тестов, их унификация и анализ - это большая кропотливая работа.

Чтобы довести тест до полной готовности к применению необходимо несколько лет собирать статистические данные. Возможно возникновение и других трудностей. Довольно часто встречается значительный субъективизм в формировании содержания самих тестов, в отборе и формулировке тестовых вопросов, многое также зависит от конкретной тестовой системы, от того, сколько времени отводится на контроль знаний, от структуры включенных в тестовое задание вопросов и т.д.

Но не смотря на указанные недостатки тестирования, как метода педагогического контроля, его положительные качества во многом говорят о целесообразности использования такой технологии.

К достоинствам следует отнести:

• как было сказано, большая объективность и, как следствие, большее позитивное стимулирующее воздействие на познавательную деятельность учащегося;

• исключается воздействие негативного влияния на результаты тестирования таких факторов, как настроение, уровень квалификации и др.

• ориентированность на современные технические средства на использование в среде компьютерных (автоматизированных) обучающих систем;

• универсальность, охват всех стадий процесса обучения.

Отметим другие достоинства. Тестированный опрос многофункционален. Он позволяет быстрее понять, как дальше работать с данным учеником.

В итоге следует заметить, что использование тестирования учащихся поможет объективно провести проверку знаний учащихся, которая проводится с целью установления соответствия содержания, уровня и качества подготовки учащихся требованиям государственных образовательных программ и успешности усвоения знаний.

Разработка педагогических методов контроля на протяжении большого периода времени после появления этого понятия направлялась целью создания эталона – единицы меры с помощью которой можно было бы определить запаздывает ли человек в своем развитии, в норме ли он, опережает ли характерное для людей такого же возрастного уровня умственное развитие. Предлагалось за норму взять среднестатитические показатели мыслительной деятельности человека. Действительно, один и тот же набор заданий можно предлагать людям одного и того же возраста и затем, вычисляя средние значения результативности, полученные при ответах разными людьми, вычислить средние показатели для данной возрастной группы. Более того, если число тестируемых достаточно велико, можно говорить о возможности более или менее точного вычисления показателя, называемого умственным возрастом – средней оценки за определенный набор заданий для людей одного возраста.

И все таки, одной из основных сфер, в которых тесты используются активно была и остается педагогика. Как правило, тесты используются в решении трех основных задач:

• диагностика,

• прогнозирование,

• тренинг.

С течением времени наибольшее распространение получили контрольные задания, которые предусматривают:

• выбор ответа из предложенных вариантов, один из которых является правильным. В этом случае тестируемый выбирает номер правильного ответа или указывает на правильный ответ оговоренным способом;

• открытое поле для записи ответа. При такой постановке задания тестируемый сам вписывает в отведенную графу значение, являющееся, по его мнению, правильным ответом. Оговаривается форма записи ответа (например, целое число без знака). Никаких вариантов ответов в этом случае не предлагается;

• произвольный ответ, при котором тестируемый в качестве ответа вписывает произвольный текст, какие-либо параметры которого, вообще говоря, не специфицируются.

Существует и довольно распространенная классификация форм и видов тестовых заданий. Выделяют четыре основные формы тестовых педагогических заданий:

• закрытой формы, в которой тестируемые выбирают правильные ответы;

• открытой формы, где ответы дают сами испытуемые;

• на соответствие, при ответе на которые элементам одного множества требуется поставить в соответствие элементы другого множества;

• на установление правильной последовательности, в которых устанавливается требуемая заданием последовательность действий, операций, вычислений.

Задания закрытой формы, в свою очередь, разделяются на два вида - с правильным ответом из числа предлагаемых и с несколькими правильными ответами. Кроме того, особо фиксируется пять основных видов тестовых заданий закрытой формы: с двумя, тремя, четырьмя, пятью и с большим числом ответов.

Ниже приведены основные понятия и их определения, имеющие непосредственное отношение к проведению и созданию тестов.

Апробация теста – пробное тестирование, предшествующее основному и предпринимаемое с целью устранения ошибок и неточностей в заданиях, а также приблизительной оценки трудности заданий и его отдельных частей.

Аттестационный балл (для выпускников общеобразовательных школ) - это балл по традиционной пятибалльной шкале, проставляемый в аттестат о среднем образовании.

Аттестационное заключение - заключение об уровне подготовки учащегося, принимаемое комиссией на основании сравнения результатов экзамена и итоговой оценки, полученной по результатам обучения.

Валидность теста – степень соответствия получаемой в ходе тестирования оценки диагностируемой характеристике тестируемого.

Достоверность контрольных материалов – степень защиты результатов тестирования от сознательных фальсификаций или непреднамеренных искажений.

Задачи – любые задания, входящие в тест.

Закрытое тестовое задание - задание теста с выбором ответа из нескольких заранее предложенных и строго оговоренных вариантов.

Измерение - формализованный процесс оценивания, который завершается определением количественной оценки; в случае педагогического измерения это оценка уровня образовательных достижений.

Информативность – разнообразие ответов тестируемых на одно тестовое задание: если испытуемые дают один ответ на конкретное задание тест считается малоинформативным или не диагностируемым.

Ключ к заданию - правильный ответ на тестовое задание. В случае заданий с развернутым ответом единственный формализованный ключ к тестовому заданию отсутствует и правильность ответа устанавливают независимые эксперты (проверяющие), действующие на основе авторской инструкции и эталонных ответов на конкретные задания этого типа.

Ключ к тесту - набор ключей ко всем заданиям, включенным в данный тест.

Контрольно-измерительный материал - вариант тестовых заданий открытого и закрытого типов, подготовленных для апробации.

Надежность (точность) теста – стабильность результатов тестовых испытаний, устойчивость теста по отношению к источникам помех.

Нормы теста - границы между интервалами на шкале тестовых баллов, которым ставится в соответствие определенное аттестационное заключение.

Окончательная обработка результатов - статистическая обработка, выполняемая на основе всех собранных результатов по данному тесту; на основе этой обработки вносятся поправки в предварительные тестовые нормы, а также производится более точный расчет сертификационного балла с учетом реальной трудности тестовых заданий.

Ответный лист - это бумажный формуляр или (и) компьютерная электронная форма с полями ввода, в которые тестируемый обязан вписать полученные им ответы в строгом соответствии с образцом заполнения, и который после контроля является главным документом о результатах учащегося.

Открытое тестовое задание - задание теста, для которого в тесте не предусмотрено вариантов ответа и тестируемый должен сам самостоятельно сформулировать свой ответ.

Отметка - школьный балл, отражающий успеваемость школьников во время их обучения в школе и имеющий четыре традиционные градации.

Оценивание - любой процесс, формализованный или экспертный, который завершается оценкой; в случае педагогического тестирования - оценкой уровня образовательных достижений тестируемого.

Оценка - результат любого процесса оценивания. В частном случае оценкой являются баллы стандартизированных испытаний, выполненных на основе тестов.

Ошибка измерения - статистический показатель, характеризующий степень точности отдельных измерений, погрешность измерений; величина интервала на шкале тестовых баллов, внутри которого истинная оценка учащегося может находится фактически с равной вероятностью.

Педагогический тест – система дифференцированных по степени трудности заданий определенной формы и содержания, позволяющая эффективно оценить структуру и уровень знаний, умений и навыков тестируемого в конкретной предметной области.

Педагогическое тестирование – метод педагогической диагностики, с помощью которого выборка поведения при тестировании, соответствующая результатам обучения, должна максимально отвечать принципам сопоставимости, надежности и валидности измерений.

Психометрические свойства теста – свойства, обеспечивающие некоторый стандарт качества для любой измерительной психодиагностической методики.

Пятибалльная оценка - оценка с использованием традиционной шкалы с четырьмя градациями «пять», «четыре», «три», «два» или «отлично», «хорошо», «удовлетворительно», «неудовлетворительно».

Сертификационный балл – балл по стодвадцатибалльной шкале, получаемый с помощью специальной статистической окончательной обработки результатов тестирования учащихся. В отличие от аттестационного балла предназначен для учета вузовскими приемными комиссиями.

Система тестового педагогического контроля знаний умений и навыков – совокупность педагогических, методических, технических, организационных и кадровых ресурсов, задействованных в педагогическом тестовом контроле.

Стандартизация - построение уточненной стодвадцатибалльной шкалы тестовых баллов на основе статистического учета результатов всех участников, выполнивших данный тест (вариант) в рамках конкретной группы; результатом стандартизации является определение стандартизированного балла.

Тест - измерительная процедура, включающая инструкцию и набор заданий, прошедшая широкую апробацию и стандартизацию.

Тестирование – измерение или формализованное оценивание на основе тестов, завершающееся количественной оценкой, опирающейся на статистически обоснованные шкалы и нормы.

Тестовая шкала - упорядоченное множество числовых оценок результатов тестирования.

Тестовое задание – минимальная составляющая единица теста, которая состоит из условия (вопроса) и в зависимости от типа задания может содержать или не содержать набор ответов для выбора; отвечает требованиям предметной чистоты содержания, логической непротиворечивости, правильности формы, требованиям локальной независимости, коррелируемости задания с критерием, технологичности и эффективности.

Тестовые задания с кратким свободным ответом – задания теста, при ответе на которые экзаменуемый должен написать слово, словосочетание или число.

Тестовые задания с развернутым ответом – задания теста, при ответе на которые учащийся должен написать ответ в виде одного или нескольких предложений или формул. Проверка правильности ответов на эти задания, как правило, производится с помощью независимых экспертов (проверяющих).

Тестовый комплект – печатный или электронный вариант теста, в котором содержатся все формулировки тестовых заданий, предназначенных для предъявления одному тестируемому в ходе одной проверки в рамках одного варианта.

Тестология - это наука о создании и применении тестов; в области педагогических измерений - это теоретико-методологическое и методическое обоснование процессов разработки и применения педагогических тестов.

Тип задания - разновидность тестовых заданий, обладающих определенной формальной структурой; тестовые задания бывают закрытого и открытого типов; последние, в свою очередь, делятся на задания с краткими свободными и развернутыми ответами.

Трудность задания - характеристика задания, отражающая статистический уровень его выполнения на выборке стандартизации; отражает процент ошибок, допущенных тестируемыми при выполнении данного задания.

Шкалирование результатов - процесс формирования тестовых шкал и тестовых норм, то есть правил начисления тестовых баллов по результатам тестирования на основе статистических данных.

Экзамен - это процесс оценивания образовательных достижений с целью аттестации или конкурсного отбора; в экзамене в качестве инструмента его проведения могут быть использованы тесты.

Экспертная апробация теста - одобрение теста авторитетной комиссией экспертов.

Электронные (компьютерные) тесты – тесты, хранимые, обрабатываемые и предъявляемые тестируемому с помощью компьютерной и телекоммуникационной техники. Компьютерными не являются тесты, подразумевающие заполнение тестируемыми «бумажных» бланков и их последующую компьютерную обработку.

Эффективность теста – критерий оценки теста, основанный на сравнении тестов: более эффективным является тест, который при равном уровне валидности измеряет заданное свойство с помощью меньшего числа тестовых заданий.

Оценить качество обучения, очевидно, можно за счет сопоставления результативности педагогической деятельности преподавателей, работающих в рамках одной и той же предметной дисциплины. Кроме того, из-за разного базового уровня знаний обучаемых наиболее значима разность между знаниями до и после прохождения обучения. Существуют и очевидные субъективные факторы, влияющие на оценивание качества обучения. Так, например, преподаватель на результирующем экзамене вряд ли поставит плохие оценки, зная, что они будут использоваться для определения качества его педагогического труда. Проблема субъективности актуальна и в том случае, когда в приеме экзаменов задействовано несколько педагогов, поскольку произвести в течение короткого времени, отведенного на экзамен, по всем разделам практически невозможно. Различным учащимся, как правило, задаются различные по сложности и тематике вопросы. Подведение под процесс оценки качества обучения некоторой научной основы позволит не только минимизировать влияние субъективных факторов но и выработать единую, научно обоснованную меру для измерения качественных показателей.

Одним из путей решения указанной проблемы является введение тестовых систем оценки качества образования при условии их составления специалистами как в области педагогики и методики преподавания, так и в областях предметной специализации. Тестовые задания, написанные специалистами предлагаются учащимся и выпускникам учебных заведений начального и среднего профессионального образования. Результаты тестирования подвергаются детальному анализу. При этом практически нереальна ситуация, когда у учащихся, прошедших обучение у различных педагогов, в процессе тестирования будут показаны одинаковые численные (например, в процентах) результаты. Данный факт еще не дает права утверждать, что качество работы одного из преподавателей выше, поскольку результаты тестирования достоверны с некоторой погрешностью. Вопросам определения возможно допустимых погрешностей в тестировании и их влияния на результативность данной формы контроля знаний также должно быть уделено должное внимание.

1.4 Технические средства автоматизации контроля

контроль информационный система обучение

Средства автоматизации тестового контроля можно рассматривать как составляющие компоненты технологии педагогической диагностики, активно разрабатываемой с 80-х годов Е.А. Михайличевым, В.Е. Сайко и др. Одним из направлений разработки методов педагогической диагностики является развитие связей с математическими методами и новыми информационными технологиями.

Несмотря на достигнутые в этой области результаты, создание системы диагностирования по конкретному предмету является актуальной задачей. Развитие принципиально новой системы коммуникаций, основанной на компьютерных технологиях и телекоммуникациях, позволяет принципиально изменить существо подхода к синтезу системы тестирования по любому предмету обучения.

В числе программных средств, позволяющих автоматизировать контроль знаний учащихся находятся и компьютерные обучающие среды, основная цель которых – программная поддержка учебного процесса. Современные инструментальные среды для создания автоматизированных учебных курсов позволяют строить тесты с выборочными, числовыми, конструируемыми ответами. На практике в таких программных средствах чаще всего применяется выбор правильного ответа из списка (тесты с выборочными ответами).

Отметим, что в связи с применением компьютерных технологий в практике тестирования пересмотру должно быть подвергнуто содержание учебных курсов учебных заведений начального и среднего профессионального образования, связанных с информатикой. В них теперь должно быть предусмотрено обучение методам и технологиям автоматизированного опроса. Очевидно, что при этом система диагностирования процесса освоения данного предмета имеет особую специфику, состоящую в своеобразном «дуализме» овладения информационными технологиями с помощью тех же самых информационных технологий.

Разработано определённое количество компьютерных систем тестирования, охватывающих все периоды освоения темы «Основы информатики и вычислительной техники». В их основу обычно кладутся идеи синтеза тестов на основе принципа безальтернативного выбора требуемого ответа из множества заданных. Последующее развитие этой идеи позволяет расширить возможности данной системы на основе использования альтернативных формулировок ответа при однозначной постановке вопроса. Указанный этап тестирования предполагает более глубокую по сравнению с первым степень овладения материалом.

Результаты компьютеризированного тестирования по информатике позволяют отразить не только уровень освоения требуемого материала, но и помогают получить информацию о формировании речевой культуры и уровне владения понятийным аппаратом данной дисциплины.

Собственно системы компьютерного тестирования обладают шестью режимами: режимом классического тестирования, режимом тестирования по методу доведения ответа до правильного, тестированием на внимание, групповым тестированием, режимом голосования и режимом опроса.

Проведенный в рамках настоящего дипломного исследования анализ разработок СГУ выявил, что при практически полном сохранении всех преимуществ компьютерного тестирования, данные средства обеспечивают:

• низкую себестоимость устройств,

• отсутствие вредных электромагнитных излучений от экранов мониторов компьютеров,

• относительную мобильность,

• не обязательность использования для тестирования больших помещений,

• малочисленность штата специалистов, обслуживающих компьютерную технику, необходимую для тестирования.

Немаловажным аспектом использования таких программ является то, что ученики имеют возможность за время обучения подготовиться к тестированию как в психологическом так и техническом плане, что особенно актуально в свете повсеместного перехода к единому государственному экзамену.

Актуальность задачи автоматизации процедуры контроля уровня обученности определяется целым рядом факторов:

1. Освобождением преподавателя от выполнения трудоемкой и рутинной работы;

2. Предоставлением педагогу времени для творческого совершенствования разных аспектов его профессиональной деятельности;

3. Обеспечением всесторонней и полной проверки;

4. Повышением объективности контроля и обеспечением его стандартизации;

5. Оперативностью и многофакторностью статистической обработки результатов контроля.

На наш взгляд, наиболее эффективного использования технических средств в процессе выявления уровня знаний и умений можно достичь при построении целостной системы компьютерного контроля. В ходе анализа научно-технической литературы были определены основные требования, предъявляемые к построению подобных компьютерных систем. Такие системы должны предусматривать:

1. Расчет данных на различные предметные области и способы деятельности;

2. Охват всех периодов обучения и изменяемость в зависимости от них;

3. Содержание различных форм, приёмов и способов;

4. Зависимость уровня проблемности контроля от уровня проблемности содержания и индивидуального уровня обученности;

5. Контроль за степенью достижения каждым тестируемым целевого уровня подготовки;

6. Поддержка всех этапов обучения: от целеполагания до оценочно-результативного этапа.

Любая компьютерная программная система представляет собой целый комплекс различных составляющих, каждый из которых решает одну из подзадач общей технической задачи, стоящей перед системой. В этом смысле компьютеризированные системы педагогического контроля не являются исключением. В связи с этим технологии разработки систем контроля, как правило, состоят из различных этапов. Перечислим основные из них:

• определение цели контроля;

• отбор учебного материала;

• определение содержания контроля;

• обеспечение процесса контроля;

• сбор, обработка и анализ результатов.

В настоящее время разработано достаточно большое количество отечественных и зарубежных компьютерных технологий и программных средств, нацеленных на выявление уровня подготовленности учащихся. Однако для большинства из них наряду с большим количеством положительных моментов присущи и некоторые более или менее стандартные недостатки.

Рассмотрим эти аспекты на примере одного из наиболее распространенных направлений, связанных с созданием и эксплуатацией автоматизированных систем контроля знаний. В настоящее время известно множество практических реализаций систем автоматизированного тестирования как по отдельным дисциплинам так и универсальных систем оценивания знаний, полностью или частично инвариантных к конкретным дисциплинам и допускающих их информационное наполнение преподавателями - организаторами тестирования. Такие универсальные системы получили название “конструкторов тестов”. В качестве примера достаточно упомянуть такие системы как АСКО (Автоматизированная система контроля обучения) и АДОНИС.

К сожалению, анализ эффективности автоматизированного тестирования в ходе проведения текущего, корректирующего, рубежного и заключительного контроля в образовательном процессе средней школы показывает, что многие преподаватели настороженно и даже негативно относятся к подобным системам. Среди наиболее существенных недостатков современных подходов к автоматизированному тестированию, называемых в качестве причин такого отрицательного отношения, можно отметить:

• необходимость формулирования вариантов ответов на тестовые задания по принципу “один абсолютно правильный” - “N абсолютно неправильных”. Это не дает возможности организовать полноценное тестирование по слабо формализованным дисциплинам, для которых характерна диалектичность знаний (дисциплины общественно-политического, гуманитарного, социально-экономического и прочих циклов);

• примитивность и негибкость процедур расчета итоговой оценки, сводимых либо к определению отношения количества правильных ответов к количеству заданных вопросов, либо к суммированию баллов, назначаемых за каждый правильный ответ;

• невозможность автоматизации разнообразных методик контроля знаний, широко применяемых в педагогической практике (оценка широты либо глубины знаний, учет относительной важности отдельных тем или разделов изучаемой дисциплины, выбор сложности теста с учетом уровня подготовленности и самооценки тестируемого, стимуляция правильных ответов и т.п.);

• значительная трудоемкость ручного формирования такого множества тестовых заданий и вариантов ответов на каждое из них, которое позволит исключить или минимизировать вероятность предъявления одного и того же задания различным тестируемым при параллельной проверке их знаний.

Как уже отмечалось, особенно ярко указанные недостатки автоматизированного тестирования проявляются при контроле знаний по дисциплинам гуманитарного, социально-экономического и общественно-политического циклов. В силу их диалектичности степень формализации знаний по этим дисциплинам слишком низка, чтобы наличие знаний могло определяться по тому, насколько хорошо помнит экзаменуемый отдельные факты, точные определения или конкретные формулы и правила их применения. С точки зрения контроля знаний по информатике некоторые из указанных недостатков не имеют принципиального значения.

В числе проблем, которые сопровождают построение и функционирование компьютерных средств педагогического тестового контроля, можно отметить непроработанность методических аспектов построения таких систем. Зачастую вызывает сомнение организация некоторых тестовых компьютерных программ. С нашей точки зрения один из наиболее часто встречающихся недостатков заключается в том, что очень многие разработчики идут по традиционной схеме, когда тесты, написанные на бумаге просто переносятся на компьютер. При этом сильно сужается набор типов контролирующих вопросов.

Исходя из необходимости повышения эффективности учебного процесса и из возможности применения современных информационных технологий наиболее перспективным и целесообразным представляется автоматизация процесса педагогического тестирования. Всеобщий интерес к подобному способу оценивания знаний предопределили его положительные стороны:

• высокая степень формализации и унификации процедуры тестирования,

• возможность одновременного проведения тестирования на нескольких компьютерах,

• возможность организации дистанционного тестирования посредством локальной вычислительной сети либо через глобальную информационную сеть Интернет.

Определенный интерес представляет выявление роли и значимости тестирования на различных этапах контроля и оценивания знаний, а также его применимость при изучении различных дисциплин. Не вызывает сомнений целесообразность применения традиционных автоматизированных систем контроля знаний при изучении дисциплин, ориентированных на усвоение обучаемыми конечного множества фактов либо однозначно трактуемых правил. Примером подобной ситуации можно считать экзамен на знание правил дорожного движения. Практически безальтернативным представляется применение таких приемов компьютеризации контроля уровня знаний и умений при проведении массового одновременного государственного тестирования знаний учащихся, хотя руководители центров тестирования отмечают наличие претензий, связанных с оцениванием знаний по дисциплинам языкового цикла, для которых характерна неоднозначность некоторых “истинных” ответов даже с точки зрения наиболее опытных преподавателей-предметников.

Компьютерные системы выявления уровня знаний широко применяются для уменьшения трудоемкости текущего контроля по естественно-научным и техническим дисциплинам, цель которого состоит в оперативной и массовой одновременной проверке остаточных знаний большого количества обучаемых.

Таким образом, для многих дисциплин, знания в которых носят принципиально нечеткий характер и не могут быть сведены к однозначным формулировкам многие процедуры компьютерного тестирования, к сожалению, оказываются неприменимыми. Более того, можно утверждать, что процедуры “классического” компьютерного тестирования, основанные на парадигме “один абсолютно правильный ответ - N абсолютно неправильных ответов” и выводе итоговой оценки из соотношения количества правильных ответов и заданных вопросов, неадекватны представлениям большинства преподавателей об их абсолютной применимости в процессе оценивания знаний.

Можно сделать вполне естественный вывод, что компьютерное программное средство контроля знаний будет признаваться конкретным преподавателем как эффективный инструмент промежуточного или итогового контроля знаний только в том случае, если оно будет адекватно набору требований.

Глава 2. Информационная система оценки знаний по информатике учащихся средней школы

2.1 Проектирование информационной системы оценки знаний

Построение компьютерной системы оценки знаний по информатике требует применения специализированных подходов к представлению и обработке знаний. Сформулируем основные принципы построения компьютерной системы контроля знаний, основанные на методах и моделях, развиваемых в рамках теории интеллектуальных вычислений и инженерии знаний. Эти принципы определяют концепцию интеллектуального тестирования, более адекватную представлениям преподавателя о требуемой организации процесса контроля и оценивания знаний и позволяющую реализовать неформализованные ранее педагогические приемы и методики.

Множество требований, предъявляемых к компьютерному программному средству контроля знаний

В числе провозглашаемых принципов:

1. Переход от задания истинности предлагаемых вариантов ответов в категориях дихотомических шкал (“правильно - неправильно”) к более общей и универсальной схеме оценивания ответов функциями предпочтения, определяемыми в категориях нечеткой логики. Заметим, что такой переход не противоречит традиционному подход, поскольку в соответствии с современными представлениями двоичная логика может считаться частным случаем нечеткой логики;

2. Переход от индивидуальной организации теста к коллегиальной экспертной подготовке всех его этапов, что увеличит доверие конечных пользователей к компьютерной системе контроля знаний и повысит валидность результатов тестирования;

3. Количественное определение сложности и важности каждого тестового задания по пропорциональной цифровой шкале, что даст возможность повысить объективность оценивания демонстрируемых знаний.

4. Разбиение множества тестовых заданий на тематические подмножества, элементы которых семантически коррелируют друг с другом, с обязательным ранжированием как тестовых заданий внутри каждого подмножества, так и выделенных подмножеств между собой. Реализация этого принципа создаст объективную основу для формализации ряда применяемых в настоящее время “ручных” методик контроля знаний, таких, например, как оценивание широты или глубины знаний и т.п.;

5. Переход от характерного для современных компьютерных средств использования программно реализованных алгоритмов прямого тестирования, при котором выбор очередного задания практически не зависит от ответов тестируемого на предыдущие вопросы, к модульному конструированию при подготовке теста;

6. Переход к построению алгоритмов адаптивного тестирования, обусловливающих выбор очередного i-го задания ответами обучаемого на предыдущих (i - 1)-м, (i - 2)-м,..., и т.д. шагах теста. Реализация этого принципа позволит формализовать широко применяемые в педагогической практике методики дополнительных, наводящих и уточняющих вопросов;

7. Построение, унифицированное описание и однотипная реализация в рамках одной и той же компьютерной системы контроля знаний набора алгоритмов тестирования, реализующих различные методики контроля и предоставление организатору тестирования возможности выбирать в конкретной ситуации те из них, применение которых либо предписывается нормативными документами, либо определяется его собственными предпочтениями;

8. Создание инструментария для построения, настройки и модификации различных шкал итогового оценивания знаний, включая как возможность изменения количества и ширины оценочных интервалов, так и определение и варьирование зон неопределенности оценок. Это даст возможность организовать параметрический анализ валидности текущих и заключительных результатов тестирования;

9. Автоматизация на основе возможностей компьютерной техники наиболее трудоемкого этапа подготовительной стадии тестирования, связанного с формированием множества тестовых заданий и вариантов ответов на них. Базис этой процедуры могут составить, в частности, формализованная модель знаний по изучаемой дисциплине, представленная в виде структурированной семантической сети и известные из инженерии знаний фрейм-технологии.

10. Использование при разработке тестовых материалов, технических средств контроля знаний и при их практическом применении самых современных и наиболее эффективных аппаратных и программных компьютерных средств. Построение гетерогенных компьютерных средств, доступных к использованию в большинстве учебных заведений и центров тестирования;

11. Предусмотрение во всех вновь разрабатываемых программных средствах компьютеризированного тестирования возможности использования современных информационных средств компьютерных телекоммуникаций;

12. Включение в компьютерные системы контроля уровня подготовленности учащихся модулей, предотвращающих или минимизирующих фальсификацию результатов педагогического контроля.

Средства автоматизации тестового контроля можно рассматривать как составляющие компоненты технологии педагогической диагностики, активно разрабатываемой с 80-х годов Е.А. Михайличевым, В.Е. Сайко и др. Одним из направлений разработки методов педагогической диагностики является развитие связей с математическими методами и новыми информационными технологиями.

Несмотря на достигнутые в этой области результаты, создание системы диагностирования по конкретному предмету является актуальной задачей. Развитие принципиально новой системы коммуникаций, основанной на компьютерных технологиях и телекоммуникациях, позволяет принципиально изменить существо подхода к синтезу системы тестирования по любому предмету обучения.

В числе программных средств, позволяющих автоматизировать контроль знаний учащихся находятся и компьютерные обучающие среды, основная цель которых – программная поддержка учебного процесса. Современные инструментальные среды для создания автоматизированных учебных курсов позволяют строить тесты с выборочными, числовыми, конструируемыми ответами. На практике в таких программных средствах чаще всего применяется выбор правильного ответа из списка (тесты с выборочными ответами).

Разработано несколько компьютерных систем тестирования, охватывающих все периоды освоения темы «Основы информатики и вычислительной техники». В их основу обычно кладутся идеи синтеза тестов на основе принципа безальтернативного выбора требуемого ответа из множества заданных. Последующее развитие этой идеи позволяет расширить возможности данной системы на основе использования альтернативных формулировок ответа при однозначной постановке вопроса. Указанный этап тестирования предполагает более глубокую по сравнению с первым степень овладения материалом.

Результаты компьютеризированного тестирования по информатике позволяют отразить не только уровень освоения требуемого материала, но и помогают получить информацию о формировании речевой культуры и уровне владения понятийным аппаратом данной дисциплины.

Исходя из описанных выше принципов и руководствуясь необходимыми критериями оценки знаний учащихся по информатике, проектируемая информационная система реализует следующие функции

• Учет текущих оценок.

• Обработка результатов тестов.

• Подсчет и выставление четвертной и годвой оценок.

• Описание успехов ученика по проходимым темам.

• Предоставления доступа к текущим результатам обучения для родителей.

• Прогнозирование четвертной оценки.

• Акцентирование внимания учеников на «проблемных» для них темах.

• Генерирование небольших отчетов, в которых содержится следующая информация:

  • Четвертная оценка.

  • Список изученных тем.

  • Оценка за каждую тему.

  • Рекомендации по изучению плохо усвоенных тем.

Для адекватной работы информационной системы в ней хранятся следующие данные:

• уникальный номер теста

• оценка

• уникальный номер теста, задания

• ФИО ученика

• раздел / тема школьного курса по информатике

• дата получения оценки

• значимость оценки на итоговый результат

Каждая оценка имеет свой "вес", в зависимости от уровня задания "вес" меняется. Для каждого уровня вводится свой коэффициент. Типы заданий:

• Текущее - 0,2

• Рубежное - 0,3

• Заключительное - 0,4.

Каждое задание может быть одного из нескольких типов: ответ на уроке (устное, теоретическое), практическое, тест, контрольная работа (теоретическое). Так как, каждый тип заданий имеет свой "вес", в итоге мы получаем более адекватную оценку знаний ученика по пройденной теме.

Самый меньший вес у входного задания. Это продиктовано тем, что входящее тестирование не должно сильно влиять на итоговую оценку.

Оценка по текущему контролю имеет больший вес, с помощью этих оценок мы можем отслеживать динамику успешности изучения каждым учеником конкретной темы. А так как задания при этом разбиваются по типам, мы можем понять, кто из учеников лучше владеет теорией, а кто практикой. С помощью этого мы можем корректировать индивидуальные задания, т.е. осуществлять корректирующий контроль, описанный в некоторых методических исследованиях.

Рубежные оценки - оценка по пройденной теме, она даёт возможность оценить общие знания ученика по всей теме. Имеет большую значимость, так как оценивается не какой либо отдельный навык ученика, а знания по теме в целом.

Таким образом, учитель может выстраивать индивидуальную образовательную траекторию для каждого ученика.

Также проектируемая информационная система позволяет хранить не только оценки, но и сами тестовые задания, например, в виде SCORM пакетов.

Sharable Content Object Reference Model (SCORM) - стандарт, разработанный для систем дистанционного обучения. Данный стандарт содержит требования к организации учебного материала и всей системы дистанционного обучения. SCORM позволяет обеспечить совместимость компонентов и возможность их многократного использования: учебный материал представлен отдельными небольшими блоками, которые могут включаться в разные учебные курсы и использоваться системой дистанционного обучения независимо от того, кем, где и с помощью каких средств были созданы. SCORM основан на стандарте XML.

Пакет может содержать курс, урок, модуль и т. п. В пакет входят xml-файл (Manifest), где описана структура пакета, и файлы, составляющие учебный блок. Manifest включает:

• метаданные (свойства компонентов учебного материала)

• организацию учебного материала (в каком порядке расположены компоненты)

• ресурсы (ссылки на файлы, содержащиеся в пакете)

• sub-Manifest (xml-файл может содержать под-Manifest)

Блоки учебного материала, входящие в пакет, могут быть двух типов: Asset и Sharable Content Object (SCO). Asset - элемент, который не взаимодействует с сервером Системы управления обучения (LMS-сервером), это может быть html-страница, просто картинка, звуковой файл или flash-объект и т.п., SCO - это элемент, который взаимодействует с LMS-сервером: сообщает о ходе и результатах обучения, получает и передает дополнительные данные и т.п. (как минимум SCO сообщает о своем запуске и завершении), кроме того SCO является тем "кирпичиком", который может быть использован для построения совершенно другого обучающего курса.

Это позволит использовать уже готовые, отработанные задания, которые используются для проведения оценки знаний учащихся по информатике. В свою очередь, такой подход позволит наладить межшкольное взаимодействие, что может сказаться самым положительным образом на структуре педагогического процесса в целом.

Такая информационная система автоматизации оценивания знаний ученика по информатике имеет следующие достоинства:

• Увеличивается объективность оценки.

• Уменьшаются затраты сил и времени учителя не только на выставления оценок, оценивания уровня знаний ученика, но и упрощается процесс создания тестовых заданий.

• Увелечивается «прозрачность» получения и выставления оценок т.к. оценки могуть быть опубликованы на школьном web-ресурсе, к которому имеют доступ и учителя, и ученики, и родители что увеличивается степень их взаимодействия.

• Учитываются не только знания по информатике в целом, но и определяются темы и конкретные вопросы, требующие дополнительной проработки.

• У ученика появляется возможность динамически отслеживать его оценки и определять наиболее слабые места самостоятельно.

• Проектируемая информационная система оценки знаний учащихся совместима не только с традиционной пятибальной шкалой, но и с любой другой.

Но на ряду с достоинствами следует упомянуть и недостатки, которые присущи любой информационной системе такого рода:

• От педагогического коллектива требуются минимальные навыки владения компьютером. С обной стороны это достоинство, так как не требуются специальные навыки, но учитывая современные реалии, даже наличие минимальных навыкоа сожет стать проблемой.

• Проектируемая информационная система подразумевает развертывание web-сервера, что влечет за собой необходимость в специалисте, который будет эту систему обслуживать.

2.2 Методика использования информационной системы в процессе обучения информатике средней школы

Спроектированная в предыдущем параграфе информационная система не носит характер полной автоматизации всех форм контроля знаний учащихся.

Основная цель – автоматизировать тестовые формы контроля, обеспечить хранение и статистическую обработку данных как групп учащихся в общем, так и каждого учащегося в частности.

Для внедрения системы в учебный процесс необходимо:

• Выделенный компьютер, который будет выполнять роль сервера.

• Компьютеризированые рабочие места учителей.

Для первоначальной настройки в систему вносятся следующие данные:

• Фамилии и имена учеников.

• Фамилии учителей.

• Вносятся соответствие ученика и класса, в котором он обучается.

Педагогический состав знакомится с работой информационной системы. Для первоначальной работы этого достаточно.

Для наиболее удобного и безболезненного внедрения предлагается начинать использование информационной системы автоматизированного оценивания знаний учащихся в начале учебного года. Первую четверть рекомендуется отвести для тестового использования системы. Для тестового использования системы рекомендуется выбрать один класс и в течение первой четверти для этого класса при выставлении оценок использовать информационную систему параллельно с традиционным способом оценивания.

Такой порядок действий позволит и учителям и ученикам изучить все аспекты работы с информационной системой. При возникновении каких либо сложностей в работе системы, последствия в таком случае будут минимальны.

Если в процессе тестового периода значимых проблем при использовании информационной системы не возникнет, то со второй четверти следует использовать информационную систему для всех классов, изучающих информатику. Так как оценки всё равно дублируются в классном журнале такая система будет отличаться высокой надёжностью.

Общая система работы выглядит следующим образом: в процессе обучения ученик получает оценки, которые учитель вносит в базу данных спроектированной системы. Таким образом, оценки накапливаются, обрабатываются, и участники образовательного процесса могут отслеживать динамику успешности усвоения учеником знаний.

В конце отчетного периода система автоматически предлагает оценку за этот период. Учитель может как согласиться с этой оценкой, так и нет.

Описание работы с функционалом системы:

• Учет текущих оценок – производится автоматически, от учителя требуется вовремя вносить оценки, правильно указывая тип задания.

• Обработка результатов тестов - не требует вмешательства человека, на выходе получаем готовый результат.

• Подсчет и выставление четвертной и годовой оценок - не требует вмешательства человека, на выходе получаем готовый результат. Преподаватель может как согласиться с предлагаемой оценкой, так и не согласиться с ней. В некоторых случаях имеет смысл поставить оценку, к примеру, выше, для дополнительной мотивации и даже стимуляции учащегося к успешному изучению предмета.

• Описание успехов ученика по проходимым темам – по результатам работ ученика информационная система, в результате анализа его оценок, предлагается список тем, которые были изучены на данный момент и выводит учащемуся оценку за каждую из тем. Это позволяет ученику более точно распределить своё внимание к разным темам и оптимизировать учебную нагрузку.

• Предоставления доступа к текущим результатам обучения для родителей – родители могут просматривать оценки за каждую пройденную тему, текущие оценки и прогнозируемую четвертную или годовою оценку.

• Прогнозирование четвертной оценки – на основе тех оценок, которые хранятся в информационной системе, можно делать предварительный прогноз об итоговой оценке. Причем, чем больше оценок и чем ближе конец отчетного периода, тем точность прогноза повышается.

• Акцентирование внимания учеников на «проблемных» для них темах – информационная система автоматически формирует список тем, по которым у ученика неудовлетворительные оценки. И предлагает, к примеру, набор тестов по этим темам.

• Генерирование небольших отчетов – в конце каждого отчетного периода для каждого ученика создаётся отчет, содержащий сводные данные по его успеваемости за истекший период и список изученных тем.

2.3 Практическое внедрение информационной системы в реальный процесс обучения

Информационная система автоматизации оценивания уровня знаний учащихся по информатике внедрялась в средней общеобразовательной школе №114.

Внедрение производилось в два этапа:

• Тестирование работы системы,

• Внедрение в реальный процесс обучения.

На первом этапе была выбрана одна группа 10 класса «Б», количество учеников: 12 человек.

Тестирование информационной системы оценивания знаний учащихся по информатике было начато в начале изучения очередной темы, согласно поурочному планированию. Это было сделано для того, что бы оценки, получаемые учениками, были наиболее объективны. В противном случае, оценка, которая была выставлена с помощью информационной системы, была бы не объективна, поскольку в ней не учитывались бы оценки полученные ранее и мог быть не учтён коэффициент важности заданий.

После первого теоретического занятия по теме, ученикам тестовой группы был предложен тест по текущей теме, оценки за который были занесены в информационную систему.

Далее, на последующих занятиях ученикам предлагались различные формы заданий, оценки заносились в информационную систему.

Результаты применения информационной системы в тестовой группе оказались положительными, что позволило судить о целесообразности внедрения информационной системы автоматизации оценивания знаний учащихся по информатике в учебный процесс.

Были получены следующие результаты:

• Оценка уровня знаний стала более объективной.

• Исчезла возможность фальсификации оценки.

• У родителей и учеников появилась возможность отслеживать динамику успеваемости.

• Учителю стало проще реализовывать личностно-ориентированный подход к учащимся.

• Учителю стало проще обращать внимание учеников на те аспекты темы, в которых ученик испытывает затруднение или неуверенность.

Второй этап внедрения проходил в 8-11 классах, всех подгруппах, изучающих информатику.

Оценки, получаемые учениками на уроках выставлялись не только в журнал, но и дублировались в информационной системе, где они обрабатывались.

Результаты внедрения в образовательный процесс оказались следующими:

• У учеников появилась возможность самостоятельно определять темы, с которыми у них возникли трудности.

• Для учителя упростился процесс составления и проведения тестов.

• Упростился процесс написания отчетов.

• Уменьшилась нагрузка документооборота на учителя.

• Упростился процесс проверки тестов, который свёлся к выставлению оценок в журнал.

• Процесс выставления четвертной оценки стал абсолютно прозрачен.

• К четвертной оценке стало возможным приложить сопроводительный текст с темами, которые были изучены с оценкой за каждую.

Заключение

В ходе работы над дипломным исследованием были решены поставленные задачи и достигнуты следующие результаты.

Изучение теоретической и методической литературы позволило выявить основные виды контроля знаний, определить своевременность использования каждого вида контроля и его влияние на итоговую оценку успеваемости. Проанализировать основные формы проверки успеваемости, эффективность их применения в зависимости от вида контроля. Анализ различных форм оценки результатов обучения позволил сделать вывод, что тесты наиболее приспособлены для автоматизации.

Анализ истории развития и перспектив автоматизации процесса контроля знаний показал, что применение средств информационных технологий в процессе обучения в общем, и при проведении контроля в частности является перспективным направлением развития автоматизации учебного процесса. Информатизация процесса контроля знаний позволяет добиться следующих положительных результатов: повышение объективности оценки, сведение к минимуму возможности фальсификации оценки, возможность отслеживать динамику успеваемости родителям и ученикам, упрощение реализации личностно-ориентированного подхода в обучении и др.

В процессе работы над дипломным исследованием были сформулированы принципы построения информационной системы оценки знаний учащихся по информатике. Опираясь на сформулированные принципы, была спроектирована информационная система оценки знаний, которая реализует следующие функции: учет оценок за разные виды контроля, обработка результатов тестов, алгоритм выставления рубежных и итоговых оценок, предоставление доступа к текущим результатам обучения для родителей прогнозирование итоговой оценки, предложения учащимся для повышения эффективности обучения, генерирование различных типов отчетов.

Опытно-экспериментальная проверка показала, что результаты оценки знаний учащихся, полученные в ходе контроля образовательного процесса с использованием спроектированной информационной системы, позволили значительно повысить эффективность выставления оценки, сделать процесс контроля более прозрачным, сократить время на проверку успеваемости, создать условия для построения индивидуальных образовательных траекторий каждого учащегося.

Таким образом, в ходе работы над дипломным исследованием были решены все поставленные задачи и доказана выдвинутая гипотеза.

Библиография

1. Аванесов В.С. Методологические и теоретические основы тестового педагогического контроля [Текст] / В.С. Аванесов.- СПб., 1994.- 32 с.

2. Аванесов В.С. Научные проблемы тестового контроля знаний. [Текст] / В.С. Аванесов.- М.: Исследовательский центр проблем качества подготовки специалистов, 1994.- 135 с.

3. Александрова М.А. Педагогический контроль в процессе воспитания [Текст]: методические рекомендации: методич. пособие / М.А. Александрова, Н.А. Алексеева, Е.Н. Степанов.- М.: Сфера, 2003.

4. Бахарева Т.А. Система автоматизированного контроля знаний. Анализ и повышение качества тестов [Текст] / Т.А. Бахарева, Д.С. Карпенко // Сборник трудов XI Международной конференции-выставки Информационные технологии в образовании (ИТО-2001).- М.: МИФИ, 2001.

5. Беспалько В.П. Проблема образовательных стандартов в США и России. [Текст] / В.П. Беспалько // Педагогика.- 1995.- №1.- С. 89-94.

6. Божович Л.И. Личность и ее формирование в детском возрасте. [Текст] / Л.И. Божович.- СПб.: Питер, 2008. - 398 с.

7. Григорьев С.Г. Телекоммуникационные средства контроля знаний в электронных учебниках / С.Г. Григорьев // Материалы Всероссийской объединенной конференции “Технологии информационного общества – Интернет и современное общество” [Текст] / С.Г. Григорьев, В.В. Гриншкун, С.И. Макаров.- СПб: СПбГУ.- 2001.- С. 2-5

8. Гриншкун В.В. Методы автоматизации контроля обучения [Текст] / В.В. Гриншкун // Материалы республиканской конференции "Компьютеризация образования: проблемы и перспективы".- Алматы: КазГУ им. аль-Фараби, 1998.- С. 1-7.

9. Гулидов И.Н. Педагогический контроль и его обеспечение [Текст] / И.Н. Гулидов.- М.: Форум, 2005.

10. Ершов А.П. Школьная информатика (концепции, состояние, перспективы) [Текст] / А.П. Ершов, Г.А. Звенигородский, Ю.А. Первин // Информатика и образование.- 1995.- № 1.- C. 3-19.

11. Ефремова Н.Ф. Современные тестовые технологии в образовании [Текст] / Н.Ф. Ефремова.- М.: Логос, 2003.- 173 с.

12. Кон И.С. Психология старшеклассника [Текст] / И.С. Кон.- М.: Просвещение, 1980.- 192 с.

13. Кузнецов А.А. Контроль и оценка результатов обучения в условиях внедрения стандартов образования [Текст] / А.А. Кузнецов // Педагогическая информатика.- 1997.- № 1.- С. 13-22.

14. Кузьмина Н.В. Организация тестового контроля [Текст]: учебно-методическое пособие / Н.В. Кузьмина, М.С. Чванова, В.В. Зубец.- Тамбов: изд-во ТГУ, 1998.- 42 с.

15. Лапчик М.П. Методика преподавания информатики [Текст] / М.П. Лапчик, И.Г. Семакин, Е.К. Хенер.- М.: Академия, 2007.- 622 с.

16. Левченко И.В. Программа и справочно-методические материалы для педагогической практики по информатике [Текст]: учеб.-методич. пособие для студентов пед. вузов и ун-тов / И.В. Левченко, О.Ю. Заславская, Л.М. Дергачева.- М.: МГПУ, 2006.- 123 с.

17. Матушанский Г.У. Проектирование педагогических тестов для контроля знаний [Текст] / Г.У. Матушанский // Информатика и образование.- 2000.- № 6.- С. 7-10

18. Минина Е.Е. Компьютерные средства оценки качества обучения [Текст] / Е.Е. Минина // Сборник трудов XI Международной конференции-выставки Информационные технологии в образовании (ИТО-2001).- М.: МИФИ, 2001.

19. Рейтинговая система оценки знаний при изучении общетехнических дисциплин / В. Наделяев, Т. Мартынова, В. Герстенбергер и др. // Высшее образование в России.- 1997.- № 2.- С. 103-107.

20. Семакин И.Г. Информатика. 11 класс [Текст]: учебник / И.Г. Семакин.- М.: БИНОМ, Лаборатория знаний, 2005.- 139 с.: ил.

21. Снигирева Т.А. Диагностика формируемой структуры знаний на основе квалитативной технологии [Текст] / Т.А. Снигирева // Современные диагностические оценочные средства для аттестации качества образования и применение компьютерно-информационных технологий: материалы ХI Всерос. симпозиума «Квалиметрия в образовании: методология, методика, практика». Ч. 3.- М.: изд-во исслед. центра проблем качества подготовки специалистов, 2006.- С. 67-73.

22. Соловов А.В. Проектирование компьютерных систем учебного назначения [Текст] / А.В. Соловов.- Самара, 1995.

23. Справочное руководство по программе ExaMINATOR [Текст] / Научно-производств. Фирма "Софтверк".- М.: ВидеоБилль, 2000.

24. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы [Текст] / В.Б. Моисеев, В.В. Усманов, Л.Г. Пятирублевый и др. // Открытое образование.- 2001- № 1.- С. 51-57.

25. Сысоева Л.А. Предметно-критериальная методика составления тестов [Текст] / Л.А. Сысоева, В.Г. Толстоусова // Сборник трудов Международной конференции Информационные технологии в образовании (ИТО-2001). Ч. 3.- М.: МИФИ, 2001.

26. Талыгина Г.П. Компьютерное тестирование в школе [Текст] / Г.П. Талыгина // Директор школы.- 2001.- № 3.- С. 7-11

27. Фетискина М.П. Психологические проблемы применения ЭВМ в процессе обучения [Текст] / М.П. Фетискина.- М., 1990

28. Швец В. Экспертно-обучающие системы / В. Швец, В. Бурляев // Высшее образование в России.- 1997.- № 2.- С. 108-113.