Дымовая завеса внешнего тестирования

Недавно Украинский центр оценки качества образования (УЦОКО) на своем сайте (http://www.testportal.com.ua/) опубликовал «План внедрения в Украине сбалансированной модели внешней независимой оценки знаний выпускников общеобразовательных учебных заведений в 2008—2009 гг.».

Авторы этого плана, фамилии которых не указаны, утверждают, что «пилотная ВНО (внешняя независимая оценка. — Прим. ред.), проведенная в Украине в 2006 году с участием относительно небольшого количества учеников средних общеобразовательных школ (41818), оказалась успешной…» и «опираясь на приобретенный опыт, проанализировав мировую практику внешней оценки, принимая во внимание рекомендации международных экспертов, с целью органичного объединения в одной системе внешней оценки двух целей — аттестации за курс полного общего среднего образования и отбора для обучения в вуз — предлагается для внедрения в Украине в 2008—2009 гг. сбалансированная модель внешней независимой оценки».

К сожалению, эти утверждения, да и план в целом, вызывают только удивление.

В 2006 году было проведено «экспериментальное внешнее независимое тестирование», которое теперь почему-то названо «пилотной внешней независимой оценкой». И если термин «экспериментальная» с большой натяжкой можно воспринять как синоним «пилотная», то «тестирование» и «оценка» — понятия разные.

Бывший директор УЦОКО Лилия Гриневич так и не подвела итогов экспериментального тестирования. А новый директор — Игорь Ликарчук — пока что молчит. Хотя относительно содержания тестов, методики, технологии и организации внешнего независимого тестирования вопросов накопилось больше, чем ответов на них.

Что планировали?
Еще в 2005 году президент издал указ «О неотложных мерах по обеспечению функционирования и развития образования в Украине», которым предусмотрено поставить заслон коррупции в системе образования путем скорейшего внедрения внешнего независимого тестирования.

Цель внедрения внешнего тестирования сначала действительно казалась благородной: разработать процедуру прозрачной и объективной оценки выпускников школы, которая станет способом мониторинга среднего образования и обеспечит равный доступ к высшему образованию.

Конечно, никакие тесты не гарантируют абсолютно точной оценки знаний. Однако и преподаватель не может этого гарантировать. Но тесты могут обеспечить объективность и беспристрастность. Разумеется, только тогда, когда тесты, методика и технология их применения не оставляют возможности для фальсификации. Тем не менее большинство используемых методик грешат существенным недостатком — между абитуриентом и компьютером всегда есть посредник, а это не исключает сомнений в объективности.

Вот что сказал министр образования и науки по этому поводу: «Взвесив все «за» и «против», мы сегодня считаем наиболее перспективной электронную модель тестирования».

Начинать собирались с экспериментального тестирования в отдельных регионах. Планировали в 2006 году в одной из областей провести экспериментальное бумажное тестирование, а в другой — безбумажное, компьютерное.

На сайте МОН появилось постановление от 31.12.05 №1312 «О неотложных мерах по внедрению внешней независимой оценки и мониторинга качества образования», в соответствии с которым утверждено Положение об Украинском центре оценки качества образования и создана «межведомственная рабочая группа по вопросам внедрения внешней независимой оценки и мониторинга качества образования», в которой Лилию Гриневич назначили зам­председателя. В п.3 положения прямо говорится: «...осуществление внешнего независимого тестирования… путем проведения тестирования на бумажных носителях и компьютерного тестирования». Подчеркнем — компьютерное тестирование не исключалось.

Что реализовали?
Опыт бумажного тестирования был: согласно отчетам МВФ за 2002—2004 годы, Центр тестовых технологий (ЦТТ) получил и профинансировал 23 проекта на общую сумму 492 527 долларов США (данные за 2005 г. не опубликованы).

По компьютерному тестированию фонд «Відродження» и ЦТТ такого опыта не имели, но в стране была практика использования компьютерного тестирования студентов в реальном учебном процессе. Более того, реальная система компьютерного тестирования была представлена на двух совещаниях в МОН, которые проводила Л.Гриневич. Вот что она сказала в одном из интервью: «Необходимо понимать, что для такого большого государства, как Украина, чрезвычайно опасно, приняв какую-то единую модель, постараться воплотить ее в жизнь в течение года».

Тем не менее эксперимент с компьютерным тестированием без какой-либо мотивировки сначала перенесли на 2007 год, а теперь вообще отодвинули на неопределенный срок. Реализовали только одну — самую примитивную (одновариантную) бумажную модель. Почему? Это остается тайной.

Более того, при выделении финансирования на проведение работ законодательством Украины предусмотрен тендер, в результате которого определяется организация — исполнитель работ. Здесь мы имеем пример того, как 43 млн. грн. предоставляются организации, не имеющей ни опыта проведения тестирования, ни даже четко сформулированной методики. Еще в марте 2005 года министр С.Николаенко уверял, что «для внедрения системы нужно минимум 17 млн. грн. Если бы мы их получили сейчас, то перешли бы на новую систему оценки знаний уже в 2006 году». Дальше появилась уже упоминавшаяся фраза о компьютерном тестировании, послужившая основанием для увеличения финансирования до 200 млн. На практике почему-то вышло, что за выделенные 43 млн. можно лишь провести очередной эксперимент по тестированию части выпускников по бумажной одновариантной технологии.

Что показало экспериментальное тестирование?
Представление министра образования и науки о технологии и результатах проведенного в 2006 году экспериментального тестирования как минимум странное:

«Все довольно просто: абитуриент сдает свой ответ, лаборант (без какого-либо пристрастия) сканирует этот документ и вводит в компьютер, и пока человек выходит на улицу на табло у входа уже вспыхивают его фамилия, номер билета и оценка».

Реально не было ни оперативного сканирования, ни табло, ни оценок. Не было и даже не могло быть, ведь ученики сдавали тесты в помещении обычных школ, а результаты тестирования сообщали каждому ученику лично. Даже учителям и родителям учеников показывали результаты только по желанию. Конечно, результаты можно подготовить так быстро, но не во время такого тестирования. Кроме того, согласно приказу министра, результаты сообщали ученикам только через три недели после тестирования.

Единственной же защитой от «пристрастия» служили пластиковые пакеты иностранного производства (разрекламированные бывшим директором ЦТТ Л.Гриневич), в которых задачи доставлялись в пункты тестирования, а ответы абитуриентов отвозились к месту сканирования.

Проведенное экспериментальное тестирование продемонстрировало пропасть между уровнем знаний и уровнем требований, что делает недостоверными его результаты. К сожалению, в который раз сделали вид, что никто ничего не заметил, детям выдали документы с пересчитанными в рейтинговую шкалу оценками, а реальные результаты засекретили.

Тем не менее вывод министра однозначен: в 2007/2008 г. «…вступительная кампания будет проходить не только исключительно по тестовым технологиям, но и под жестким контролем общественности». Между тем жесткий контроль представителей «общественности» сводится разве что к наблюдению за распаковкой тестовых задач и упаковкой ответов на них перед отправкой в ЦТТ для сканирования.

Что мы знаем о результатах экспериментального тестирования?
Чрезвычайно мало. С «Аналитическими отчетами о результатах внешнего тестирования в 2006 году» (по математике, истории и украинскому языку) можно ознакомиться на сайте ЦТТ (http://www.ukrtest.org).

Отчеты содержат данные статистической обработки бланков с ответами на компьютере. Много терминов по математической статистике. Много разных графиков. Много терминов по тестированию. Есть выводы. А вот чего нет — так это логики во время попыток анализировать результаты.

Естественно, с математической статистикой большая часть «общественности» вряд ли знакома. Но сейчас есть стандартные компьютерные программы для обработки любых данных, не требующие специальных знаний. Знание же основ математической статистики и теории вероятности абсолютно необходимо для анализа полученных с их помощью результатов, формулирования выводов и рекомендаций.

Подробное обоснование полной неубедительности выводов «Аналитических отчетов» — это тема для отдельной статьи в специализированном журнале. Остановимся только на одном параметре математической статистики, хорошо знакомом и ученикам, и родителям, и «широкой общественности». Речь идет о среднем значении, конкретно, в данном случае, — о среднем балле.

Предположим, во время тестирования знания оцениваются по шкале от нуля до 100 баллов. Очевидно, что если ученики хорошо подготовлены, то их средний балл тестов должен быть высоким, ближе к 100 баллам. Если же подготовлены плохо — то ближе к нулю.

А если это не так? Если средний балл тех, кто угадывает ответы, высокий или даже больше, чем у подготовленных учеников, то очевидно, что тестирование не отвечает поставленной цели: определить, кто подготовлен, а кто нет. Чтобы в этом убедиться, достаточно сравнить средние значения баллов во время экспериментального тестирования со средними значениями при угадывании. Вот только где их взять? Ведь во время реального тестирования неизвестно, кто угадывал ответы, а кто нет. Ответ известен — нужно на компьютере создать модель ученика, отвечающего на эти же тесты случайным образом. Так мы и сделали. Сравнив их с приведенными в «Аналитических отчетах», можно сделать однозначный вывод: менее 10% участников тестирования показали результаты, которые были существенно выше, чем случайное угадывание. Экспериментальное тестирование не позволило отличить подготовленного ученика от неподготовленного.

Нет в «Аналитических отчетах» также анализа методики и технологии тестирования. Нет сравнения с другими методиками и технологиями. Хотя бы по литературным источникам. Тем более что Интернет позволяет достаточно просто найти и проанализировать чужой опыт в этой области. В конце концов, можно посетить другие страны с этой же целью. Во всяком случае нужен сравнительный анализ. Тем не менее его тоже нет.

Но есть рекомендации — сугубо косметические. Решение же организаторы тестирования предлагают однозначное — распространить на всю Украину. Поистине, эйфория незнания.

Тест или экзамен?
Прежде всего, следует уточнить, чем отличаются обычный письменный экзамен от тестирования, а бумажное тестирование — от компьютерного (электронного).

Тесты — это задания, результаты выполнения которых допускают однозначную оценку без участия человека. Об этом организаторы прошлогоднего тестирования, похоже, забыли и включили в тестовые задания разделы, которые отличались от письменного экзамена только объемом и проверялись преподавателями-предметниками. Прежде такие экзамены называли «министерскими» и на звание тестов они не претендовали.

Во время компьютерного тестирования задание формируется компьютером непосредственно в момент тестирования. Для этого используется библиотека тестов, охватывающая все необходимые разделы предмета. Вопросы появляются на экране, а ответы вводятся клавиатурой или мышкой.

Главный признак компьютерного тестирования состоит в том, что оценка за каждый вопрос или задачу появляется на экране сразу же после введения ответа. Результирующая оценка также выводится на экран без задержки по окончании тестирования. Никакого многодневного ожидания и никакой возможности фальсифицировать результат. То, что ученики нынешнего года будут сдавать тест по украинскому языку 21 апреля, а о результатах узнают только 1 июня (!) — нонсенс и, что бы ни говорили организаторы тестирования, — питательная среда для коррупции.

Иногда приводят еще один аргумент: ответ абитуриента на бумаге является юридическим документом, позволяющим урегулировать возможные конфликты. Но и во время компьютерного тестирования соискатель получает распечатку протокола тестирования, это тоже юридический документ, и его можно использовать для подачи апелляции. Кроме того, все протоколы тестирования хранятся на машинных носителях в зашифрованной форме, что не допускает никаких корректив. Компьютер сохранит ответы абитуриентов значительно надежнее, чем любая бумага. Бумагу нетрудно подделать. А компьютерный документ намного сложнее. Банки давно осуществляют денежные операции в компьютерных сетях и не опасаются подделок. Конечно, программное обеспечение для тестирования должно быть разработано профессионально (кстати, программный комплекс есть, но он не затребован, хотя необходимые для принятия решения материалы переданы Л.Гриневич и в МОН еще в 2005 году).

О содержании тестов
Далеко не каждый преподаватель может стать автором тестов, даже если захочет и будет стараться. Авторами должны быть опытные педагоги высшей квалификации, понимающие особенности методики тестирования, ее возможности и ограничения. Сейчас же дело часто доходит до абсурда.

Рассмотрим прошлогодние тесты. Они содержат от 38 до 56 задач, проверка которых доверена компьютеру после сканирования бланков с ответами. Чтобы прочитать, обдумать, решить и записать ответ на бланке, отводилось в среднем менее двух минут (подробности см. на http://www.ukrtest.org). Естественно, такой жесткий цейтнот заставляет бездумно угадывать ответ. Впрочем, как мы уже говорили, это не ведет к плачевному результату.

Можно ли назвать квалифицированными тестологами людей, которые предлагают выбрать четыре правильных ответа из шести возможных? А таких примеров много.

Зачем так много вопросов? Но если нужно много, то почему выделено так мало времени на осмысление вопроса и обдумывание ответа? Но главный вопрос, так и оставшийся без ответа, — какова цель этих тестов?

Один из авторов этой статьи во время поступления в МАИ сдавал экзамен — математику. В билете было всего шесть задач и неограниченное время для обдумывания и решения. И никакой теории. Это понятно, поскольку без знания теории и умения ее применять решить задачи просто невозможно. Экзаменационные задачи были подобраны так, чтобы понять, сможет ли абитуриент учиться на авиационного инженера. Во время поступления в консерваторию следует проверить наличие музыкального слуха, в летную школу — зрение. Все это сегодня можно проверить и без участия человека, с помощью тестов.

Тот, кто хочет стать журналистом, должен написать, например, сочинение. Но как без человека его проверить? Никак. Не одно десятилетие стараются разработать и создают программы-переводчики, тем не менее до сих пор качество их работы оставляет желать лучшего. А о сочинении вообще не приходится говорить.

С историей ситуация не лучше. С помощью тестов можно проверить знание дат, хронологии, событий, имен и тому подобное. Но это еще не история. Конечно, во время поступления на исторический факультет, возможно, это нужно, например, чтобы проверить желание быть историком (сравните, молодые любители музыки буквально нафаршированы именами исполнителей, групп и другой, абсолютно не интересной для остальных информацией).

Все вышеприведенные примеры имеют цель — определить пригодность к избранной профессии. А какую преследовали цель составители прошлогодних тестов? Общее развитие? Тогда вопрос к читателям: что такое логарифм (это из математики) и кто режиссер фильма «Дорога» (это из истории)? Многие ли это помнят? А если помнят, то как это пригодилось в жизни? И таких вопросов тесты 2006 года содержат великое множество.

Вот что сказал известный педагог К.Ушинский: «Давно пора оставить в учебниках только то, что действительно полезно, и выбросить то, что изучается только для того, чтобы быть со временем забытым». Тенденция развития школьного образования последних лет обратная. Именно это и отображают тесты 2006 года.

* * *

Если проводится такой дорогой и ответственный эксперимент, влияющий на судьбу десятков тысяч учеников, то до этого необходимо четко сформулировать цель, а по окончании каждого этапа проанализировать соответствие полученных результатов поставленной цели. К сожалению, этого не сделали.

Борьба с коррупцией не может быть целью эксперимента. Целью может быть только разработка и апробация технологии надежной и объективной оценки знаний. Для оценки надежности полученных результатов следует открыть их для независимого анализа (возможно, без фамилий учеников). Объективность же означает, что результат применения выработанной технологии оценки не зависит от субъекта, который ее реализует. Готов ли центр поручить проведение тестирования по своей технологией другой организации? Нет? А почему? Предусмотрены ли другие технологии, новые или апробированные на протяжении многих лет в вузах? Нет? А почему?

Если мы действительно хотим выработать технологию надежной и объективной оценки, следует идти не путем монополизации права на оценку, а параллельно развивать разные технологии оценки и сравнивать их результативность. Тестирование (одно- или многовариантное, компьютерное или на бумаге), письменный экзамен с дальнейшей проверкой независимыми экзаменаторами — все направления должны иметь право на существование.

Альберт ОГАНЕСЯН, Василий ПЕТРИВ, Зеркало недели

Коментарі

коментарів

Дата публікації: 2-05-2007 14:30 |  переглядів