Цього року більше півмільйона українців, які виявили бажання вступати до ВНЗ, проходять зовнішнє незалежне оцінювання (далі – ЗНО). Найтяжчі часи минули, адже найбільш масові тестування відбулися, проте напруга залишається – які їх результати? Результати тестування оприлюднюються за кілька тижнів після проведення ЗНО, адже Українському центру оцінювання якості освіти (далі – УЦОЯО) та його регіональним підрозділам потрібен певний час для перевірки й обробки бланків відповідей. Учасники тестування очі-кують на свої результати і намагаються зрозуміти, якими вони будуть, тому що це залежить від кількості правильних відповідей, зазначених у бланках відповідей (завдання і правильні відповіді розміщено на сайті УЦОЯО).
Свої результати у вигляді тестових балів (суми балів за правильно вказані відповіді на завдання тесту) можна обчислити самостійно, тут усе зрозуміло, проте немає шкали, за якою будуть оцінюватися результати тестування.
УЦОЯО буде використовувати для цього шкалу 100-200 балів, яка починається зі 100, тобто результати учасників будуть належати інтервалу від 100 до 200 балів. Навіщо потрібне це шкалювання? Наскільки це шкалювання є справедливим і прозорим? Як воно відбувається? Ці запитання хвилюють учасників тестування, вчителів і батьків. Спробуємо дати відповіді на ці запитання.
Чому потрібне шкалювання?
Після проходження тестування учасник отримує свої результати у тестових балах. Припустимо, Данило отримав 26 балів. Чи є цей результат високим? Ніхто на це запитання не може дати відповідь, оскільки невідомо, яким був максимально можливий результат за цей тест. А якщо максимальний бал і буде відомий, скажімо, 50, це ще не означатиме, що результат Данила буде низьким, якщо не будуть відомі результати інших учасників тестування. Коли середнє значення результатів дорівнюватиме 16, то результат Данила буде досить високим, а якщо їхнє середнє значення буде дорівнювати 40, то, безумовно, достатньо низьким. Це означає, що одна й та ж кількість балів (у нашому випадку – 26) може трактуватися у різний спосіб, залежно від характеристик тесту й успішності проходження тесту іншими учасниками тестування.
Спеціалісти з тестування підкреслюють, що результат тестування в тестових балах є результатом у контексті конкретного тесту: ця оцінка є виправданою, якщо мають справу лише з одним тестом і порівнюють результати учасників тестування тільки з одного тесту. У цьому випадку кожному зрозуміло – учасник, який набрав більшу кількість тестових балів має найкращі знання з предмета.
Проблеми виникають тоді, коли потрібно порівнювати результати уча-сників із кількох тестів і використовувати для цього додавання тестових балів з різних тестів. Навіть коли, наприклад, не брати до уваги зміст додавання результатів із кількох тестів, а спробувати проаналізувати технічні аспекти додавання тестових балів із різних предметів, проблеми залишаються. Якщо результат кожного тесту буде виражений у своїй власній шкалі, то що означатимуть 26 балів із математики, 56 балів з української мови і 78 балів з історії? Результат із математики є найменшим, проте максимальний бал дорівнює 50 проти максимального балу 120 з історії України… Можливо, тест з української мови був складним, а результат 56 балів був одним із найкращих? Не можна додавати результати, що виражені в різних шкалах без додаткового переведення їх до єдиної спільної шкали (перешкалювання).
Наведемо приклад із реального життя. Порівняння даних за різними шкалами постійно виконуються банками. Вони ніколи не стануть додавати 100 гривень і 200 рублів, не конвертувавши спочатку ці суми в якусь єдину валюту, яка буде виконувати функцію спільної шкали. Ця шкала може бути гривневою або рублевою, проте може бути й іншою, «універсальною», приміром, шкалою Євро… Тільки після такого перешкалювання ми можемо порівнювати два внески: 30 гривень і 60 рублів проти 60 гривнень і 30 рублів. Проте обидва ці внески не дорівнюють 90!
Результати ЗНО будуть використовуватися при вступі до різних уні-верситетів, а визначення шансів для вступу будуть ґрунтуватися на комбінації (на певній сумі) результатів тестування з різних предметів. Зважаючи на те, наскільки важливим є визначення результатів ЗНО, Український центр оцінювання якості освіти повинен видавати результати екзаменів за шкалою, яка в подальшому дозволятиме виконувати з цими результатами певні операції, що повинні мати під собою реальний смисл, адже потрібно порівнювати результати різних студентів, причому це порівняння буде справедливим.
Шкалювання результатів оцінювання не є чимось новим для учнів і абітурієнтів. Подібну процедуру виконує кожний учитель одразу ж після виконання учнями контрольної роботи. У класний журнал він виставляє не кількість правильно виконаних вправ, а оцінки: 2–3–…–11–12.
Головні принципи шкалювання
По-перше, переведення тестових балів має бути об'єктивним. Тобто учасники, які набрали більше тестових балів повинні отримати не нижчу оцінку, ніж ті, які набрали меншу кількість балів. Математики назвали б таку властивість процедури шкалювання монотонністю. Інакше кажучи, успішність учасника тестування під час вступу до ВНЗ повинна залежати не від того чи іншого методу шкалювання, що застосовує УЦОЯО, а виключно від результату, до якого прагнув учасник тестування – набрати якомога більше балів, правильно виконуючи завдання тесту. Водночас усі учасники тестування, що отримали однакову кількість тестових балів, повинні потрапляти в групу з однаковими балами.
По-друге, процедури шкалювання повинні відповідати завданням ЗНО. У цьому році тести ЗНО мають подвійну мету: сертифікувати освітній рівень, досягнутий випускниками ЗНЗ (результат ЗНО може зараховуватись як оцінка з відповідного предмета, винесеного на державну підсумкову атестацію, а також забезпечити надійною інформацією приймальні комісії ВНЗ для проведення вступної кампанії. Завдання сертифікації навчальних досягнень випускників пов’язане з установленням відповідності критеріям навчальних досягнень, що визначаються державними освітніми стандартами та навчальними програмами. Потрібно також знати, чи відповідають навчальні досягнення ви-пускника критеріям навчальних досягнень 1, 2, 3 або 4 рівня?
Кожен у країні радів би з того, якщо б більшість учасників тестування були здатні показати найкращі результати й отримати найвищі бали (у нашому випадку 12 балів). Але тоді університети мали б проблеми під час проведення відбору абітурієнтів на навчання: вони б не були здатні вибрати групу абітурієнтів із найкращими результатами. Це означає, що університети потребують під час вступної кампанії зовсім іншої інформації: їм необхідно знати, хто з абітурієнтів є кращим.
Ці два різні завдання ЗНО безпосередньо пов’язані з двома різними підходами до шкалювання результатів учасників тестування: шкалювання на критеріальній основі або шкалювання на нормативній основі. Перша шкала (критеріальна) успішно застосовується при проведенні випускних іспитів (наприклад, ДПА), друга (нормативна) – під час вступу до ВНЗ.
Як виконати шкалювання?
Тестові бали учасника тестування (тобто сума балів, які він отримав за правильно виконані завдання тесту ЗНО) спочатку повинні бути переведені в 12–бальну шкалу (відшкальовані за 12–бальною шкалою). Для цього спеціалізована предметна комісія визначає, яка мінімальна кількість тестових балів відповідає кожній оцінці від 1 до 12.
12–бальна шкала є простою і зрозумілою, проте вона не є найкращою для проведення відбору абітурієнтів для вступу до ВНЗ, адже ніхто не знає, скільки учасників можуть отримати найвищий бал – 12 балів. Якщо така група абітурієнтів буде надто великою, то ВНЗ матимуть значні труднощі з відбором на навчання кращих абітурієнтів. У такому разі, зіткнувшись із великою кількістю добре підготовлених абітурієнтів з однаковими оцінками за тести, ВНЗ повинні проводити якісь додаткові іспити (тести) для того, щоб визначити найкращих. З іншого боку, учасники ЗНО за тестовими балами вже були від-рейтинговані на основі використання 12-бальної шкали з її 12 різними оцінка-ми (кількість яких декілька разів менша за максимальну кількість тестових балів ЗНО). Це може призвести до того, що абітурієнти з різними тестовими балами отримають однакові оцінки за 12-бальною шкалою. З цього випливає, що шкала результатів для використання під час вступу до ВНЗ повинна мати більше категорій (позначок).
УЦОЯО вибрав 100-бальну шкалу для відображення результатів тестування учасників ЗНО, проте для уникнення непорозумінь з її інтерпретацією (кількість правильних відповідей, відсоток правильних відповідей тощо), було вирішено збільшити цю шкалу на 100 одиниць, установивши початкову точку цієї шкали на числі 100, щоб можливі бали учасників знаходилися в інтервалі від 100 до 200 балів. Причому результати за будь-яким тестом будуть виражатися за шкалою 100-200 балів незалежно від того, скільки завдань містить тест або яку максимальну кількість балів можна отримати за тест.
Університетам потрібно порівнювати успішність результатів тестування студентів. Метод шкалювання, який застосовує УЦОЯО, базується на тестових балах учасників тестування. За шкалою 100-200 балів найкращі результати будуть завжди дорівнювати 200 балам (навіть у тих випадках, коли тест був надто складним і не було можливості отримати всі бали за тест). Учасник тестування, який знаходиться в середині рейтингової послідовності учасників за тестовими балами, повинен отримати 150 балів, оскільки це число є серединою шкали 100-200 балів. Такий метод шкалювання певною мірою нагадує поданий вище приклад щодо конвертування валюти. УЦОЯО обрав теоретично ідеальний тест із розподілом балів учасників тестування за відомим Гаусовим законом (який повинен відігравати роль шкали Євро для валют), а потім перетворює розподіли результатів учасників тестування у цей ідеальний розподіл.
Метод, що використовується для такого перетворення, відповідає двом головним принципам, що були зазначені вище (учасник з більшою кількістю тестових балів отримає за шкалою 100-200 балів оцінку, яка не є нижчою за оцінку учасника з меншою кількістю тестових балів; усі учасники з однаковою кількістю тестових балів отримують однакові бали за шкалою 100-200 балів), перерахунок здійснюється на основі порівняння двох процентних рангів (спеціалісти називають цей спосіб методом еквіпроцентилів).
Процентний ранг учасника тестування визначається як процент учасників тестування, що мають тестові бали менші за тестовий бал конкретного учасника (процент обчислюється від кількості всіх учасників тестування з даного тесту). Наприклад, якщо результат Данила має процентиль, дорівнює 65%, то це означає, що він випередив 65% учасників даного тесту, а відповідно 35% учасників даного тесту (тобто 100% - 65%) отримали тестові бали такі або вищі за бали Данила.
Отже, процентний ранг учасника тестування виконує функцію «числової мітки» в довжелезній черзі учасників тестування, впорядкованій за їхніми тестовими балами. За допомогою комп'ютера вже розраховано такі числові мітки для ідеального тесту (який, можливо, ніколи не здійсниться на практиці). Ці мітки прив'язано до результатів за шкалою 100-200 балів. Такий зв’язок у вигляді таблиці перерахування процентилів за шкалою 100-200 балів залишається єдиним і незмінним для всіх тестувань.
Лише після того, як буде проведено реальне тестування, комп’ютерна програма УЦОЯО впорядкує учасників тестування за тестовими балами і присвоїть їм числові ранги (процентні ранги). Процентні ранги учасників тестування будуть порівняні з процентними рангами ідеального тесту, і на цій основі учасники тестування отримають свої результати за шкалою 100–200 балів.
Яку інформацію може отримати учасник тестування після шкалювання результатів?
12-бальна шкала
Таблиця перерахування тестових балів учасників тестування за шкалою 1-12 балів розміщується на сайті УЦОЯО, що дає можливість кожному абітурієнту дізнатися про те, яку кількість тестових балів він повинен мати , щоб отримати відповідну оцінку за 12-бальною шкалою (у таблиці подано рядки відповідності, наприклад: 23-28 балів – оцінка 7; 29-35 – оцінка 8 тощо). Як було зазначено вище, таблицю перерахування тестових балів складає авторитетна предметна комісія, яка затверджується директором УЦОЯО.
Шкала 100-200 балів
Таблиця перерахування тестових балів учасника тестування за шкалою 100–200 балів також розміщується на сайті УЦОЯО (ця шкала більша за розміром, оскільки вона має більше 12-ти різних рівнів (категорій)). У першому стовпчику подано тестові бали учасників тестування (від 0 до максимальної можливої кількості балів); у другому – результат за шкалою 100-200 балів. Користуючись цією таблицею, учасник отримає інформацію про те, який його результат за шкалою 100-200 балів, як його результат виглядає на тлі результатів усіх учасників тестування (найкращий – 200, найгірший – 100, середнє значення – 150 тощо).
