ВХОД             Регистрация

ПЕДАГОГИЧЕСКИЕ ИЗДАНИЯ / е-журнал «Педагогическая наука: история, теория, практика, тенденции развития» / Архив номеров / Выпуск №1 [2008] / О. А. Боцюра. Використання критерію Манна-Уітні для аналізу результатів тестування

УДК 378 (146+14.015.62)

О. А. Боцюра

ВИКОРИСТАННЯ КРИТЕРІЮ МАННА-УІТНІ ДЛЯ АНАЛІЗУ РЕЗУЛЬТАТІВ ТЕСТУВАННЯ

Анотація. Автор розглядає можливість використання непараметричного критерію Манна-Уітні як альтернативи критерію Ст’юдента для характеристики рангів значень, отриманих у результаті експерименту

Сьогодні все частіше викладачами вищої школи використовується тестовий контроль знань. Після перевірки результатів виконання тестів викладачі одержують безліч чисел (кількість правильних, неправильних відповідей, час виконання завдання). Маючи великі ряди індивідуальних показників, важко зробити надійні висновки, які підтверджують або спростовують гіпотези, що були висунуті в результаті педагогічного експерименту. У цьому випадку використовують статистичні методи, роль яких полягає в тому, щоб коректно й вірогідно обґрунтувати збіг або розходження результатів контрольної й експериментальної груп. Аналіз дисертаційних досліджень дозволяє констатувати, що нині статистичні методи в педагогіці або не використовуються взагалі, або часто використовуються некоректно [4; 5]. Так, донедавна були широко поширені методики визначення середнього бала сформованості вмінь учнів і порівняння середніх балів контрольних і експериментальних груп за допомогою критерію Ст’юдента. При цьому в педагогічних дослідженнях не враховувалося, що критерій Ст’юдента можна використовувати, якщо виконані наступні умови:

- дані експерименту вимірювані за інтервальною шкалою;

- розподіл даних експерименту підпорядкований нормальному (гауссівському) закону розподілу.

Нині доведено, що дані педагогічних експериментів виміряються в шкалі порядку, а не за інтервальною шкалою [1; 4; 5]. А це означає, що операція обчислення середнього арифметичного балів (оцінок) не є коректною. Не можна складати, віднімати, множити або ділити оцінки, а значить не можна в цьому випадку використовувати критерій Стьюдента.

Другою необхідною умовою застосування критерію Ст’юдента є вимога нормальності розподілу досліджуваної ознаки в кожній з порівнюваних груп. Це означає, що кожного разу при проведенні експерименту потрібно перевіряти, чи підпорядковані вибірки нормальному закону.

Для перевірки гіпотези про нормальність розподілу теоретично може бути використаний цілий набір так званих критеріїв згоди (наприклад, критерій асиметрії і ексцесу, критерій Пірсона, критерій Колмогорова-Смірнова і т. і.). Але практично використовувати більшість з цих критеріїв не можна через малий об’єм вибірки (кількість випробуваних у навчальній групі зазвичай не перевищує 30 осіб). Нами була проведена перевірка нормальності розподілу даних за результатами тестування за допомогою критерію Шапіро-Уілка. У двох вибірках з десяти була виявлено достовірна відмінність вибірки від нормального закону розподілу (р < 0,05). О. В. Сидоренко також вказує, що результати тестування часто дають скошений, зрізаний по краях або двохвершинний розподіл, що значуще відрізняється від нормального [7]. Використання критерію Ст’юдента в таких випадках веде до помилок при статистичних висновках.

Критерій Стьюдента – параметричний критерій, тобто критерій, що включає у формулу розрахунку параметри розподілу (середні арифметичні й дисперсії). На думку Є. В. Гублера, застосування параметричних критеріїв можливо лише для ознак, які в спостережуваний період часу мають виразну стаціонарність (відсутня помітна еволюція) [2]. Педагогічні показники (наприклад, рівень знань) навіть протягом одного виміру не завжди виявляються стаціонарними. Для ознак, які характеризують динаміку явищ, уявлення про стабільність виду розподілу неадекватно.

На подолання цих обмежень математиками витрачено багато зусиль, однак результати поки ще досить скромні. Найбільш розробленими виявилися методи, у яких не ставилися спеціальні умови, що стосуються форми розподілів. Такі критерії називають непараметричними, тому що вони для розрахунку статистики не використовують в явному виді параметри розподілу (середні арифметичні, дисперсії), а використовують інші особливості, які характеризують ряди спостережень. У якості таких застосовуються звичайно деякі відносні характеристики – ранги, інверсії, серії.

На думку Є. В. Гублера [2], непараметричні критерії дозволяють:

- при розподілах, відмінних від нормального закону, виявити істотні розходження тоді, коли параметричні критерії їх не виявляють;

- при розподілах, близьких до нормального, непараметричні критерії також дають достовірний результат, що майже не уступає критерію Стьюдента.

Критерій Манна-Уітні – непараметричний критерій, що використовується як характеристика рангів значень, отриманих у результаті експерименту. Цей критерій є непараметричною альтернативою критерію Стьюдента. Критерій Манна-Уітні призначений для оцінки розходжень між двома незалежними вибірками за рівнем будь-якої ознаки, кількісно вимірюваної.

Критерій Манна-Уітні має наступні переваги:

- на відміну від багатьох критеріїв дозволяє виявити розходження між малими вибірками (кількість учнів у групах повинна перевищувати 3);

- дані можуть бути вимірювані в шкалі порядку. Більшість методів вимагають, щоб дані були вимірювані в інтервальній шкалі, яка не підходить для педагогічних вимірів;

- розподіл ознаки може бути будь-яким, а отже, немає необхідності перевіряти вибірки на збіг з нормальним законом розподілу.

Усе вище перераховане обґрунтовує наш вибір критерію Манна-Уітні для оцінки розходжень між двома вибірками за рівнем будь-якої ознаки.

Існує кілька засобів використання критерію Манна-Уітні й кілька варіантів таблиць критичних значень [2; 3; 7]. У своєму дослідженні ми використовували опис методу й критичні значення О. В. Сидоренко [7] .

Наведемо приклад використання критерію Манна-Уітні.

У двох групах (експериментальній і контрольній) проводився тест з вищої математики. У таблиці 1 представлена кількість студентів, які мають хі помилкових відповідей. Чи можна стверджувати, що контрольна група перевершує експериментальну групу за кількістю помилкових відповідей?

Дані обох груп поєднуємо в одну групу й ранжуємо всі значення без огляду на те, до якої вибірки вони відносяться (таблиця 2). Меншому значенню нараховується менший ранг. У випадку, якщо кілька значень однакові, їм нараховується ранг, який представляє собою середнє значення з тих рангів, що вони одержали б, якби не були рівні. Сума рангів у контрольній групі вище.

Таблиця 1.

Кількість студентів,
які мають хі помилкових відповідей

Визначаємо гіпотези:
Н0: Контрольна група студентів не перевершує експериментальну групу за кількістю помилкових відповідей.
Н1: Контрольна група студентів перевершує експериментальну групу за кількістю помилкових відповідей.

Таблиця 2.

Результати ранжування груп студентів

Обчислюємо статистику:

де n1 – кількість випробуваних у вибірці 1;
n2 – кількість випробуваних у вибірці 2;
Tx – більша із двох рангових сум;
n2 – кількість випробуваних у групі з більшою сумою рангів.

Ми можемо констатувати достовірні розходження, якщо

У нашому випадку можна констатувати достовірні розходження при (тобто ймовірність того, що розходження недостовірні, становить 5%). У цьому випадку ми приймаємо гіпотезу Н1 про те, що контрольна група студентів перевершує експериментальну групу за кількістю помилкових відповідей.

За допомогою критерію Манна-Уітні порівнювалися рівні знань у контрольній і експериментальній групах до і після експерименту. У ситуаціях, де початкові (до початку експерименту) результати експериментальної й контрольної груп збіглися, а кінцеві (після закінчення експерименту) розрізнялися, робився висновок, що ефект змін обумовлений застосуванням експериментальної методики навчання. Таким чином, можна зробити висновок, що використання критерію Манна-Уітні при обробці результатів тестування для підтвердження або спростування гіпотез педагогічного експерименту дозволяє отримати коректні й достовірні результати.

© О. А. Боцюра, 2008.