Wprowadzenie

Działalność dydaktyczna wykładowcy, bez względu na kierunek nauczania oraz wiek uczniów, koncentruje się głównie wokół dwóch obszarów. Pierwszy związany jest z przekazywaniem informacji, drugi - z obiektywną weryfikacją wiadomości oraz umiejętności zdobytych podczas procesu nauczania. Jednym z bardziej popularnych sposobów kontroli jest bez wątpienia test pisemny sprawdzający zarówno wiedzę, jak i umiejętność stosowania jej w różnych sytuacjach praktycznych. Tradycyjna, znana wszystkim forma od kilku lat może być realizowana w nowoczesny sposób - oparty na urządzeniach technologii informacyjnej. Artykuł stanowi próbę odpowiedzi na pytanie, czy w procesie egzaminowania warto sięgać po nowoczesne narzędzia technologii informacyjnej.

Piloty multimedialne i system Moodle w procesie egzaminowania

Obecne dziś w szkołach systemy komputerowego egzaminowania w niczym nie ustępują tradycyjnym testom. Umożliwiają przygotowanie różnego rodzaju zadań, m.in.: pytań jednokrotnego oraz wielokrotnego wyboru, zadań typu prawda/fałsz, pytań wymagających krótkiej lub długiej odpowiedzi, zadań obliczeniowych czy zadań wymagających dopasowania odpowiedzi. Podobnie jak w przypadku tradycyjnych testów, możliwe jest równoczesne przeprowadzenie egzaminu z podziałem na dwie grupy lub większą ich liczbę, a nawet przygotowanie w sposób losowy (dla każdego z uczestników egzaminu) indywidualnego zestawu pytań. W sytuacji zastosowania jednorodnego arkusza dla wszystkich zdających wyświetlone na ekranie komputera zadania, a także proponowane odpowiedzi, mogą być zróżnicowane pod względem kolejności. Dzięki temu test nabiera niepowtarzalnego charakteru, utrudniającego porozumiewanie się pomiędzy osobami, które go rozwiązują.

Komputerowe egzaminowanie może być realizowane przy użyciu pilotów multimedialnych¹ lub różnego rodzaju internetowych platform edukacyjnych², na których udostępnia się zadania za pośrednictwem tabletów, smartfonów lub komputerów.

Badania przeprowadzone wśród uczniów szkoły średniej wykazały, że grupa ta w zdecydowanej większości akceptuje test jako metodę weryfikacji wiedzy. Ponad 65 proc. ankietowanych, mając do wyboru różne modele sprawdzania wiedzy oraz umiejętności praktycznego jej zastosowania, wskazało powyższe narzędzie jako właściwe i preferowane w kontekście egzaminowania. Analizując obiektywność oceny z wykorzystaniem dłuższych wypowiedzi pisemnych oraz testów o charakterze zamkniętym, niemal 75 proc. osób wymieniło test jako bardziej obiektywny i oczekiwany sposób kontroli³. Odpowiedzi zebrane w badaniu ankietowym w grupie 258 studentów potwierdziły zgodność ich opinii z opiniami uczniów szkoły średniej⁴. Zwolennicy testu zaznaczali, że jest to najmniej stresująca forma kontroli, umożliwiająca weryfikację nabytych wcześniej kompetencji. Oceniając test z perspektywy wykładowcy, również nie sposób odmówić mu wielu zalet. Do najważniejszych z nich należą:

• ukierunkowanie - świadome opracowanie narzędzia sprawia, że mierzy ono dokładnie te obszary, które prowadzący uważa za najbardziej istotne;
• rzetelność - zwięzła budowa pytań oraz proponowanych odpowiedzi powoduje, iż w ciągu kilkunastu minut wykładowca jest w stanie szczegółowo skontrolować wiedzę i umiejętności dotyczące nawet kilkudziesięciu odmiennych zagadnień.

W konsekwencji możliwa jest stosunkowo szybka, bezstresowa oraz sprawiedliwa ocena nabytych podczas kursu kompetencji.

Multimedialne piloty dydaktyczne, oprócz przeprowadzania złożonych egzaminów, umożliwiają również realizację prostych testów pełniących rolę sprawdzianów, co może być wykorzystywane podczas codziennych lekcji, wykładów bądź ćwiczeń. Analizy przeprowadzone przez autorkę w ramach wcześniejszego projektu badawczego - obejmującego niemal 500-osobową grupę studentów z Wydziału Nauk Pedagogicznych Uniwersytetu Mikołaja Kopernika w Toruniu, Państwowej Wyższej Szkoły we Włocławku, a także dużą grupę uczniów szkół podstawowych w Toruniu i we Włocławku - wykazały, że zastosowanie pilotów multimedialnych wpływa pozytywnie na skuteczność nauczania⁵, głównie ze względu na możliwość uzyskania wiedzy na temat przygotowania uczniów.

Testy poprzedzające przystąpienie do wykładu lub ćwiczeń pozwalają nauczycielowi ocenić poziom zrozumienia oraz przyswojenia przez uczniów/studentów ostatnio omawianych problemów czy poprawność wykonania pracy domowej. Wiedząc o tym, które zagadnienia uczący się opanowali dobrze, które słabo, których zaś nie zrozumieli wcale lub prawie wcale, nauczyciel może dostosować kształt zajęć do zdiagnozowanych w ten sposób potrzeb (np. ponownie wyjaśnić to, czego uczniowie nie zrozumieli). Ma to niebagatelne znaczenie dla jakości procesu nauczania.

Przeprowadzone przez autorkę analizy wykazały, że przystąpienie do lekcji poprzedzone komputerową weryfikacją wiedzy wpływa na podniesienie skuteczności kształcenia średnio o 25 procent. W odniesieniu do konkretnych umiejętności różnice (na poziomie nauczania akademickiego) prezentowały się w sposób następujący:

• zapamiętanie wiadomości - wzrost skuteczności o 40 proc.,
• zrozumienie wiadomości - wzrost skuteczności o 28 proc.,
• zastosowanie wiedzy w sytuacjach typowych - wzrost skuteczności o 26 proc.,
• zastosowanie wiedzy w sytuacjach nietypowych - wzrost skuteczności o 8 procent⁶.

Testy multimedialne (bez względu na narzędzia stosowane podczas ich realizacji) mogą mieć dwie różne formy: z ograniczeniem czasowym globalnym (np. 30 min na cały egzamin, czas na udzielenie poszczególnych odpowiedzi zależy od studentów) lub lokalnym (czas na udzielenie odpowiedzi jest dostosowany do poziomu trudności pytania)⁷. Ankiety przeprowadzone wśród studentów wykazały, że testy multimedialne z ograniczeniem lokalnym (po upływie określonego czasu nie ma możliwości powrotu do wcześniejszych pozycji testu) pozytywnie oceniło jedynie 28 proc. osób, zaś 60 proc. badanych zadeklarowało, że nie chce, aby w przyszłości egzaminy odbywały się w taki sposób⁸.

Z wypowiedzi studentów wynika, że niski poziom akceptacji dla takiej formy egzaminowania ma kilka przyczyn:

• ograniczony czas na udzielenie odpowiedzi, po upływie którego pytanie samoistnie przełącza się do następnego lub test zostaje zakończony i zablokowany⁹,
• brak możliwości powrotu do poprzedniego pytania,
• brak czasu na korzystanie z niedozwolonych pomocy oraz konsultacje z kolegami (w porównaniu z tradycyjnym testem odpisywanie jest znacznie utrudnione)¹⁰.

Wprowadzenie ograniczenia czasowego dla poszczególnych pytań wymusiło na studentach duże skupienie oraz samodzielność działania. W konsekwencji wszelkie próby „ściągania” stawały się jedynie dystraktorem, uniemożliwiającym poprawne i pełne rozwiązanie zadania w wyznaczonym przez wykładowcę czasie. Sytuacja ta, w połączeniu ze świadomością nieuchronnej oceny własnej pracy i wiedzy, powodowała wzrost negatywnego nastawienia i niechęci do multimedialnego zestawu pilotów oraz systemu Moodle podczas procesu egzaminowania.

Zastosowanie globalnego ograniczenia czasowego¹¹, jak miało to miejsce w przypadku drugiej serii egzaminów realizowanych przy użyciu pilotów, platformy Moodle i tabletów lub komputerów osobistych, wpłynęło pozytywnie na poziom akceptacji omawianej formy egzaminowania.

Badania ankietowe przeprowadzone po egzaminach zarówno z globalnym, jak i lokalnym ograniczeniem czasowym wykazały, że 90 proc. studentów - bez względu na poziom akceptacji narzędzia - odbiera nowoczesną formę egzaminowania jako obiektywną (piloty multimedialne - 86 proc., system Moodle i tablety lub komputery osobiste - 94 procent). Ocena końcowa, podobnie jak losowość prezentowanych pytań, nie miała wpływu na odpowiedzi studentów.

Wśród zalet nowoczesnej formy egzaminowania wymieniano:

• szybką informację zwrotną na temat uzyskanej oceny,
• obiektywną i sprawiedliwą ocenę,
• możliwość otrzymania punktów cząstkowych¹²,
• łatwą obsługę narzędzia.

W przypadku zastosowania globalnego ograniczenia czasowego studenci pozytywnie odnosili się do samodzielnego kierowania tokiem egzaminu oraz możliwości powrotu do pytań wcześniejszych. W odniesieniu do pracy z systemem Moodle wśród zalet wymieniano dodatkowo możliwość szybkiego poznania poprawnych odpowiedzi.

Właściwa struktura testu

Opracowując strukturę testu, pedagog powinien brać pod uwagę kilka czynników determinujących zarówno trafność, jak i rzetelność pomiaru. Idealny formularz, jak podkreśla Bolesław Niemierko, musi zawierać odpowiednio dużą liczbę zadań¹³, co ogranicza znacznie szansę wystąpienia błędu szacowania wynikającego z niepoprawnego przygotowania lub ocenienia pojedynczych pytań. Niezmiernie ważnym czynnikiem wpływającym na poprawność testu jest spójność narzędzia, określana na podstawie analizy jakościowo-ilościowej. Dzięki niej możliwe jest sprawdzenie stosowności, poprawności dydaktycznej, a także mocy różnicującej, łatwości i frakcji opuszczeń konkretnych zadań testowych.

Uwzględnienie odpowiednio dużej liczby pytań oraz spójności narzędzia to nie jedyne działania zapewniające wysoką jakość testu. Przygotowując schemat testu, wykładowca powinien mieć na uwadze wewnętrzne zróżnicowanie i proporcje egzaminu. W arkuszach należy zawrzeć zadania weryfikujące zarówno niższe, jak i wyższe (odzwierciedlające twórcze zdolności studentów) kategorie celów¹⁴, co jest możliwe dzięki dostępowi do wielostopniowych pod względem trudności zadań. Cennym, chociaż trudnym do zrealizowania postulatem jest zwiększenie liczebności zespołu oceniającego. Działanie to pełni szczególną rolę zwłaszcza w przypadku testów mieszanych lub tych, w których liczba zadań otwartych jest większa od liczby zadań zamkniętych. Jak zauważa B. Niemierko: Gdyby dwóch sędziów punktowało wypracowanie maturalne, jego wyniki osiągnęłyby rzetelność jednogodzinnego testu polonistycznego, a gdyby zatrudnić dziesięciu sędziów - rzetelność dobrego testu matematycznego¹⁵.

Kolejnym elementem wpływającym bezpośrednio na jakość egzaminów jest zmiana parametrów punktowania zadań poprzez rzetelne przygotowanie kluczy oraz uznawanych typów rozwiązań - tzw. pytań otwartych. Zbyt płytkie i schematyczne potraktowanie tematu z góry wyklucza dywergencyjność, wymuszając na uczniu odpowiedź zgodną z wizją opracowującego klucz moderatora. Istotną rolę podczas konstruowania zadań odgrywa również czynnik związany z atrakcyjnością. Pytania chociaż w części powinny mieć charakter praktyczny i przybliżać ewentualne problemy mogące się pojawić w toku przyszłej pracy.

Następnym czynnikiem, jaki należy mieć na uwadze, jest zwiększenie niezależności sytuacji dydaktycznej¹⁶, związane z eliminacją zakłóceń, odstępstw od regulaminu oraz niedopuszczeniem do korzystania z niedozwolonych pomocy. Spokojna, pozbawiona zakłóceń atmosfera w znacznym stopniu przyczynia się do zniwelowania stresu egzaminacyjnego¹⁷.

Pytania badawcze oraz przebieg eksperymentu

Prezentowane badania są ostatnim etapem analiz, będącym zwieńczeniem działań skoncentrowanych wokół nowoczesnych form testowania realizowanych przez autorkę. W ramach poprzednich analiz zbadano poziom akceptacji nowoczesnego sposobu egzaminowania, stopień trudności pracy z multimedialnymi narzędziami służącymi do testowania, jak również skuteczność nauczania przy użyciu multimedialnych pilotów dydaktycznych¹⁸. Mając na uwadze uzyskane wyniki, a także gromadzone przez lata dane, autorka artykułu postanowiła odpowiedzieć na pytanie: czy w procesie egzaminowania warto sięgać po nowoczesne narzędzia technologii informacyjnej. W tym celu zaplanowano analizę dodatkowego czynnika - czasu pracy nauczyciela związanej z nowoczesną formą testowania - i postawiono pytanie badawcze: czy nowoczesna forma testowania w porównaniu z jej tradycyjnym odpowiednikiem umożliwia skrócenie czasu pracy egzaminatora.

Dane do analiz gromadzone były w latach 2009-2014 - dotyczyły egzaminów odbywających się w dwóch różnych formach: tradycyjnej oraz komputerowej. Omawiany eksperyment, mający na celu ustalenie czasu pracy nauczyciela związanej z procesem egzaminowania, prowadzony był przez jednego eksperymentatora - autorkę artykułu. W celu eliminacji błędu szacowania eksperyment powtórzono piętnastokrotnie. Każdy test był testem zamkniętym, wielokrotnego wyboru, złożonym z 30 pytań. W badaniach wzięło udział łącznie 3000 studentów przypisanych do badanych grup w sposób losowy.

Narzędziem wykorzystanym w badaniach był arkusz obserwacji. Do sprawdzenia istotności statystycznej danych wykorzystano test t-Studenta dla danych niezależnych. Wyniki analiz potwierdzone zostały również przez piętnastu innych eksperymentatorów, którzy zrealizowali badania w sposób analogiczny do badań autorki (w latach 2010-2013, na grupach liczących średnio 200 osób).

Korzyści i ograniczenia stosowania komputerowego systemu egzaminowania - wyniki badań własnych

W przypadku pracy z dużą, liczącą powyżej 50 osób grupą studentów tradycyjne egzaminowanie okazuje się niezmiernie monotonne i czasochłonne. Nowoczesne technologie, wspierające działania wykładowcy, stają się w tych okolicznościach szczególnie przydatne. Narzędzia komputerowe odgrywają tu ogromną rolę i są niezwykle pomocne - począwszy od wprowadzania pytań do bazy, poprzez zbieranie odpowiedzi i ich ocenianie, skończywszy na dokonywaniu analizy i prezentacji wyników. Zmniejsza to w znacznym stopniu koszty, jak również obciążenie pedagoga wynikające z faktu drukowania, a następnie wielogodzinnego sprawdzania wypełnionych arkuszy.

Po zrealizowaniu serii 30 testów (15 tradycyjnych, 15 komputerowych) stwierdzono, iż bez względu na liczebność grupy czas potrzebny na przeprowadzenie testu w wersji komputerowej jest dłuższy niż w przypadku formy tradycyjnej (patrz wykres 3). Jednak w ogólnym rozrachunku forma elektroniczna okazuje się bardziej korzystna niż tradycyjna forma testowania. Łączny wymiar czasu niezbędnego do przygotowania i zrealizowania testu, a następnie sprawdzenia odpowiedzi przy użyciu systemu komputerowego wynosi w zaokrągleniu:

• dla grupy 20-osobowej: 86 min,
• dla grupy 50-osobowej: 166 min (co stanowi mniej niż połowę czasu niezbędnego na wykonanie tych samych czynności metodą tradycyjną),
• dla grupy 100-osobowej: 248 min,
• dla grupy 200-osobowej: 452 min.

Czas niezbędny na wykonanie tych samych czynności metodą tradycyjną jest niemal dwa i pół razy dłuższy.

Zaobserwowane różnice wynikają głównie z konieczności wielogodzinnego sprawdzania testów pisemnych, a także przygotowania (wydrukowania lub skserowania) odpowiedniej liczby arkuszy egzaminacyjnych.

Skrócenie czasu pracy wykładowcy jest tylko jedną z zalet komputerowej formy egzaminowania. Niepodważalne korzyści odnoszą również studenci, których prace oceniane są całkowicie anonimowo. Obiektywność oceny zapewnia mechanizm sprawdzania porównujący odpowiedzi z wprowadzonym uprzednio wzorcem. W rezultacie zminimalizowane zostaje ryzyko wystąpienia błędu związanego z obecnością czynnika ludzkiego.

Obopólną korzyścią płynącą z takiej formy egzaminowania jest czas oczekiwania na wyniki, które w tym przypadku dostępne są zaraz po zakończeniu rozwiązywania testu¹⁹. W zależności od ustawień wewnętrznych student, po zatwierdzeniu wszystkich odpowiedzi, może uzyskać dostęp do informacji na temat swojej oceny, wyniku procentowego, a także poprawnych i błędnych odpowiedzi. Zebrane dane są automatycznie zapisywane, dzięki czemu wykładowca ma możliwość wglądu do nich w dowolnie wybranym czasie. Oprogramowanie pozwala na analizę surowych wartości lub też opracowanych wewnętrznie danych, zgrupowanych w postaci wykresów lub obliczeń procentowych. Dzięki temu możliwe są dokładne poznanie oraz weryfikacja wiedzy uczniów pod kątem wprowadzonych założeń. Informacje te są niezmiernie cenne, sprzyjają bowiem jakościowej poprawie procesu kształcenia, dając jednoznaczną wiedzę na temat zagadnień, które w przyszłości powinny zostać dokładniej omówione (czy też np. wsparte kolejnymi przykładami). Dodatkowym atutem komputerowych testów jest również możliwość przeprowadzenia szybkiej analizy jakości przygotowanych przez wykładowcę zadań testowych - zbyt mała liczba poprawnie udzielonych bądź w ogóle udzielonych odpowiedzi w danym zadaniu może świadczyć o jego niepoprawnym skonstruowaniu lub sformułowaniu.

Doświadczenie autorki, poparte bogatą literaturą przedmiotu, pozwala wnioskować, iż komputerowa forma egzaminowania nie jest wolna od wad. Wymaga ona zapewnienia każdemu z uczestników egzaminu odpowiednio wyposażonego stanowiska pracy - komputera z oprogramowaniem lub pilota niezbędnego do udzielania odpowiedzi²⁰. Spełnienie powyższego warunku wiąże się nierozerwalnie z wysokimi kosztami, przynajmniej w początkowej fazie wyposażania pracowni w odpowiedni sprzęt oraz oprogramowanie. Nie bez znaczenia pozostają także wydatki związane ze szkoleniem kadry dydaktycznej, należy bowiem pamiętać, iż nie wszyscy nauczyciele posiadają odpowiednie kompetencje, wystarczające do samodzielnego opanowania umiejętności pracy z nieznanym dotychczas urządzeniem komputerowym oraz oprogramowaniem. W perspektywie długofalowej należy również uwzględnić koszty konserwacji oraz naprawy urządzeń.

Podsumowanie

Jak wykazały przeprowadzone badania, nowoczesne formy egzaminowania posiadają wiele zalet. Przede wszystkim umożliwiają rzetelną, sprawiedliwą i szybką weryfikację wiedzy, co jest niezmiernie przydatne nie tylko w przypadku podsumowania konkretnego działu, ale również w toku każdego wykładu. Oprogramowanie znacznie odciąża wykładowcę, zdejmując z jego barków obowiązki związane z koniecznością sprawdzania oraz oceny testów. Komputerowa forma egzaminowania ułatwia również przechowywanie danych oraz ich analizę statystyczną. Dodatkową zaletą jest także możliwość zamieszczenia w arkuszu egzaminacyjnym elementów multimedialnych - obrazów, nagrań audio i wideo czy prezentacji multimedialnych.

Jedyną znaczącą (z punktu widzenia nauczycieli) wadą komputerowych systemów egzaminowania wydaje się konieczność dogłębnego zapoznania się z narzędziami technologii informacyjnej oraz ze specyfiką nauczania z wykorzystaniem komputerowych narzędzi egzaminacyjnych. Powyższa wiedza oraz praktyka okazują się bowiem niezbędne do opracowywania i organizacji tej formy egzaminu oraz do analizy otrzymanych wyników.

Biorąc pod uwagę stosunek problemów związanych z wprowadzeniem komputerowych narzędzi do procesu egzaminacyjnego do płynących z nich korzyści, wydaje się, że decyzja o wprowadzeniu do codziennego toku nauczania komputerowych form egzaminacyjnych jest decyzją korzystną, a nawet nieuniknioną. Interaktywne formy testowe włączone do codziennego procesu kształcenia podnoszą nie tylko jakość, ale również skuteczność nauczania, co powinno być ostatecznym argumentem przemawiającym za słusznością odwoływania się do tej metody pracy.

Bibliografia

• Bull J., Myles D., Computer-assisted Assessment (CAA), „Assessment series” No. 14, ftp://www.bioscience.heacademy.ac.uk/Resources/gc/assess14.pdf.
• Konarzewski K., W obronie encyklopedyzmu, „Klocki Autonomiczne” 2000, nr 5, s. 17-20.
• Krawiec W., Wykorzystanie platform Moodle w diagnozie edukacyjnej, XII Konferencja Diagnostyki Edukacyjnej - o wyższą jakość egzaminów szkolnych, materiały konferencyjne, http://www.ptde.org/mod/resource/view.php?id=141.
• Kuzmina I.P., Computer-based testing: advantages and disadvantages, „Journal NTU-KPI. Philosophy. Psychology. Pedagogy” 2010, No. 1, http://novyn.kpi.ua/2010-1/11-ped-Kuzmina.pdf.
• Majewska K., Piloty interaktywne w pracy szkoły, „45 Minut” 2013, nr 71 (1), s. 38-40.
• Majewska K., Zastosowanie sprzętu Testico Edu w nauczaniu wczesnoszkolnym, 2010, http://dreamtec.pl/uploads/download/Zastosowanie%20sprzętu%20Testico%20Edu.pdf.
• Niemierko B., Ku czemu zmierzają egzaminy szkolne?, [w:] Niemierko B., Małecki B. (red.), Dawne i nowe formy egzaminowania, Wydawnictwo Dolnośląskiej Szkoły Wyższej Edukacji, Wrocław 2001.
• Niemierko B., Pomiar wyników kształcenia, WSiP, Warszawa 1999.
• Pedryc-Wrona M., Formy kontroli osiągnięć uczniów w świetle reformy edukacji?, [w:] Niemierko B., Małecki B. (red.), Dawne i nowe formy egzaminowania, Wydawnictwo Dolnośląskiej Szkoły Wyższej Edukacji, Wrocław 2001.