Wprowadzenie

Zarówno wykorzystanie nowoczesnych technologii informacyjnych w edukacji, jak i zapewnianie wysokiej jakości kształcenia należą do podstawowych narzędzi realizacji celów procesu bolońskiego. Obserwowanemu w ostatnim dziesięcioleciu dynamicznemu rozwojowi e-learningu nieustannie towarzyszyła zatem dyskusja dotycząca jakości i efektywności e-edukacji oraz sposobów ich mierzenia. Zapewnienie wysokiej jakości kształcenia jest też jednym z priorytetów Unii Europejskiej. Nie dziwi więc fakt, iż próby stworzenia wspólnych ram ewaluacji kursów zdanych pojawiły się także we współpracy uczelni wyższych i jednostek badawczych na poziomie europejskim.

Zapewnienie jakości kształcenia online

Mówiąc o zapewnieniu odpowiedniej jakości e-nauczania, musimy zdawać sobie sprawę z wieloaspektowości tego zagadnienia. Z perspektywy konkretnej instytucji pod uwagę mogą być brane takie kwestie, jak:

• odpowiednia infrastruktura techniczna,
• sprawny proces obsługi (rejestracja, zapisy na szkolenia),
• przygotowanie materiałów,
• przeszkolenie pracowników,
• marketing.

Ocenie podlegać może też bezpośrednio środowisko nauczania, w przypadku którego pod uwagę będą brane takie aspekty, jak:

• sposób udostępnienia treści dydaktycznych na platformie e-learningowej,
• łatwość korzystania z platformy,
• treści dydaktyczne,
• sposób prowadzenia zajęć.

Istotne jest także, aby ocenie została poddana satysfakcja osób biorących udział w szkoleniu¹. Często tego typu ocena jest dokonywana na podstawie różnego rodzaju ankiet. Ewaluacja przeprowadzana w Centrum Otwartej i Multimedialnej Edukacji Uniwersytetu Warszawskiego polega na uzyskaniu odpowiedzi na krótkie pytania, np. Co należałoby zmienić w następnej edycji?, Jak bardzo jesteś zadowolony z tego kursu?². Również na stronach Polskiego Uniwersytetu Wirtualnego można znaleźć informacje o wykorzystywanym sposobie oceniania szkoleń, dostępne w Kwestionariuszu weryfikacji kursów zdalnego nauczania³. Dokument ten oparty jest na standardzie eCC (e-learning Courseware Certification)⁴, którego celem jest sprawdzanie, czy przy tworzeniu materiałów e-learningowych odnoszono się do najlepszych praktyk przekładania celów szkoleniowych na zawartość kursu lub wspomagania procesu dydaktycznego odpowiednimi mechanizmami edukacyjnymi.

Ocena jakości może mieć miejsce w różnych momentach procesu szkoleniowego: natychmiast po zakończeniu szkolenia, na początku oraz na końcu szkolenia, przed szkoleniem lub po upływie dłuższego czasu od zakończenia szkolenia⁵.

Zagadnienie oceny jakości kształcenia online w projektach

Śledząc doniesienia na temat prowadzonych prac dotyczących zagadnień oceny jakości kształcenia online, należy odnotować fakt udostępnienia (w grudniu 2008 r.) przez Stowarzyszenie E-learningu Akademickiego (SEA)⁶ kryteriów oceny kursu internetowego. Kryteria te mogą służyć do przeprowadzenia samooceny kursów internetowych lub tym, którzy planują wdrożenie e-learningu, a także wskazywać, na jakie aspekty kursów powinni zwrócić szczególną uwagę. Kryteria te mają zastosowanie jedynie w ocenie pojedynczego kursu (który w całości odbywa się w sposób zdalny), natomiast nie stosuje się ich do oceny zajęć realizowanych w formie mieszanej (blended learning) ani oceny programów szkoleń e-learningowych lub studiów jako całości.

Kryteria SEA mają formę elektronicznego kwestionariusza zawierającego łącznie 262 pytania, na które można udzielić jednej z trzech odpowiedzi: „tak”, „nie” lub „nie dotyczy”. Ocena dokonywana jest w czterech obszarach:

1. organizacji kursu,
2. opracowania kursu,
3. prowadzenia kursu,
4. ewaluacji kursu.

W celu uzyskania dostępu do kryteriów należy zarejestrować się na stronie Stowarzyszenia. Korzystanie z narzędzia jest bezpłatne, a ocenie można poddać dowolną liczbę kursów. Użytkownik ma dostęp do zbiorczych statystyk ocenianych kursów, a ponadto istnieje możliwość zapisania i przechowywania wyników.

Ocena jakości kształcenia online jest zagadnieniem poruszanym również w różnych projektach międzynarodowych, w których biorą udział także polskie ośrodki związane z e-edukacją. Pierwszym przykładem jest projekt E-xcellence NEXT⁷, który dotyczył jakości e-learningu akademickiego oraz wdrażania i integracji narzędzi oraz kryteriów oceny jako elementu ewaluacji. W projekcie tym brało udział sześciu partnerów z Europejskiego Stowarzyszenia Uniwersytetów Kształcących na Odległość (EADTU), w tym Centrum e-Learningu AGH z Krakowa. W ciągu 5 lat trwania projektu, w jego trzech edycjach zostały opracowane dwa narzędzia do oceny jakości e-learningu akademickiego, które pozwalają na ewaluację najważniejszych aspektów e-edukacji - według 33 kryteriów pogrupowanych w następujących kategoriach:

• projektowanie programu kształcenia,
• projektowanie kursów,
• dostarczanie kursów,
• wsparcie dla studentów i pracowników,
• zarządzanie.

W ramach projektu została wypracowana metodyka oceny, która podlega dalszemu udoskonalaniu. Przygotowano również podręcznik na temat narzędzi oceny jakości, szczegółowo omawiający jej kryteria.

Projekt SEVAQ+

Kolejnym przykładem międzynarodowego projektu związanego z problematyką oceny jakości nauczania wspomaganego przez technologie informatyczne jest SEVAQ+: Self-Evaluation of Quality in e-Learning⁸. Ten dwuletni projekt rozpoczął się jesienią 2009 r. i jest kontynuacją projektu SEVAQ (2005-2007). Celem jest rozpowszechnianie wyników poprzedniego projektu i udoskonalenie informatycznego narzędzia do ewaluacji kursów oraz szkoleń wspomaganych nauczaniem przez internet. Ostatnie działania związane z eksploatacją i rozpowszechnianiem tego narzędzia wskazują, że istnieją możliwości jego szerszego zastosowania - zarówno w ocenie szkoleń tradycyjnych, jak i szkoleń wspomaganych przez internet. Partnerami w projekcie są instytucje z Francji⁹, Włoch¹⁰, Litwy¹¹ i Polski¹², a także organizacje o charakterze międzynarodowym: European Distance and E-Learning Network (EDEN) oraz European Foundation for Quality in eLearning (EFQUEL).

Przygotowane w ramach projektu narzędzie SEVAQ+ umożliwia zarządzanie całym procesem oceny jakości szkoleń wykorzystujących (w różnym wymiarze) technologie komunikacyjno-informacyjne. Jest to dynamiczne, wielojęzyczne¹³ narzędzie do generowania kwestionariuszy służących do oceny jakości kształcenia, w tym procesu szkolenia wspomaganego ICT (szkolnictwo wyższe, szkolnictwo zawodowe, instytucje szkoleniowe).

Narzędzie SEVAQ+ przeznaczone jest przede wszystkim dla instytucji edukacyjnych i szkoleniowych (np. uczelni wyższych, centrów i ośrodków szkoleniowych), a także dla nauczycieli i trenerów, którzy chcą zaprojektować ankiety w celu zebrania opinii na temat zajęć lub szkoleń prowadzonych z wykorzystaniem nowoczesnych technologii.

Metodologia

Podejście metodologiczne wykorzystane w SEVAQ+ łączy strukturę oceny jakości szkoleń według Modelu Doskonałości EFQM udostępnionego przez Europejską Fundację Zarządzania Jakością (European Foundation for Quality Management - EFQM)¹⁴ oraz modelu oceny efektywności szkoleń stworzonego przez Donada L. Kirkpatricka¹⁵.

Model Doskonałości EFQM opisuje europejskie podejście do systemu zarządzania jakością. Składa się on z dziewięciu obszarów oceny:

1. Przywództwo - obejmuje osobiste zaangażowanie przywódców (dyrektora, prezesa) w realizację misji i wizji, rozwijanie wartości potrzebnych do osiągania długofalowego sukcesu oraz wdrażania i doskonalenia systemu zarządzania organizacją.
2. Pracownicy - obejmuje planowanie i doskonalenie zasobów ludzkich, identyfikację poziomu wiedzy i kompetencji oraz utrwalanie ich, angażowanie pracowników, komunikację i motywację.
3. Polityka i strategia - obejmuje podstawowe wartości, którymi kieruje się organizacja. Dotyczy wdrażania misji i wizji poprzez czytelne sformułowanie strategii organizacji (powinna być ukierunkowana na wszystkich zainteresowanych funkcjonowaniem organizacji oraz wskazywać, w jaki sposób przekłada się na odpowiednią politykę, plany, założenia).
4. Partnerstwo i zasoby - obejmuje zarządzanie relacjami z dostawcami, zarządzanie finansami, infrastrukturą, technologią, informacją i wiedzą,
5. Procesy - obejmuje projektowanie i doskonalenie procesów, projektowanie i wytwarzanie wyrobów w oparciu o potrzeby i oczekiwania klientów, rozwijanie relacji z klientami.
6. Zadowolenie pracowników - obejmuje stosunek załogi do kierownictwa, bezpieczeństwa socjalnego, awansów oraz pomiar skuteczności motywacji, osiągnięć pracowników i ich zaangażowania.
7. Zadowolenie klientów - obejmuje stosowanie mierników postrzegania organizacji przez klientów oraz wskaźników wyników działalności.
8. Otoczenie - jest to postrzeganie organizacji przez opinię publiczną, osiągnięcia w relacjach ze społecznością (lokalną, krajową i międzynarodową).
9. Kluczowe wyniki działalności - obejmuje osiągnięcia w zestawieniu z zaplanowanymi celami - w zakresie całokształtu rozwoju przedsiębiorstwa oraz zaspokojenia potrzeb wszystkich stron zainteresowanych jego działalnością (wyniki finansowe i rynkowe).

Rysunek 1. Obszary oceny w Modelu Doskonałości EFQM

Źródło: Encyklopedia zarządzania, http://mfiles.pl
Model Doskonałości EFQM zakłada interakcje pomiędzy poszczególnymi elementami i obszarami wyzwalającymi potencjał organizacji. Istotnym elementem modelu, który jest nastawiony na osiągnięcie zdefiniowanych celów, jest ewaluacja wyników, wnioskowanie na temat osiągniętego poziomu jakości oraz podejmowanie działań innowacyjnych i uczenie się w celu ciągłego doskonalenia. Wynikami poddawanymi ewaluacji mogą być wyniki procesu kształcenia (szkolenia).

Drugim zastosowanym w SEVAQ+ modelem jest model D.L. Kirkpatricka, który składa się z czterech poziomów oceny:

1. Ocena reakcji na szkolenie - dotycząca odczuć (reakcji) uczestników, które związane są ze szkoleniem.
2. Ocena uczenia się - związana z zakresem wiedzy i umiejętności przyswojonych przez uczestników szkolenia.
3. Ocena zmian w zachowaniu - dotycząca zmian w sposobie wykonywania obowiązków związanych z pracą oraz stosowanie zdobytej wiedzy i umiejętności w praktyce.
4. Ocena wyników - w jakim stopniu zmiany w sposobie wykonywania pracy przez uczestników szkolenia przyczyniają się do poprawy wyników przedsiębiorstwa.

Rysunek 2. Poziomy oceny w modelu D.L. Kirkpatricka

Źródło: opracowanie własne na podstawie D. Morrison, E-learning Strategies. How to get implementation and delivery right first time, Wiley, 2003
Jak już wspomniano, w SEVAQ+ połączone zostały podejście EFQM oraz model D.L. Kirkpatricka. Uwzględniono głównych interesariuszy procesu szkoleniowego:

• dostawców szkoleń (kursów),
• uczestników szkoleń, studentów lub uczniów,
• trenerów lub nauczycieli,
• decydentów lub menedżerów.

W modelu tym ewaluacja może zostać przeprowadzona z punktu widzenia dowolnego z powyższych interesariuszy, co zapewnia kompleksowość oceny oraz umożliwia jej współdzielenie pomiędzy interesariuszami.

Do powyższych podejść dodano profilowanie kontekstowe:

• procesów szkoleniowych realizowanych w środowisku uczelni wyższych,
• procesów szkoleniowych realizowanych w biznesie.

Ze względu na specyfikę procesów kształcenia w powyższych środowiskach dokonano rozdzielenia tych obszarów. Umożliwia to efektywniejsze porównywanie wyników z innymi ocenami przeprowadzonymi w danym środowisku.

Uwzględniono obszary zdefiniowane w EFQM (opisane powyżej) oraz poziomy oceny według modelu D.L. Kirkpatricka. Umożliwiło to kompleksowe ujęcie doskonalenia procesu kształcenia oraz jego analizę na poszczególnych poziomach efektywności.

Narzędzie SEVAQ+

SEVAQ+ jest połączeniem narzędzia informatycznego i metody służącej do przeprowadzania oceny procesu szkoleniowego wspomaganego przez technologie informatyczne - w szczególności e-learning.

Narzędzie SEVAQ+:

• dostępne jest online,
• umożliwia zaprojektowanie ankiet ewaluacyjnych i zarządzanie nimi (po założeniu konta projektanta)¹⁶,
• umożliwia zarządzanie respondentami (anonimowymi i zarejestrowanymi),
• umożliwia komunikację z respondentami,
• udostępnia wyniki oceny w czasie rzeczywistym,
• umożliwia efektywną prezentację i analizę wyników oceny (dane tabelaryczne, histogramy, wykresy, dane liczbowe, dane opisowe),
• umożliwia archiwizację ankiet wraz z ich wynikami.

Korzystając z narzędzia SEVAQ+, można zaprojektować ankietę ewaluacyjną z zestawu gotowych pytań (opracowanych przez ekspertów). Istnieje także możliwość dodania własnych pytań do konstruowanej ankiety. Ocenie może zostać poddany zarówno pojedynczy kurs (szkolenie), jak i cykl szkoleń jako całość.

Ocena w ankiecie dokonywana jest na trzech poziomach:

1. treści (resources) - zasobów wykorzystywanych w procesie uczenia się,
2. aktywności (activities) - procesów i działań zaproponowanych i podjętych podczas szkolenia,
3. wyników (results) - efektów, osiągniętych celów, transferu wiedzy w miejscu pracy.

Narzędzie SEVAQ+ na podstawie wybranych kryteriów proponuje uzasadnione metodologicznie pytania, na które odpowiedź najlepiej odzwierciedli rzeczywistość w kontekście przeprowadzanej oceny. W celu usystematyzowania oraz przyśpieszenia pracy poszczególne pytania są podzielone na kryteria i subkryteria.

Rysunek 3. Podział pytań w narzędziu SEVAQ+

Źródło: opracowanie własne
Konstruowanie ankiety rozpoczyna się od jej konfiguracji. Na tym etapie ustala się język, w jakim ankieta będzie udostępniana, i rodzaj odpowiedzi na poszczególne pytania. Istnieje możliwość zaprojektowania dwóch typów ankiet. W przypadku pierwszego - tzw. „ankiety krótkiej” - jej twórcę interesuje uzyskanie odpowiedzi tylko na pytanie: Czy w obszarze, którego dotyczy pytanie, konieczna jest poprawa? (odpowiedzi tak i nie). Drugim typem ankiety jest tzw. „ankieta długa”, na którą składa się ocena w trzech etapach: pierwszy jest taki sam jak w „ankiecie krótkiej”, drugi daje możliwość dokonania oceny za pomocą skali 1-4 (odpowiedzi:1 - zdecydowanie się nie zgadzam, 2 - nie zgadzam się, 3 - zgadzam się, 4 - zdecydowanie się zgadzam), a w trzecim etapie określana jest waga danego obszaru (odpowiedzi: 1 - nieważne, 2 - dość ważne, 3 - ważne, 4 - bardzo ważne).

Narzędzie daje możliwość dodania do ankiety pytań profilujących respondentów (w przypadku respondentów zarejestrowanych), jak również opcji dodatkowych komentarzy (które mogą zamieszczać respondenci).

Pytania w tworzonej ankiecie mogą być dodawane pojedynczo, można też skorzystać z opcji „przewodnika”, która po zdefiniowaniu parametrów ankiety (m.in. typ szkoleń, profil respondentów, moment udostępniania ankiety) metodologicznie dobierze pytania spełniające kryteria planowanej oceny. Ostatecznie projektant ankiety wybiera i akceptuje zaproponowane przez system pytania (bądź dodatkowo uzupełnia ankietę własnymi pytaniami).

Stworzoną ankietę można wydrukować i przedstawić w tradycyjnej „wersji papierowej”. Projektant ma również możliwość zaktualizowania ankiety (jeszcze nieopublikowanej), stworzenia jej kopii lub usunięcia kwestionariusza z systemu.

Narzędzie SEVAQ+ daje również możliwość zarządzania respondentami. W przypadku udostępniania ankiety anonimowo można zdefiniować grupę, do której będzie adresowana (nadać grupie nazwę, określić jej liczebność i kod dostępu do ankiety). Natomiast gdy oceny dokonują respondenci nieanonimowi, można dodawać ich pojedynczo do bazy (tworząc konto danego respondenta) bądź zaimportować plik zawierający dane respondentów (wymagane: imię, nazwisko oraz adres poczty elektronicznej). W każdym przypadku tworzenia kont respondentów system automatycznie wysyła (pocztą elektroniczną) login i hasło dostępu do systemu oraz udostępnianych ankiet.

Dużą zaletą narzędzia SEVAQ+ jest udostępnienie projektantom ankiet otrzymanych wyników, które prezentowane są w różnych formach - w zestawieniu liczbowym, jako histogramy, diagramy radarowe, zestawienia tabelaryczne.

Rysunek 4. Zestawienie wyników ankiety w narzędziu SEVAQ + w formie histogramów

Źródło: SEVAQ+, www.sevaq.eu
Rysunek 5. Zestawienie wyników ankiety w narzędziu SEVAQ+ w formie diagramu radarowego

Źródło: SEVAQ+, www.sevaq.eu
Zbiorczo prezentowane są również komentarze osób ankietowanych i dane uzyskane na podstawie pytań profilujących respondentów (m.in. wiek, płeć, wykształcenie). Wszystkie wyniki można także wyeksportować do programu Excel. System pozwala ponadto na archiwizację przeprowadzonych ankiet wraz z ich wynikami.

Możliwe zastosowania narzędzia SEVAQ+

Narzędzie SEVAQ+ może być szeroko wykorzystywane, zarówno przez decydentów, jak i nauczycieli, trenerów, pracowników działów szkoleń czy osoby zaangażowane w procesy szkoleniowe w organizacjach.

Tabela 1. Możliwe zastosowania narzędzia SEVAQ+

Grupa użytkowników	Możliwe zastosowania
Decydenci	Analizy porównawcze Śledzenie zmian jakościowych
Nauczyciele, trenerzy	Projektowanie ankiet dla uczestników prowadzonych przez nich kursów
Pracownicy działów szkoleniowych	Analiza procesów szkoleniowych
Uczestnicy szkoleń	Przedstawienie swojej opinii
Zaangażowani w procesy szkoleniowe w organizacjach	Analiza słabych i mocnych stron Możliwość otrzymania kompleksowej oceny kursów szkoleń.

Źródło: opracowanie własne
W roku akademickim 2010/2011 na Uniwersytecie Marii Curie-Skłodowskiej w Lublinie narzędzie SEVAQ+ zostało testowo wykorzystane do oceny szkolenia z przysposobienia bibliotecznego¹⁷, które jest prowadzone całościowo w formule online (począwszy od organizacji szkolenia, poprzez prezentację treści, kończąc na teście zaliczeniowym). Wyniki przeprowadzonej ankiety zostały uwzględnione przy organizacji kolejnej edycji szkolenia.

W szkoleniu wzięło udział ponad 5000 studentów pierwszego roku, z czego ok. 4000 wypełniło ankietę ewaluacyjną opracowaną przy użyciu narzędzia SEVAQ+. Przy tak dużej liczbie respondentów niewątpliwą zaletą tego narzędzia okazała się możliwość otrzymywania bieżących informacji na temat liczby wypełnionych ankiet. Za niezwykle cenną funkcję można uznać także automatyczne przeliczanie odpowiedzi, które umożliwiło szybką analizę i wizualizację wyników, co w prosty sposób przekuło się na rekomendacje. Oczywiście w przypadku komentarzy (pytań otwartych), które niekiedy się pojawiają, zawsze konieczne jest dokonanie ich analizy przez autora ankiet, ale wszystkie pozostałe wyniki ilościowe są dostępne natychmiast.

Z założeń projektu wynika, że dostęp do narzędzia SEVAQ+ dla indywidualnych użytkowników będzie nieodpłatny. Trwają prace nad przygotowaniem zasad korzystania z narzędzia przez organizacje, przedsiębiorstwa i firmy szkoleniowe. W jednym ze scenariuszy użycia pojawia się propozycja pewnej odpłatności - uzależnionej od zakresu wykorzystania narzędzia.

Podsumowanie

W artykule przedstawiono narzędzie do ewaluacji kursów zdalnych, które zostało opracowane w ramach współpracy międzynarodowej przy projekcie SEVAQ+. W momencie gdy e-learning staje się standardem i jest coraz mocniej umocowany w prawie, potrzeba efektywnej ewaluacji kursów, szkoleń czy przedmiotów prowadzonych w tej formie będzie coraz większa. Zastosowana metodologia ewaluacji, a także prostota użycia narzędzia SEVAQ+, sprawiają, że może się ono okazać bardzo pomocne w procesie dbania o jakość kursów e-learningowych.

Bibliografia

• A. Grabowska, Ocena jakości e-kursów realizowanych w ramach projektu KNOW, „e-mentor” 2007, nr 2 (19).
• D. Morrison, E-learning Strategies. How to get implementation and delivery right first time, Wiley, 2003.
• M. Hyla, Przewodnik po e-learningu, Wolters Kluwer, Kraków 2009.
• M. Zając, E-learning dla zaawansowanych, czyli o potrzebie oceny jakości kształcenia online, [w:] M. Dąbrowski, M. Zając (red.), E-learning w kształceniu akademickim, Fundacja Promocji i Akredytacji Kierunków Ekonomicznych, Warszawa 2005.

Netografia

• G. Wieczorkowska, Wady i zalety edukacji internetowej. Model dydaktyczny COME, http://www.come.uw.edu.pl/_pliki/zalety_wady_eduk_int.pdf.
• J. Pawlikowski, Polskie uczelnie wobec wyzwań procesu bolońskiego, http://www.uj.edu.pl/documents/10172/22085/V.26_JPawlikowski.pdf.
• Kwestionariusz weryfikacji kursów zdalnego nauczania, http://www.puw.pl/downloads/docs/3_standardy_ewaluacja/1_ecc/kwestionariusz_ecc_wyniki.pdf.
M. Dąbrowski, Analiza pomiaru efektywności kosztowej procesów e-learningowych, http://www.e-mentor.edu.pl/artykul/index/numer/27/id/591.
• Stowarzyszenie E-learningu Akademickiego, http://www.sea.edu.pl/.
• Projekt E-xcellence NEXT, http://www.eadtu.eu/e-xcellencenext.html.
• Europejskie Stowarzyszenie Uniwersytetów Kształcących na Odległość, http://www.eadtu.eu/.
• Projekt SEVAQ+, http://www.sevaq.eu/.
• Ocena jakości kursów online. Kryteria Stowarzyszenia E-learningu Akademickiego, http://www.sea.edu.pl/docs/media/w_zielinski_ocena_jakosci_kursow_online.pdf.