Wprowadzenie

Celem projektu KNOW jest podniesienie kwalifikacji zawodowych osób objętych projektem, popularyzacja kształcenia przez całe życie i tworzenie społeczeństwa informacyjnego na Pomorzu. Kursy oferowane w ramach projektu zostały przygotowane przez ekspertów w ramach konsorcjum czterech uczelni Wybrzeża: Akademii Medycznej w Gdańsku, Akademii Morskiej w Gdyni, Politechniki Gdańskiej, Uniwersytetu Gdańskiego. Kursy skierowane są do osób zatrudnionych, pragnących podnieść kwalifikacje zawodowe (m.in. nauczyciele akademiccy, doktoranci, lekarze rodzinni, radiolodzy). Jedną z kluczowych faz projektu jest ocena jakości sześciu kursów pilotażowych. W opracowaniu przedstawiono najważniejsze wnioski zgromadzone podczas pierwszego etapu ewaluacji. W drugiej serii kursów pilotażowych zaproponowano zastąpienie tradycyjnych ankiet formą elektroniczną oraz udostępnienie statystycznych wyników osobom zainteresowanym m.in. potencjalnym uczestnikom. Artykuł zawiera opis procedury oceny e-kursów oraz wyniki ewaluacji zakończonego szkolenia drugiej edycji projektu KNOW "Studium dydaktyki akademickiej".

Projekt KNOW jest pierwszym tego rodzaju projektem aplikującym do funduszy strukturalnych przygotowanym przez Politechnikę Gdańską (Centrum Edukacji Niestacjonarnej, 1998-2004) we współpracy z przedstawicielami Akademii Medycznej w Gdańsku, Akademii Morskiej w Gdyni oraz Uniwersytetu Gdańskiego¹. Realizacja projektu jest komplementarna z Działaniem 1 w ramach Priorytetu 2 ZPORR (Zintegrowany Program Operacyjny Rozwoju Regionalnego - Wspieranie rozwoju kwalifikacji zawodowych). Celem projektu jest podniesienie kwalifikacji zawodowych osób objętych projektem, popularyzacja kształcenia przez całe życie oraz tworzenie społeczeństwa informacyjnego w regionie województwa pomorskiego. Grupą docelową realizowanego projektu, kwalifikowaną w priorytecie, są pracujące osoby dorosłe, samodzielnie zgłaszające chęć podwyższania i dostosowywania kwalifikacji zawodowych do potrzeb rynku pracy. Współpraca prowadzona z partnerami projektu zakłada rekrutowanie beneficjentów spośród reprezentantów współpracujących instytucji oraz innych osób z terenu województwa pomorskiego. Projekt pozwala osiągnąć nowe umiejętności zawodowe oraz zapoznać się z innowacyjną formą edukacji, jaką jest zdalne nauczanie, przez osoby pracujące - objęte programem pilotażowym. W przypadku osób pragnących podnieść swoje kwalifikacje zawodowe projekt przyczynia się do podniesienia poziomu samooceny oraz nabycia nowych umiejętności praktycznych, co doprowadzi do zwiększenia wiary we własne siły, podjęcia aktywności oraz wzrostu poziomu świadomości rozwoju kwalifikacji zawodowych. Osoby pracujące uzyskują kwalifikacje konieczne do dalszego rozwoju w danych profesjach. W ramach oferty kursów odpowiadających potrzebom lokalnego rynku pracy przedstawiciele PG, AMG, AM i UG zidentyfikowali tematy kursów podnoszących kwalifikacje zawodowe, które to są obligatoryjne lub bardzo wskazane dla konkretnych grup zawodowych. W ramach projektu KNOW opracowano następujące kursy pilotażowe: Kształcenie na odległość dla nauczycieli, Etyka organizacji, Diagnostyka radiologiczna, Leczenie bólu przewlekłego dla lekarzy rodzinnych, Studium dydaktyki akademickiej oraz Sieci komputerowe - zasady funkcjonowania i bezpieczeństwo. Wszystkie kursy proponowane przez uczelnie wzbogacone zostały o dodatkowy moduł Wirtualny poradnik kariery zawodowej. Współpraca pomiędzy partnerami odbywa się na podstawie zawartego porozumienia o partnerstwie w projekcie. Politechnika Gdańska jako wnioskodawca jest koordynatorem projektu. Za zawartość merytoryczną kursów odpowiedzialni są poszczególni partnerzy, zgodnie z zapisami zawartego porozumienia. Wstępnie zaplanowano 3 fazy realizacji projektu KNOW (Tabela 1). W trakcie realizacji projektu dokonano modyfikacji proponując drugą serię kursów pilotażowych. Dzięki takiej koncepcji niektóre uwagi ewaluatorów mogły zostać uwzględnione. Głównym ograniczeniem we wprowadzeniu poprawek okazały się ograniczone fundusze projektu i trudności związane ze zmianami w budżecie.

Tabela 1. Fazy realizacji projektu KNOW

Źródło: opracowanie własne

Etapy ewaluacji projektu KNOW

W projekcie KNOW bierze udział trzech ewaluatorów:

1. zewnętrzny ewaluator treści merytorycznych,
2. zewnętrzny ewaluator oceniający przebieg kursów pilotażowych,
3. wewnętrzny ewaluator oceniający przebieg kursów pilotażowych.

1. ocena treści merytorycznych szkoleń (ewaluator 1),
2. ilościowa i jakościowa ocena potrzeb uczestnika e-kursu - ankieta (ewaluator 2),
3. bieżąca ocena jakościowa e-kursów z udziałem prowadzących, uczestników - fora dyskusyjne, głosowania, czat, skype, obserwacja, rozmowy telefoniczne (ewaluator 2, ewaluator 3),
4. finalna ocena ilościowa i jakościowa e-kursów - ankiety i wywiady (ewaluator 2, ewaluator 3).

Ocena treści merytorycznych wymagała wypełnienia ankiety opracowanej przez koordynatora projektu. Warunkiem uruchomienia kursu pilotażowego było uzyskanie pozytywnej oceny materiałów edukacyjnych. Okazało się, że w projekcie nie zapewniono środków na znaczące zmiany i uzupełnienia zasobów edukacyjnych. Szczególnie problem ten dotyczył materiałów multimedialnych. Ostatecznie pięć z sześciu kursów otrzymało pozytywne oceny. Jeden - Kształcenie na odległość dla nauczycieli - wymagał i nadal wymaga dalszych poprawek. Pierwszy kurs pilotażowy został w tym wypadku uruchomiony warunkowo. Kurs ten ostatecznie otrzymał pozytywną ocenę uczestników i po uwzględnieniu zmian, które zgłosili uczestnicy oraz ewaluatorzy, miał również swoją drugą edycję.

Ankieta uczestnika szkolenia pozwala:

• ocenić wiedzę, umiejętności i doświadczenie uczestników w zakresie korzystania z platformy zdalnego nauczania oraz elektronicznych narzędzi komunikacji;
• ocenić wiedzę, umiejętności oraz doświadczenie uczestników w zakresie tematyki kursu;
• określić oczekiwania uczestników co do kursu, w zakresie: poszerzenia, pogłębienia wiedzy, rozwoju umiejętności praktycznych, możliwości przedstawienia i omawiania własnych problemów, jakie mogą wiązać się z tematyką kursu, kontaktów/wymiany informacji z innymi uczestnikami;
• ustalić, dlaczego uczestnik wybrał ten właśnie kurs. W jakiej mierze program kursu miałby być mu użyteczny (pomocny) w pracy zawodowej i (lub) dla rozwoju osobistego.

Z doświadczeń projektu KNOW wynika, że walory ankiety uczestnika nie są wykorzystywane w pełni przez organizatorów i prowadzących podczas trwania szkoleń pilotażowych. Jedną z przyczyn jest fakt, że dostęp do wyników tych ankiet ma jedynie ewaluator zewnętrzny. Zdaniem autorki, ankiety te powinny być wypełnione przez uczestników przed rozpoczęciem kursów, w chwili obecnej zaś uczestnicy wypełniają je na pierwszym stacjonarnym spotkaniu. Wnioski wynikające z tych ankiet mogłyby mieć pozytywny wpływ na rekrutację uczestników kursów pilotażowych. Rezygnacja ze szkolenia często jest spowodowana rozbieżnością oczekiwań w stosunku do zaproponowanych treści i narzędzi e-kursów. W przypadku projektów finansowanych z funduszy strukturalnych ważne są tzw. wskaźniki m.in. liczba uczestników, którzy zakończyli szkolenie z wynikiem pozytywnym. Staranny dobór osób uczestniczących w szkoleniach pilotażowych ma ogromne znaczenie z punktu widzenia prawidłowego rozliczenia projektu, a bezpłatny udział w szkoleniu nie jest w tym przypadku czynnikiem mobilizującym.

Kolejny etap to ocena bieżąca e-kursów z udziałem kierowników szkoleń, prowadzących oraz uczestników. W trakcie prowadzenia kursu należy sprawdzać:

• Jakie problemy napotykają uczestnicy w trakcie uczestnictwa w kursie?
• Jakie uwagi i sugestie mają uczestnicy co do przebiegu i formy prowadzenia oraz tematyki kursu?

Aby ten mechanizm oceny szkoleń działał prawidłowo, wymagana jest dobra współpraca kierowników/prowadzących z osobą odpowiedzialną za ocenę e-kursów. Na tym etapie zaproponowano uczestnikom szkoleń kilka form zgłaszania uwag: forum, e-mail, czat, skype, rozmowa telefoniczna².

Czwarty etap ewaluacji to ankietowanie i wywiady z uczestnikami kursów pilotażowych podczas ostatniego stacjonarnego spotkania.

Po pierwszych kursach pilotażowych kierownicy szkoleń otrzymali od ewaluatora zewnętrznego szczegółowe opracowanie ankiet końcowych w formie pisemnej. Przed uruchomieniem drugiej fazy szkoleń pilotażowych kierownicy szkoleń byli zobowiązani wprowadzić sugerowane zmiany i usprawnienia, biorąc jednakże pod uwagę ograniczenia wynikające z możliwości budżetowych projektu.

Ewaluator wewnętrzny wyniki oceny pierwszej edycji szkoleń pilotażowych zamieścił w systemie do ewaluacji wewnętrznej. Poniżej zamieszczono rekomendacje dla drugiej edycji kursów pilotażowych:

• Konieczne jest zamieszczenie w widocznym miejscu kontaktu do administratora platformy (e-mail, telefon), kierownika kursu (e-mail);
• Harmonogram kursu powinien być szczegółowy i opracowany w formie dokumentu pdf;
• Zalecane jest zamieszczenie dokumentu Przywitanie uczestników, w którym zawarte będą cele szkolenia, metody kontroli wiedzy, zasady zaliczenia;
• Należy precyzyjnie ustalić zasady korzystania z Forum aktualności> (w celu eliminacji zbędnych postów);
• Konieczne jest wprowadzenie bieżącego monitorowania aktywności uczestników w celu ich aktywizacji;
• Przekazywanie ocen powinno odbywać się na bieżąco (umożliwiają to zadania, fora, testy itp.);
• Materiały szkoleniowe powinny być opatrzone datą i podpisane nazwiskiem autora;
• Należy stosować testy samosprawdzające;
• Należy rozważyć możliwość opracowania słowników pojęć np. z udziałem uczestników szkoleń;
• Rekomendowanym formatem materiałów edukacyjnych jest format pdf;
• Należy sukcesywnie dołączać materiały multimedialne;
• Należy udostępnić jedno odrębne Forum do dyskusji dla uczestników (kawiarenka).

Dodatkowo przygotowane zostało zestawienie liczby logów kierowników i e-nauczycieli poszczególnych kursów, aby określić pracochłonność obsługi szkoleń. Zestawienia te wykazały znaczące niedoszacowanie czasu pracy.

Doświadczenia ewaluacji pierwszej edycji kursów pilotażowych projektu KNOW potwierdziły potrzebę wdrożenia systemu ewaluacji online. System mógłby być wykorzystywany po zakończeniu projektu do oceny akademickich e-kursów. Interfejs prototypu takiego systemu oraz przykładowe wyniki użycia narzędzi, takich jak ankiety, fora, głosowania zaprezentowano w dalszej części artykułu.

Przypadek użycia - ewaluacja online kursu Studium dydaktyki akademickiej

Na rysunku 1 pokazano prototyp narzędzia do ewaluacji (faza 3 i 4).

Rysunek 1. System ewaluacji online kursu Studium dydaktyki akademickiej

Źródło: opracowanie własne

Ankieta ewaluacyjna online składa się z następujących sekcji:

1. Informacja o kursie (IK) - waga 1,
2. Ocena przydatności kursu (OPK) - waga 3,
3. Zawartość kursu (ZK) - waga 2,
4. Zadania (Z) - waga 2,
5. Nawigacja, projekt techniczny i ergonomiczny (NPTE) - waga 3,
6. Prowadzenie kursu (PK) - waga 2.

Przykładowe wyniki oceny szkolenia (wybrane pytania z sekcji 1 i 2) podano w Tabeli 2. Po raz pierwszy ankietę ewaluacyjną online udostępniono podczas ostatniego tradycyjnego spotkania połączonego z rozdaniem świadectw i dyplomów. Ankietę wypełniło wówczas 15 osób. Docelowo w ocenie e-kursów drugiej edycji zastosowany zostanie algorytm średniej ważonej wykorzystywany do ewaluacji szkoleń firmy Autodesk³.

Tabela 2. Wyniki ankiety online drugiej edycji e-kursu
Studium dydaktyki akademickiej (IK, OPK)

Źródło: opracowanie własne

Do oceny szkolenia wykorzystano również forum dyskusyjne Uwagi na gorąco. Poniżej przykładowe wypowiedzi uczestników kursu:

Temat: Zawartość merytoryczna

! XXX w dniu Sunday, 4 June 2006, 22:15 napisał(a)
Spróbuje krótko odnieść się do merytorycznej zawartości kursu. Uważam, iż spotkanie dotyczące kształcenia na odległość nie do końca spełniło moje oczekiwania. Z jednej strony rozumiem, że w ciągu 1,5 godzinnego spotkania nie sposób wejść jakoś głębiej w temat i to była próba ogólnego zaprezentowania możliwości platformy Moodle, jednak wydaje mi się, iż warto byłoby temat ten potraktować szerzej i może zobrazować pewnymi przykładami pokazującymi co można za pomocą tych narzędzi zrobić (ależ długie zdanie).

Temat: Uwagi techniczne

XXX w dniu Monday, 29 May 2006, 21:44 napisał(a)
To co było dla mnie kłopotliwe, to na pewno te dwie rzeczy, o których pisał już Wojtek, tj.

1. format do wydruku materiałów - wydruk bezpośrednio z Moodle'a był obszerny objętościowo więc sporo czasu straciłam na kopiowanie wszystkiego do Worda i formatowanie;
2. długość wykładów w materiałach do odsłuchania, co dodatkowo wpływało na trudność w znalezieniu poszczególnych wypowiedzi, jeśli chciało się je odsłuchać ponownie.

Generalnie jednak bardzo dobrze oceniam stronę techniczną Kursu: przejrzysty format, nieskomplikowane narzędzia (forum, ankieta, oceny), dobra dostępność materiałów, łatwa komunikacja z innymi.

Podsumowanie

Ocena jakości szkoleń e-learningowych jest obecnie tematem wielu projektów europejskich. Należy pamiętać, że może ona stanowić ważny element promocji. Doświadczenia projektu InnoUniLearning⁴ pokazały, że użytkownicy szkoleń e-learningowych niezbyt chętnie biorą udział w ewaluacji. Dobrym rozwiązaniem w ocenie jakości e-kursów jest głosowanie, szybkie i proste w obsłudze (rysunek 2). Z drugiej strony należy zwrócić szczególną uwagę na rolę oceny kursów pilotażowych, finansowanych ze środków unijnych. W tym wypadku autorka zaleca zastosowanie opisanej w artykule kompleksowej metody ewaluacji, która może się przyczynić do znaczącej poprawy ostatecznego produktu.

Rysunek 2. Wynik głosowania "Czy polecisz ten kurs znajomym?"

Źródło: opracowanie własne

Bibliografia

• A. Grabowska, K. Grzejszczak, A. Meissner A, Kształcenie na odległość możliwości finansowania projektów w ramach funduszy strukturalnych Unii Europejskiej, "e-mentor" 2005, nr 1 (8).
• A. Grabowska, Kształcenie na odległość dla nauczycieli - kurs finansowany z Europejskiego Funduszu Społecznego, [w:] J. Migdałek, M. Zając (red.), Informatyczne Przygotowanie Nauczycieli, Wyd. Rabid, Kraków 2006.

Netografia

• Continuous Education Oriented E-learning projects - monitoring, evaluating, auditing,
  http://blanka.moodle.pl/course/view.php?id=33
• Ewaluacja kursów Autodesk,
  http://atcevaluation.autodesk.com.
• Platforma do ewaluacji online,
  http://blanka.moodle.pl/course/view.php?id=32.
• Projekt KNOW - ewaluacja wewnętrzna
  http://cemet.eti.pg.gda.pl//course/view.php?id=45.
• The Fostering of Innovative eLearning Strategies in Higher Education,
  http://www.spi.pt/innounilearning.