Wprowadzenie

Kształcenie - obok prowadzenia badań naukowych i pełnienia funkcji wychowawczej - jest głównym komponentem misji każdej uczelni, każdej szkoły wyższej. Stanowi wartość o znaczeniu autotelicznym, ale i zarazem instrumentalnym. Uczelnia wyższa - uniwersytet - ma dążyć do poszukiwania i głoszenia prawdy, sprzyjać uczciwej, nieskrępowanej i poważnej dyskusji nad zasadniczymi problemami współczesnego świata i służyć formowaniu dojrzałej osobowości młodego człowieka. Niniejsze opracowanie stanowi spojrzenie na zagadnienia jakości kształcenia na Uniwersytecie Ekonomicznym w Krakowie (UEK) właśnie w tej perspektywie - organicznych funkcji uczelni i roli dydaktyki w jej funkcjonowaniu. We wspomniane wyżej zadania szkoły wyższej wpisuje się trafnie misja Uniwersytetu Ekonomicznego w Krakowie - Rerum cognoscere causas et valorem¹. Jej znaczenia uczelnia upatruje nie tylko w odniesieniu do sfery badań naukowych służących poszukiwaniu prawdy w życiu gospodarczym, w funkcjonowaniu systemów ekonomicznych, lecz także w upowszechnianiu tej prawdy: naszym głównym zadaniem jest bowiem dawać uniwersalne wykształcenie, łączyć wiedzę zawodową z wiedzą ogólną o charakterze metodologicznym i teoretycznym².

Zasadniczą płaszczyzną udostępniania takiej wszechstronnej wiedzy jest dydaktyka. Student w toku studiów jest odbiorcą naszych usług edukacyjnych. W procesie dydaktyki uniwersytet przekazuje mu szeroką, interdyscyplinarną wiedzę, pozwalającą - w oparciu o podejście holistyczne - znajdywać wciąż nowe, twórcze rozwiązania przyszłych problemów społecznych i gospodarczych. Stwarza warunki, w których absolwenci mogą tworzyć atrakcyjne strategie rozwoju swoich przedsiębiorstw, instytucji i organizacji, a także projektować skuteczne sposoby realizacji tych strategii w obliczu pogłębiających się i mających coraz szerszy zasięg procesów internacjonalizacji i globalizacji. Na to, jak skutecznie to czynią i będą czynić, ma w dużej mierze wpływ jakość procesu kształcenia.

Obok zasadniczego, autotelicznego wymiaru poziom dydaktyki - a więc jakość kształcenia - posiada wymiar instrumentalny. W Polsce w wyniku procesów transformacji edukacja, także na poziomie szkoły wyższej, stała się „produktem” - podlegając mechanizmowi gry rynkowej i stając się przedmiotem transakcji sprzedaży. Po roku 1990 zaczął się rozwijać dynamicznie i niezwykle żywiołowo rynek usług edukacyjnych. Na skutek określonych rozwiązań legislacyjnych struktura podmiotowa szkół wyższych uległa zasadniczej zmianie. W takich warunkach jakość kształcenia stała się istotnym elementem funkcjonowania szkół wyższych, dobrem na swój sposób skomercjalizowanym, płaszczyzną rywalizacji poszczególnych instytucji sektora, w tym narzędziem konkurowania o studenta w nowej roli - klienta, nabywcy usługi edukacyjnej.

Formalne rozwiązania i wymagania w zakresie jakości kształcenia w szkole wyższej

Kwestie zasygnalizowane tytułem niniejszego podrozdziału są powszechnie znane - dlatego ich opis zostanie ograniczony do najważniejszej konstatacji. W wymiarze formalnym zagadnienia jakości kształcenia są elementem ustawy z dnia 27 lipca 2005 r. Prawo o szkolnictwie wyższym, podlegają opiniom i decyzjom Rady Głównej Szkolnictwa Wyższego oraz Państwowej Komisji Akredytacyjnej. W myśl obowiązujących regulacji prawnych jakość kształcenia odnosi się w zasadzie do oceny stopnia zgodności treści nauczania z obowiązującymi standardami, zawartymi w stosownym rozporządzeniu ministra (z dnia 12 lipca 2007 roku). Szczegółowe zagadnienia zawarte w formularzu PKA obejmują ocenę:

• stosowanej polityki i procedur w zakresie zapewniania jakości studiowania,
• procedur okresowej ewaluacji i przeglądu planów oraz programów nauczania, a także efektów ich realizacji,
• procedur oceniania studentów (stosowanych form i kryteriów weryfikacji wiedzy oraz oceny wyników kształcenia),
• procedur zapewnienia poziomu kadry nauczającej,
• stosowanego na uczelni systemu informacyjnego, umożliwiającego gromadzenie, analizowanie i wykorzystywanie opinii studentów, m.in. na temat jakości kształcenia, możliwości zatrudnienia,
• sposobu publikowania informacji m.in. na temat ofert kształcenia, posiadanych uprawnień, toku studiów, „planowanych efektów kształcenia”.

Koncepcja systemu oceny jakości kształcenia na Uniwersytecie Ekonomicznym w Krakowie

Uczelnia w całości przyjmuje formalne rozwiązania, konstytuujące zewnętrzny system zapewnienia jakości w szkolnictwie wyższym w Polsce. Podejście formalne, określające zewnętrzny system zapewnienia jakości kształcenia, nie jest jednak wystarczające. W odniesieniu do jakości procesu dydaktycznego na UEK przyjęto, iż jakość kształcenia określana jest poprzez stopień, w jakim proces dydaktyczny spełnia stawiane przed nim wymagania i oczekiwania, z uwzględnieniem celów i uwarunkowań tego procesu, w tym przewidywanej sylwetki absolwenta - wiedzy, postaw i umiejętności, a także treści kształcenia zawartych w standardach nauczania i wyzwań wynikających z krajowych ram kwalifikacji. Elementy te - cele, wymagania i oczekiwania - odnoszą się zarówno do kwestii merytorycznych, jak i innych elementów dydaktyki szkoły wyższej: jakości przekazu wiedzy, komunikacji społecznej i całokształtu relacji interpersonalnych pomiędzy nauczycielem a studentem. W konsekwencji wewnętrzny system na UE w Krakowie obejmuje zespół zasad, elementów i procedur zmierzających do zapewnienia należytej jakości nauczania, jego ciągłej, systematycznej ewaluacji opartej na zobiektywizowanych zasadach i kryteriach oraz do formułowania kierunków i sposobów poprawy oraz doskonalenia. Nasz system uwzględnia dwa wymiary jakości procesu kształcenia: wymiar szerszy oraz węższy.

System zapewniania jakości kształcenia w wymiarze szerszym obejmuje kompleks zagadnień, które warunkują - zarówno bezpośrednio, jak i pośrednio - jakość usług edukacyjnych. Są to uwarunkowania o charakterze:

• technicznym - odnoszące się do materialnych warunków świadczenia usług dydaktycznych (np. sale, wyposażenie w sprzęt audiowizualny, estetyka),
• organizacyjnym (rozkład zajęć w czasie semestru, przerwy, „optymalizacja” harmonogramu, kwestie kumulacji zajęć na studiach niestacjonarnych),
• osobowym (sposób realizacji obowiązków zawodowych przez inne niż pracownicy dydaktyczni grupy pracownicze - pracowników obsługi, dziekanatów, biblioteki).

Obejmuje zatem te wszystkie komponenty, które składają się na koncepcję działań marketingowych instytucji o charakterze usługowym (formuła 5 P).

Ten obszar troski o jakość usług edukacyjnych w zakresie kształcenia studentów na wysokim poziomie wpisuje się ściślej w programy strategiczne i operacyjne uczelni i jej poszczególnych podsystemów organizacyjnych (wydziałów i innych jednostek).

System jakości kształcenia w wymiarze węższym obejmuje zagadnienia bezpośrednio związane z procesem dydaktycznym. W takim ujęciu stanowi trzon wewnętrznego systemu zapewnienia jakości kształcenia Uniwersytetu Ekonomicznego w Krakowie.

Organizacyjnym wyrazem działań uczelni w zakresie tworzenia wewnętrznego systemu zapewnienia jakości kształcenia jest utworzenie na mocy decyzji rektora w październiku 2008 r. Biura Pełnomocnika Rektora ds. Jakości Kształcenia. Podstawowe funkcje Biura wyrażają się w programowaniu i realizacji zadań związanych z zapewnieniem i doskonaleniem jakości procesu dydaktycznego realizowanego na uczelni.

Wewnętrzny system zapewnienia jakości kształcenia na UE w Krakowie obejmuje trzy podstawowe i wzajemnie powiązane obszary problemowe:

1. kształtowanie planów i programów studiów,
2. ewaluację procesu dydaktycznego,
3. ocenę rezultatów i sposób ich wykorzystania (rys. 1).

Każdy z nich w sposób istotny wpływa na jakość dydaktyki. Przedmiotem szerszej refleksji w niniejszym opracowaniu są zagadnienia dotyczące systemu oceny (ewaluacji) zajęć dydaktycznych. W tym obszarze system zapewnienia jakości kształcenia w UEK obejmuje następujące zagadnienia:

• cele systemu jakości kształcenia,
• zasady ewaluacji jakości kształcenia,
• kryteria oceny zajęć dydaktycznych,
• formy oceny i organizację systemu ewaluacji.

Rysunek 1. System jakości kształcenia na UE w Krakowie (ujęcie węższe)

Źródło: opracowanie własne
Każdy z tych elementów i oczywiście cała koncepcja wewnętrznego systemu zapewnienia jakości kształcenia były przedmiotem dyskusji i szerokich konsultacji - zarówno z pracownikami i nauczycielami akademickimi, jak też ze studentami i ich instytucjonalną reprezentacją, jaką stanowi Parlament Studencki.

Cele systemu jakości kształcenia na UEK
Wobec systemu jakości kształcenia na uczelni wyższej można sformułować rozległą, złożoną wiązkę celów i zadań. Na Uniwersytecie Ekonomicznym w Krakowie przybrały one następującą postać i strukturę:

• realizacja misji Uczelni w wymiarze dydaktyki - dydaktyka uczelni jako szkoły wyższej ma priorytetowe znaczenie dla jej funkcjonowania, misja uczelni jest silnie powiązana z jakością procesu dydaktycznego, na tym polu uczelnia kształtuje swoją wyraźną tożsamość i ugruntowuje znaczące miejsce w środowisku;
• stworzenie instytucjonalnych warunków ewaluacji procesu kształcenia, opartej o jednoznaczne kryteria i procedury oceny;
• zapewnienie każdemu pracownikowi informacji o odbiorze ze strony studentów sposobu realizowania przez niego zajęć dydaktycznych, a tym samym stworzenie przesłanek do poprawy ich jakości;
• stworzenie kadrze kierowniczej uczelni - kierownikom katedr, dziekanom i władzom rektorskim - przesłanek do oceny pracowników naukowo-dydaktycznych i dydaktycznych;
• powiązanie wyników ewaluacji zajęć z polityką kadrową uczelni i systemem kompleksowej, okresowej oceny nauczyciela akademickiego, wynikającej z prawa o szkolnictwie wyższym i stosownych uchwał Senatu;
• powiązanie wyników ewaluacji z systemem dorocznych nagród rektora za osiągnięcia w zakresie dydaktyki;
• stworzenie warunków dla promowania postaw profesjonalizmu w dydaktyce;
• włączenie studentów do procesu wyrażania ocen i opinii w obszarze dydaktyki z poszanowaniem zasad uczciwości i obiektywizmu;
• realizacja obowiązków formalnych, nałożonych na uczelnię przez ustawę Prawo o szkolnictwie wyższym i deklarację bolońską;
• stworzenie warunków do uzyskania przez wszystkie wydziały podwójnej akredytacji, umożliwiającej starania uczelni o akredytację w oparciu o standardy oceny szkół wyższych w ramach Europejskiego Obszaru Szkolnictwa Wyższego.

Zasady ewaluacji jakości kształcenia
Jakość dydaktyki ma podstawowe znaczenie dla realizacji misji i formowania wizerunku uczelni, stanowi podstawowy składnik kluczowych kompetencji i płaszczyznę kreowania pozycji konkurencyjnej uczelni na rynku usług edukacyjnych w regionie i w Polsce. Jest także istotnym elementem systemu międzynarodowej wymiany studentów.

Jakość kształcenia jest zasadniczym elementem jakości usług edukacyjnych świadczonych przez uczelnię. Stanowi główny element większej całości - całości funkcjonowania uczelni, wszystkich jej podsystemów organizacyjnych. Oznacza to, iż wszyscy pracownicy i wszystkie grupy zawodowe biorą udział - aczkolwiek w zróżnicowanym stopniu i zakresie - w kształtowaniu jakości usług edukacyjnych i współuczestniczą w realizacji dydaktycznej części misji uczelni.

Na Uniwersytecie Ekonomicznym w Krakowie można wyróżnić następujące zasady ewaluacji jakości kształcenia:

1. Zasada profesjonalizmu dydaktyki i realizacji procesu kształcenia - odnosi się nie tylko do umiejętności wykonania określonych czynności zawodowych, lecz także do umiejętności takiego prowadzenia zajęć dydaktycznych, które wskazuje na swoiste „powołanie”, nieustanną troskę o metodykę dydaktyki, z przestrzeganiem zasad szczególnej, osobistej odpowiedzialności moralnej i etycznej za kształcenie studenta. Profesjonalizm kształcenia jest elementem kultury organizacyjnej uczelni.
2. Zasada legalizmu - wszystkie rozwiązania formalne w zakresie ewaluacji zajęć dydaktycznych są zgodne z obowiązującym prawem w zakresie szkolnictwa wyższego, zasadami akredytacji, rozwiązaniami i prawem wewnętrznym uczelni.
3. Zasada partnerstwa - partnerstwo w procesie dydaktycznym precyzyjnie identyfikuje strukturę wzajemnych korzyści, „dobra wspólnego”, i przynosi rzeczywistą wartość każdemu z uczestników procesu dydaktyki: nauczycielom umożliwia uzyskanie informacji zwrotnej o odbiorze ich pracy i daje zobiektywizowaną przesłankę do oceny przez przełożonego (przełożonych), natomiast studentom zapewnia istotne wzbogacenie procesu kształcenia, rozszerzając obszar ich wpływu na kształtowanie ocen i sądów, a także włączając ich w budowanie podstaw funkcjonowania uczelni. Zasada opiera się na uczciwości obu stron - precyzyjnych wymaganiach dydaktycznych, jasnym, klarownym i stabilnym systemie oceniania studentów przez nauczycieli oraz rzetelnej, sprawiedliwej, pozbawionej elementów obrazy i złośliwości ocenie nauczycieli przez studentów.
4. Zasada ewaluacji dydaktyki - oznacza, iż przedmiotem oceny jest jakość zajęć dydaktycznych, a nie osoba nauczyciela. Wewnętrzny system zapewnienia jakości kształcenia uczelni odchodzi od „studenckiej opinii o nauczycielu akademickim”, a wprowadza ocenę jakości zajęć dydaktycznych - wykładu, ćwiczeń czy lektoratu.
5. Zasada powszechności ewaluacji dydaktyki - oznacza ona, iż przedmiotem oceny są wszystkie zajęcia dydaktyczne realizowane na każdym stopniu kształcenia (stopień I, II i III) i w każdej formie (studia stacjonarne i niestacjonarne w Krakowie i wszystkich ośrodkach zamiejscowych) przez wszystkie jednostki organizacyjne uczelni i przez wszystkich pracowników.
6. Zasada ciągłości ewaluacji procesu kształcenia - system oceny jakości kształcenia jest trwałym elementem funkcjonowania uczelni. Oznacza to, iż ewaluacja zajęć jest procesem ciągłym, a nie jednorazową akcją. Wewnętrzny system zapewnienia jakości kształcenia na UE w Krakowie stanowi, że zajęcia prowadzone przez każdego pracownika są przedmiotem przynajmniej jednokrotnej oceny w każdym roku akademickim.

Kryteria oceny zajęć dydaktycznych
Kryteria oceny są istotnym elementem wewnętrznego systemu zapewnienia jakości kształcenia na UE w Krakowie. Powinny one umożliwiać sformułowanie zobiektywizowanej i skwantyfikowanej oceny procesu dydaktycznego na uczelni. W systemie ewaluacji dydaktyki jest to zasadniczy czynnik decydujący o ostatecznej realizacji celów stawianych przed systemem. Na etapie projektowania zapoznano się z systemami ocen wszystkich uczelni ekonomicznych w Polsce, największych uniwersytetów i uczelni technicznych, a także wykorzystano doświadczenia i rozwiązania organizacyjne kilku uczelni zagranicznych. W dużym stopniu wykorzystano kryteria, w oparciu o które UE w Krakowie w roku akademickim 1991/1992 - jako pierwsza uczelnia krakowska - rozpoczął studenckie badanie zajęć dydaktycznych. W wewnętrznym systemie zapewnienia jakości kształcenia na UEK przyjęto następujące obszary (wymiary) oceny zajęć dydaktycznych:

1. formalna organizacja zajęć (regularność, zgodność z planem i harmonogramem, punktualność),
2. przygotowanie prowadzącego do zajęć,
3. jednoznaczność, precyzja formułowania wymagań merytorycznych i formalnych wobec studenta,
4. jakość informacji o przedmiocie, treści, warunkach zaliczenia, aktualność, dostępność syllabusa,
5. precyzja wypowiedzi, jasność i klarowność wywodu, ścisłość argumentacji (w odniesieniu do lektorów także zakres stosowania języka obcego w czasie zajęć),
6. charakter przykładów, wyjaśnień, praktyczna egzemplifikacja problemów (tam, gdzie jest to możliwe),
7. stosunek do studentów (taktowność, życzliwość) w trakcie prowadzenia zajęć,
8. dostępność dla studentów w czasie konsultacji i sposób komunikowania się ze studentami,
9. forma i sposób wykorzystania nowoczesnych pomocy dydaktycznych oraz aktywnych metod nauczania,
10. sposób i obiektywizm oceniania studentów (nie dotyczy wykładów),
11. ogólna ocena zajęć dydaktycznych.

Powyższe obszary stanowią dwie zasadnicze miary ewaluacji - pierwszą jest zestaw 10 konkretnych, szczegółowych kryteriów formalnych, merytorycznych, organizacyjnych i interpersonalnych, a drugą - kryterium całościowe, syntetyczne, wyrażające „ogólną ocenę zajęć dydaktycznych”. Takie rozwiązanie, mimo pewnych wątpliwości, przyjęto jednak - z głębszym uzasadnieniem odnoszącym się do celów systemu oceny jakości kształcenia, traktując je jako swoisty „eksperyment”, który można wyrazić pytaniem o relacje pomiędzy oceną dydaktyki na podstawie zestawu 10 (lub innej liczby - w zależności od uczelni) kryteriów i na podstawie jednego kryterium ogólnego. Odpowiedź na to pytanie zostanie sformułowana w końcowym fragmencie niniejszego opracowania.

Forma oceny i organizacja systemu ewaluacji
Wewnętrzny system zapewnienia jakości kształcenia na UEK jest oparty na wykorzystaniu dwóch form oceny: ankiety w formie tradycyjnej i ankiety elektronicznej. Doświadczenia wielu uczelni, ujawniające zarówno zalety, jak i ograniczenia każdej z powyższych form - zastąpienie ankiet tradycyjnych przez ankietę online i powrót po kilku semestrach do formy pierwotnej - zdają się odzwierciedlać skalę i charakter problemów technicznych, formalnych i organizacyjnych, jakie pojawiają się podczas tworzenia sprawnego systemu ewaluacji zajęć dydaktycznych, zapewniającego uczciwość oceny. Ramowe zasady oceny zajęć dydaktycznych na Uniwersytecie Ekonomicznym w Krakowie określił Senat Uczelni w formie uchwały.

Sposób wykorzystania wyników ewaluacji
Wyniki ewaluacji UEK wykorzystał, uwzględniając jej cele i zasady. Rezultaty funkcjonowania procedur zapewniania jakości kształcenia przez uczelnię i zarazem oceniania jakości dydaktyki przez studentów znajdują swoje implikacje w funkcjonowaniu uczelni zarówno wewnątrz, jak i na zewnątrz, w środowisku. Za podstawowe obszary i sposoby oddziaływania wewnętrznego systemu zapewnienia jakości kształcenia na Uniwersytecie Ekonomicznym w Krakowie uznano:

• kształtowanie wyraźnej tożsamości Uczelni, opartej na profesjonalnej dydaktyce, łączącej wysokie wymagania z przyjaznym, partnerskim podejściem do studentów
• stworzenie podstaw do formowania właściwego wizerunku Uczelni jako uniwersytetu o dobrej reputacji, opartej na prowadzonych badaniach i wysokiej jakości kształcenia,
• wykorzystanie systemu jakości kształcenia w realizowanych kampaniach promocyjnych skierowanych do przyszłych studentów - argumentami o jakości kształcenia, opartymi o ciągłe badania dydaktyki Uczelnia chce przyciągnąć na studia młodzież zdolną, chcącą rzeczywiście się uczyć i akceptującą wysokie wymagania dydaktyczne,
• oddziaływanie na pracodawców i instytucje rynku pracy, media i pozostałych interesariuszy Uczelni - wpływ wewnętrznego systemu zapewnienia jakości kształcenia na reputację Uniwersytetu Ekonomicznego w Krakowie jest wyraźny i oczywisty, przynosi korzyści uczelni oraz jej absolwentom, poprawia ich sytuację na rynku pracy i ścieżkach kariery zawodowej,
• politykę kadrową - opartą na jej silnych i bezpośrednich powiązaniach (sprzężenie) z wynikami oceny zajęć dydaktycznych; wyniki oceny stanowią przesłankę wniosku o nagrodę rektora w zakresie dydaktyki, formułowanego przez kierownika katedry przy poparciu dziekana wydziału,
• wyniki badań ankietowych zajęć dydaktycznych mają charakter niejawny, co oznacza, iż oceny są udostępniane tylko pracownikowi, jego bezpośrednim przełożonym (kierownikom zakładów i katedr), dziekanowi właściwego wydziału oraz rektorowi; dostęp do tych informacji posiadają także komisja senacka oraz wydziałowe komisje ds. ocen nauczycieli akademickich, dokonujące okresowych ocen pracowników (nauczycieli akademickich), wynikających z ustawy i statutu uczelni.

Funkcjonowanie systemu oceny zajęć dydaktycznych na UE w Krakowie - doświadczenia z roku akademickiego 2009/2010

Znane powiedzenie z zakresu zarządzania i organizatoryki głosi, iż sztuką nie jest opracowanie najbardziej atrakcyjnej i oryginalnej koncepcji czy strategii, lecz wcielenie jej w życie. Rzeczywiście wdrożenie pomysłu stanowi jeden z najtrudniejszych etapów zmian organizacyjnych. Na UEK ewaluację dydaktyki w oparciu o przedstawione wyżej założenia rozpoczęto w maju 2009 roku. Podstawą oceny była tradycyjna ankieta. Cechą systemu było zaangażowanie wszystkich nauczycieli akademickich w proces oceny ich zajęć. Wynikało to z dwóch ważnych przesłanek. Po pierwsze, nauczyciel akademicki - zarówno profesor, jak i asystent - jest osobą najbardziej zainteresowaną uzyskaniem zwrotnej informacji o odbiorze przez studentów jego zajęć. Po drugie, takie rozwiązanie pozwala wyeliminować wpływ osób trzecich na proces oceny - a przecież dydaktyka, zarówno wykłady, jak i ćwiczenia, jest swoistym spotkaniem interpersonalnym dwóch stron: nauczyciela i studenta. Zgodnie z tymi przesłankami każdy z nauczycieli akademickich na swoich końcowych zajęciach w semestrze rozdał studentom arkusze ocen, które po wypełnieniu reprezentant grupy, w zaklejonej i zakodowanej kopercie, oddawał do Biura ds. Jakości Kształcenia. Badania ankietowe miały z założenia charakter powszechny. Powszechność ocen wyrażała się w ewaluacji zajęć na studiach trzech stopni (licencjat, studia magisterskie i studia doktoranckie), prowadzonych w obu trybach (stacjonarnym i niestacjonarnym), zarówno w Krakowie, jak i zamiejscowych ośrodkach dydaktycznych. Przedstawione poniżej ogólne liczby, oceny i wnioski stanowią syntetyczne podsumowanie oceny.

Pierwsze badania w roku 2009 dotyczyły zajęć prowadzonych przez 504 nauczycieli akademickich:

• 80 samodzielnych pracowników naukowych (profesorów i doktorów habilitowanych),
• 424 asystentów, adiunktów, wykładowców i starszych wykładowców.

Ewaluacją objęto 999 zajęć dydaktycznych z ogólnej liczby 4400 zajęć w semestrze letnim (tj. 22,7 procent). Jeśli chodzi o rodzaj zajęć - badania dotyczyły 307 wykładów i 28 wykładów do wyboru, 638 ćwiczeń, 26 konwersatoriów. 899 zajęć (90 proc.) odbyło się w Krakowie, a 100 w zamiejscowych ośrodkach dydaktycznych.

Przyjęte założenia wyznaczyły liczbę rozdanych ankiet: 41 600 (jeden wykład w przypadku samodzielnego pracownika nauki i dwa rodzaje zajęć dla pozostałej grupy). Otrzymano 22 026 wypełnionych kwestionariuszy, co oznacza, iż współczynnik zwrotu wyniósł 53 procent. Taki wskaźnik informuje o rzeczywistej frekwencji studentów na zajęciach.

Zgodnie z postanowieniami wspomnianej Uchwały Senatu UEK (12/2009 z 28 kwietnia 2009 r.) wyniki oceny, po zakończeniu semestru i sesji poprawkowej, w dniu 1 października 2009 r. zostały udostępnione: każdemu nauczycielowi akademickiemu, kierownikom katedr, dziekanom wydziałów oraz Rektorowi Uczelni - w tym przypadku było to opracowanie zbiorcze (105 stron tekstu i zestawień) - a także Senatowi (synteza), Parlamentowi Studenckiemu i całej społeczności uczelni za pośrednictwem platformy Moodle (w postaci syntetycznego zestawienia).

Prezentację metodyki i założeń organizacyjnych systemu zapewniania jakości kształcenia warto uzupełnić ogólną, syntetyczną informacją o wynikach ewaluacji, a więc o tym, jak studenci odbierają zajęcia. Wyniki badań można zaprezentować na dwóch płaszczyznach, o których wspomniano już wyżej. Pierwsza z nich uwzględnia wskaźnik K 1-10, będący średnią ocen wszystkich zajęć UEK według 10 kryteriów (obszarów). Wyniosła ona 4,36, a więc była wysoka. Płaszczyzna druga uwzględnia wskaźnik K-11 - „ogólną ocena zajęć dydaktycznych”. Tu średnia okazała się również dobra - wyniosła 4,34 (przy skali ocen od 1 - ocena niezadowalająca do 5 - ocena bardzo dobra). Takie wyniki świadczą o wysokiej wartości wskaźnika korelacji, na poziomie r = 0,96723 (PU=0,95), który przedstawiono na rysunku 2. Z pewną ostrożnością (wynikającą z dużej zależności i skorelowania zmiennych) można jednak potwierdzić tezę o istotnym znaczeniu kryterium ogólnej oceny dla realizacji tych celów i funkcji, jakie stawia się przed systemem zapewnienia jakości kształcenia w szkole wyższej.

Rysunek 2. Korelacja pomiędzy średnią K 1-10 a K-11 - w wymiarze całej uczelni r = 0,96723 (PU = 0,95)

Źródło: opracowanie własne
Kolejne doświadczenie wiąże się z drugim cyklem badań w styczniu 2009 roku. Uczelnia wprowadziła wówczas dualny system oceny zajęć dydaktycznych - zarówno w formie tradycyjnej ankiety (przy dotychczasowym systemie organizacji), jak i ankiety elektronicznej. Obie formy zostały wykorzystane równocześnie, a o takim rozwiązaniu zostali poinformowani zarówno nauczyciele, jak i studenci.

Ankietą tradycyjną zostały objęte 932 zajęcia dydaktyczne (na 4657 zajęć realizowanych w semestrze zimowym 2009/2010, tj. 20,4 procent). Liczba rozdanych kwestionariuszy wyniosła 50 906, a zwrot 23 893 (46,9 procent). Wskaźnik zwrotu na zajęciach profesorów wyniósł 34,5 proc., natomiast na zajęciach asystentów, adiunktów i wykładowców - 49,5 procent.

Syntetyczne wyniki ewaluacji w formie tradycyjnej ankiety oddają następujące liczby (w odniesieniu do całej Uczelni): średnia ocen na podstawie 10 kryteriów wyniosła 4,43, natomiast średnia „ogólnej oceny zajęć” ukształtowała się na poziomie 4,38 (a więc nieznacznie wyższym niż w pierwszym badaniu). Nie tyle sama ocena „nominalna” jest w tym przypadku ważna, ile porównanie wyników uzyskanych w oparciu o dwa istotnie różne systemy pozyskiwana opinii - ankietę tradycyjną i ankietę online. Ta ostatnia została udostępniona studentom w wirtualnym dziekanacie w okresie dwóch tygodni stycznia 2010 r., a więc bezpośrednio przed zakończeniem semestru i uzyskaniem oceny z ćwiczeń lub egzaminu. Poprzedzona była szeroką kampanią informacyjno-promocyjną, w oparciu o wszystkie dostępne na uczelni media. Wykorzystano także osobowe kanały komunikacji - nauczyciele na wykładach i ćwiczeniach zachęcali studentów do udziału w badaniu. Uzyskane wyniki są następujące:

• liczba ocenionych w formie online zajęć wyniosła 2979, co stanowiło 93,6 proc. zajęć realizowanych w styczniu 2010 r.
• liczba wejść studentów do wirtualnego dziekanatu: 3748,
• liczba wypełnionych ankiet online: 14 335,
• współczynnik (3)/(2): 4,98,
• ocena zajęć w oparciu o 10 kryteriów oceny (K 1-10): 4,32, kryterium oceny całościowej (K-11): 4,21.

Porównanie obu systemów oceny - tradycyjnego i online - umożliwia sformułowanie kilku zasadniczych wniosków:

• Aktywność studentów jest mniejsza w systemie w pełni fakultatywnym. O ile przeprowadzając badanie w formie tradycyjnej ankiety, uzyskano 23 893 wypełnionych kwestionariuszy, o tyle w formie online - zmuszającej jednak studenta pewnego wysiłku i poświęcenia czasu - 14 335 (60 proc. liczby ankiet tradycyjnych). Przy takim wyniku można postawić pytanie, czy „jedynie”, czy „aż” 14 335? Osobiście autor opracowania skłania się do interpretacji pozytywnej - to duży wskaźnik, zważywszy, iż ankieta tego typu była pierwszą w historii Uczelni, a poza tym jest bardziej absorbująca (przynajmniej może być tak odbierana przez studentów). Doświadczenia innych uczelni mogą być i są - z tego co autorowi opracowania wiadomo - zróżnicowane, wyniki UEK mogą zatem być pewną przesłanką do dyskusji i wymiany poglądów.
• Dla szerszej oceny wyników należy wykorzystać wskaźniki względne. Jednym z możliwych jest ten zaprezentowany powyższej, czyli relacja (3)/(2) - informująca o liczbie studentów oceniających dany rodzaj zajęć. Wskaźnik na poziomie 4,98 jest niewysoki - przeciętnie zaledwie 5 studentów sformułowało ocenę „swoich” zajęć, co uniemożliwia lub znacznie utrudnia wyciągnięcie szerszych, poprawnych metodycznie wniosków i opinii. Drugim wskaźnikiem względnym jest odniesienie liczby dokonanych wpisów do maksymalnej, potencjalnej liczby wpisów. Przyjmując z pewną ostrożnością, że mogłoby ich być 140-150 tys., można stwierdzić, iż w formie ankiety online otrzymano 10 proc. ocen możliwych do uzyskania.
• Oceny zajęć dydaktycznych sformułowane przez studentów online były nieco niższe niż w przeprowadzonej równocześnie ankiecie tradycyjnej. Dla zestawu kryteriów K 1-10 średnia wyniosła 97,5 proc. średniej oceny w ankiecie tradycyjnej, natomiast dla kryterium K-11 - 96,1 procent. Są to jednak różnice nieistotne. Nie potwierdzają zatem tezy, iż oceny online z założenia będą niższe, bowiem system zachęca do wyrażania opinii krytycznych i zniechęca lub przynajmniej nie stwarza wyraźnych przesłanek do formułowania ocen pozytywnych.

Podsumowanie

Zaprezentowane badania są częścią wewnętrznego systemu zapewnienia jakości kształcenia na Uniwersytecie Ekonomicznym w Krakowie. Choć uzyskanych wyników nie można szerszej uogólniać, pokazują one pewne pozytywne doświadczenia w wykorzystaniu technologii informacyjno-komunikacyjnej dla potrzeb systemu oceny jakości kształcenia. Ponieważ akcent pada w nich na zagadnienia podstawowe, metodykę i organizację systemu, mogą stanowić przyczynek do dalszej, szerszej dyskusji nad ewaluacją dydaktyki na uczelniach ekonomicznych.