Abstrakt

Dane zgromadzone w ogólnopolskim systemie monitorowania ekonomicznych losów absolwentów pozwalają na analizę przygotowania absolwentów do wymogów rynku pracy. Umożliwiają także uszeregowanie uczelni według opisanego w artykule kryterium wykorzystującego informacje o syntetycznych wskaźnikach zatrudnienia i zarobków. W niniejszym artykule przedstawiono analizy dotyczące absolwentów uczelni, które oferują jednolite magisterskie studia prawnicze. Wykazano także, że ranking utworzony na podstawie danych pochodzących z systemu monitorowania Ekonomicznych Losów Absolwentów (ELA) jest zbieżny z rankingiem publikowanym co roku przez „Perspektywy”.

Słowa kluczowe: kształcenie prawników, ekonomiczne losy absolwentów, bezrobocie, wynagrodzenia prawników, ranking kierunków prawnych

Wprowadzenie

Każdy ranking jest uporządkowaniem informacji o pewnych obiektach według jakiegoś kryterium lub zespołu kryteriów. Celem twórców rankingów instytucji edukacyjnych jest wskazanie instytucji najlepszej pod względem różnie rozumianej jakości. Najczęściej występującą, w sposób jawny formułowaną rolą rankingów, ale także ewaluacji i akredytacji instytucji edukacyjnych, jest stymulowanie procesów podnoszenia jakości procesów nauczania. W zasadniczym stopniu stanowi to rezultat powstania rynku edukacji wyższej (Sadlak i Liu, 2007). Coraz istotniejszą rolę odgrywa sposób postrzegania instytucji edukacji wyższej przez otoczenie. Zachodzące zmiany demograficzne oraz legislacyjne, zarówno te potencjalne, jak i wprowadzane w życie, powodują, że wizerunek instytucji, jej marka stają się kluczowe dla przetrwania i dalszego istnienia. Waga rankingów i ich popularność spowodowała nawet powstanie kodeksu dobrych praktyk w tym zakresie (Berlin Principles on Ranking of Higher Education Institutions, 2006). W konsekwencji kodeks ten stał się punktem odniesienia dla badań i analiz w poszczególnych krajach (m.in. Donetskaia, 2017, Karadağ i Belenkuyu, 2020).

Celem rankingów szkół wyższych jest wskazanie instytucji najlepszej w świetle przyjętych kryteriów. W większości przypadków ich twórcy poszukują zbioru czynników, które w pewien sposób połączone funkcją agregującą pozwolą na określenie kolejności analizowanych instytucji. Jeśli przyjąć, że uczelnia najlepsza to ta, która oferuje studia o najwyższej jakości, to można wskazać zbiór wielu czynników, które tę jakość opisują. Jakość studiów wynika na przykład ze składu, zaangażowania i kompetencji kadr akademickich, jakości i zakresu prowadzonych badań naukowych, kompletności, jakości, konstrukcji i sposobu realizacji programu studiów, infrastruktury uczelni, funkcjonowania systemu wspomagania w studiowaniu, a także funkcjonowania wewnętrznego systemu zapewniania jakości¹. Taki zbiór czynników kształtujących jakość edukacji jest wskazywany między innymi w Standards and Guidelines for Quality Assurance in the European Education Area (ESG, 2015). Warto tu wspomnieć, że w ESG pewną rolę odgrywają także opinie studentów, ale w tym zakresie formułowane są zastrzeżenia (Wiberg, 2015).

Jak wskazują analizy rankingów (m.in. Prolux, 2007; van Raan, 2007; Zitt i Filliatreau, 2007) wykorzystywanie jako mierników dla wybranych czynników wielu wskaźników (zmiennych indykatorów) związane jest z ich wysoką korelacją. Autorzy skupiający się na uwzględnieniu możliwie wielu wskaźników kształtujących jakość edukacji nie dostrzegają zatem potencjalnych problemów związanych z tą korelacją nazywaną w statystyce współliniowością².

Zmienne, które są miernikami dla czynników kształtujących jakość, tworzą zbiór zmiennych w modelowaniu miękkim (Rogowski, 1986) nazywanych indykatorami tworzącymi. Opisują one proces mający na celu zapewnienie jakości. Z drugiej strony istnieją jednak indykatory odbijające, charakteryzujące skutki jakości studiów. Są nimi na przykład dane prezentowane w ogólnopolskim systemie monitorowania Ekonomicznych Losów Absolwentów szkół wyższych (dalej: ELA, system ELA, https://ela.nauka.gov.pl/pl), takie jak: przeciętny czas poszukiwania pierwszej pracy, przeciętna liczba miesięcy, przez które absolwenci byli zarejestrowani jako bezrobotni, udział absolwentów, którzy doświadczyli bezrobocia, średnie miesięczne wynagrodzenia itd. Źródłem informacji w tym zakresie są dane ZUS. Można przyjąć, że takie dane są jednym ze sposobów zmierzenia dopasowania oferty dydaktycznej poszczególnych uczelni do potrzeb pracodawców, a wobec tego mierzą jakość studiów. Prezentowany w dalszej części opracowania ranking wykorzystuje dane o indykatorach odbijających.

Z matematycznego punktu widzenia rankingiem nazwać można porządkowanie obiektów w przypadku istnienia wielu różnorodnych zmiennych (cech) składających się na kryteria charakteryzujące zróżnicowane własności ocenianych (porównywanych) obiektów (Nykowski, 2001). W przypadku rankingów wielokryterialnych a także rankingów jednokryterialnych, ale z wieloma składnikami (zmiennymi składającymi się na opis kryterium) podstawowym problemem jest agregowanie zmiennych w celu uporządkowania badanych obiektów. Pojawia się zatem konieczność zdefiniowania syntetycznej miary pozwalającej na ich porządkowanie.

Celem opracowania jest stworzenie rankingu uczelni prowadzących jednolite studia magisterskie na kierunku prawo. Jest to kierunek o przyjętym kanonie programu studiów prowadzony jako jednolite studia magisterskie zarówno przez szkoły wyższe publiczne, jak i niepubliczne. Jednak wobec braku formalnego standardu dla efektów uczenia się pojawia się naturalne pytanie, które z uczelni oferują programy najlepiej oceniane przez rynek pracy. Dodatkowym celem jest sprawdzenie, czy dane dostępne w systemie ELA dają podstawy do wniosków niesprzecznych z ocenami jakości kształcenia dokonanymi przez Polską Komisję Akredytacyjną oraz z innymi rankingami.

Należy tu dodać, że istnieją także liczne mutacje tego kierunku: prowadzone zarówno jako studia I stopnia, niekonsekutywne studia II stopnia lub jako prawo z dodatkowymi określeniami (np. prawo urzędnicze, prawo w biznesie itp.). Mutacje te ze względu na ich nieporównywalność³ nie są przedmiotem analiz w niniejszym opracowaniu.

Źródło informacji

Dostępne w systemie ELA zbiory danych źródłowych obejmują⁴ informacje o ponad 500 wskaźnikach dla prawie 35 tysięcy grup absolwentów roczników 2014-2018. Wskaźniki dotyczą między innymi wynagrodzeń, czasu poszukiwania pracy, bezrobocia, samozatrudnienia, liczby jednoczesnych pracodawców. Dane dotyczą kolejnych pięciu lat, poczynając od roku po uzyskaniu dyplomu⁵. Dostępne są także dane charakteryzujące analizowane grupy absolwentów (poziom i tryb studiów, liczebność grupy, procent studiujących po uzyskaniu dyplomu itd.). W niniejszym opracowaniu wykorzystane zostały informacje z tak zwanego piątego pomiaru, dotyczące losów rocznika 2018 w rok po uzyskaniu dyplomu.

Najmniejszą jednostką w systemie ELA jest grupa absolwentów, dla której wyodrębniono numer w systemie POL-on (numer w systemie informacji o szkolnictwie wyższym wspomagającym pracę Ministerstwa Nauki i Szkolnictwa Wyższego), co oznacza, że studia stacjonarne i niestacjonarne prowadzone przez dany wydział szkoły wyższej na danym kierunku studiów są zarejestrowane odrębnie.

Ponieważ w zbiorach ZUS nie są rejestrowane umowy o dzieło, umowy zlecenia, umowy zawierane za granicami Polski oraz praca bez umowy, to informacje o podejmowaniu pracy i wysokości wynagrodzenia mogą nie odzwierciedlać pełnego obrazu sytuacji absolwentów. Dane mogą także nie obejmować ubezpieczonych w KRUS. Informacją uwiarygadniającą wnioskowanie jest liczba absolwentów danej jednostki zarejestrowanych w ZUS odniesiona do ogólnej liczby jej absolwentów.

Dane ZUS nie zawierają także informacji o wykonywanym zawodzie. Oznacza to, że nie wiadomo, czy podjęta przez absolwenta praca jest zgodna z kierunkiem (specjalnością) ukończonych studiów. Jak się wydaje, w przypadku analizowanego kierunku można przyjąć, że z dużym prawdopodobieństwem podejmowana praca ma jednak związek ze studiami. Dodatkowo w dostępnych plikach (raportach z systemu ELA) danych nie są prezentowane - dla zachowania anonimowości absolwentów - informacje o grupach liczących mniej niż 10 osób.

Jak wskazują badania w zakresie tranzycji (np. Gajderowicz i in., 2012) oraz dane w systemie ELA, szczególny wpływ na losy absolwentów ma doświadczenie pracy przed uzyskaniem dyplomu. Co prawda nie jest oczywiste, czy praca przed podjęciem studiów i podczas studiów była związana z kończonym kierunkiem, ale znaczące różnice w wynagrodzeniach uzyskiwanych w ciągu pierwszego roku po uzyskaniu dyplomu wskazują na to, że pracodawcy preferują absolwentów z doświadczeniem. Ponieważ proponowany ranking ma odzwierciedlać jakość oferty dydaktycznej "oczyszczoną" z wpływu czynników niebędących pod bezpośrednią kontrolą uczelni, a na kompetencje absolwentów w znaczącym stopniu wpływa ich doświadczenie pracy, to pominięci zostaną absolwenci studiów niestacjonarnych⁶. Ponadto, z podobnego powodu analiza obejmie tylko grupy absolwentów studiów stacjonarnych bez doświadczenia pracy przed studiami oraz podczas studiów. Wśród analizowanych uczelni tylko w jednej udział niedoświadczonych absolwentów studiów stacjonarnych jest mniejszy niż 50%⁷. Tak więc ranking obejmuje jedynie studia stacjonarne i tylko absolwentów bez doświadczenia pracy przed ukończeniem studiów.

Uczelnie prowadzące kierunek prawo

Według danych z systemu ELA w roku 2018 na jednolitych studiach magisterskich na kierunku prawo dyplom uzyskało ogółem 7192 osób, w tym 2719 na studiach niestacjonarnych. W ZUS zarejestrowanych jest 6763 (94,03% ogółu), w tym 2594 absolwentów studiów niestacjonarnych (38,36% ogółu zarejestrowanych).

W przypadku studiów stacjonarnych są to absolwenci 28 uczelni (w tym 11 niepublicznych), a w przypadku studiów niestacjonarnych 35 (w tym 17 niepublicznych). Co do zasady są to studia 10-semestralne, ale w Europejskiej Wyższej Szkole Prawa i Administracji są one realizowane w ciągu 3,5 roku.

W rankingu pominięci zostaną absolwenci zamiejscowego wydziału prawa w Londynie Europejskiej Wyższej Szkoły Prawa i Administracji, gdyż na 30 osób jedynie 10 jest zarejestrowanych w ZUS, co powoduje, że wnioski dotyczące tego wydziału nie są wiarygodne. Dla pozostałych grup absolwentów udział osób zarejestrowanych w ZUS waha się od 100% do 71,4% dla studiów stacjonarnych i do 84,5% dla niestacjonarnych. Największe (relatywnie) grupy osób niezarejestrowanych w ZUS występują wśród absolwentów studiów stacjonarnych Akademii Ekonomiczno-Humanistycznej w Warszawie (4 osoby z 14), SWPS w Warszawie (6 z 21) i Uniwersytetu Jagiellońskiego (59 z 398). Można postawić tezę, że wnioski wyciągane z danych są wiarygodne, gdyż w większości przypadków obejmują ponad 85% absolwentów.

Analizowany kierunek na studiach stacjonarnych prowadzi 28 uczelni, ale zaprezentowane zostaną wyniki dla 30 grup absolwentów, ponieważ w przypadku KUL-u i SWPS-u studia takie prowadzone są w dwóch miejscowościach. Należy tu dodać, że w przypadku Uniwersytetu Jagiellońskiego i Uniwersytetu Warszawskiego są po dwie grupy osób, które uzyskały dyplomy w danym trybie studiów w roku 2018, ale zostały zarejestrowane z różnymi numerami POLON. Wynika to z faktu, że wśród otrzymujących dyplom w danym roku są także osoby, które ukończyły studia z opóźnieniem (uzyskały dyplom po większej niż planowa liczbie semestrów)⁸. W tych dwóch przypadkach w rankingu uwzględniono wartości wskaźników dla grupy absolwentów kończących studia w terminie. Łącznie ranking wykorzystuje dane o losach 3490 absolwentów rocznika 2018.

Kryterium rankingu

Jak już wspomniano powyżej w ogólnym przypadku punktem wyjścia dla stworzenia rankingu jest zdefiniowanie kryteriów, sposobu ich mierzenia oraz metody obliczeń prowadzących do uporządkowania obiektów poddanych rankingowi.

W proponowanym rankingu uczelni prowadzących kierunek prawo jako jednolite studia magisterskie kryterium wykorzystywanym do określenia ich kolejności jest jakość oferty dydaktycznej. Cel rankingu to wskazanie tych uczelni, których oferta dydaktyczna została najlepiej oceniona przez pracodawców.

Dane zawarte w systemie ELA pozwalają na skonstruowanie kryterium jako funkcji dwóch zmiennych syntetycznie charakteryzujących sytuację absolwentów na rynku pracy⁹. Są nimi:

• WWB - względny wskaźnik bezrobocia, który obliczany jest jako średnia z wyznaczonej dla każdego absolwenta wartości ilorazu indywidualnego ryzyka bezrobocia do średniej rejestrowanego bezrobocia w jego powiecie zamieszkania (powiatach - jeśli zmieniał miejsce zamieszkania) w okresie objętym badaniem. Ryzyko bezrobocia w systemie ELA zdefiniowane jest jako średni procent liczby miesięcy po miesiącu uzyskania dyplomu, a w których absolwenci byli zarejestrowani jako bezrobotni;
• WWZ - względny wskaźnik zarobków, który obliczany jest jako średnia z wyznaczonych dla każdego absolwenta wartości ilorazu jego średnich zarobków do średnich zarobków w jego powiecie (powiatach) zamieszkania w okresie objętym badaniem.

WWB i WWZ w sposób syntetyczny charakteryzują losy absolwentów, bo niezależnie od kierunku, profilu i trybu studiów oraz wykonywanego po studiach zawodu wskazują na przygotowanie absolwentów do podjęcia trudu walki na rynku pracy, a z drugiej strony wskazują na rynkową wycenę absolwentów przez pracodawców. Krótki czas poszukiwania pracy po uzyskaniu dyplomu i wysokie wynagrodzenia świadczą o tym, że uczelnia oferuje (realizuje) programy studiów zgodne z zapotrzebowaniem społeczeństwa i gospodarki. Pośrednio oznacza to także, że szkoła wyższa skutecznie współpracuje z pracodawcami nad doskonaleniem programów studiów, prowadzi badania naukowe sprzyjające takiemu doskonaleniu, ma infrastrukturę odpowiadającą potrzebom procesu dydaktycznego i prowadzeniu badań, wspiera studentów w procesie nauczania, a naukowców w procesach badawczych, ma skuteczny wewnętrzny system zapewniania jakości kształcenia. Można więc przyjąć, że WWB i WWZ syntetycznie charakteryzują jakość działań uczelni, a więc mogą być składowymi kryterium w rankingu.

Zgodnie z definicjami:

WWB ma tym lepszą wartość, im jest bliższy 0, przy czym wartości mniejsze niż 1 oznaczają, że ryzyko bezrobocia absolwentów danej uczelni jest mniejsze niż przeciętne. Zerowa wartość WWB oznacza, że żaden z absolwentów w badanym okresie¹⁰ nie zarejestrował się jako bezrobotny. Z konstrukcji i definicji WWB wynika, że wskaźnik ten jest destymulantą. Przekształcenie go w stymulantę polegało na przekształceniu jego wartości:

modyfWWB_i = WWB_max- WWB_i

gdzie: modyfWWB_i - przekształcona wartość względnego wskaźnika bezrobocia dla i-tej uczelni, WWB_i - pierwotna wartość tego wskaźnika, WWB_max- maksymalna wartość wskaźnika w zbiorze analizowanych uczeni.

Z kolei WWZ ma tym lepszą wartość, im jest większy, a więc jest stymulantą. Wartości większe niż 1 oznaczają, że wynagrodzenia absolwentów danej uczelni są większe niż przeciętne.

WWZ i zmodyfikowany WWB są stymulantami, więc im większa wartość ich iloczynu, tym lepsze ekonomiczne losy absolwentów danej uczelni. Ponieważ intuicja i analiza danych wskazuje, że mniej licznym grupom absolwentów relatywnie łatwiej znaleźć pierwszą pracę¹¹, to w kryterium rankingu uwzględniony został logarytm liczby absolwentów¹².

Tak więc jako kryterium rankingu służy cecha syntetyczna zdefiniowana jako iloczyn stymulant skorygowany logarytmem liczby absolwentów:

K_i = WWZ_i * modyfWWB_i * ln(N_i)

gdzie WWZ_i, WWB_i oraz N_i są wartościami dla absolwentów studiów stacjonarnych niemających doświadczenia pracy.

Wykorzystanie przedstawionego kryterium prowadzi do uporządkowania uczelni prezentowanego w tabeli 1 zawierającej także oceny PKA (Polskiej Komisji Akredytacyjnej) dla poszczególnych programów (ocena programowa) lub jednostek (ocena instytucjonalna).

Tabela 1
Ranking uczelni prowadzących kierunek prawo

Źródło: obliczenia własne oraz informacje z www.pka.edu.pl (data dostępu: 24.05.2021).

Warto odnotować, że w pierwszej piętnastce uczelni jest tylko pięć bez oceny programowej wyróżniającej lub instytucjonalnej, co oznacza, że oceny PKA w dużym stopniu pokrywają się z ocenami rynku pracy. Wskazuje to na istnienie w tym przypadku spójności pomiędzy czynnikami kształtującymi jakość kształcenia wyższego (nazwanymi wcześniej indykatorami tworzącymi) a miernikami wynikającymi z egzogenicznej oceny absolwentów¹⁴ (odpowiednio: indykatorami odbijającymi).

Wnioski

Z zestawienia uczelni, w którym wzięto pod uwagę absolwentów studiów stacjonarnych bez doświadczenia pracy wynika, że lepiej układały się losy ekonomiczne tych, którzy studiowali w publicznych szkołach wyższych. Pierwsze szesnaście miejsc zajęły uczelnie publiczne, poza Akademią Leona Koźmińskiego (uzyskała wysoką dziesiątą pozycję). Czołówka proponowanego rankingu to uczelnie, które są wysoko oceniane również w rankingu "Perspektyw" (pierwsza dziesiątka praktycznie prawie w pełni się pokrywa - http://ranking.perspektywy.pl/2020/ranking/ranking-kierunkow-studiow/kierunki-spoleczne/prawo), ale w rankingu "Rzeczpospolitej" (https://www.rp.pl/Rankingi/306269996-Ranking-Wydzialow-Prawa-2020-czolowka-bez-duzych-zmian.html) uczelnie występują na znacząco innych pozycjach. Wynika to oczywiście z przyjęcia odmiennych kryteriów i metodologii sporządzania tych rankingów.

Cechy syntetyczne, jakimi są WWZ i WWB, pozwalają na skonstruowanie kryterium, które wskazuje na zewnętrzną (dokonywaną przez pracodawców) ocenę szeroko rozumianej jakości studiów. Ekonomiczne losy absolwentów nie są oczywiście jedynym sposobem oceniania uczelni, szczególnie w realizacji ich trzech misji. Jak się jednak wydaje - przynajmniej wobec istniejących ścisłych związków pomiędzy prowadzonymi badaniami naukowymi i ofertą dydaktyczną - pozwalają one na wskazanie uczelni, które najlepiej odpowiadają na zapotrzebowanie rynku pracy.

Ograniczeniem wniosków prezentowanych powyżej może być sytuacja, gdy uczelnia prowadziła analizowany kierunek dla grupy absolwentów mniejszej niż 10 osób. Jak się jednak wydaje są to sytuacje pomijalne w systemie edukacji prawników. Ograniczeniem jest też oczywiście pominięcie w analizach absolwentów studiów niestacjonarnych oraz absolwentów studiów stacjonarnych mających doświadczenie pracy, ale był to zabieg zamierzony - co wskazano we wprowadzeniu - ze względu na to, że celem było stworzenie rankingu uwzględniającego jedynie wpływ czynników kontrolowanych bezpośrednio przez uczelnię.

Można przyjąć, że dalsze prace mogą obejmować zarówno analizy kolejnych roczników, jak i analizy rocznika 2018 w kolejnych latach od uzyskania dyplomu. Analizy kolejnych roczników mogą wskazać na skutki zmian wprowadzanych przez uczelnie w programach studiów (a są one naturalne ze względu na reformy systemu szkolnictwa wyższego). Natomiast analizy losów jednego rocznika w kolejnych latach wskażą na umiejętności dostosowywania się absolwentów do oczekiwań pracodawców oraz ewentualne wykorzystywanie doświadczeń z aplikacji i praktyk. Interesujące może też być porównanie ekonomicznych losów absolwentów kierunku prawo z losami absolwentów mutacji tego kierunku.

Bibliografia

• Berlin Principles on Ranking of Higher Education Institutions. (2006, 20 maja). http://ireg-observatory.org/en_old/berlin-principles
• Donetskaia, S. S. (2017). The Berlin Principles in Russian University Rankings. Problems of Economic Transition, 59(7-9), 614-626. https://doi.org/10.1080/10611991.2017.1394756
• ESG. (2015). Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). https://www.enqa.eu/wp-content/uploads/2015/11/ESG_2015.pdf
• Gajderowicz, T., Grotkowska, G. i Wincenciak, I. (2012). Determinanty czasu trwania bezrobocia absolwentów w Polsce. Gospodarka Narodowa, 11-12(260), 79-103. https://doi.org/10.33119/GN/101021
• Jakubczyc, J. (1987). Współliniowość statystyczna. Państwowe Wydawnictwo Ekonomiczne.
• Karadağ, E. i Belenkuyu, C. (2020). Determining the standard of quality: Examining the Turkish University ranking systems according to the Berlin Principles. Journal of Higher Education (Turkey), 10(3) 1-9. https://doi.org/10.2399/yod.19.020000
• Liu, N. C. i Cheng, Y. (2005). The Academic Ranking of World Universities. Higher Education in Europe, 30(2), 127-136. https://doi.org/10.1080/03797720500260116
• Liu, N. C. i Cheng, Y. (2007). Academic Ranking of World Universities: Methodologies and Problems. W J. Sadlak i N. C. Liu (red.), The world-class university and ranking: aiming beyond status (s. 175-188). UNESCO-CEPES.
• Nykowski, I. (2001). O rankingach skończonego zbioru obiektów ocenianych wielokryterialnie. Rector's Lectures, 49. Akademia Ekonomiczna w Krakowie.
• Prolux, R. (2007). Criteria for Ranking Universities with Affiliated Components. W J. Sadlak i N. C. Liu (red.), The world-class university and ranking: aiming beyond status (s. 167-174). UNESCO-CEPES.
• van Raan, A. F. J. (2007). Challenges in the ranking of universities. W J. Sadlak i N. C. Liu (red.), The world-class university and ranking: aiming beyond status (s. 87-121). UNESCO-CEPES.
• Rocki, M. (2018). Jakość kształcenia a ekonomiczne losy absolwentów. Analiza przypadków. Nauka i Szkolnictwo Wyższe, 1(51), 219-239. https://doi.org/10.14746/nisw.2018.1.11
• Rocki, M. (2019). Ranking polskich uczelni według ekonomicznych losów absolwentów. Ekonomista, 3, 343-354.
• Rogowski, J. (1986), Kilka uwag o "miękkim" modelowaniu ekonometrycznym. Przegląd Statystyczny, 4.
• Sadlak, J. i Liu, N. C. (red.). (2007). The world-class university and ranking: aiming beyond status. UNESCO-CEPES.
• Webera-Fechnera prawo. (b.d.). Encyklopedia PWN. Pobrano 21 kwietnia z https://encyklopedia.pwn.pl/haslo/Webera-Fechnera-prawo;3994481.html
• Wiberg, M. (2015). Students as quality evaluators: recipe for disaster? W A. Surdej i M. Kędzierski (red.), Economic challenges for higher education in Central and Eastern Europe (s. 280-292). Wydawnictwo Adam Marszałek.
• Zitt, M. i Filliiatreau, G. (2007). Big is (made) beautiful - some comments about the Shanghai-Ranking of world-class universities. W J. Sadlak i Liu, N. C. (red.). The world-class university and ranking: aiming beyond status (s. 147 - 165). UNESCO-CEPES.