Abstrakt

Celem artykułu jest prezentacja badań przeprowadzonych na Wydziale Zarządzania i Ekonomiki Usług (Uniwersytet Szczeciński) w zakresie optymalizacji doboru kursów e-learningowych. Analizę oparto na wielokryterialnej metodzie PROMETHEE II (Preference Ranking Organization Method for Enrichment Evaluations), która posłużyła do określenia głównych kryteriów wyboru kursów e-learningowych. Strukturyzując problem, można lepiej zrozumieć poziom jakości kursu e-learningowego, kryteria, które mają być stosowane oraz ocenić alternatywne możliwości wyboru. Zaproponowana koncepcja badawcza może posłużyć także do analizy innych zagadnień z obszaru e-learningu, takich jak jakość systemu e-elearningowego, tryby nauczania, jakość usług. W podsumowaniu autor postuluje, iż zakładając, że cechy opisowe charakteru i jakości kształcenia zostały dobrane właściwie, co pozwala taktować je jako rzeczywiste determinanty jakości, można wykorzystać koncepcję PROMETHEE II do usprawnienia decyzji optymalizacyjnych w szkolnictwie wyższym.

Słowa kluczowe: PROMETHEE II, e-learning, jakość kształcenia, optymalizacja

Wprowadzenie

CRozwiązywanie problemów optymalizacji wyboru w warunkach dynamicznie zmieniającego się otoczenia wymaga podejmowania racjonalnych decyzji. Zakłada się, że właściwy wybór musi zostać poprzedzony analizą dostępnych wariantów realizujących określoną wiązkę celów. Powinien też uwzględniać wszystkie aspekty związane z procesem decyzyjnym, a zwłaszcza kwestię równoważenia kryteriów oceny i przypisanych im wag, determinujących efekty podejmowanych działań. Przeprowadzona analiza za pomocą wielokryterialnej metody PROMETHE II może stanowić punkt wyjścia do dalszych, pogłębionych analiz i dyskusji w obszarze szeroko rozumianej edukacji.

Umiejętność analizy wieloaspektowych zagadnień i interpretacji wyników stanowi dziś jedną z najważniejszych kompetencji w skomplikowanym procesie tworzenia i oceny wariantów decyzyjnych. Wzrost znaczenia omawianych kompetencji jest zdeterminowany wieloma czynnikami życia społeczno-gospodarczego. Do najważniejszych z nich należy zaliczyć rozwój społeczeństwa informacyjnego, ze szczególnym uwzględnieniem skokowego narastania ilości informacji oraz rozwój przemysłu 4.0, który, poprzez rozbudowę cyber-fizycznych systemów, zmienia otaczającą nas rzeczywistość. Coraz częściej menadżerowie i decydenci muszą korzystać z takich technik i narzędzi, które opisują w sposób kompleksowy badane obiekty i zjawiska, a jednocześnie umożliwiają szybkie i praktyczne tworzenie scenariuszy rozwojowych i decyzyjnych w analizowanych obszarach. Dotyczy to także narzędzi i kursów e-learningowych, których wybór powinien być oparty na właściwych kryteriach, korespondujących z założonymi celami szkoleniowymi.

Jednym z rozwiązań, dla tak zarysowanego wieloaspektowego problemu wyboru, może być zastosowanie metod wielokryterialnych (MCDM - Multiple Criteria Decision Making) (Banayoun, Roy i Sussmann, 1966; Charnes, Cooper i Rhodes, 1978, s. 429-444; Roy, 1990; Triantaphyllou, 2000; Saaty, 2002; Trzaskalik, 2014; Boutkhoum, Hanine, Agouti i Tikniouine, 2017, s. 1237-1253), które umożliwiają porządkowanie badanych obiektów lub wyłanianie grup preferencji w dostępnym zbiorze alternatyw (wariantów). Innymi słowy, problematyka wielokryterialnego podejścia dotyczy następujących zagadnień: wyboru wariantów (alternatyw) najlepszych ze względu na rozpatrywane kryteria, porządkowania obiektów od najlepszych rozwiązań do najgorszych oraz sortowania (klasyfikacji) wariantów według wcześniej ustalonych kryteriów.

Celem artykułu jest zaprezentowanie praktycznego wykorzystania metody PROMETHEE II (Preference Ranking Organization METHod for Enrichment Evaluations) (Brans i Vincke, 1985, s. 647-656) do optymalnego wyboru jednego z czterech kursów on-line, według przyjętych kryteriów odpowiadających założonym celom szkoleniowym. Takie podejście umożliwi budowę modelu wyboru kursów e-learningowych w określonych warunkach organizacyjnych, finansowych i dydaktycznych przedsiębiorstwa, który może stanowić narzędzie podejmowania decyzji dotyczących szkoleń e-learningowych. W części teoretycznej scharakteryzowano główne założenia i procedurę badawczą metody PROMETHEE II; część empiryczna zawiera opis wyników badań przeprowadzonych nad optymalizacją wyboru.

Założenia metodyczne i procedura badawcza

Metody wielokryterialne stosuje się głównie w celu dostarczenia decydentom narzędzia, które - w sytuacji występowania wielu sprzecznych kryteriów decyzyjnych - umożliwi podjęcie racjonalnej decyzji. W literaturze przedmiotu można spotkać podział metod na: wielokryterialne podejmowanie decyzji (ang. MODM - multi objective decision making) oraz wieloatrybutowe podejmowanie decyzji (MADM - multi attribute decision making). Wielokryterialne podejmowanie decyzji (MODM) bada problemy decyzyjne, w których zbiór wszystkich dopuszczalnych decyzji jest zbiorem ciągłym zawierającym nieskończoną liczbę możliwych wariantów rozwiązania. Wieloatrybutowe podejmowanie decyzji (MADM) skupia się na sytuacji, w której zbiór wszystkich dopuszczalnych decyzji jest zbiorem dyskretnym, zawierającym skończoną, określoną z góry liczbę możliwych wariantów rozwiązania (Zalewski, 2012, s. 138-145).

Inny podział metod wielokryterialnych zaproponował Tadeusz Trzaskalik (2014), który wyodrębnił następujące metody: addytywne, analitycznej hierarchizacji i pokrewne, werbalne, interaktywne oraz grupę metod ELECTRE, grupę metod PROMETHEE wraz z późniejszymi wariantami i grupę metod wykorzystujących punkty referencyjne. Bez względu na przyjęty sposób klasyfikacji, do najbardziej znanych metod wielokryterialnych zalicza się:

• metody ELECTRE (Elimination et Choice Translating Reality) I i II, III i IV (Banayoun i in., 1966);
• metody SMART i SMARTER (Simple Multi-Attribute Ranking Technique oraz Simple Multi-Attribute Ranking Technique Exploiting Ranks) (Edwards i Barron, 1994, s. 306-325);
• metodę MACBETH (Measuring Attractiveness by a Categorical Based Evaluation TecHnique) (Bana e Costa i Vansnick, 1999);
• metody PROMETHEE I i II (Behzadian, Kazemzadeh, Albadvi i Aghdasi, 2010, s. 198-215);
• metodę DEA (Data Envelopment Analysis) (Charnes i in., 1978, s. 429-444);
• metodę TOPSIS (The Technique for Order of Preference by Similarity to Ideal Solution) (Boutkhoum i in., 2017, s. 1237-1253; Jahanshahloo, Hosseinzadeh Lotfi i Izadikhah, 2006, s. 1544-1551);
• metody AHP/FAHP (Fuzzy/Analytic Hierarchy Process) i ANP (Analytic Network Process) (Saaty, 2002).

W metodzie PROMETHEE II, służącej do wyznaczenia syntetycznego rankingu alternatyw, stosuje się porównania parami i relację przewyższania. Wykorzystywane są w niej pozytywne i negatywne przepływy preferencji, określające jak bardzo dany wariant przewyższa inne oraz jak bardzo jest przewyższany przez pozostałe warianty. Dla każdej pary wariantów oblicza się zagregowany indeks preferencji, a następnie dodatni i ujemny przepływ przewyższania. Dodatni przepływ przewyższania wyraża stopień, w jakim rozpatrywany wariant przewyższa wszystkie pozostałe. Ujemny przepływ przewyższania natomiast wyraża stopień, w jakim jest on przewyższany przez wszystkie inne warianty. Uporządkowanie całkowite otrzymuje się, wykorzystując przepływ preferencji netto.

Analiza literatury przedmiotu oparta na syntetycznym zestawieniu 217 artykułów naukowych (Behzadian i in., 2010, s. 198-215) wykazała, że metoda PROMETHEE II była wykorzystywana między innymi w takich obszarach jak: zarządzanie środowiskiem, hydrologia i gospodarka wodna, zarządzanie przedsiębiorstwem i finansami, chemia, logistyka i transport, produkcja i montaż, zarządzanie energią, zagadnienia społeczne, medycyna, rolnictwo, edukacja, projektowanie, administracja i sport. Do zalet omawianej metody autorzy analizy zaliczają możliwości operowania na licznych kryteriach bez konieczności podawania przez użytkownika wielu skomplikowanych parametrów, co ułatwia prowadzenie badań w ramach wybranego zbioru obiektów.

Metoda PROMETHEE II była wykorzystywana także do rozwiązywania konkretnych problemów z zakresu edukacji i szkoleń. Przykładem może być ustalanie rankingu najlepszych studentów po zakończonym cyklu szkoleniowym (Sianturi, Karim, Utama Siahaan, Mesran, Fadlina, 2017, s. 21-29) lub pomiar jakości wyników edukacyjnych osiąganych przez szkoły średnie (Murat, Kazan i Coskun, 2015, s. 729-738). Metoda ta znalazła także zastosowanie w obszarze e-learningu: w rozwiązywaniu problemu wyboru platformy e-learningowej (Ziemba i Piwowarski, 2010, s. 109-124) oraz problemu wyboru kursów e-learningowych w szkolnictwie wyższym (Bedir, Özder i Eren, 2016).

Szczegółowa analiza powyższych przykładów wykazała zasadność wykorzystania metody PROMETHEE II do optymalnego wyboru jednego z czterech kursów on-line, według przyjętych przez decydentów kryteriów odpowiadających założonym celom edukacyjnym.

Procedura badawcza została podzielona na następujące etapy:

1. Określenie czynników determinujących cel szkoleń e-learningowych.
2. Wybór kryteriów i przypisanie im wag.
3. Określenie zbioru wariantów (kursów).
4. Stworzenie rankingu kursów za pomocą metody PROMETHEE II.

W etapie pierwszym założono, że podstawowym celem zakupu kursu e-learningowego jest podniesienie kompetencji pracowników przedsiębiorstwa Alfa z zakresu zaawansowanej analizy Business Intelligence. Powołano zespół ekspercki składający się z kadry menadżerskiej (cztery osoby) odpowiadający za określenie obiektywnych czynników determinujących organizacyjne, finansowe i merytoryczne aspekty wyboru proponowanego szkolenia Business Intelligence. Wstępna lista kryteriów powstała na podstawie kwestionariusza ankietowego i wniosków z dyskusji podczas panelu ekspertów. Na tym etapie do głównych czynników określających kryteria wyboru kursu zaliczono takie determinanty jak: cena, zawartość merytoryczna w stosunku do potrzeb, potencjalna efektywność szkoleniowa, czas trwania, liczba uczestników, dostęp do materiałów dydaktycznych po zakończeniu kursu oraz możliwość uzyskania certyfikatu. Następnie za pomocą metod heurystycznych, takich jak metoda przeniesienia analogicznego oraz metoda macierzy odkrywczej ustalono i zaakceptowano ostateczną listę kryteriów branych pod uwagę podczas wyboru kursów on-line.

Najtrudniejszym problemem do rozstrzygnięcia pozostawała kwestia istotności poszczególnych kryteriów w analizowanym zagadnieniu. W toku dyskusji zaproponowano postępowanie dwutorowe: zastosowanie metody AHP (Analytic Hierarchy Process) do określenia wag poszczególnych determinant oraz utworzenie subiektywnej listy wag przez panel ekspercki. Przeprowadzona analiza wykazała, że dla wyboru czterech kursów on-line poziom wag dla poszczególnych czynników w obu postępowaniach jest zbliżony. Wynika to z faktu, że kadra zarządcza, dokonująca porównań parami w metodzie AHP i ustalająca wagi podczas panelu eksperckiego, biorąc pod uwagę przyjęte cele szkoleniowe oraz możliwości organizacyjno-finansowe firmy, postępuje zgodnie z określonymi założeniami i w obu metodach osiąga zbliżone wyniki. Założono zatem, że wagi czynników determinujących problem wyboru czterech kursów e-learningowych do szkoleń BI zostaną przyjęte na podstawie listy ustalonej podczas panelu ekspertów. Następnie za pomocą średniej geometrycznej połączono wagi ekspertów w syntetyczne wielkości i przypisano je do poszczególnych kryteriów (tabela 1). W przypadku kryteriów o charakterze jakościowym (umownym) zaproponowano skalę Likerta 1-5, gdzie 1 oznacza wartość najniższej oceny, a 5 to ocena najwyższa.

W kolejnym etapie grupa ekspertów dokonała analizy rynku kursów e-learningowych z zakresu szkoleń Business Intelligence. W tym celu wykorzystano oferty dostępne on-line oraz wywiad telefoniczny, umożliwiający uzyskanie szczegółowych informacji na temat proponowanych kursów. Efektem tej analizy było zaproponowanie listy czterech potencjalnych wariantów szkoleniowych (czterech kursów e-learningowych), co umożliwiło przystąpienie do zasadniczej części analizy za pomocą metody PROMETHEE II.

Zastosowanie metody PROMETHEE II do wyboru kursów e-learningowych

W pierwszym etapie analizy za pomocą metody PROMETHEE II zbudowano macierz decyzyjną, zestawiającą cztery kursy on-line i dziesięć kryteriów wyboru (tabela 2).

Ważne jest zrozumienie charakteru proponowanych kryteriów oceny, które mogą przyjmować cechy stymulant i destymulant (ang. beneficial, non-beneficial (cost) criteria). W analizowanym przykładzie kryterium C1 - cena, ma charakter destymulanty (pożądana wartość powinna zmierzać do minimum); pozostałe kryteria C2-C10 to stymulanty, dla których pożądane wartości zmierzają do maksimum. W przypadku kryteriów takich jak czas trwania kursu lub liczba materiałów dydaktycznych także przyjmuje się, że pożądaną wartością jest wartość maksymalna (przyjęte do analizy wartości dla każdego kryterium mieszczą się w dopuszczalnym zbiorze, preferowane są zatem te z nich, które mają wyższą wartość).

Następnym etapem analizy była normalizacja wartości w macierzy decyzyjnej; dla kryteriów o charakterze stymulanty - wzór 1; dla kryterium o charakterze destymulanty - wzór 2. Znormalizowane wartości zawiera tabela 3.

gdzie:

• i = 1,2, ..., m
• j = 1,2, ..., n
• x_ij - wartość dla kolumny (cechy) j oraz wiersza (kursu) i
• R_ij - znormalizowana wartość dla kolumny j oraz wiersza i
• min, max - wartości minimalne i maksymalne

Następnym etapem analizy było obliczenie różnicy poszczególnych alternatyw (kursów) względem siebie, w odniesieniu do wybranych kryteriów (tabela 4).

W kolejnym kroku, zgodnie z funkcją preferencji, wartościom <= 0 przypisano wartość 0 (wzór 3), a pozostałe wyniki, tzn. wartości > 0, pozostały bez zmian (zachowano różnicę poszczególnych alternatyw względem siebie (wzór 4). Wynik prezentuje tabela 5.

gdzie:

• P_j (a,b) - funkcja preferencji dla kolumny j i kursów a oraz b (0 lub k1-k2)
• R_aj - wartość znormalizowana dla kolumny j określonego kursu a (np. k1)
• R_bj - wartość znormalizowana dla kolumny j określonego kursu b (np. k2)
• j - numer cechy (kolumny)

Następnie, w oparciu o opracowane przez ekspertów wagi, obliczono ważoną różnicę poszczególnych funkcji preferencji (wzór 5) i zsumowano wyniki dla wszystkich wierszy (wzór 6). Zestawienie zagregowanych danych zawiera tabela.

gdzie:

• Π(a,b) - zagregowana funkcja preferencji
• w_j - waga dla kryterium w kolumnie j
• - suma wag dla wszystkich kryteriów = 1 (100%)

Na podstawie uzyskanych wyników zbudowano macierz zagregowanej funkcji preferencji dla badanych czterech kursów (m=4) i obliczono wartości pozytywnych (wzór 7) i negatywnych (wzór 8) przepływów preferencji φ⁺ i φ^- .Wyniki prezentuje tabela 7.

Ostatnim krokiem w metodzie PROMETHEE II jest ustalenie całkowitego porządku (rankingu) analizowanych kursów poprzez obliczenie przepływu preferencji netto (wzór 9). Najwyższa wartość wskazuje na kurs 1 jako optymalny wybór szkolenia pod względem określonych kryteriów i celów szkoleniowych. Wyniki zostały zaprezentowane w tabeli 8.

Podsumowanie

W artykule zaprezentowano problem wyboru kursów e-learningowych w przedsiębiorstwie według przyjętych celów szkoleniowych i określonych kryteriów. Analizowany przykład może stanowić punkt wyjścia do badania bardziej złożonych kwestii i naukowych dyskusji w obszarze szeroko rozumianej edukacji. Zasadne wydaje się podjęcie problemu związanego z budową takiego kursu e-learningowego, który umożliwiałby kursantom/studentom, charakteryzującym się zróżnicowanym poziomem wiedzy i doświadczenia, wybór różnych ścieżek dydaktycznych. Oznacza to konieczność analizy poszczególnych komponentów kursów oraz rozgałęzień ścieżek w kontekście osiąganych wyników szkoleniowych. Istotne wydają się także zagadnienia związane z ergonomią kursów e-learningowych i efektywnością szkoleń hybrydowych (blended learning). W aspekcie badań nad zagadnieniem nauczania elektronicznego ważne są również badania nad systemami e-learningowymi, ich efektywnością i poziomem jakości procesów dydaktycznych.

Zaproponowana w artykule procedura badawcza, dotycząca optymalizacji wyboru kursów e-learningowych z zakresu Business Intelligence w przedsiębiorstwie, może zostać uogólniona do postaci powtarzalnego modelu badawczego przy następujących założeniach:

• Optymalizacja wyboru kursów nauczania elektronicznego z określonej dziedziny wiedzy w trybie nauczania e-learning lub blended learning - zalecane wykorzystanie omawianego rozwiązania w oparciu o proponowane kryteria i ich wagi; możliwa modyfikacja czynników/wag determinujących wybór kursu ze względu na specyfikę badanych obiektów. Zmiany polegające na dodaniu nowych determinant i/lub zmiany wag kryteriów powinny zostać przeprowadzone przez dedykowaną grupę ekspertów na podstawie przyjętych celów szkoleniowych i charakterystyk proponowanych szkoleń.
• Analiza, ocena i tworzenie rankingu innych elementów związanych ze szkoleniami elektronicznymi - możliwość wykorzystania omawianego modelu przy założeniu modyfikacji czynników determinujących badane zjawisko lub obiekt oraz modyfikacji wag przyjętych kryteriów. Model może zostać wykorzystany do oceny takich elementów nauczania elektronicznego jak: porównanie efektywności funkcjonalnej systemów e-learning, ranking trenerów realizujących szkolenia blended learning, analiza efektów dydaktycznych dla różnych trybów szkoleniowych, ranking narzędzi służących do tworzenia treści elektronicznych.

Tego rodzaju wielokryterialne analizy elementów związanych ze szkoleniami elektronicznymi będą napotykały określone problemy. Do najważniejszych z nich należy zaliczyć właściwy dobór kryteriów determinujących poziom oceny badanych elementów i sposób doboru wag dla poszczególnych kryteriów. Z tego punktu widzenia ważną rolę w analizie pełnią wiedza i kompetencje ekspertów, którzy dokonują oceny czynników determinujących określone zjawiska i obiekty. Oznacza to, że zarówno cel analizy, jak i doświadczenie badaczy mają istotne znaczenie dla końcowych efektów przeprowadzanego badania. Pewnym rozwiązaniem powyższych problemów może być dodanie analizy wrażliwości, polegającej na różnicowaniu poziomu wag dla wybranych (lub dla wszystkich) kryteriów. Oznacza to rozbudowę modelu o metodę scenariuszową, która w oparciu o zmienione wagi da wielowariantowy obraz badania i nowe możliwości wyboru.

Istotnym zagadnieniem jest także wybór samej metody lub grupy metod, które umożliwiają wagowanie kryteriów i porządkowanie liniowe proponowanych rozwiązań. Rozwinięciem analizowanego przykładu wyboru kursów on-line może być zastosowanie innych wielokryterialnych metod wagowania (AHP, ANP, metoda entropii, metoda CRITIC) oraz porządkowania (np. TOPSIS lub VIKOR) i porównanie osiągniętych wyników. (Osobny problem stanowi matematyczne zagadnienie liczb rozmytych, czyli wykorzystanie modyfikacji omawianych narzędzi o podejście rozmyte, np. FAHP - metoda rozmytego analitycznego procesu hierarchicznego lub FTOPSIS - metoda porządkowania liniowego oparta o liczby rozmyte).

Reasumując, można stwierdzić, że bez względu na pojawiające się wątpliwości natury merytorycznej (np. przypisywanie wag kryteriom), jak i metodycznej (wybór metod wielokryterialnych, wybór funkcji preferencji w ramach metody PROMETHEE II, stosowanie liczb rozmytych), metody wielokryterialne będą miały coraz większe zastosowanie podczas podejmowania decyzji przez menadżerów w dynamicznie zmieniającej się rzeczywistości. Można zatem przyjąć, że każda kolejna analiza wykorzystująca w procedurze badawczej podejście wielokryterialne przyczynia się do poszukiwania coraz doskonalszych metod opisu rzeczywistości i może stanowić krok na drodze rozwoju społeczno-gospodarczego.

Bibliografia

• Bana e Costa, C.A., Vansnick, F.C. (1999). Sur la quantification des jugements de valeur: L'approche MACBETH, Cahiers du LAMSADE, 117. Paris: Université Paris-Dauphine.
• Banayoun, R., Roy, B., Sussman, N. (1966). Manual de référence du programme Electre. Note de synthése et Formation 25. Direction Scientifique SEMA.
• Bedir, N., Özder, E.H., Eren, T. (2016). Course Selection with AHP & PROMETHEE Methods for Post Graduate Students: An Application in Kirikkale University Graduate School of Natural and Applied Sciences. The 3rd International Conference on Industrial Engineering and Applications (ICIEA 2016). DOI: https://doi.org/10.1051/matecconf/20166820004
• Behzadian, M., Kazemzadeh, R., Albadvi, A., Aghdasi, M. (2010). PROMETHEE: A comprehensive literature review on methodologies and applications. European Journal of Operational Research, 200(1), 198-215.
• Boutkhoum, O., Hanine, M., Agouti, T., Tikniouine, A. (2017). A decision-maiking approach based on fuzzy AHP-TOPSIS metodology for selecting appropriate cloud solution to manage big data projects. International Journal of System Assurance Engineering and Management, 8(2), 1237-1253. DOI: https://doi.org/10.1007/s13198-017-0592-x
• Brans, J.P., Vincke, Ph. (1985). Note - A Preference Ranking Organization Method (The PROMETHEÉ Method for Multiple Criteria Decision-Making). Management Science, 31(6), 647-656. https://doi.org/10.1287/mnsc.31.6.647
• Charnes, A., Cooper, W., Rhodes, E. (1978). Measuring the efficiency of decision making units. European Journal of Operational Research, 2(6), 429-444. DOI: https://doi.org/10.1016/0377-2217(78)90138-8
• Edwards, W., Barron, F.H. (1994). SMARTS and SMARTER: improved simple methods for multiattribute utility measurement. Organizational Behavior and Human Decison Processes, 60(3), 306-325. DOI: https://doi.org/10.1006/obhd.1994.1087
• Jahanshahloo, G.R., Hosseinzadeh Lotfi, F., Izadikhah, M. (2006). Extension of the TOPSIS method for decision-making problems with fuzzy data. Applied Mathematics and Computation 181(2), 1544-1551. DOI: https://doi.org/10.1016/j.amc.2006.02.057
• Murat, S., Kazan, H., Coskun, S.S. (2015). An Application for Measuring Performance Quality of Schools by Using the PROMETHEE Multi-Criteria Decision Making Method. Procedia - Social and Behavioral Sciences, 195, 729-738. DOI: https://doi.org/10.1016/j.sbspro.2015.06.344
• Roy, B. (1990). Wielokryterialne wspomaganie decyzji. Warszawa: Wydawnictwo Naukowo-Techniczne.
• Saaty, R.W. (2002). Decision Making in Complex Environments: The Analytic Network Process (ANP) for Dependence and Feedback; a manual for the ANP Software SuperDecisions. Creative Decisions Foundation.
• Sianturi, L.T., Karim, A., Utama Siahaan, A.P., Mesran, A., Fadlina, F. (2017). Best Student Selection Using Extended Promethee II Method. International Journal of Recent Trends in Engineering & Research, 3(8), 21-29. DOI: 10.23883/IJRTER.2017.3382.SK4CV
• Triantaphyllou, E. (2000). Multi-Criteria Decision Making Methods: A Comparative Study. Boston: Springer.
• Trzaskalik, T. (red.). (2014). Wielokryterialne wspomaganie decyzji. Metody i zastosowania. Warszawa: PWE.
• Zalewski, W. (2012). Zastosowanie metody TOPSIS do oceny kondycji finansowej spółek dystrybucyjnych energii elektrycznej. Economics and Management 4(4), 138-145.
• Ziemba, P., Piwowarski, M. (2010). Dobór platformy e-learningowej za pomocą metody PROMETHEE GDSS. Metody Informatyki Stosowanej 4(24), 109-124.