Abstrakt

Wiedza w zakresie pozyskiwania, oceny i efektywnego wykorzystania informacji jest niezbędna nie tylko uczniom, studentom i nauczycielom (w tym akademickim), ale także projektantom i twórcom witryn oraz dostawcom treści internetowych. W szczególności dotyczy to możliwości oceny wiarygodności witryn internetowych. Problemem jest nie tylko wybór odpowiednich kategorii i kryteriów tej oceny, ale także uwzględnienie wszystkich tych kryteriów w końcowej ocenie. Celem artykułu jest ustalenie rankingu ważności kryteriów oceny wiarygodności witryn internetowych z punktu widzenia ekspertów. Wymagało to udzielenia odpowiedzi na następujące pytania: - Jak stworzyć ramy oceny wiarygodności witryn? - Którą z metod oceny wielokryterialnej wybrać do oceny ważności kryteriów? - Które z kryteriów oceny wiarygodności witryn należy uznać za najważniejsze? Do oceny ważności kryteriów zastosowano metodę AHP (Analytic Hierarchy Process) Saaty’ego. Wynikiem tych badań jest ustalenie rankingu ważności dla zestawu wybranych 21 kryteriów oceny wiarygodności witryn. Okazało się, że w ocenie ekspertów na czele rankingu znalazły się Jakość informacji oraz Autentyczność operatora. Natomiast takie kryteria jak Funkcjonalność, Wydajność i przejrzystość witryn oraz ich Wygląd i struktura mają drugorzędne znaczenie. Współczesna witryna internetowa musi bowiem reprezentować już pewien odpowiednio wysoki poziom swojej budowy i działa w ramach infrastruktury, a zatem z tej racji powinna być niezawodna, funkcjonalna, wydajna i przejrzysta. Dlatego wymienione kryteria w opinii ekspertów stają się obecnie mniej ważne.

Słowa kluczowe: wiarygodność, witryna internetowa, kryteria oceny, ważność, ranking

Wprowadzenie

Istnieje wiele powodów złej jakości i braku wiarygodności witryn internetowych (Czerwiński, 2019b). Umiejętność porównywania i oceny jakości informacji uzyskanej z różnych źródeł jest jednym z filarów zestawu umiejętności informacyjnych (ang. information literacy) upowszechnianych i kształtowanych w szkołach oraz na uczelniach. Dlatego dokonywanie oceny wiarygodności witryn internetowych i tworzenie na tej podstawie ich rankingów dotyczy głównie użytkowników wykorzystujących funkcje i zasoby witryny. Z drugiej strony tymi zagadnieniami są też zainteresowani ich właściciele oraz sponsorzy. Metodom oceny wiarygodności i identyfikacji jej kryteriów w internecie poświęcono liczne rozważania i badania (por. Choi i Stvilia, 2015; Czerwiński, 2016; Fogg i in., 2003; Metzger i in., 2003). Niestety w literaturze przedmiotu jest niewiele wskazówek czy też wyników badań, które dotyczą oceny ważności kryteriów wiarygodności. Miriam Metzger, powołując się na własne badania na pięciu próbach (studenci/nie studenci) z lat 1999-2001, podaje częstość występowania zachowań polegających na weryfikowaniu dziewięciu kryteriów wiarygodności podczas odwiedzania witryn internetowych (Metzger, 2007, s. 2080). Były to, w kolejności od wymienianych przez respondentów najczęściej do najrzadziej, następujące kryteria: Aktualność, Obiektywizm, Kompletność, Weryfikowalność, Spójność celów autora, Autorstwo, Autentyczność, Afiliacje oraz Kwalifikacje autora. Ta lista kryteriów jest bardzo krótka w porównaniu z zestawami prezentowanymi przez innych autorów zawierającymi od kilkunastu do kilkudziesięciu pozycji (patrz dalej), których ważności nie określono. Na polskim gruncie ranking 15 kryteriów oceny wiarygodności witryn na podstawie własnych badań ankietowych wśród studentów przedstawił Czerwiński (2019b, s. 44). Respondenci uznali, że najważniejsze kryteria takiej oceny to w kolejności: Referencje do innych treści, Funkcjonalność witryny, Umiejętności użytkownika, Dostępność informacji, Wygląd i struktura witryny, Jasność i jednoznaczność informacji, Autentyczność, Odpowiedni zakres informacji, Bogactwo zasobów, Dokładność, Zgodność materiałów z oryginałem, Motywy właściciela, Bezpieczeństwo informacji, Rzetelność informacji, Czytelność. Jedynym kryterium występującym w obu cytowanych badaniach jest Autentyczność. Uwidacznia to trudności z dokonaniem ich porównania, a co za tym idzie - występowanie luki w istniejących badaniach na temat wiarygodności witryn.

Dlatego celem artykułu jest ustalenie ważności kryteriów oceny wiarygodności witryn internetowych z punktu widzenia ekspertów.

W pracy podjęto próbę udzielenia odpowiedzi na pytania:

• Jak stworzyć ramy oceny wiarygodności witryn?
• Którą z metod oceny wielokryterialnej wybrać do oceny ważności kryteriów?
• Które z kryteriów oceny wiarygodności witryn należy uznać za najważniejsze?

Do ustalenia ważności kryteriów wybrano opracowaną przez Saaty'ego metodę AHP (ang. Analytic Hierarchy Process), która jest jedną z najczęściej wykorzystywanych metod podczas tworzenia rankingów. Służy ona do wspierania wyboru decyzji wielokryterialnych i pozwala określić wagi będące miarami uporządkowania poszczególnych kryteriów wyboru. Efektem przeprowadzonych badań będzie ustalenie i zweryfikowanie rankingu ważności dla zestawu 21 kryteriów oceny wiarygodności witryn na podstawie preferencji ekspertów. W artykule zaprezentowano kolejno następujące zagadnienia: definicję i ocenę wiarygodności, strukturę ram oceny wiarygodności przyjętą do badań, przebieg i wyniki badań, dyskusję oraz wnioski.

Definicja i ocena wiarygodności

Biorąc pod uwagę rozważania przedstawione w pracy Czerwińskiego (2016), wiarygodność witryny internetowej oznacza przeświadczenie użytkownika, że jego oczekiwania dotyczące otrzymania określonych informacji z tej witryny (serwisu internetowego) zostaną spełnione bez ponoszenia dodatkowych, nieuzasadnionych kosztów (ekonomicznych, społecznych, psychologicznych, prawnych, etycznych). Dokonywanie oceny wiarygodności witryn wymaga jej konceptualizacji i operacjonalizacji. Prowadzi to do stworzenia hierarchicznych ram oceny obejmujących kategorie/wymiary oraz kryteria i miary. Kategorie wiarygodności witryn WWW mogą być ustalone z punktu widzenia:

• przedmiotowego - tzn. w zakresie struktury treści, zasobów informacyjnych i ich prezentacji,
• podmiotowego - tzn. konkretnych osób, instytucji i organizacji,
• podmiotowo-przedmiotowego - tzn. określonych podmiotów w odniesieniu do struktury treści oraz wybranych zasobów informacyjnych.

Konceptualizacja oceny wiarygodności pod względem przedmiotowym obejmuje tradycyjnie trzy elementy: źródło, wiadomość i media (Metzger i in. 2003; Rieh i Danielson, 2007). Odnosząc te trzy elementy do sieci internet Fogg (2003) proponuje odpowiadające im kategorie oceny nazwane odpowiednio: Operator (ang. operator), Treść (ang. content) i Projekt (ang. design) witryny.

Pierwsza kategoria ram wiarygodności witryn/stron internetowych - Operator - jest zdefiniowana jako organizacja lub osoba oferująca stronę. Z kolei Treść jest zdefiniowana jako to, co strona zapewnia pod względem informacji i funkcjonalności. Wreszcie Projekt opisuje atrybuty struktury stron internetowych i określa jego cztery kluczowe elementy, które wchodzą w grę dla oceny wiarygodności sieci: projekt informacji (jej strukturę), projekt techniczny, wygląd estetyczny, projekt interakcji (Fogg, 2003, s. 173-174).

Podmiotowej oceny wiarygodności dokonuje się w określonym środowisku obejmującym serwisy internetowe. Są one specyficznymi hipermedialnymi systemami informacyjnymi, które tworzą wirtualną, otwartą przestrzeń informacyjną. Wyróżnia się w niej takie kategorie podmiotów jak: oferenci i dostawcy treści oraz usług, producenci systemów informacyjnych, zarządzający i opiekujący się serwisami internetowymi, użytkownicy. Wszystkie te podmioty są autonomiczne i często kierują się odmiennymi celami. Prowadzi to do bardzo zróżnicowanych wymagań wobec wiarygodności witryn WWW wyrażonych w konsekwencji za pomocą różnorodnych kategorii i kryteriów oceny. Warto nadmienić, że dokonywana ewaluacja wiarygodności zależy też od kontekstu działania systemu informacyjnego, który może ulec zmianie w czasie i przestrzeni. Jest to kolejna przesłanka dynamiki i zróżnicowania spotykanych w literaturze ram oceny wiarygodności.

Podmiotowo-przedmiotowa ocena wiarygodności polega na zmapowaniu/przypisaniu określonych przedmiotowo kryteriów oceny do konkretnych kategorii podmiotów. Tego rodzaju mapa ukazuje, które kryteria są istotne dla poszczególnych grup podmiotów (tzn. dostawców, producentów, zarządzających i użytkowników) z punktu widzenia ich celów, a które z nich mogą być pominięte. Taka mapa obejmuje często tylko jedną, wyróżnioną grupę podmiotów, np. użytkowników.

W dalszej części artykułu skoncentrowano się na przedmiotowej ocenie wiarygodności witryn WWW.

Ramy oceny wiarygodności

Biorąc pod uwagę zaprezentowane powyżej trzy kategorie oceny wiarygodności witryn internetowych Choi i Stvilia przeprowadzili operacjonalizację kryteriów ewaluacji (Choi i Stvilia, 2015). Występujące w literaturze kryteria oceny wiarygodności zostały przez nich rozłożone pomiędzy trzy kategorie zaproponowane przez Fogga. Wynikający stąd podział kryteriów przedstawiono w tabeli 1. Autorzy cytowanej pracy zaproponowali także miary dla poszczególnych kryteriów, które nie zostały tu przytoczone.

Inna często spotykana ogólna struktura kategorii/wymiarów i kryteriów wiarygodności obejmuje trzy wymiary zaufania: zdolność (ang. ability), życzliwość (ang. Benevolence) i uczciwość (ang. integrity). Te kategorie zostały wykorzystane przez autora niniejszego tekstu do opracowania ram oceny wiarygodności witryn internetowych zawierających pewien ustalony zestaw kryteriów oceny wiarygodności witryn (Czerwiński, 2016, s. 47). Są to następujące kryteria: Funkcjonalność, Bezpieczeństwo, Przejrzystość, Elastyczność, Doświadczenie (Umiejętności), Nawyki, Styl życia, Prywatność, Wydajność, Niezawodność, Dostępność danych, Bogactwo informacji, Jakość informacji, Autentyczność (Tożsamość), Referencje, Wierność, Solidność (Rzetelność) i Poszanowanie cudzej własności. Zaproponowano także niektóre miary i wskaźniki dla tych kryteriów, które uwzględniają pięć aspektów: techniczny, ergonomiczny, graficzny, komunikacyjny i społeczny (Czerwiński, 2016, s. 47).

Wymienione kryteria (za wyjątkiem czterech: Doświadczenie (Umiejętności), Nawyki, Styl życia oraz Prywatność, które dotyczą umiejętności użytkownika w zakresie dostępu i wykorzystania informacji) zostały na nowo zmapowane do trzech kategorii wymienionych przez Fogga. Rezultat również zapisano w tabeli 1.

Tabela 1
Kryteria ewaluacji wiarygodności witryn zaproponowane przez Choia i Stvilię oraz Czerwińskiego

Źródło: opracowanie własne na podstawie "Web credibility assessment: conceptualization, operationalization, variability, and models", W. Choi i B. Stvilia, 2015, Journal of the Association for Information Science and Technology, 66(12), s. 2402 (https://doi.org/10.1002/asi.23543) oraz "Identyfikacja i porównanie kryteriów oceny wiarygodności witryn internetowych", A. Czerwiński, (2019a), Przegląd Organizacji, 8, s. 52 (http://doi.org/10.33141/po.2019.08.07).

Porównując prezentowane w tabeli 1 zestawy kryteriów wiarygodności należy wskazać, że:

• niektóre kryteria podane przez Choia i Stvilię są trudne do operacjonalizacji (np. Historia działalności autora, Obiektywizm informacji, Wzmocnienie wiedzy merytorycznej),
• w zestawie podanym przez Choia i Stvilię występują miary i wskaźniki pewnych nieujawnionych kryteriów (np. Ranking wyszukiwarek w kategorii Operator).

Podejściem równie często wykorzystywanym do identyfikacji i definiowania kryteriów wiarygodności jest podejście empiryczne. Reprezentują je m.in. autorzy obszernego badania wiarygodności witryn zrealizowanego przy udziale użytkowników (Fogg i in., 2003). Na podstawie treści ich komentarzy na temat wiarygodności wskazanych witryn zidentyfikowano listę wykorzystywanych kryteriów oceny. Szczegółowa analiza tych komentarzy przez ekspertów pozwoliła wyłonić określone, powtarzające się kryteria. Są to: Wygląd/Projekt, Projektowanie informacji/Struktura, Fokus/Skupienie informacji, Motywy firmy/Właściciela, Przydatność informacji, Dokładność informacji, Rozpoznawalność nazwy i reputacja, Reklama, Stronniczość informacji, Ton/Wydźwięk pisania, Tożsamość właściciela/Sponsora strony, Funkcjonalność strony, Obsługa klienta, Przeszłe doświadczenia z witryną, Jasność informacji, Wyniki w teście, Czytelność, Afiliacje (autorów). Fogg i inni nie zaproponowali przyporządkowania tych kryteriów do żadnych kategorii wyższego poziomu. Niektóre odniesienia wynikają wprost z samych nazw kryteriów (np. kryterium Projektowanie informacji/Struktura odnosi się w oczywisty sposób do kategorii Projekt). Jednak cytowany zestaw kryteriów pozostawiono w oryginalnej wersji, bez ich mapowania do zaprezentowanych powyżej kategorii.

Kolejne zestawy kryteriów zidentyfikowane w ten sposób podają m.in.: Aggarwal i in. (2014), Kąkol i Nielek (2015) oraz Oltenau i in. (2013). Wszystkie te zestawy porównano w pracy Czerwińskiego (2019a). Wykazano tam, że kryteria oceny wiarygodności zidentyfikowane na podstawie podejścia empirycznego są z oczywistych względów odpowiednie do stosowania wyłącznie przez użytkowników witryn. Mimo to porównywane zestawy kryteriów oceny wiarygodności nadają się do ewaluacji witryn z dowolnego obszaru. Pokazano także, że odrębne podejścia do identyfikacji kryteriów oceny wiarygodności witryn internetowych prowadzą do uzyskania nieco zróżnicowanych zestawów tych kryteriów.

Metoda AHP

Proces podejmowania decyzji (np. wyboru najbardziej wiarygodnej witryny internetowej w danym obszarze) ma na ogół charakter wielokryterialny. Wynika to z konieczności uwzględnienia w nim stanowisk oraz ocen wielu jego uczestników. Mają oni odmienne cele, zróżnicowane potrzeby w zakresie przyjętego ostatecznie rozwiązania i dodatkowo kierują się różnymi systemami wartości. Problematyka rozwiązywania takich zagadnień jest znana w literaturze pod nazwą wielokryterialnej analizy decyzyjnej - MCDA (ang. Multi-Criteria Decision Analysis) lub wielokryterialnego podejmowania decyzji - MCDM (ang. Multi-Criteria Decision-Making).

Metody MCDA klasyfikuje się ze względu na liczbę wariantów podlegających ocenie oraz ze względu na sposób wyrażenia celu analizy. Pierwsza klasyfikacja obejmuje dwie grupy metod: ukierunkowane na rozwiązywanie problemów dyskretnych oraz problemów ciągłych. Zadania dyskretne to takie, w których istnieje skończony zbiór wariantów decyzyjnych oraz skończony zbiór kryteriów i na ich podstawie należy podjąć decyzję. Dyskretne metody wielokryterialne są w literaturze najczęściej prezentowane w dwóch grupach. Pierwsza to metody opierające się na relacji przewyższania, druga - metody opierające się na funkcji użyteczności (Piwowarski, 2009, s. 125).

Metody MCDA charakteryzują się występowaniem tzw. relacji przewyższania dotyczącej zależności między wariantami decyzyjnymi i reprezentującej określone preferencje decydenta. Do najbardziej znanych metod opierających się na relacji przewyższania można zaliczyć: grupę metod ELECTRE (ang. Elimination et Choice Translating Reality) I, Iv, IS, II, III, IV (Banayoun i in., 1966; Roy, 1990; Roy i Bouyssou, 1993), metody PROMETHEE (np. PROMETHEE I, II, III, IV, V, VI) (Brans, 1982; Brans i Mareschal, 2005; Brans i Vincke, 1985), metodę TOPSIS (Hwang i Yoon, 1981), ORESTE (Roubens, 1982), TACTIC (Vansnick,1986) oraz REGIME (Hinloopen i in., 1983).

Druga grupa metod - opierających się na funkcji użyteczności - wykorzystuje klasyczną i wieloatrybutową teorię użyteczności MAUT (ang. Multi-Attribute Utility Theory) (Keeney i Raiffa, 1993; Trzaskalik, 2014). W celu określenia preferencji decydenta definiowana jest funkcja użyteczności, która przypisuje wszystkim dopuszczalnym wariantom decyzyjnym wartość liczbową służącą do ich uporządkowania (Piwowarski, 2009, s. 128). Najczęściej stosowane metody z tej grupy to: AHP (ang. Analytic Hierarchy Process) (Saaty, 1980), SMART (ang. Simple Multi-Attribute Rating Technique) (Von Winterfeldt i Edwards, 1986), UTA (fr. UTilités Additives) (Jacquet-Lagréze i Siskos, 1982). Istota podejścia w metodzie AHP polega na zbudowaniu hierarchicznej struktury problemu, w której występują poziomy kryteriów uporządkowane w kierunku malejącej ważności. Na każdym poziomie hierarchicznym warianty decyzyjne dla każdego kryterium są porównywane w parach. Dokonując tego, określa się dominację lub przewagę jednego wariantu nad drugim we wszystkich parach w ramach rozważanego kryterium. Uzyskana macierz odzwierciedla preferencje lokalne. W ten sam sposób są też porównywane parami kryteria. Otrzymana tym razem macierz odzwierciedla preferencje globalne.

Ze względu na sposób wyrażenia celu analizy wyróżnia się dwie główne grupy metod: metody wielocelowe wspomagania decyzji (ang. Multi-Objective Decision Making, MODM) oraz metody wieloatrybutowe wspomagania decyzji, określane także jako wielokryterialne metody dyskretne (ang. Multi-Attribute Decision Making, MADM) (Malczewski, 1999). Grupa metod wieloatrybutowych - MADM służy do rozwiązywania problemów dyskretnych, gdzie liczba wariantów decyzyjnych jest ograniczona, a decyzja jest podejmowana na podstawie ustalonych, jawnych kryteriów, które nie muszą być kwantyfikowalne. Do tej grupy zalicza się m.in. metodę AHP. W przypadku metod wielocelowych - MODM, zbiór wariantów decyzyjnych jest zbiorem ciągłym zawierającym nieskończoną liczbę możliwych wariantów rozwiązania. Rozwiązywane problemy charakteryzuje natomiast zbiór jasno określonych, kwantyfikowalnych celów, na podstawie których podejmowana jest decyzja oraz zbiór określonych ograniczeń nałożonych na wartości zmiennych decyzyjnych dla możliwych wariantów (Malczewski, 1999).

Proces podejmowania decyzji według metody AHP można podzielić na następujące kroki (Saaty, 1980):

1. Zbudowanie modelu hierarchicznego badanego problemu i opisanie hierarchii poszczególnych kryteriów.
2. Porównanie parami wariantów decyzyjnych i kryteriów za pomocą względnej skali porównań - tabela 2. Uzyskuje się w ten sposób kwadratowe macierze porównań dla kryteriów (tzn. preferencji globalnych) i dla wariantów decyzyjnych (tzn. preferencji lokalnych), które są spójne parami (tzn. iloczyn a_ij * a_ji = 1).

Tabela 2
Fundamentalna skala porównań kryteriów i wariantów decyzyjnych w metodzie AHP

Źródło: "How to make a decision: the analytic hierarchy process", T. Saaty, 1994a, INFORMS Journal on Applied Analytics, 24(6), s. 26 (https://doi.org/10.1287/inte.24.6.19).

3. Wyznaczenie preferencji globalnych (wag kryteriów) i lokalnych (ocen wariantów decyzyjnych). Jest to realizowane poprzez wyznaczenie wektora własnego macierzy preferencji. Saaty (1990) dowiódł, iż takie podejście jest optymalne w celu znalezienia końcowego rankingu dla rozważanego kryterium. W obliczeniach numerycznych stosuje się do tego zadania metodę iteracyjną, polegającą na podniesieniu macierzy preferencji do kwadratu, a następnie zsumowaniu jej kolumn i znormalizowaniu otrzymanego wektora wag. Operację tę trzeba powtarzać aż do momentu uzyskania wektora wag, który różni się w kolejnej iteracji maksymalnie o pewną bardzo małą stałą ε (np. ε = 0,001).
4. Uporządkowanie wariantów decyzyjnych ze względu na ich udział w realizacji wymagań celu nadrzędnego. W tym celu uzyskaną macierz preferencji lokalnych (ocen wariantów) należy pomnożyć przez wektor preferencji globalnych (wag kryteriów). W ten sposób uzyskuje się ranking wariantów decyzyjnych z uwzględnieniem preferencji.

W procesie decyzyjnym metody AHP istotne jest badanie zgodności porównań w kroku 2. Do oceny zgodności dla każdej macierzy porównań wykorzystywany jest indeks spójności, nazywany też indeksem zgodności (Saaty, 1994b):

gdzie: n oznacza liczbę wariantów, λ_max to największa wartość własna danej macierzy porównań. Wartość własna macierzy jest wyznaczana w dwóch etapach. Etap pierwszy to pomnożenie macierzy porównań przez wektor wag. W etapie drugim należy podzielić elementy otrzymanego wektora przez wagi i obliczyć średnią arytmetyczną. Obliczona średnia jest wartością λ_max. Zakłada się, że porównania są dostatecznie zgodne, jeśli CI ≤ 0,1. W przypadku pełnej zgodności ocen λ_max = n oraz CI = 0.

Ponieważ indeks CI jest trudny w bezpośredniej interpretacji, wyznacza się współczynnik spójności CR, wyrażony w procentach w postaci ilorazu indeksu spójności CI oraz indeksu losowego Saaty'ego RI będącego wskaźnikiem przyjmującym wartości uzależnione od liczby wariantów n.

Wartości indeksu RI zawiera tabela 3.

Tabela 3
Indeksy losowe RI Saaty'ego

Źródło: Mathematical principles of decisions making: the complete theory of the analytical hierarchy process (s. 56), T. Saaty, 1994b, RWS Publications.

Praktyczną zasadą w metodzie AHP jest, aby wartość CR:

• dla macierzy (3 x 3) była mniejsza lub równa 5%,
• dla macierzy (4 x 4) była mniejsza lub równa 8%,
• dla większych macierzy wynosiła nie więcej niż 10% (CR ≤ 10%).

Uważamy wówczas, że współczynnik spójności jest akceptowalny, a porównania są spójne (Saaty, 2004).

Przyjęta struktura oceny wiarygodności witryn

Jak już zaznaczono, kryteria w strukturze oceny wiarygodności witryn internetowych zostały wybrane z punktu widzenia przedmiotowego, który dominuje w literaturze poświęconej tego rodzaju ocenie. Przyjęcie tego punktu widzenia pozwala też uniknąć nadmiernego zróżnicowania i rozbudowy struktury oceny wiarygodności, która występuje podczas dokonywania jej przez różnorodne podmioty występujące w wirtualnym środowisku, kierujące się dość odmiennymi celami. Wybrane kryteria i subkryteria oceny powinny być akceptowane przede wszystkim przez właścicieli/dostawców oraz użytkowników witryn.

Konstruując hierarchiczną strukturę oceny kierowano się układem kryteriów ogólnych i subkryteriów zamieszczonych w tabeli 1 oraz zestawem empirycznych subkryteriów podanych przez Fogga i innych. W tym miejscu warto nadmienić, że zestaw subkryteriów zaproponowanych przez Czerwińskiego pokrywa 77,8% subkryteriów z zestawu Fogga i innych (Czerwiński, 2019a). W tym pierwszym zestawie brak jest explicite jedynie czterech subkryteriów zidentyfikowanych w badaniach Fogga i innych. Są to: Reklama na witrynie, Stronniczość informacji, Ton witryny i Obsługa klienta. Wszystkie te subkryteria ściśle wiążą się z celami i zadaniami witryny postawionymi przez jej właścicieli/sponsorów. Trzy pierwsze dotyczą treści witryny i zostały dodatkowo uwzględnione w ramach tego kryterium. Przy tym pejoratywne określenie Stronniczość informacji zastąpiono jedynie określeniem Obiektywizm informacji. Ostatnie subkryterium - Obsługa klienta jest uwzględnione w ramach kryterium ogólnego Projekt w subkryterium Funkcjonalność.

Ostatecznie przyjętą strukturę oceny wiarygodności witryn internetowych przedstawiono na rysunku 1. Posłużyła ona do dokonania oszacowania ważności poszczególnych kryteriów i subkryteriów metodą AHP. Na schemacie dla uproszczenia nie uwzględniono ewaluowanych witryn (wariantów decyzyjnych). Każda z nich powinna być oceniona w ramach wszystkich subkryteriów.

Rysunek 1
Struktura problemu oceny wiarygodności witryny

Źródło: opracowanie własne.

Przebieg i wyniki badań

Celem badań było określenie ważności kryteriów i subkryteriów dla wybranej hierarchicznej struktury oceny wiarygodności witryn internetowych. W badaniu wzięło udział pięciu ekspertów. Wszyscy oni posiadają duże doświadczenie w ocenie jakości oraz wiarygodności witryn internetowych. Mają jednak na co dzień do czynienia z nieco odmiennymi obszarami oceny witryn internetowych, takimi jak: wiarygodność witryn, jakość informacji na witrynie, bezpieczeństwo informacji czy jakość systemów informacyjnych. Prowadzący badanie zaprezentował uczestnikom przyjętą strukturę ewaluacji (rys. 1) oraz interpretację poszczególnych kryteriów i subkryteriów oceny. Wyjaśnił też zasady dokonywania ewaluacji metodą AHP. Oceny dokonywano przy pomocy specjalnie do tego zaprojektowanego przez Klausa D. Goepela arkusza kalkulacyjnego w Excelu pobranego ze strony https://bpmsg.com. Oprogramowanie to jest objęte darmową licencją Creative Commons Attribution-Noncommercial 3.0 Singapore License (Goepel, 2013). Daje ono możliwość oceny od 2 do 10 kryteriów przez od 1 do 20 oceniających. Istnieje też szansa wyboru innej niż liniowa skali porównań parami. Do wyboru jest łącznie osiem skal, m.in.: logarytmiczna, pierwiastkowa, kwadratowa, odwrotna liniowa, geometryczna. Po wprowadzeniu danych dla każdego uczestnika badań automatycznie wyznaczane są współczynniki spójności CR, co pozwala dokonać korekty wprowadzanych ocen tak, aby zachowywały one spójność. W arkuszu podsumowującym zawarte są m.in.: macierz porównań dla uśrednionych wyników porównań parami dla wprowadzonych kryteriów, tabela i wykres wyznaczonych wag kryteriów wraz z ich błędami, obliczona wartość własna macierzy porównań (λ_max), średni błąd względny (MRE) wag oraz współczynnik spójności (CR).

Każdy z uczestników badania miał za zadanie wypełnić cztery arkusze odpowiadające zaprezentowanej na rysunku 1 strukturze problemu oceny wiarygodności, tzn. arkusz dotyczący oceny trzech kryteriów oraz trzy arkusze odpowiadające ocenie poszczególnych sukryteriów. Eksperci na bieżąco kontrolowali spójność wprowadzanych ocen na podstawie wartości współczynników CR i w razie potrzeby korygowali konkretne oceny wskazane przez oprogramowanie. Dzięki temu do kolejnych etapów badań dopuszczone były wyłącznie oceny spójne.

W tabeli 4 przedstawiono dla przykładu macierz uśrednionych wyników porównań sześciu subkryteriów dla kryterium Operator. Wartość średnia jest wyznaczana w programie jako ważona średnia geometryczna danych wprowadzonych przez ekspertów.

Macierze dla pozostałych kryteriów nie będą przytaczane ze względu na ograniczone miejsce.

Tabela 4
Macierz porównań dla kryterium Operator

Źródło: opracowanie własne.

W ocenie biorących udział w badaniu poszczególne kryteria wiarygodności uzyskały następujące wagi: Operator -0,3215, Treść -0,5594, Projekt -0,1191. Uśredniona dla wszystkich ekspertów wartość współczynnika spójności CR wynosi 0,8%. Świadczy to o bardzo dużej zgodności tych ocen. Uzyskany wynik pokazuje, że eksperci silnie preferują w trakcie ewaluacji treść witryn. Taki rozkład ocen kryteriów silnie rzutuje na wagi poszczególnych subkryteriów w ostatecznym ich rankingu - co pokazuje tabela 7.

Na rysunku 2 przedstawiono wagi subkryteriów w ramach kryterium ogólnego Operator. Zaznaczono tam także słupki bezwzględnych błędów oceny poszczególnych wartości wag.

Rysunek 2
Wagi globalne subkryteriów w ramach kryterium Operator

Źródło: opracowanie własne.

Aby zagwarantować poprawność uzyskanych rezultatów dokonano także ich sprawdzenia przy pomocy własnych obliczeń w arkuszu kalkulacyjnym Excel. Wykonane obliczenia pokazały, że wykorzystane narzędzie jest bardzo rzetelne. Wyznaczone współczynniki spójności CR mają identyczne wartości jak te wyznaczone przez program Klausa D. Goepela. Natomiast wagi poszczególnych subkryteriów różnią się w najgorszym przypadku o +/-0,4%, co prawdopodobnie wynika z błędów zaokrągleń.

Warto nadmienić, że oceny poszczególnych uczestników badania były spójne, o czym świadczą wartości współczynników spójności CR dotyczących wprowadzonych przez nich ocen kryteriów. Ich wartości wahały się od 2% do 10% w zależności od kryterium oraz oceniającego. W tabeli 5 przedstawiono uśrednioną dla wszystkich ekspertów wartość współczynnika spójności CR w ramach trzech wyróżnionych kryteriów ogólnych oceny wiarygodności.

Tabela 5
Uśredniona wartość współczynnika CR w poszczególnych kryteriach oceny

Źródło: opracowanie własne.

Dane w tabeli 5 pokazują, że porównania ekspertów w poszczególnych kryteriach są bardzo spójne (CR ≤ 10%).

W tabeli 6 przedstawiono wagi globalne oraz lokalne wszystkich kryteriów oraz subkryteriów w przyjętej strukturze oceny wiarygodności witryn internetowych.

Tabela 6
Wagi kryteriów i subkryteriów w przyjętej strukturze oceny wiarygodności witryn

Źródło: opracowanie własne.

W ramach kryterium Operator najwyższą wagę uzyskało subkryterium Autentyczność/afiliacje (30%) operatora witryny. Za najmniej ważne uznano Motywy właściciela (8,6%). W ramach kryterium Treść najważniejszym subkryterium okazała się Jakość informacji (33,6%). Najniższą wagę dla tego kryterium otrzymało subkryterium Reklama (3,5%). Wreszcie w ramach kryterium Projekt eksperci za najważniejsze subkryterium uznali Bezpieczeństwo infrastruktury (40,8%), zaś za najmniej ważne - Wygląd i strukturę witryny (4,4%).

W tabeli 7 przedstawiono ranking subkryteriów oceny wiarygodności witryn internetowych na podstawie wyznaczonych w badaniach wag.

Tabela 7
Ranking subkryteriów oceny wiarygodności witryn internetowych

Źródło: opracowanie własne.

Uzyskany ranking pokazuje, że w ocenie ekspertów takie subkryteria jak Funkcjonalność, Wydajność i Przejrzystość witryn oraz Wygląd i struktura witryny mają mniejsze znaczenie. Na czele rankingu znalazła się Jakość informacji oraz Autentyczność operatora.

W celu weryfikacji uzyskanych wyników przeprowadzono pilotażowe badania wiarygodności czterech wybranych arbitralnie serwisów uniwersytetów publicznych. Były to: Uniwersytet Warszawski, Uniwersytet Gdański, Uniwersytet Opolski oraz Uniwersytet Szczeciński.

Oceny poszczególnych kryteriów wiarygodności we wcześniej zaprezentowanej strukturze (rys. 1) dokonała ta sama grupa ekspertów, co poprzednio. Ich oceny były bardzo spójne, o czym świadczą niskie wartości współczynników spójności CR dotyczących wprowadzonych ocen poszczególnych subkryteriów. Wartości CR wahały się od 0% do 2,39% w zależności od subkryterium oraz oceniającego. Umożliwiło to agregację danych dla wszystkich ekspertów i 21 subkryteriów. Przykładową zagregowaną macierz dla subkryterium Wydajność infrastruktury przedstawiono w tabeli 8.

Tabela 8
Macierz porównań dla subkryterium Wydajność infrastruktury

Źródło: opracowanie własne.

Ze względu na ograniczone miejsce macierze porównań dla pozostałych 20 kryteriów nie zostały zaprezentowane.

Następnie za pomocą własnej procedury obliczeniowej w arkuszu Excel wyznaczono wagi lokalne wszystkich 21 subkryteriów dla czterech wariantów decyzyjnych (witryn). Wyniki przedstawiono w tabeli 9. Pozwoliło to wyznaczyć końcowe oceny wariantów i utworzyć ranking wiarygodności wybranych witryn - tabela 10. W ocenie ekspertów najwyższą ocenę wiarygodności uzyskała witryna Uniwersytetu Gdańskiego, a najniższą - Uniwersytetu Szczecińskiego.

Tabela 9
Wagi lokalne subkryteriów dla czterech ocenianych witryn

Źródło: opracowanie własne.

Tabela 10
Ocena wiarygodności wybranych witryn i ich ranking

Źródło: opracowanie własne.

Uzyskane rezultaty potwierdziły przydatność przyjętych ram oraz metody AHP do oceny wiarygodności witryn internetowych. Trzeba zwrócić uwagę, że ze względu na przyjęty do badań rodzaj witryn, niektóre subkryteria nie stanowią czynnika różnicującego ewaluowane witryny. Należały tu m.in.: Motywy właściciela, Elastyczność, Reklama, Obiektywizm. Pokazuje to kierunek dalszego rozwoju ram oceny wiarygodności z uwzględnieniem zróżnicowania funkcjonalnego, dziedzinowego czy też branżowego witryn. Na przykład takie subkryteria jak Motywy właściciela, Reklama, Wygląd i struktura witryny oraz Bezpieczeństwo będą odróżniać model oceny wiarygodności dla sklepów oraz centrów handlowych od serwisów firmowych oferujących jedynie dostęp do informacji. Jednak problem zróżnicowania ram oceny wiarygodności witryn jest złożony i wymaga dalszych badań.

Dyskusja i wnioski

Przedstawione wyniki odzwierciedlają preferencje wybranych ekspertów w ocenie ważności kryteriów wiarygodności witryn internetowych. Obecnie takie kryteria jak: Funkcjonalność, Wydajność, Przejrzystość witryny oraz jej Wygląd i struktura mają dla biorących udział w badaniu mniejsze znaczenie. Stwierdzona niska waga subkryteriów w ramach ogólnego kryterium Projekt pokazuje istotną zmianę w rozłożeniu akcentów tworzących zaufanie do witryny. Współczesna witryna internetowa reprezentuje już pewien odpowiednio wysoki poziom swojej budowy i działa w ramach określonej infrastruktury, a zatem z tej racji powinna być siłą rzeczy niezawodna, funkcjonalna, wydajna i przejrzysta. Dlatego ten zestaw subkryteriów w opinii ekspertów staje się mniej ważny. Chociaż, spośród subkryteriów charakteryzujących infrastrukturę, ciągle na wysokim miejscu w ogólnym rankingu znajduje się Bezpieczeństwo. Według ekspertów, aby witryna była godna zaufania, musi dostarczać odpowiednich do potrzeb i stojących na wysokim poziomie treści. Dlatego na czele rankingu znalazły się subkryteria znajdujące się w ramach ogólnego kryterium Treść. Są to: Jakość informacji, Dokładność, Przydatność, Dostępność. Z drugiej strony eksperci doceniają także siłę oddziaływania na witrynę jej właściciela czy dostawcy treści. W końcowym rankingu na czołowych pozycjach znalazły się bowiem subkryteria należące do kryterium ogólnego Operator. Są to: Autentyczność/afiliacje, Rzetelność, Wierność i Poszanowanie własności.

Jak już wskazano, opinie wyrażone przez ekspertów były bardzo zgodne. Jednak warto podkreślić, że eksperci mają na co dzień do czynienia z nieco odmiennymi obszarami oceny witryn internetowych. Dlatego występuje niewielkie zróżnicowanie wag poszczególnych subkryteriów należących do trzech wyróżnionych kryteriów ogólnych. Odchylenia standardowe ocen subkryteriów w ramach poszczególnych kryteriów ogólnych wynoszą: Operator - 7,8%, Treść - 9%, Projekt - 13,2%. Świadczy to o występowaniu niewielkich indywidualnych różnic ocen wśród ekspertów. Dotyczą one przede wszystkim kryterium ogólnego Projekt.

Wyniki uzyskane podczas ewaluacji wybranych witryn publicznych uniwersytetów potwierdziły przydatność przyjętych ram oraz metody AHP do oceny wiarygodności witryn internetowych. Pokazały także kierunek dalszego rozwoju ram oceny wiarygodności uwzględniający zróżnicowanie funkcjonalne, dziedzinowe czy też branżowe witryn.

Trzeba wyraźnie podkreślić, że otrzymane rezultaty podlegają typowym ograniczeniom związanym z doborem ekspertów dokonujących oceny. Należy zatem potraktować te badania jako mające charakter pilotażowy. Ich ponowienie z udziałem innej grupy ekspertów pozwoli w pełni uwiarygodnić zaobserwowane trendy w ewaluacji oraz budowie zaufania do witryn internetowych.

Trudno jest także te rezultaty porównać bezpośrednio z wynikami Metzger. Jedynymi identycznie określonymi kryteriami, które wystąpiły w obu badaniach, są Obiektywizm i Autentyczność witryny. Inne kryteria wzięte pod uwagę przez Metzger różnią się pod względem semantycznym. W cytowanych badaniach Autentyczność/afiliacje witryny ulokowały się na przedostatniej pozycji w rankingu, zaś Obiektywizm - na drugiej. Ten odmienny wynik pokazuje, że od badań Metzger w latach 1999-2001 nastąpiły wyraźne zmiany w ocenie ważności kryteriów wiarygodności witryn. Ich źródeł można się doszukiwać w rozwoju infrastruktury i technologii internetowych, które doprowadziły do dojrzałości i stabilności Wygląd i strukturę, Funkcjonalność, Wydajność oraz Przejrzystość typowej witryny (niezależnie od jej kategorii i funkcji).

Wcześniejsze badania autora pozwoliły ustalić ranking kryteriów wiarygodności witryn w ocenie ich użytkowników (Czerwiński, 2019b, s. 44). Trzynaście spośród zaprezentowanych kryteriów jest wspólnych, co umożliwia bezpośrednie porównanie rankingów ocen użytkowników oraz ekspertów (z pominięciem kryteriów nieobecnych jednocześnie w obu zestawieniach). Na identycznych miejscach w obu rankingach znalazły się tylko dwa kryteria - Bogactwo informacji i Motywy właściciela. Dlatego przeprowadzono analizę korelacji rangowej pomiędzy wymienionym rankingiem kryteriów wiarygodności witryn na podstawie ocen użytkowników a rankingiem wag ekspertów zamieszczonym w tabeli 7. Obliczona wartość współczynnika korelacji rangowej Spearmana wynosi -0,377 i nie jest on istotny statystycznie (t = -1,218; df = 11; p = 0,249). Taki wynik pozwala zweryfikować hipotezę, że siła związku pomiędzy ocenami kryteriów wiarygodności witryn na podstawie ocen użytkowników a wagami ekspertów jest mała i związek ten nie jest statycznie istotny. Innymi słowy przedstawione rankingi nie są ze sobą zgodne.

Ten rezultat nie powinien zaskakiwać, gdyż wyraża dość odmienne cele, jakie są stawiane przed oceną wiarygodności witryn przez użytkowników i ekspertów. Preferencje ekspertów dotyczą wyraźnie subkryteriów w ramach ogólnych kryteriów Treść witryny oraz Operator, co wynika ze świadomości konieczności budowy zaufania na tych poziomach. Preferencje użytkowników równomiernie obejmują zaś wszystkie trzy ogólne kryteria (pięć subkryteriów należących do kryterium Projekt oraz po cztery subkryteria należące do kryteriów Treść witryny oraz Operator). Oznacza to, że niezmiennie doceniają oni kryteria o charakterze infrastrukturalnym. Może to wynikać z ciągłej obawy użytkowników internetu o stan infrastruktury i odpowiedni projekt witryny ułatwiający pracę z nią. W konsekwencji ważne są dla nich takie subkryteria jak Funkcjonalność czy Dostępność informacji oraz Wygląd i struktura witryny.

Trzeba nadmienić, że eksperci nie rozstrzygali problemu doboru kompozycji zróżnicowanych kryteriów oceny wiarygodności w zależności od kontekstu (tzn. celu oceny, potrzeb informacyjnych). Jest bowiem oczywiste, że w praktyce ewaluacji konieczne będzie dobieranie kompozycji zróżnicowanych kryteriów, np. uwzględnienie dodatkowych subkryteriów należących do trzech przedstawionych kryteriów ogólnych oceny albo odrzucenie niektórych z nich. Skład takiej kompozycji powinien być uzależniony od takich czynników jak: i) kategoria/rodzaj witryny; ii) podmiot i jego rola w procesie dokonywania oceny wiarygodności; iii) wykorzystanie tej oceny w procesie podejmowania decyzji. Kolejne badania powinny ustalić ważność tych czynników zarówno w opinii ekspertów, jak i użytkowników. Pozwoli to tworzyć użyteczne w praktyce dla różnych podmiotów rankingi wiarygodności witryn internetowych.

Jeszcze inną kwestią wymagającą dalszych badań jest wskazanie metod i technik, które zwiększają zaufanie do witryn internetowych. Chodzi tu np. o metody certyfikacji jakości witryn na podstawie inteligentnych algorytmów oceny wybranych kryteriów wiarygodności czy w pełni zautomatyzowanych metod ewaluacji. Być może warto także rozwijać pewne metody i techniki oceny za pomocą mediów społecznościowych, gdzie witryny i ich treść są polecane przez innych użytkowników (ocena na zasadzie mądrości tłumu). Mamy tu jednak do czynienia z wieloma nowymi problemami takimi jak np. przechodniość, personalizacja, symetria i kontekst zaufania w sieci (Golbeck, 2006, s. 36-38).

Bibliografia

• Aggarwal, S., Van Oostendorp, H., Reddy, Y. R. i Indurkhya, B. (2014). Providing web credibility assessment support. W Proceedings of the 2014 European Conference on Cognitive Ergonomics (s. 1-8). ACM. https://doi.org/10.1145/2637248.2637260
• Banayoun, R., Roy, B., Sussman, N. (1966). Manual de référence du programme Electre. Note de Synthése et Formation, 25. Direction Scientifique SEMA.
• Brans, J. P. (1982). L'ingenierie de la decision. Elaboration d'instruments d'aide a la decision. La methode PROMETHEE. W R. Nadeau i M. Landry (red.), L'aide a la decision: nature, instruments et perspectives d'avenir. Presses de l'Universite Laval.
• Brans, J. P. i Vincke, Ph. (1985). A preference ranking organization method: (The PROMETHEÉ method for multiple criteria decision-making). Management Science, 31(6), 647-656. http://dx.doi.org/10.1287/mnsc.31.6.647
• Brans, J. P. i Mareschal, B. (2005). PROMETHEE methods. W J. Figueira, S. Greco i M. Ehrgott (red.), Multiple criteria decision analysis: state of the art surveys (s. 163-195). Springer.
• Choi, W. i Stvilia, B. (2015). Web credibility assessment: conceptualization, operationalization, variability, and models. Journal of the Association for Information Science and Technology, 66(12), 2399-2414. https://doi.org/10.1002/asi.23543
• Czerwiński, A. (2016). Ocena wiarygodności serwisów www polskich uniwersytetów. Praktyka i Teoria Informacji Naukowej i Technicznej, 24(2-3), 44-55.
• Czerwiński, A. (2019a). Identyfikacja i porównanie kryteriów oceny wiarygodności witryn internetowych. Przegląd Organizacji, 8, 50-58. http://doi.org/10.33141/po.2019.08.07
• Czerwiński, A. (2019b). Ważność kryteriów oceny wiarygodności witryn internetowych na podstawie badań. e-mentor, 4(81), 39-46. https://doi.org/10.15219/em81.1433
• Fogg, B. (2003). Persuasive technology: Using computers to change what we think and do. Morgan Kaufmann.
• Fogg, B., Soohoo, C., Danielson, D. R., Marable, L., Stanford, J. i Tauber, E. R. (2003). How do users evaluate the credibility of Web sites?: a study with over 2,500 participants. W Proceedings of the 2003 conference on Designing for user experiences (s. 1-15). ACM. https://doi.org/10.1145/997078.997097
• Goepel, K. D. (2013). Implementing the analytic hierarchy process as a standard method for multi-criteria decision making in corporate enterprises - a new AHP Excel template with multiple inputs. W Proceedings of the International Symposium on the Analytic Hierarchy Process 2013 (s. 1-10). https://doi.org/10.13033/isahp.y2013.047
• Golbeck, J. (2006). Trust on the World Wide Web: A survey. Foundation and Trends in Web Science, 1(2), 131-197. https://doi.org/10.1561/1800000006
• Hinloopen, E., Nijkamp, P. i Rietveld, P. (1983). The REGIME method: a new multicriteria technique. W P. Hansen (red.), Essays and surveys on multiple criteria decision making (s. 146-155). Springer.
• Hwang, C. L. i Yoon, K. (1981). Multiple attribute decision making. Methods and applications. Springer.
• Jacquet-Lagréze, E. i Siskos, J. (1982). Assessing a set of additive utility functions for multicriteria decision making: the UTA method. European Journal of Operational Research, 10(2), 151-164. https://doi.org/10.1016/0377-2217(82)90155-2
• Kąkol, M. i Nielek, R. (2015). What affects web credibility perception? An analysis of textual justifications. Computer Science, 16(3), 295-310. https://doi.org/10.7494/csci.2015.16.3.295
• Keeney, R. L. i Raiffa, H. (1993). Decisions with multiple objectives-preferences and value tradeoffs. Cambridge University Press.
• Malczewski, J. (1999). GIS and multicriteria decision analysis. JohnWiley & Sons.
• Metzger, M. J. (2007). Making sense of credibility on the Web: Models for evaluating online information and recommendations for future research. Journal of the American Society for Information Science and Technology, 58(13), 2078-2091. https://doi.org/10.1002/asi.20672
• Metzger, M. J., Flanagin, A. J., Eyal, K., Lemus, D. R. i McCann, R. M. (2003). Credibility for the 21st century: Integrating perspectives on source, message, and media credibility in the contemporary media environment. Annals of the International Communication Associaton, 27, 293-336. https://doi.org/10.1080/23808985.2003.11679029
• Oltenau, A., Peshterliev, S., Liu, X. i Aberer, K. (2013). Web credibility: features exploration and credibility prediction. W P. Serdyukov, P. Braslavski, S. O. Kuznetsov, J. Kamps, S. Rüger, E. Agichtein, I. Segalovich i E. Yilmaz (red.), Advances in information retrieval (s. 557-568). Springer. https://doi.org/10.1007/978-3-642-36973-5_47
• Piwowarski, M. (2009). Wielokryterialna analiza decyzyjna w systemach GIS. Studia i Materiały Polskiego Stowarzyszenia Zarządzania Wiedzą, 18, 123-134.
• Rieh, S. Y. i Danielson, D. R. (2007). Credibility: A multidisciplinary framework. Annual Review of Information Science and Technology, 41(1), 307-364. https://doi.org/10.1002/aris.2007.1440410114
• Roubens, M. (1982). Preference relation in actions and criteria in multicriteria decision making. European Journal of Operational Research, 10(1), 51-55. https://doi.org/10.1016/0377-2217(82)90131-X
• Roy, B. (1990). Wielokryterialne wspomaganie decyzji. WNT.
• Roy, B. i Bouyssou, D. (1993). Aide multicritere a la decision: methodes at cas. Economica.
• Saaty, T. L. (1980). Multicriteria decision making: the analytic hierarchy process. McGraw-Hill.
• Saaty, T. L. (1990). How to make a decision: The analytic hierarchy process. European Journal of Operational Research, 48(1), 9-26. https://doi.org/10.1016/0377-2217(90)90057-I
• Saaty, T. L. (1994a). How to make a decision: the analytic hierarchy process. INFORMS Journal on Applied Analytics, 24(6), 19-43. https://doi.org/10.1287/inte.24.6.19
• Saaty, T. L. (1994b). Mathematical principles of decisions making: the complete theory of the analytical hierarchy process. RWS Publications.
• Saaty, T. L. (2004). Decision making - the Analytic Hierarchy and Network Processes (AHP/ANP). Journal of Systems Science and Systems Engineering, 13(1), 1-34. https://doi.org/10.1007/s11518-006-0151-5
• Trzaskalik, T. (red.). (2014). Wielokryterialne wspomaganie decyzji. Metody i zastosowanie. Polskie Wydawnictwo Ekonomiczne.
• Vansnick, J. C. (1986). On the problem of weights in multiple criteria decision making (the noncompensatory approach). European Journal of Operational Research, 24(2), 288-294. https://doi.org/10.1016/0377-2217(86)90051-2
• Von Winterfeldt, D. i Edwards, W. (1986). Decision analysis and behavioural research. Cambridge University Press.