AAA

Ważność kryteriów oceny wiarygodności witryn internetowych na podstawie badań

Adam Czerwiński

Abstrakt

Kształcenie użytkowników internetu w zakresie samodzielnego pozyskiwania, oceny i efektywnego wykorzystania informacji, stało się jednym z filarów zestawu umiejętności informacyjnych (ang. information literacy) propagowanych i wdrażanych w szkołach oraz na uczelniach. Dlatego wiedza uczniów, studentów i nauczycieli (w tym akademickich), m.in. w zakresie możliwości oceny wiarygodności witryn internetowych jest niezbędna. Celem artykułu jest ustalenie ważności kryteriów oceny wiarygodności witryn internetowych. W pracy podjęto próbę udzielenia odpowiedzi na pytania: - Jak stworzyć ogólną listę kryteriów oceny wiarygodności witryn? - Które z kryteriów można uznać za najważniejsze? Do ustalenia ważności kryteriów zastosowano metodę sondażową i technikę badań ankietowych, które przeprowadzono wśród studentów opolskich uczelni. Wynikiem tych pilotażowych badań jest ustalenie rankingu ważności dla zestawu wybranych 15 kryteriów oceny wiarygodności witryn. Według respondentów najważniejszym kryterium oceny wiarygodności witryn są referencje do innych treści. Z kolei braki w zabezpieczeniu informacji przed szkodą nie mają - w opinii badanych - zbyt dużego wpływu na wiarygodność witryn. Zdecydowanie najmniej ważnym kryterium okazuje się nieczytelny język.

Słowa kluczowe: witryna internetowa, wiarygodność treści witryny, kryteria oceny witryn internetowych, ważność kryterium, ranking kryteriów

Wprowadzenie

Wiarygodność witryny internetowej oznacza przeświadczenie użytkownika, że jego oczekiwania dotyczące otrzymania określonych informacji z tej witryny zostaną spełnione bez ponoszenia dodatkowych, nieuzasadnionych kosztów: ekonomicznych, społecznych, psychologicznych, prawnych, etycznych. Dokonywanie oceny wiarygodności witryn wymaga jej konceptualizacji i operacjonalizacji. W literaturze przedmiotu zidentyfikowano różne wymiary wiarygodności witryn oraz wiele zestawów kryteriów jej oceny. Jednak w zasadzie brak jest określenia ważności poszczególnych kryteriów, co pozwoliłoby na tworzenie rankingów witryn. Dlatego celem wstępnych badań przeprowadzonych metodą sondażową było wypełnienie tej luki. Rezultaty pokazują, że według respondentów najważniejszym kryterium oceny wiarygodności witryn są referencje do innych treści. W opinii badanych zbyt dużego wpływu na wiarygodność witryn nie mają braki w zabezpieczeniu informacji przed szkodą. Zdecydowanie najmniej ważnym kryterium okazuje się nieczytelny język.

Rozwój technologii internetowych obniżył koszty i zwiększył dostęp do tworzenia i rozpowszechniania informacji. W środowisku internetu prawie każdy może być autorem treści zamieszczanych na witrynach, a żadne uprawnienia nie są już warunkiem koniecznym do ich upubliczniania. W rezultacie w sieci dostępnych jest obecnie bardzo wiele informacji z różnych źródeł. Jednak w odróżnieniu od tradycyjnych (drukowanych) materiałów, liczne treści zamieszczane na witrynach nie podlegają przed opublikowaniem żadnej ocenie. Dlatego mnożą się witryny wprowadzające w błąd, zawierające informacje niepoprawne albo wręcz szkodliwe. Może to doprowadzić organizacje korzystające z tych zasobów do poważnych strat finansowych albo narazić na szwank ich dobre imię i wizerunek, a użytkowników do utraty tożsamości, zdrowia a nawet życia (Schwarz i Morris, 2011, s. 1245). Dlatego ocena jakości i wiarygodności witryn internetowych jest tak istotna zarówno dla dostawców treści, administratorów, jak i ich użytkowników.

Porównanie i ocena jakości informacji uzyskanej z różnych źródeł jest także jednym z filarów zestawu umiejętności informacyjnych (ang. information literacy) propagowanych i wdrażanych w szkołach oraz na uczelniach (por. Derfert-Wolf, 2005). Konieczne jest m.in. kształcenie użytkowników w zakresie samodzielnego pozyskiwania, oceny i efektywnego wykorzystania informacji, zwłaszcza tej znajdującej się w internecie (Więk, 2016, s. 178). Celem jest bowiem uzyskanie dostępu do informacji wartościowej (wiarygodnej), a nie tylko do informacji w ogóle. Staje się to szczególnie ważne w obecnych warunkach "zalewu informacji" i związanego z nim przeciążenia informacyjnego (Czerwiński i Krzesaj, 2018, s. 60), a także gwałtownie przybierającego na sile zjawiska rozpowszechniania fałszywych informacji nazywanych fake news (Czerwiński i Krzesaj, 2018, s. 63). Dlatego wiedza m.in. z zakresu możliwości oceny wiarygodności witryn internetowych powinna być powszechna.

Znanych jest wiele metod i kryteriów ewaluacji wiarygodności witryn, dalej nazywanych ramami oceny. Krótki ich przegląd znajduje się w kolejnej części artykułu. Autorzy ram oceny często wychodzą od odmiennych przesłanek (np. dotyczących roli oceniających lub uwarunkowań związanych z oceną), co prowadzi do ich zróżnicowania. Jednak, aby dobrze spełniać swoją funkcję, takie ramy powinny być co najmniej:

  • ogólne, tzn. muszą dawać możliwość oceny wiarygodności wszystkich procesów informacyjnych w sieci internet,
  • odpowiednie, tzn. muszą dawać możliwość oceny wiarygodności procesów realizowanych przez podmioty występujące w różnych rolach (dostawców informacji, administratorów informacji, użytkowników informacji),
  • elastyczne, tzn. muszą dawać możliwość oceny wiarygodności witryn realizujących swoje zadania w różnych obszarach (np. w produkcji, handlu, ubezpieczeniach, bankowości, kształceniu, działalności publicznej itd.).

Dodatkowo, aby możliwe było tworzenie rankingów wiarygodności witryn internetowych, ramy trzeba uzupełnić o narzędzia pomiaru poszczególnych kryteriów (np. odpowiednie wskaźniki) oraz o sposoby konstrukcji syntetycznego miernika wiarygodności. Powinien on uwzględniać zróżnicowaną ważność poszczególnych kryteriów oceny wiarygodności, gdyż bezpośrednio wpływa to na kolejność w rankingu. Dokonywanie oceny wiarygodności i tworzenie rankingów wiarygodności dotyczy zarówno użytkowników wykorzystujących funkcje i zasoby witryny, jak i jej właścicieli oraz sponsorów zarządzających nią w praktyce (w szczególności jej zasobami informacyjnymi). Dlatego metodom oceny wiarygodności i identyfikacji jej kryteriów w internecie poświęcono liczne rozważania i badania (patrz dalej). Niestety w literaturze przedmiotu jest niewiele wskazówek czy też wyników badań, które dotyczą ważności kryteriów wiarygodności. Miriam Metzger, powołując się na własne badania na pięciu próbach (studenci / nie studenci) z lat 1999-2001, podaje częstość występowania zachowań polegających na weryfikowaniu dziewięciu kryteriów wiarygodności podczas odwiedzania witryn internetowych (Metzger, 2007, s. 2080). Były to w kolejności od wymienianych przez respondentów najczęściej do najrzadziej: aktualność, obiektywizm, kompletność, weryfikowalność, spójność celów autora, autorstwo, autentyczność, afiliacje oraz kwalifikacje autora. Ta lista kryteriów jest bardzo krótka w porównaniu z zestawami prezentowanymi przez innych autorów, zawierającymi od kilkunastu do kilkudziesięciu pozycji (patrz kolejny punkt), których ważności nie określono.

Dlatego celem artykułu jest ustalenie ważności wybranych kryteriów oceny wiarygodności witryn internetowych.

W pracy podjęto próbę udzielenia odpowiedzi na pytania:

  • Jak stworzyć ogólną listę kryteriów oceny wiarygodności witryn?
  • Które z nich można uznać za najważniejsze?

Do ustalenia ważności kryteriów zastosowano metodę sondażową i technikę badań ankietowych, które przeprowadzono wśród studentów Uniwersytetu Opolskiego. Wynikiem tych pilotażowych badań jest ustalenie rankingu ważności dla zestawu wybranych 15 kryteriów oceny wiarygodności witryn. W artykule zaprezentowano kolejno następujące zagadnienia: definicję i ocenę wiarygodności, wybór kryteriów oceny wiarygodności do badań, wyniki badań, dyskusję i wnioski.

Definicja i ocena wiarygodności

Biorąc pod uwagę rozważania przedstawione w pracy Ocena wiarygodności serwisów www polskich uniwersytetów (Czerwiński, 2016), wiarygodność witryny internetowej oznacza przeświadczenie użytkownika, że jego oczekiwania dotyczące otrzymania określonych informacji z tej witryny (serwisu internetowego) zostaną spełnione bez ponoszenia dodatkowych nieuzasadnionych kosztów (ekonomicznych, społecznych, psychologicznych, prawnych, etycznych). Dokonywanie oceny wiarygodności witryn wymaga jej konceptualizacji i operacjonalizacji. Prowadzi to do stworzenia ram oceny obejmujących wymiary/kategorie oraz kryteria i miary.

Konceptualizacja oceny wiarygodności pod względem przedmiotowym obejmuje tradycyjnie trzy elementy: źródło, wiadomość i media (Metzger, Flanagin, Eyal, Lemus i McCann, 2003; Rieh i Danielson, 2007). Odnosząc te trzy elementy do sieci internet B.J. Fogg proponuje odpowiadające im kategorie oceny nazwane: operator (operator), treść (content) i projekt (design) witryny (Fogg, 2003). Pierwsza kategoria ram wiarygodności sieci, operator - jest zdefiniowana jako "organizacja lub osoba oferująca stronę" (Fogg, 2003, s. 173). Z kolei treść została zdefiniowana jako to, "co strona zapewnia w zakresie informacji i funkcjonalności" (Fogg, 2003, s. 173). Wreszcie projekt opisuje atrybuty struktury stron internetowych i określa jego cztery kluczowe elementy, które wchodzą w grę podczas oceny wiarygodności sieci: projekt informacji (jej strukturę), projekt techniczny, wygląd (estetyka) i projekt interakcji. Uwzględniając tak rozumiane kategorie oceny wiarygodności witryn internetowych Wonchan Choi oraz Besiki Stvilia dokonują operacjonalizacji kryteriów ewaluacji (Choi i Stvilia, 2015). Występujące w literaturze kryteria oceny wiarygodności zostały przez nich rozdzielone pomiędzy trzy kategorie podane przez Fogga oraz dodatkowo zmapowane do dwóch wymiarów wiarygodności: solidności i wiedzy specjalistycznej. Wynikający stąd podział kryteriów przedstawiono w tabeli 1. W cytowanej pracy podano także propozycje miar dla poszczególnych kryteriów, które nie zostały tu przytoczone.

Tabela 1. Kryteria ewaluacji wiarygodności witryn zaproponowane przez Choia i Stvilię

Wymiar
Kategoria
Solidność Wiedza specjalistyczna
Operator Znaczenie komercyjne operatora Postrzegana reputacja
Postrzegana integralność Ranking wyszukiwarek
Postrzegana przejrzystość Historia działalności autora (w serwisach społecznościowych)
Postrzegana przyzwoitość  
Treść Obiektywizm informacji Dostarczenie referencji
Zagregowana opinia społeczna Jakość wewnętrzna treści
Spójność w dostarczaniu treści Wzmocnienie wiedzy merytorycznej
Aktualność  
Projekt Odwzorowanie realnego świata w projekcie Estetyka wizualna
Stabilność strony Odpowiedniość (dopasowanie) projektu

Źródło: opracowanie własne na podstawie Choi i Stvilia, 2015, s. 2402.

Jak wynika z tabeli 1 najwięcej kryteriów oceny (po 7) dotyczy dwóch pierwszych kategorii: operator i treść witryny. Trzecia kategoria (projekt) podlega ocenie za pomocą 4 kryteriów, co wcale nie świadczy o jej mniejszym znaczeniu. Wymienione przez Choia i Stvilię miary jakości wewnętrznej treści, takie jak błędy typograficzne czy też rozmiar witryny charakteryzują jedynie jej prawidłowość czy też zwięzłość. Świadczy to o bardzo ograniczonym zakresie interpretacji kryterium Jakość wewnętrzna treści. Znanych jest wiele innych atrybutów jakości informacji zamieszczanych na witrynie, takich jak: "zwięzłość, zgodność (semantyczna i strukturalna), prawidłowość, dokładność, spójność, złożoność, nadmiarowość, kompletność" (Czerwiński i Krzesaj, 2018, s. 193-195).

Część badaczy, m.in. Patricia M. Doney i Joseph P. Cannon, Shankar Ganesan, David Gefen, Kim Giffin, Robert E. Larzelere i Ted L. Huston (Gefen, Karahanna, Straub, 2003; Gefen, 2002) formułuje inne wymiary wiarygodności. Najczęściej spotykana ogólna struktura obejmuje trzy wymiary zaufania: zdolność (ability), życzliwość (benevolence) i uczciwość (integrity). Zostały one wykorzystane przez autora niniejszego tekstu do stworzenia ram oceny wiarygodności witryn internetowych i zestawu kryteriów oceny wiarygodności witryn. Są to następujące kryteria (Czerwiński, 2016, s. 47): (W1) Funkcjonalność, (W2) Bezpieczeństwo, (W3) Przejrzystość, (W4) Elastyczność, (W5) Doświadczenie (Umiejętności), (W6) Nawyki, (W7) Styl życia, (W8) Prywatność, (W9) Wydajność, (W10) Niezawodność, (W11) Dostępność danych, (W12) Bogactwo informacji, (W13) Jakość informacji, (W14) Autentyczność/tożsamość, (W15) Referencje, (W16) Wierność, (W17) Solidność (Rzetelność) i (W18) Poszanowanie cudzej własności.

Jak wynika z prezentowanej listy, większość tych kryteriów jest wspólna z zawartymi w tabeli 1. W wymienionym zestawie brakuje jedynie sześciu następujących kryteriów: Znaczenie komercyjne operatora, Postrzegana integralność, Obiektywizm informacji, Zagregowana opinia społeczna, Historia działalności autora (w serwisach społecznościowych) oraz Estetyka wizualna.

Najczęściej wykorzystywanym podejściem do identyfikacji i definiowania kryteriów wiarygodności jest podejście empiryczne. Reprezentują je m.in. autorzy obszernego badania wiarygodności witryn realizowanego z punktu widzenia użytkowników (Fogg, Soohoo, Danielson, Marable, Stanford i Tauber, 2003). Zidentyfikowane kryteria oceny uzyskano na podstawie treści komentarzy użytkowników dotyczących wiarygodności wskazanych witryn. Analiza tych komentarzy przez ekspertów pozwoliła wyłonić określone, powtarzające się kryteria oceny. Są to: (F1) Wygląd/projekt, (F2) Projektowanie informacji/struktura, (F3) Fokus/skupienie informacji, (F4) Motywy firmy/właściciela, (F5) Przydatność informacji, (F6) Dokładność informacji, (F7) Rozpoznawalność nazwy i reputacja, (F8) Reklama, (F9) Stronniczość informacji, (F10) Ton/wydźwięk pisania, (F11) Tożsamość właściciela/sponsora strony, (F12) Funkcjonalność strony, (F13) Obsługa klienta, (F14) Przeszłe doświadczenia z witryną, (F15) Jasność informacji, (F16) Wyniki w teście, (F17) Czytelność, (F18) Afiliacje (autorów). Jeszcze inne zestawy kryteriów zidentyfikowane w podejściu empirycznym podają m.in.: Michał Kąkol i Radosław Nielek (2015), Sonal Aggarwal, Herre Van Oostendorp, Y. Raghu Babu Reddy i Bipin Indurkhya (2014) czy Alexandra Olteanu, Stanislav Peshterliev, Xin Liu i Karl Aberer (2013). Te wymienione zestawy kryteriów oceny wiarygodności zostały porównane w pracy Czerwińskiego (2019). Wykazano tam, że kryteria oceny wiarygodności uzyskane w ramach podejścia empirycznego są odpowiednie wyłącznie dla użytkowników witryn. Natomiast wszystkie porównywane zestawy kryteriów oceny wiarygodności nadają się do ewaluacji witryn z dowolnego obszaru, tzn. są elastyczne. Pokazano także, że odmienne podejścia do identyfikacji kryteriów oceny wiarygodności witryn internetowych prowadzą do uzyskania nieco zróżnicowanych zestawów tych kryteriów. Wyniki jeszcze innych badań prezentowanych przez Metzger (2007, s. 2080-2081) opierały się na bardzo nielicznych próbach użytkowników internetu realizujących wyspecjalizowane zadania wyszukiwania i dlatego zidentyfikowane tam kryteria ewaluacji wiarygodności trudno jest uogólniać. Z tego powodu konieczne są badania pozwalające ustalić, które z nich są najważniejsze i powinny stanowić standard oceny wiarygodności witryn internetowych.

Wybór kryteriów oceny wiarygodności witryn do badań

W podsumowaniu swojego artykułu Fogg i inni (2003) uznają za mało istotne następujące kryteria: tożsamość właściciela/sponsora (F11), reklamy i sponsoring (F8), obsługa klienta (F13). Dlatego tylko istotne kryteria z zestawu Fogga i in. oraz kryteria z zestawu Czerwińskiego połączono na zasadzie koniunkcji z uwzględnieniem ich znaczenia. Na przykład kryterium W15 (referencje) odpowiada kryterium F7 (rozpoznawalność nazwy i reputacja). W efekcie otrzymuje się zestaw:

  1. (W2, F1, F2) Wygląd i struktura informacji
  2. (W1, F12) Funkcjonalność witryny
  3. (W13, F5) Przydatność informacji na witrynie
  4. (W16, W17, W18, F4) Motywy firmy/właściciela witryny
  5. (W6, F14) Nawyki/doświadczenie użytkownika
  6. (W2, F2) Bezpieczeństwo infrastruktury
  7. (W9, F16) Wydajność infrastruktury
  8. (W11, F3) Dostępność informacji
  9. (W12, F3) Bogactwo informacji
  10. (W13, F6) Dokładność informacji
  11. (W13, F15) Jasność informacji
  12. (W13, F17) Czytelność informacji
  13. (W14, F18) Autentyczność/afiliacje
  14. (W15, F7) Referencje/reputacja
  15. (W16, F4) Wierność
  16. (W17, F4) Rzetelność
  17. (W18, F4) Poszanowanie cudzej własności.

Jak wynika z powyższego zestawienia, wyeliminowane zostały kryteria W3, W4, W5, W7, W8 i W10 oraz F8, F9, F10 i F13. Ostatecznie przytoczony zestaw 17 kryteriów dobrze pokrywa się z innymi cytowanymi w literaturze zestawami i dlatego posłużył do stworzenia narzędzia badawczego oraz do dalszych badań.

Metoda badań

W badaniach wykorzystano metodę sondażową i technikę ankietową. Uczestnikom badań zadano 17 pytań, po jednym dla każdego z uprzednio wybranych kryteriów wiarygodności. Wszystkie pytania były zadane w sposób "negatywny" i opisane w kategoriach typowych problemów informacyjnych spotykanych w internecie. Respondenci oceniali częstość występowania tych problemów na podstawie scenariuszy odnoszących się do uprzednio wybranych kryteriów wiarygodności informacji. Do oceny zastosowano czterostopniową skalę: problem ... (jego opis) - występuje (a) często; (b) okazjonalnie; (c) rzadko; lub (d) nigdy. Przykładowo ocena przydatności witryny wymagała wskazania, jak często respondent spotyka się z sytuacją, w której informacje na witrynie nie mają zastosowania i są nieprzydatne. Opracowane przez autora narzędzie zamieszczono w Aneksie. Nie zawierało ono żadnych zmiennych niezależnych, które pozwoliłyby bliżej scharakteryzować respondentów. Wynikało to z pilotażowego charakteru badań, które w tej fazie miały na celu ogólne ustalenie ważności kryteriów ewaluacji wiarygodności witryn. Badanie przeprowadzono w dniach od 4 do 11 czerwca 2019 roku. Zrealizowali je studenci kierunku zarządzanie na Wydziale Ekonomicznym Uniwersytetu Opolskiego w ramach seminarium dyplomowego1. Osoby te zdobyły wcześniej odpowiednie przygotowanie metodologiczne w ramach kursu pn. "Badania naukowe". W badaniu wzięło udział 120 anonimowych respondentów. Zostali oni poinformowani o celach badania. Zaprezentowano im także definicje wszystkich kryteriów wiarygodności. Jednocześnie poproszono ich o ocenianie tylko witryn edukacyjnych, naukowych i informacyjnych. Respondenci (studenci opolskich uczelni) stanowili w miarę jednorodną próbę pod względem wieku, wykształcenia i umiejętności informacyjnych, zwłaszcza wyszukiwania i przeglądania zasobów internetu. Próba została dobrana w sposób celowy - byli to użytkownicy witryn, którzy mogli oraz chcieli ocenić ważność poszczególnych kryteriów wiarygodności.

Wyniki badań

Uzyskane oceny zostały zastąpione wartościami liczbowymi w następujący sposób: (a) często - 4; (b) okazjonalnie - 3; (c) rzadko - 2; (d) nigdy - 1. Następnie wyznaczono statystyki opisowe rozkładów odpowiedzi wszystkich respondentów na 17 pytań zawartych w ankiecie. W tabeli 2 zaprezentowano ich wartości. Kursywą zaznaczono tam wartości minimalne danej statystki, a wytłuszczeniem - jej wartości maksymalne.

Średnie wartości rozkładów odpowiedzi wahają się w zakresie od 1,88 (Nieczytelny język) do 2,69 (Brak referencji), tzn. w opinii respondentów stwierdzone problemy są rzadkie albo tylko okazjonalne. Oznacza to, że respondenci nie dostrzegają zbyt częstego występowania wskazywanych braków, niedogodności czy sprzeczności na witrynach.

Tabela 2. Statystyki opisowe rozkładów odpowiedzi respondentów na pytania w ankiecie

Numer Stwierdzenie Średnia Odchylenie Zmienność
1. Zły wygląd i struktura witryny 2,43 0,69 0,29
2. Niedopasowane funkcje witryny 2,55 0,83 0,32
3. Nieodpowiedni zakres informacji 2,38 0,81 0,34
4. Sprzeczne motywy właściciela 2,28 0,91 0,40
5. Zbyt mały zakres umiejętności użytkownika 2,48 0,96 0,39
6. Niezabezpieczenie informacji 2,18 0,94 0,43
7. Niedostateczna wydajność infrastruktury 2,28 0,86 0,38
8. Brak dostępności informacji 2,45 0,83 0,34
9. Małe bogactwo zasobów 2,36 0,82 0,35
10. Niedokładne dane 2,35 0,85 0,36
11. Niejasne i niejednoznaczne informacje 2,43 0,81 0,33
12. Nieczytelny język 1,88 0,85 0,45
13. Nieautentyczność witryny 2,41 0,75 0,31
14. Brak referencji 2,69 0,87 0,32
15. Brak zgodności materiałów z oryginałem 2,28 0,83 0,36
16. Nierzetelne informacje 2,16 0,88 0,41
17. Brak poszanowania praw autorskich 2,65 0,89 0,34

Źródło: opracowanie własne na podstawie wyników badań.

Rozkłady odpowiedzi charakteryzują się ponadto przeciętną wartością odchylenia standardowego mieszczącą się w zakresie od 0,69 (Zły wygląd i struktura witryny) do 0,96 (Zbyt mały zakres umiejętności). W związku z tym ich zmienność (udział odchylenia w wartości średniej) również nie jest zbyt wielka i waha się w zakresie od 0,29 (Zły wygląd i struktura witryny) do 0,45 (Nieczytelny język).

Analiza rzetelności wewnętrznej skali

Za pomocą pakietu Statistica przeprowadzono analizę rzetelności wewnętrznej zaproponowanej skali oceny wiarygodności witryn (zestawu pytań w kwestionariuszu). W tym celu wyznaczono współczynnik alfa Cronbacha dla skali sumarycznej składającej się z 17 pozycji. Jego wartość wynosi 0,447 i nie jest wystarczająca - skalę uznajemy bowiem za rzetelną, jeśli wartość tego współczynnika jest większa od 0,7. Istnieje zatem przypuszczenie, że zestaw pytań nie jest jednorodny. Dlatego podjęto próbę ograniczenia liczby pytań. Najmniejszą korelację z wynikiem sumarycznym mają pytania 7 i 17: Niedostateczna wydajność infrastruktury oraz Brak poszanowania praw autorskich. Jednak ich usunięcie pojedynczo poprawia wartość współczynnika alfa nieznacznie (do 0,47 po usunięciu pytania 7 oraz do 0,455 po usunięciu pytania 17). Usunięcie obu tych pytań pozwoliło zwiększyć rzetelność skali - współczynnik alfa Cronbacha wyniósł teraz 0,492. Jednak nie ma już żadnych innych pytań, których usunięcie zwiększyłoby jeszcze rzetelność skali. Należy raczej rozważyć zwiększenie liczby pytań. Aby otrzymać rzetelność dla skali sumarycznej równą 0,7 musielibyśmy dodać aż 21 pytań o tej samej przeciętnej rzetelności jak inne pytania tej skali. Dlatego do dalszych badań wzięto skalę składającą się z 15 pytań oceniających 15 kryteriów.

Analiza czynnikowa

Wartości współczynników korelacji pomiędzy poszczególnymi pytaniami są niewielkie (od 0,002 do 0,286). Średnia korelacja między pozycjami wynosi 0,0456. Test sferyczności Bartletta (test jednorodności wariancji), będący wyznacznikiem skorelowania poszczególnych pozycji testowych, dowiódł, że próba jest właściwie dobrana (Chi2 ≈ 24,32, df = 14, p < 0,05).

Przeprowadzona analiza czynnikowa metodą głównych składowych potwierdziła strukturę skali złożoną z pięciu czynników (zastosowano kryterium Kaisera - wartość własna czynnika > 1). Wyodrębnione czynniki wyjaśniają 49,98% wariancji sumarycznej miary, co jest wartością zadowalającą. Każdy z czynników ma zbliżony, lecz niewielki udział w wyjaśnieniu ogólnej wartości wariancji (od 7,9% do 12,7%). Jednak żadna z pozycji nie ma ładunku czynnikowego większego od 0,7. Oznacza to, że trudno jest przypisać je do nowych czynników. Interpretacja ich znaczenia jest zatem dość kłopotliwa, a całość analizy czynnikowej - niejednoznaczna.

W tabeli 3 zamieszczono wynikający z badań ranking kryteriów oceny wiarygodności witryn internetowych.

Tabela 3. Ranking kryteriów oceny wiarygodności witryn na podstawie badań

Numer Stwierdzenie Średnia Miejsce
13. Brak referencji 2,692 1.
2. Niedopasowane funkcje witryny 2,550 2.
5. Zbyt mały zakres umiejętności użytkownika 2,483 3.
7. Brak dostępności informacji 2,450 4.
1. Zły wygląd i struktura witryny 2,425 5.
10. Niejasne i niejednoznaczne informacje 2,425 6.
12. Nieautentyczność witryny 2,408 7.
3. Nieodpowiedni zakres informacji 2,375 8.
8. Małe bogactwo zasobów 2,358 9.
9. Niedokładne dane 2,350 10.
14. Brak zgodności materiałów z oryginałem 2,283 11.
4. Sprzeczne motywy właściciela 2,275 12.
6. Niezabezpieczenie informacji 2,175 13.
15. Nierzetelne informacje 2,158 14.
11. Nieczytelny język 1,875 15.

Źródło: opracowanie własne na podstawie wyników badań.

Według respondentów najczęściej występującymi wadami witryn są: brak referencji do innych treści (miejsce pierwsze - średnia 2,692) oraz niedopasowane funkcje witryny (miejsce drugie - średnia 2,55). Oznacza to, że ankietowani przywiązują największą wagę do tych dwóch wymienionych kryteriów wiarygodności witryn. Zły wygląd i struktura witryny znalazły się dopiero na piątym miejscu rankingu (średnia 2,425). W ten sposób nie znalazła potwierdzenia teza wyrażona w pracy Fogga i in. (2003), że to kryterium wiarygodności witryn internetowych jest dominujące. Stwierdzenie o niedopasowanych funkcjach witryny znalazło się na drugiej pozycji, co potwierdza, że użytkownicy oczekują w pierwszym rzędzie odpowiedniej funkcjonalności witryny, a dopiero w dalszej kolejności odpowiedniej jakości dostępnych na niej informacji (jasności i jednoznaczności, odpowiedniego zakresu, bogactwa zasobów oraz dokładności - miejsca odpowiednio 5., 8., 9. i 10. w rankingu). Ankietowani zdają sobie jednak sprawę z faktu, że dość często brakuje im odpowiednich umiejętności, aby w pełni wykorzystać funkcjonalność i zasoby witryn (średnia 2,483 - miejsce 3. w rankingu). Zbyt dużego wpływu na wiarygodność witryn nie mają w opinii badanych braki w zabezpieczeniu informacji przed szkodą - miejsce 13. Zdecydowanie najmniej ważnym kryterium okazuje się nieczytelny język - miejsce 15.

Dyskusja i wnioski

Przedstawione wyniki odzwierciedlają pozytywne zmiany w ocenie ważności kryteriów wiarygodności przez respondentów. Już nie wygląd i struktura witryny decydują o zaufaniu jej potencjalnych użytkowników (Fogg i in., 2003), ale to, czy witryna (edukacyjna, naukowa lub informacyjna) odwołuje się do innych treści, umożliwiając łatwe dotarcie do nich. Widać zatem, że aby witryna tego rodzaju była godna zaufania, musi stanowić wrota do innych witryn. Według badanych na dalszy plan zeszły obawy o bezpieczeństwo informacji (zarówno tych pochodzących od właścicieli i sponsorów, jak i tych zamieszczonych przez użytkowników). Świadczy to o znacznej poprawie zabezpieczeń stosowanych w internecie.

W cytowanych wynikach badań przedstawionych przez Metzger (s. 2080) najwyższy priorytet uzyskały kryteria wiarygodności, które są najłatwiejsze do oceny i wymagają tylko opinii użytkownika (np. rozważenia czy informacje na witrynie są aktualne i kompletne), a najniższy te, które wymagają wysiłku i są bardziej czasochłonne (np. weryfikowanie kwalifikacji autora lub poświadczenie autorstwa). Prezentowane rezultaty badań pokazują, że respondenci stali się bardziej skłonni do weryfikowania autentyczności witryny (a zatem również autorstwa zamieszczanych informacji). Odpowiedni zakres i bogactwo (kompletność) informacji znalazły się w środku rankingu. Świadczy to o kolejnej pozytywnej zmianie priorytetów w ocenie wiarygodności w kierunku weryfikacji nie tylko autorstwa informacji, ale w ślad za tym idących także kwalifikacji autorów. Natomiast trudno jest te rezultaty porównać bezpośrednio z wynikami Metzger. Jedynym identycznie określonym kryterium, które wystąpiło w obu badaniach, jest autentyczność witryny. Inne kryteria wzięte pod uwagę różnią się pod względem semantycznym, choć mogą na siebie zachodzić, jak np. poświadczenie autorstwa i motywy właściciela witryny.

Całość prezentowanych rozważań pokazuje, że nadal trudno jest ustalić pewną ogólną listę kryteriów wiarygodności witryn, która mogłaby posłużyć zarówno do dokonywania ich bieżących ocen, jak i do celów edukacyjnych w ramach kształtowania umiejętności informacyjnych użytkowników internetu w szkołach i na uczelniach. Kontekst oceny wiarygodności (tzn. cel, potrzeby informacyjne i zadanie) prowadzi bowiem do różnorodności podejść do tej oceny i wymaga dopasowywania zestawu kryteriów. W konsekwencji, w praktyce ewaluacji, konieczne będzie dobieranie mieszanki zróżnicowanych kryteriów. Jej skład powinien być uzależniony od takich czynników jak: i) kategoria/rodzaj witryny i jej funkcje; ii) podmiot i jego rola w procesie dokonywania oceny wiarygodności; iii) wykorzystanie tej oceny w określonym kontekście. Trzeba na przykład pamiętać, że użytkownicy mogą być bardziej zmotywowani do oceny witryn w sytuacjach, w których muszą uzyskiwać wiarygodne informacje. Będą wówczas bardziej skłonni do większego wysiłku i wykonywania czasochłonnych działań w celu szerszej oceny wiarygodności witryn. Dlatego problem doboru odpowiedniej mieszanki kryteriów ewaluacji wiarygodności witryn wymaga dalszych badań. W tym kontekście opracowane narzędzie badawcze okazało się niewystarczająco rzetelne pod względem statystycznym, mimo że podczas jego konstrukcji uwzględniono merytoryczne wnioski z kilku różnych zestawów kryteriów. Spowodowało to ograniczenie liczby pytań w kwestionariuszu do 15. Jednak, jak pokazano, dalsza redukcja tej liczby nie ma sensu. Konieczne będzie zweryfikowanie tego rezultatu w ramach innej próby badawczej oraz innych ocenianych kategorii/rodzajów witryn, a także dla różnych grup podmiotów dokonujących oceny wiarygodności. Przeprowadzona analiza czynnikowa wybranych miar kryteriów oceny wiarygodności dała niejednoznaczne wyniki - pozwoliła wskazać pięć czynników, które wyjaśniają 49,98% wariancji sumarycznej miary wiarygodności. Jednak interpretacja ich znaczenia jest dość trudna.

Zaprezentowane wyniki tych pilotażowych badań podlegają również typowym ograniczeniom związanym z doborem próby. Na pytania zawarte w ankiecie odpowiadały bowiem tylko osoby, które na co dzień są użytkownikami internetu i mogły oraz chciały ocenić ważność poszczególnych kryteriów wiarygodności. Badana próba została zatem wybrana w sposób celowy. Dlatego dalsze badania powinny dotyczyć próby reprezentatywnej. Dopiero wówczas będzie można wskazać, tak jak to przedstawiono wyżej, pewne kanoniczne mieszanki kryteriów oceny wiarygodności witryn internetowych. Pozwoli to tworzyć ich porównywalne rankingi, np. w ramach określonych kategorii/rodzajów.

Kolejną kwestią wymagającą dalszych badań jest wskazanie preferowanych przez użytkowników internetu metod i technik, które zwiększają ich zaufanie do witryn. Czy oczekują oni np. dalszego rozwijania metod certyfikacji jakości witryn w oparciu o inteligentne algorytmy oceny wybranych kryteriów wiarygodności, czy też są bardziej skłonni zaufać witrynom polecanym przez innych użytkowników (na zasadzie "mądrości tłumu")? A może bardziej wiarygodne stają się witryny zawierające wyłącznie materiały pochodzące od ekspertów (zatem dostępne odpłatnie)? Jednak w tym przypadku powstaje problem weryfikacji wiarygodności ekspertów. Kto i na jakich zasadach miałby dokonywać takiej oceny? Są to pytania, które czekają na odpowiedzi.

Bibliografia

  • Aggarwal, S., Van Oostendorp, H., Reddy, Y. R. i Indurkhya, B. (2014). Providing web credibility assessment support. W: Proceedings of the 2014 European conference on cognitive ergonomics (s. 1-8). New York: ACM.
  • Choi, W. i Stvilia, B. (2015). Web credibility assessment: conceptualization, operationalization, variability, and models. Journal of the Association for Information Science and Technology, 66(12), 2399-2414.
  • Czerwiński, A. (2016). Ocena wiarygodności serwisów www polskich uniwersytetów. Praktyka i Teoria Informacji Naukowej i Technicznej, 22(2-3), 44-55.
  • Czerwiński, A. i Krzesaj, M. (2018). Ocena jakości informacji w Internecie. Opole: Wydawnictwo Uniwersytetu Opolskiego.
  • Czerwiński, A. (2019). Identyfikacja i porównanie kryteriów oceny wiarygodności witryn internetowych. Przegląd Organizacji, 8, 50-58.
  • Derfert-Wolf, L. (2005). Information literacy - koncepcje i nauczanie umiejętności informacyjnych. Biuletyn EBIB, 1(62). Pobrane z http://www.ebib.pl/2005/62/derfert.php
  • Fogg, B. J. (2003). Persuasive technology: Using computers to change what we think and do. San Francisco: Morgan Kaufmann.
  • Fogg, B. J., Soohoo, C., Danielson, D. R., Marable, L., Stanford, J. i Tauber, E. R. (2003). How do users evaluate the credibility of Web sites? : a study with over 2,500 participants. W: Proceedings of the 2003 conference on Designing for user experiences (s. 1-15). New York: ACM
  • Gefen, D., Karahanna, E. i Straub D. W. (2003). Trust and TAM in Online Shopping: An Integrated Model. MIS Quarterly, 27(1), 51-90. DOI: 10.2307/30036519
  • Gefen, D. (2002). Reflections on the dimensions of trust and trustworthiness among online consumers. ACM SIGMIS Database, 33(3), 38-53. DOI: 10.1145/569905.569910
  • Kąkol, M. i Nielek, R. (2015). What Affects Web Credibility Perception? An Analysis of Textual Justifications. Computer Science, 16(3), 295-310. DOI: 10.7494/csci.2015.16.3.295
  • Metzger, M. J., Flanagin, A. J., Eyal, K., Lemus, D. R. i McCann, R. M. (2003). Credibility for the 21st century: Integrating perspectives on source, message, and media credibility in the contemporary media environment. W: P.J. Kalbfleisch (red.), Communication Yearbook, 27, 293-336. Mahwah, NJ: Lawrence Erlbaum Associates. https://doi.org/10.1080/23808985.2003.11679029
  • Metzger, M. J. (2007). Making sense of credibility on the Web: Models for evaluating online information and recommendations for future research. Journal of the American Society for Information Science and Technology, 58(13), 2078-2091. DOI:10.1002/asi.20672
  • Olteanu, A., Peshterliev, S., Liu, X. i Aberer, K. (2013). Web Credibility: Features Exploration and Credibility Prediction. In: P. Serdyukov, P. Braslavski, S. O. Kuznetsov, J. Kamps, S. Rüger, E. Agichtein ... E. Yilmaz (Eds.), Proceedings of the European Conference on IR Research ECIR 2013, Lecture Notes in Computer Science, 7814 (s. 557-568). Berlin, Heidelberg: Springer Verlag.
  • Rieh, S. Y. i Danielson, D. R. (2007). Credibility: A multidisciplinary framework. Annual Review of Information Science and Technology, 41(1), 307-364. https://doi.org/10.1002/aris.2007.1440410114
  • Schwarz, J. i Morris, M. (2011). Augmenting web pages and search results to support credibility assessment. W: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems CHI '11 (s. 1245-1254). New York: ACM.
  • Więk, A. (2016). Kształtowanie information literacy: rola biblioteki akademickiej. W: A. Czerwiński, A. Jandziak i M. Krzesaj (red.), Informacja - dobro publiczne czy prywatne? (s. 175-186). Opole: Wydawnictwo Uniwersytetu Opolskiego.

Aneks. Ankieta badawcza

Wskaż, jak często respondent napotyka następujący, opisany poniżej problem (od 1 do 17) na witrynach w internecie - jeżeli występuje on często - wpisz 4; okazjonalnie - wpisz 3; rzadko - wpisz 2; nigdy - wpisz 1.
1. Wygląd i struktura informacji na witrynie, w tym układ treści, typografia, rozmiar czcionki i schematy kolorów nie są dopasowane do przekazywanych treści, co utrudnia albo uniemożliwia ich odbiór i wykorzystanie:
2. Funkcje witryny nie są dopasowane do potrzeb potencjalnego użytkownika, przez co nie może on szybko i łatwo wykonać swoich zadań:
3. Zakres informacji na witrynie nie jest odpowiedni i nie są one przydatne dla użytkowników:
4. Rzeczywiste motywy właściciela, sponsora witryny do jej utrzymywania są sprzeczne z deklarowanymi (np. zamiast obiektywnej prezentacji zagadnień, zamieszczone treści mają charakter komercyjny albo ideologiczny):
5. Zakres umiejętności typowego użytkownika wynikający z jego nawyków i doświadczenia w pracy w internecie jest zbyt mały, aby wyszukać i wykorzystać określone informacje na witrynie:
6. Informacja nie jest zabezpieczona przed szkodą albo ją powoduje w kontekście poszczególnych działań informacyjnych:
7. Niedostateczna jest wydajność infrastruktury witryny do realizacji zadań użytkownika (np. czas odpowiedzi serwera jest zbyt długi albo za mało jest miejsca na zamieszczenie własnych treści):
8. Brak dostępności, czyli możliwości pozyskania przez zainteresowanego odbiorcę niezbędnej mu informacji (np. pełnego tekstu artykułu, raportu itp.):
9. Zbyt małe jest bogactwo zasobów informacji na witrynie (np. są one wyrywkowe):
10. Pozyskane na witrynie wartości pewnych danych nie są dokładne, tzn. nie są równe wartościom prawdziwym:
11. Zamieszczone na witrynie informacje nie są jasne, czyli jednoznaczne i łatwo zrozumiałe:
12. Treści na witrynie nie są czytelne, głównie pod względem zgodności z regułami i zasadami języka:
13. Witryna nie jest autentyczna pod względem podawanej przez autorów afiliacji albo zawiera nieautentyczne materiały:
14. Brak albo niedostateczne jest wykorzystanie referencji (odwołań) do innych treści:
15. Zamieszczone na witrynie informacje nie są wierne, czyli zgodne z oryginałem, wzorem lub rzeczywistością:
16. Zamieszczone na witrynie informacje nie są rzetelne, czyli nie zostały rzetelnie zebrane albo przetworzone przy pomocy odpowiednich procedur:
17. Właściciele witryny nie dbają o poszanowanie praw autorów zamieszczanych treści (np. nie wskazując ich autorstwa):

INFORMACJE O AUTORZE

Adam Czerwiński

Autor jest doktorem habilitowanym nauk ekonomicznych oraz doktorem nauk technicznych w zakresie informatyki. Pracuje na Uniwersytecie Opolskim na stanowisku profesora nadzwyczajnego, jest kierownikiem Zakładu Ekonomiki Informacji. Jego zainteresowania badawcze dotyczą problematyki rozwoju rynków informacji i gospodarki informacyjnej oraz zarządzania jakością informacji, ze szczególnym uwzględnieniem jej oceny oraz doskonalenia na witrynach internetowych. Opublikował kilkadziesiąt artykułów oraz sześć książek. ORCID: 0000-0001-8666-8164

 

Informacje o artykule

DOI: https://doi.org/10.15219/em81.1433

W wersji drukowanej czasopisma artykuł znajduje się na s. 39-46.

pdf pobierz artykuł w wersji PDF

pdf abstract in English

Jak cytować

Czerwiński, A. (2019). Ważność kryteriów oceny wiarygodności witryn internetowych na podstawie badań. e-mentor, 4(81), 39-46. DOI: 10.15219/em81.1433

Komentarze

Nie ma jeszcze komentarzy do tego artykułu.

dodaj komentarz dodaj komentarz

Przypisy

1 Byli to następujący studenci: Budziak Dawid, Krawczyk Weronika, Laszko Wołodymyr, Posmitna Valeriia, Rupacz Piotr, Smółka Daria.