Wprowadzenie

W opracowaniu przedstawiono narzędzie mogące służyć do badania jednorodności grup, zanim staną się one grupami szkolonych w kształceniu e-learningowym. Zweryfikowano empirycznie akceptowalną trafność i rzetelność tego pomiaru oraz wskazano możliwe sposoby dalszego wykorzystania jego wyników. Rozwój kształcenia z wykorzystaniem e-learningu rodzi pytania dotyczące jego efektywności. Niezależnie od tego, jak prowadzone jest nauczanie, podstawowym problemem do rozstrzygnięcia jest kwestia, czy i na ile szkolenia w formie e-learningowej są skuteczniejszą metodą transferu wiedzy niż szkolenia konwencjonalne. Ogólnie można stwierdzić, że efektywność nauczania może być determinowana przez korzyści osiągnięte w zakresie wiedzy, umiejętności czy postaw, zaś miarę efektywności określa to, w jakim stopniu udało się zrealizować założone cele nauczania¹. Samo badanie wiąże się natomiast najczęściej z koniecznością analizy finalnych rezultatów testów wiedzy, pomiaru satysfakcji szkolonych osób oraz, mniej obiektywnie, pozostałych obserwacji podczas kursu.

Literatura dostarcza w tym zakresie wielu przykładów odwołujących się zarówno do badań empirycznych, jak i rozważań teoretycznych. Dominującą metodą jest porównywanie rezultatów osiąganych w wymienionych obszarach podczas szkolenia e-learningowego i konwencjonalnego, a celem analiz - określenie, czy i w jakim stopniu kształcenie za pomocą e-learningu jest efektywniejsze od form tradycyjnych. Niezależnie jednak od sposobów mierzenia efektów finalnych konieczne jest zapewnienie obiektywności pomiarów. Jednym z najważniejszych elementów procesu badawczego powinno być założenie, że badane grupy przed podjęciem kształcenia w danej formie nie różnią się między sobą kompetencjami, które mogłyby wpływać na jego finalną efektywność. Do rozwiązania pozostaje zatem problem, w jaki sposób wykazać, że to założenie zostało spełnione.

Rys teoretyczny i cel pracy

W literaturze trudno znaleźć jednoznaczne określenie czynników, które determinują rolę początkowych różnic w grupach, a w aspekcie szkoleń e-learningowych mogą przyczyniać się do zwiększenia lub zmniejszenia ich efektywności. Tym samym nie zaproponowano powszechnie stosowanych narzędzi do pomiaru wspomnianych różnic. Budowane są, rzecz jasna, modele, które można w bezpośredni sposób wykorzystać do oceny czynników wpływających na stopień implementacji rozwiązań e-learningowych i ich akceptacji przez kształcących się, jak na przykład Technology Acceptance Model², ale i w tym zakresie weryfikacja empiryczna wciąż jeszcze nie jest bogata³.

Próbuje się też wyodrębnić najważniejsze obszary determinujące powodzenie kursów e-learningowych. Ogólnie rzecz biorąc, wyróżnia się czynniki o charakterze zewnętrznym (związane z kursem i jego organizacją) oraz wewnętrznym (przypisane szkolącemu się). Do pierwszej grupy zaliczyć można sposób przygotowania materiału, przyjęty sposób przekazywania wiedzy, wykorzystywaną technologię czy samą organizację kursu⁴. Z kolei wśród czynników wewnętrznych można odnaleźć takie zmienne jak samodyscyplina i motywacja do nauki⁵, zainteresowanie dziedziną i poziom wiedzy szkolonych z określonej dziedziny przed rozpoczęciem kursu⁶, nabyte doświadczenia w kształceniu e-learningowym czy poziom umiejętności związanych z wykorzystywaniem nowoczesnych technologii⁷. Jeżeli celem porównania będzie wykazanie rozbieżności pomiędzy efektywnością kształcenia e-learningowego i tradycyjnego, to w badaniu wstępnym, służącym wykazaniu braku różnic między poszczególnymi grupami, analizie mogą zostać poddane wyłącznie czynniki wewnętrzne.

Czynniki wewnętrzne można pogrupować w zależności od sposobu ich mierzenia. Zasadne wydaje się stwierdzenie, że najlepszą metodą badania jest wprowadzenie testów sprawdzających rzeczywistą wiedzę i (lub) umiejętności. Jeśli jest to możliwe, należy dążyć do zobiektywizowania pomiaru. W odniesieniu do czynnika określonego jako poziom wiedzy szkolonych z danej dziedziny przed rozpoczęciem kursu (badany np. poprzez test wyboru) jest to zadanie łatwe, natomiast w przypadku pomiaru poziomu motywacji wśród szkolonych - dużo trudniejsze i należy poprzestać na badaniu subiektywnych deklaracji. Dla niektórych czynników możliwy jest oczywiście zarówno pomiar zobiektywizowany, jak i bazujący na deklaracjach. Poziom kompetencji komputerowych można na przykład badać zarówno poprzez testy wiedzy czy testy umiejętności, jak i bazując tylko na opiniach uczestników (samoocena). Dobór odpowiedniej metody powinien uwzględniać kwestie kosztów badań, czasu, który zajmą, i łatwości interpretowania wyników.

Próbą kompleksowego ujęcia poziomu wejściowego czynników wewnętrznych mających wpływ na efektywność nauczania może być zbudowanie skal składających się z pytań dotyczących oceny różnych obszarów przypisanych uczestnikom kształcenia. Wykorzystanie tej metody pozwala nie tylko na zorientowanie się w zakresie występowania lub braku pewnych kompetencji, lecz również umożliwia zbadanie natężenia wybranych cech. Wiąże się jednakże z koniecznością znalezienia odpowiedzi na pytanie, czy skonstruowana skala mierzy w rzeczywistości to zjawisko, do którego pomiaru została zbudowana oraz jak bardzo ten pomiar jest dokładny. W związku z tym określenie przydatności narzędzia pomiarowego wymaga zbadania jego trafności i rzetelności. Rzetelność jest miarą tego, w jakim stopniu wynik testu oddaje rzeczywistą wartość badanej cechy, a w jakim jest zakłócony przez mające różne źródła błędy⁸. Trafność natomiast można zdefiniować jako stopień zgodności, z jaką narzędzie pomiarowe mierzy to, do mierzenia czego zostało skonstruowane. Trafność zatem związana jest z pytaniem, czy udało nam się zmierzyć to, co planowaliśmy zmierzyć⁹.

W świetle powyższych rozważań celem pracy jest zaproponowanie narzędzi do trafnych i rzetelnych pomiarów wstępnych, które stanowią podstawę formułowania hipotez o początkowym braku różnic pomiędzy grupami, co umożliwia finalny pomiar efektywności kształcenia e-learningowego i porównywania jej z efektywnością metod tradycyjnych.

Przyjęta metoda

Założono, że czynniki wstępne reprezentowane będą przez wskaźniki określające następujące kwestie (w nawiasach podano skrótowe oznaczenia czynników):

• poziom wiedzy wstępnej osób szkolonych z dziedziny objętej kursem (wiedza),
• deklarowany poziom kompetencji związanych z wykorzystaniem komputerów i internetu (ICT),
• deklarowane doświadczenie w zakresie uczestniczenia w kształceniu e-learningowym (e-learning),
• deklarowane zainteresowanie dziedziną wiedzy, której dotyczy kurs (zainteresowanie),
• deklarowany poziom motywacji do nauki (motywacja).

Dla określenia poziomu wiedzy proponowane jest przeprowadzenie testu wiedzy wstępnej za pomocą ogólnie przyjętych narzędzi, do których należą przede wszystkim testy wyboru. Problematyka prawidłowego konstruowania takich testów, jak również praktyka związana z ich stosowaniem zostały stosunkowo szeroko opisane w literaturze i są często przystępnie ujęte - np. w pracy Stevena J. Osterfinda Constructing Test Items: Multiple-Choice, Constructed-Response, Performance and Other Formats¹⁰.

W kontekście czynników określonych powyżej jako ICT, e-learning, zainteresowanie i motywacja wykorzystano pomiar oparty na kwestionariuszach badających deklaracje uczestników szkolenia i stworzeniu skal charakteryzujących się akceptowalnym poziomem trafności i rzetelności.

Przy budowie pytań kwestionariusza posłużono się zmodyfikowaną pięciostopniową skalą Likerta. Poszczególnym pytaniom przyporządkowano możliwość wyboru jednej z opcji: (1) stanowczo się nie zgadzam, (2) nie zgadzam się, (3) nie mam zdania, (4) zgadzam się, (5) stanowczo się zgadzam. Konstrukcję kwestionariusza odzwierciedla tabela 1 (użyte sformułowanie „badana dziedzina” powinno być zastąpione konkretną nazwą).

Tabela 1. Kwestionariusz badający poziom czynników wewnętrznych wpływających na efektywność kształcenia wśród szkolonych przed rozpoczęciem kursu

Oznaczenie	Treść pytania	Warianty odpowiedzi: (1) stanowczo się nie zgadzam (2) nie zgadzam się (3) nie mam zdania (4) zgadzam się (5) stanowczo się zgadzam
Skala (ICT)
ICT_1	Oceniam swój poziom kompetencji w zakresie posługiwania się narzędziami informatycznymi związanymi z internetem (przeglądarka, e-mail, fora) jako rewelacyjny.	(1) (2) (3) (4) (5)
ICT_2	W moim codziennym życiu bardzo często wykorzystuję komputer do pracy lub zabawy.	(1) (2) (3) (4) (5)
ICT_3	W dużym stopniu wykorzystuję zasoby internetowe na potrzeby mojej pracy bądź nauki.	(1) (2) (3) (4) (5)
ICT_4	Bez żadnych problemów potrafię dotrzeć do poszukiwanej informacji, korzystając z zasobów internetowych.	(1) (2) (3) (4) (5)
ICT_5	W sposób wszechstronny potrafię sprawnie posługiwać się arkuszem kalkulacyjnym.	(1) (2) (3) (4) (5)
ICT_6	W sposób wszechstronny potrafię sprawnie posługiwać się edytorem tekstu.	(1) (2) (3) (4) (5)
Skala (e-learning)
ELE_1	Mam bardzo bogate i wszechstronne doświadczenia w studiowaniu bądź uczeniu się poprzez e-learning.	(1) (2) (3) (4) (5)
Skala (zainteresowanie)
ZAI_1	Systematycznie śledzę doniesienia związane z badaną dziedziną.	(1) (2) (3) (4) (5)
ZAI_2	Bardzo interesuje mnie to, co dzieje się w świecie badanej dziedziny.	(1) (2) (3) (4) (5)
ZAI_3	Często dyskutuję na tematy związane z badaną dziedziną .	(1) (2) (3) (4) (5)
ZAI_4	Moja wiedza na temat badanej dziedziny jest znacząco wyższa aniżeli przeciętnego Polaka.	(1) (2) (3) (4) (5)
ZAI_5	Często odnajduję błędy w interpretacjach z zakresu badanej dziedziny prezentowanych przez media.	(1) (2) (3) (4) (5)
Skala (motywacja)
MOT_1	Bardzo zależy mi, aby mieć dobre oceny z egzaminów.	(1) (2) (3) (4) (5)
MOT_2	Bez problemu jestem w stanie zrezygnować z przyjemności, aby bardzo dobrze przygotować się do zajęć lub egzaminów.	(1) (2) (3) (4) (5)
MOT_3	Aby uzyskać pożądany wynik, jestem skłonny do podjęcia ciężkiej i systematycznej pracy.	(1) (2) (3) (4) (5)
MOT_4	Generalnie zawsze bardzo angażuję się w wykonywanie poleceń prowadzącego zajęcia.	(1) (2) (3) (4) (5)

Źródło: opracowanie własne
Oceny trafności i rzetelności zaproponowanego testu dokonano w badaniu przeprowadzonym w 2010 r. na grupie obejmującej łącznie 213 studentów Wydziału Ekonomicznego Uniwersytetu Gdańskiego (studia stacjonarne i niestacjonarne). Można uznać, że była ona wystarczająco liczna i właściwa dla potrzeb niniejszych analiz¹¹ oraz że występujący wśród badanych stosunek liczby studentów stacjonarnych i niestacjonarnych odzwierciedlał udział każdej z tych podgrup w prowadzonych ogółem na wydziale kursach online (69 proc. ankietowanych stanowili studenci studiów niestacjonarnych). Do badanej grupy celowo nie włączono studentów, którzy w dniu wypełniania ankiety uczestniczyli w kursach e-learningowych, zakładając, że bieżące doświadczenia mogłyby w znaczącym stopniu wpływać na wyniki (szczególnie w zakresie skali e-learning). Wśród ankietowanych udział kobiet wyniósł 50 procent i był o 3 punkty procentowe niższy niż średnia dla wydziału.

Aby zbadać trafność teoretyczną testu, poddano każdą z części skali analizie czynnikowej, w której wyodrębnianie czynników następowało metodą składowych głównych. Zasadność stosowania analizy czynnikowej prowadzonej tą metodą wykazano testem sferyczności Bartletta, zakładając, że macierz korelacji zmiennych nie będzie macierzą jednostkową (czyli taką, która ma na przekątnej jedynki, a na pozostałych polach zera), oraz za pomocą współczynnika Kaisera-Mayera-Olkina (KMO)¹², badającego adekwatność macierzy korelacji, przyjmując wartość progową 0,7.

Przy ocenie trafności założono, że:

• wartości własne wyodrębnionych czynników będą większe od jedności (kryterium Kaisera),
• zmienne tworzące poszczególne skale będą korelowały co najmniej na poziomie 0,6 z pierwszą główną składową tworzącą skalę (wartość ładunków czynnikowych większa od 0,6).

Rzetelność badano z kolei, opierając się na metodzie badania spójności wewnętrznej skali. Przyjęto, że:

• poszczególne zmienne skali będą skorelowane z sumarycznym wynikiem dla danej skali na poziomie co najmniej 0,4 (kryterium Kleine'a¹³),
• w badanych skalach współczynnik ? Cronbacha będzie wyższy niż 0,7 (kryterium Nunnally'ego¹⁴).

Zdecydowano się także na włączenie do analiz grupy czynników określonych jako e-learning, która zawierała tylko jedną zmienną (jedno pytanie w kwestionariuszu). Mimo że w takim przypadku trudno zweryfikować trafność i rzetelność skali, założono, że docelowo grupa zmiennych e-learning powinna być powiększana wraz z naturalnym rozwojem e-learningu i zdobywaniem kolejnych doświadczeń w wykorzystaniu tej formy kształcenia przez uczących się (obecnie wykorzystanie e-learningu jako metody transferu wiedzy wciąż nie jest powszechne). W związku z tym zaplanowano włączanie do skali pytań precyzujących kwestie blisko związane np. z przebytymi kursami e-learningowymi czy znajomością ich technologii. Analizę materiału statystycznego przeprowadzono, wykorzystując pakiet STATISTICA 9.0¹⁵.

Rezultaty

Zasadności przeprowadzenia analizy czynnikowej poprzez wyodrębnienie głównych składowych dla skali ICT dowodzą rezultaty testu sferyczności Bartletta oraz wartość współczynnika KMO. W teście uzyskano wartość statystyki chi²=356,43 (df=15, p=0,000), co pozwala na przyjęcie hipotezy, że dane mogą zostać użyte do wykonania analizy czynnikowej. Z kolei wartość KMO wynosi 0,85 i jest wyższa od założonej wartości progowej. W wyniku analizy czynnikowej przeprowadzonej dla skali ICT wyodrębniono jeden czynnik o wartości własnej większej od 1 (3,095). Zmienne wchodzące w skład skali posiadają wartości ładunkowe na poziomie od 0,656 do 0,781. Wyodrębniony czynnik wyjaśnił 51,58 proc. całkowitej wariancji. Zmienne korelują z sumarycznym wynikiem skali na poziomie od r=0,506 do r=0,647, tym samym spełniając kryterium Kleine'a. Współczynnik α Cronbacha wyniósł 0,804 i jednocześnie usunięcie jakiejkolwiek zmiennej nie przyczyniłoby się do jego zwiększenia. Szczegółowe dane zawarto w tabeli 2.

Tabela 2. Macierz nierotowanych głównych składowych oraz wyniki analizy spójności wewnętrznej dla skali określającej deklarowany poziom kompetencji związanych z wykorzystaniem komputerów i internetu (ICT)

Zmienna	Wartość ładunku czynnikowego	Korelacja pytanie - skala	α po usunięciu pytania
ICT_3	0,781020	0,638218	0,758754
ICT_6	0,773601	0,646612	0,752827
ICT_1	0,704920	0,547996	0,776242
ICT_2	0,692822	0,534091	0,779462
ICT_4	0,692058	0,539674	0,778825
ICT_5	0,656134	0,506370	0,794313
Wartość własna		3,094820
Udział w wyjaśnianiu wariancji całkowitej		0,515803
α Cronbacha		0,803772

Źródło: opracowanie własne
Dla zmiennych wchodzących w skład skali zainteresowanie wartość statystyki chi² w teście Bartletta wyniosła 423,23 (df=10, p=0,000), natomiast KMO=0,78, w związku z czym można było przystąpić do analizy czynnikowej. W przypadku tej skali również wyodrębniono tylko jeden czynnik o wartości własnej większej od 1 (2,974). Zmienne wchodzące w skład skali posiadają wartości ładunkowe od 0,696 do 0,846. Wyodrębniony czynnik wyjaśnił 59,48 proc. całkowitej wariancji. Zmienne korelują z sumarycznym wynikiem skali na poziomie od r=0,541 do r=0,719, tym samym spełniając kryterium Kleine'a. Współczynnik α Cronbacha wyniósł 0,828 i jednocześnie usunięcie jakiejkolwiek zmiennej nie przyczyniłoby się do jego zwiększenia. Szczegółowe dane zawarto w tabeli 3.

Tabela 3. Macierz nierotowanych głównych składowych oraz wyniki analizy spójności wewnętrznej dla skali określającej deklarowane zainteresowanie dziedziną wiedzy, której dotyczy kurs (zainteresowanie)

Zmienna	Wartość ładunku czynnikowego	Korelacja pytanie - skala	α po usunięciu pytania
ZAI_1	0,846413	0,713410	0,765827
ZAI_2	0,843451	0,718635	0,766852
ZAI_3	0,739318	0,585692	0,804940
ZAI_5	0,717841	0,570054	0,808144
ZAI_4	0,695823	0,541330	0,815915
Wartość własna		2,973881
Udział w wyjaśnianiu wariancji całkowitej		0,594776
α Cronbacha		0,827563

Źródło: opracowanie własne
W przypadku skali określającej deklarowany poziom motywacji do nauki uzyskano w teście sferycznym wartość chi²=273,67 (df=6, p=0,000), natomiast KMO=0,77. Świadczy to o zasadności przeprowadzenia analizy czynnikowej, w wyniku której wyodrębniono jeden czynnik o wartości własnej większej od 1 (2,537). Zmienne wchodzące w skład skali posiadają wartości ładunkowe na poziomie od 0,756 do 0,858. Wyodrębniony czynnik wyjaśnił 63,42 proc. całkowitej wariancji. Zmienne korelują z sumarycznym wynikiem skali na poziomie od r=0,579 do r=0,715, spełniając kryterium Kleine'a. Współczynnik α Cronbacha wyniósł 0,804 i jednocześnie usunięcie jakiejkolwiek zmiennej nie przyczyniłoby się do jego zwiększenia. Szczegółowe dane zawarto w tabeli 4.

Tabela 4. Macierz nierotowanych głównych składowych oraz wyniki analizy spójności wewnętrznej dla skali określającej deklarowany poziom motywacji do nauki (motywacja)

Zmienna	Wartość ładunku czynnikowego	Korelacja pytanie - skala	α po usunięciu pytania
MOT_2	0,858401	0,715266	0,706108
MOT_4	0,787239	0,607847	0,760610
MOT_3	0,779817	0,600212	0,767964
MOT_1	0,756448	0,579354	0,774554
Wartość własna		2,536927
Udział w wyjaśnianiu wariancji całkowitej		0,634232
α Cronbacha		0,804113

Źródło: opracowanie własne
Analiza łączna wszystkich zmiennych odzwierciedlających deklarowany poziom reprezentowany przez uczestników w takich obszarach, jak wykorzystanie komputerów i internetu (ICT), zainteresowanie dziedziną wiedzy, której dotyczy kurs, motywacja do nauki oraz dodatkowo włączone doświadczenie w zakresie uczestniczenia w kształceniu e-learningowym, powinna wykazać, że w rzeczywistości wskazane cztery obszary są względem siebie komplementarne i mogą być traktowane jako czynniki o charakterze wewnętrznym (zależnym od uczącego się) wpływające na finalną efektywność nauczania. W wyniku przeprowadzonej analizy czynnikowej dla wymienionych zmiennych wyodrębniono cztery główne składowe (opierając się na kryterium Kaisera), co może potwierdzać, że zawarte zmienne rzeczywiście mierzą cztery różne wymiary. Dalsze przekształcenia polegające na dokonaniu rotacji czynników (varimax znormalizowana) potwierdzają tę tezę. W tabeli 5 ujęto szczegółowe dane. Ładunki korelujące ze składowymi na poziomie większym od 0,6 pogrubiono.

Tabela 5. Macierz głównych składowych z rotacją varimax (znormalizowana) dla zmiennych badających deklarowany poziom czynników wstępnych mających wpływ na efektywność nauczania

Zmienna	Składowa 1	Składowa 2	Składowa 3	Składowa 4
ICT_1	0,659008	-0,055536	0,237336	0,163902
ICT_2	0,660809	-0,154570	0,241157	0,078721
ICT_3	0,774652	0,045211	0,102103	0,122365
ICT_4	0,684648	0,038496	0,081438	0,087579
ICT_5	0,643583	0,268518	0,085927	-0,070891
ICT_6	0,780775	0,104985	0,088034	-0,190982
ELE_1	0,132563	-0,032083	0,115089	0,914001
ZAI_1	0,167224	0,066058	0,818225	0,170811
ZAI_2	0,072468	0,047022	0,833981	0,144155
ZAI_3	0,142406	0,060306	0,714939	0,092263
ZAI_4	0,231931	-0,220232	0,670955	-0,199516
ZAI_5	0,139065	0,009625	0,707210	-0,069662
MOT_1	0,052562	0,753013	-0,073767	0,144208
MOT_2	-0,002643	0,856516	0,028168	-0,020052
MOT_3	0,009926	0,768514	0,143159	-0,034016
MOT_4	0,114369	0,773419	-0,076645	-0,125358

Źródło: opracowanie własne

Wnioski i sugestie

Przeprowadzone analizy dowiodły, że możliwe jest skonstruowanie narzędzia pozwalającego w syntetyczny sposób określać różnice początkowe między grupami, które będą brały udział w eksperymencie badającym efektywność kształcenia e-learningowego w porównaniu do metod tradycyjnych. Wykazano, że zaproponowana metoda pomiarowa pozwala ustalić z akceptowalną trafnością i rzetelnością poziom wyjściowy cech z takich obszarów, jak wykorzystanie komputerów i internetu, zainteresowanie dziedziną wiedzy, której dotyczy kurs, motywacja do nauki oraz doświadczenie w zakresie uczestniczenia w kształceniu e-learningowym. Empirycznie potwierdzono, że wymienione obszary nie przenikają się. Zaproponowano również, by bazując na testach obiektywnych, uzupełnić narzędzia pomiarowe testem wiedzy wstępnej z dziedziny objętej kursem.

Wyznaczenie kompetencji we wskazanych obszarach wśród szkolonych grup przed rozpoczęciem pomiarów efektów kształcenia e-learningowego i tradycyjnego pozwoli na weryfikację założeń o inicjalnej identyczności tych grup. Można tego dokonać na przykład poprzez testy średnich. Jeżeli nie będzie podstaw do tego, by odrzucić hipotezę, że grupy się między sobą nie różnią, należy przeprowadzić dalsze czynności prowadzące do zbadania finalnej efektywności kształcenia e-learningowego w porównaniu z metodami tradycyjnymi. Przykłady takich badań prowadzonych na uczelniach w Polsce są od dawna znane¹⁶. Niemniej jednak brak jasno sformułowanych i zbadanych kryteriów wejściowych nie powinien pozwalać na uogólnianie uzyskanych rezultatów.

W przyszłości należy wciąż pracować nad bieżącym weryfikowaniem i uzupełnianiem zaproponowanych skal pomiarowych, w szczególności w obszarze związanym z nabytymi doświadczeniami w uczeniu się poprzez e-learning. Zalecane jest także wypracowanie przejrzystego modelu pomiaru efektywności szkolenia e-learningowego w porównaniu z tradycyjnym w ogóle, poprzez zaproponowanie skal pomiarowych i testów, które nie tylko są od lat stosowane z powodzeniem na świecie, ale też przystają do polskich realiów.

Bibliografia

• M. Abbad, D. Moris, C. de Nahlik, Looking under the Bonnet: Factors Affecting Student Adoption of E-learning Systems in Jordan, „International Review of Research in Open Distance Learning” 2009, t. 10, nr 2.
• Ch. Abras, A. Ozok, J. Preece, Research methods for validating and deriving guidelines for e-learning online communities, „Interactive Technology & Smart Education” 2005, nr 2.
• H. Alomyan, Individual Differences: Implications for Web-based Learning Design, „International Education Journal” 2004, t. 4, nr 4.
• W. Bizon, A. Poszewiecki, Efektywność transferu wiedzy poprzez e-learning, [w:] E-learning jako metoda wspomagająca proces kształcenia, Wydawnictwo Wyższej Szkoły Bankowej w Poznaniu, Poznań 2006.
• P. Brzyski, T. Knurowski, B. Tobiasz-Adamczyk, Trafność i rzetelność kwestionariusza oceny ogólnego stanu zdrowia SF-20 w populacji osób w podeszłym wieku, „Przegląd Epidemiologiczny” 2003, nr 57.
• L. Chien-Hung, Ch. Tzu-Chiang, H. Yueh-Min, Assessment of Effectiveness of Web-based Training on Demand, „Interactive Learning Environments” 2007, t. 15, nr 3.
• P. Kline, A Handbook of Test Construction. Introduction to psychometric design, Methuen, London 1986.
• K.M.Y. Law, V.C.S. Lee, Y.T. Yu, Learning motivation in e-learning facilitated computer programming courses, „Computers & Education” 2010, nr 55.
• E.W.T. Ngai, J.K.L. Poon, Y.H.C. Chan, Empirical examination of the adoption of WebCT using TAM, „Computers & Education” 2007, nr 48(2).
• J. C. Nunnally, Psychometric Theory, McGraw-Hill Book Company, Nowy Jork 1976.
• J.S. Osterfind, Constructing Test Items: Multiple-Choice, Constructed-Response, Performance and Other Formats, wyd. 2, Kluwer Academic Publishers, 2002.
• A. Stanisz, Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny. Tom 3: Analizy wielowymiarowe, StatSoft, Kraków 2007.
• P.Ch. Sun, R.J. Tsai, G. Finger, Y.Y. Chen, D. Yeh, What drives a successful e-Learning? An empirical investigation of critical factors influencing learner satisfaction, „Computers & Education” 2008, nr 50.
• G. Wieczorkowska, J. Wierzbiński, Statystyka. Analiza badań społecznych, Wydawnictwo Naukowe Scholar, Warszawa 2007.