Wprowadzenie

Wraz z poszerzaniem się dostępu do internetu rośnie popularność badań postaw i opinii prowadzonych online. Jednak badania internetowe wciąż traktowane bywają z nieufnością, a sposób ich przeprowadzania budzi wiele wątpliwości. Celem niniejszego artykułu jest próba przeanalizowania często pojawiających się problemów dotyczących konstruowania i realizacji internetowych badań postaw i opinii. Przeprowadzony przegląd literatury pozwolił na wyodrębnienie rekomendacji, które mając oparcie w badaniach empirycznych, mogą przyczynić się do poprawy jakości danych zbieranych w badaniach internetowych.

Internetowe badania postaw i opinii

Badania postaw i opinii z wykorzystaniem internetu znajdują coraz szersze zastosowanie - w badaniach marketingowych¹, w oświacie - jako badania ewaluacyjne² czy w biznesie, gdzie mogą wspomagać gromadzenie informacji o nastrojach pracowników czy oczekiwaniach klientów³. Czynnikiem popularyzującym internetowe badania jest także ciągłe poszerzanie się kręgu osób korzystających z internetu⁴ oraz wzrost dostępności narzędzi do tworzenia ankiet online⁵. Dziś niemal każdy może stworzyć własny kwestionariusz i umieścić go w sieci, wykorzystując powszechnie dostępne darmowe aplikacje⁶.

Mimo popularności badań online (a może właśnie ze względu na nią) wciąż pojawiają się pytania, które wynikają ze specyfiki ankiet elektronicznych⁷. Pytania te dotyczą głównie sposobów konstruowania kwestionariuszy, rzetelności zebranych danych czy dbania o anonimowość badanych⁸. W niniejszym opracowaniu, opierając się na doniesieniach empirycznych, podjęto próbę analizy pięciu wybranych problemów dotyczących przeprowadzania internetowych badań postaw i opinii.

Poruszane w tekście problemy dotyczą: maksymalizowania liczby wypełnionych ankiet, skutecznego zachęcania do udziału w badaniu, unikania błędu braku odpowiedzi, pytań z wymuszonymi odpowiedziami oraz pytań o kwestie wrażliwe.

Jak maksymalizować liczbę wypełnionych ankiet?

Wśród czynników pozytywnie wpływających na liczbę wypełnionych ankiet można wymienić: liczbę wysyłanych przypomnień o badaniu, spersonalizowany kontakt z respondentem, a także jasne i precyzyjne informacje udzielone mu przed badaniem⁹. Zauważono, iż optymalny czas wypełniania ankiety nie powinien przekraczać 13 minut¹⁰. Pytania powinny być krótkie, dotyczyć jednego aspektu rzeczywistości i poprawnie wyświetlać się w różnych przeglądarkach. Im więcej pytań na jednej stronie, tym ankieta postrzegana jest jako trudniejsza do wypełnienia i zajmująca więcej czasu (choć realnie - im więcej pytań na jednej stronie, tym czas wypełniania ankiety jest krótszy)¹¹. Miejsce umieszczenia w ankiecie (początek badania/koniec badania) pytań metryczkowych (o wiek, płeć itp.) wydaje się nie wykazywać związku z liczbą wypełnień^12,13.Niektórzy badacze sugerują, iż umiejscowienie pytań metryczkowych na początku ankiety może zwiększać liczbę wypełnień i jakość danych¹⁴, takie przypuszczenia nie znajdują jednak potwierdzenia empirycznego. Motywacyjną rolę może pełnić za to umieszczenie na początku ankiety pytań, które budzą zainteresowanie i utwierdzają badanych w przekonaniu, że warto ją wypełnić¹⁵. Natomiast kolejność pytań właściwych ma znaczenie dla jakości uzyskanych odpowiedzi, bowiem wykazano, że odpowiedź na pytanie wcześniejsze może oddziaływać na aktualnie udzielaną^16,17, co prowadzi do błędu danych polegającego na występowaniu wysokiej korelacji między pytaniami znajdującymi się obok siebie w ankiecie. Zaletą ankiet online może być randomizacja kolejności prezentowanych pytań, tak aby każdy badany otrzymywał pytania w losowo wybranym porządku.

Zachęty materialne mogą nieznacznie zwiększać odsetek osób rozpoczynających ankietę (średnio o ok. 2,8 p.p.) oraz odsetek badanych kończących ankietę (ok. 4 p.p.)¹⁸. Niestety ich oddziaływanie jest słabsze, niż się powszechnie uważa, a koszty nagród w niektórych sytuacjach mogą przewyższać uzyskane korzyści¹⁹. Stosowanie nagród finansowych może mieć także negatywne konsekwencje. Uczestnicy mogą brać udział w badaniu jedynie ze względu na potencjalną nagrodę, nie przykładając wagi do udzielanych odpowiedzi. Wprowadzenie wynagrodzenia może także zachęcić od udziału grupę o określonym statusie materialnym, co wpływa na ostateczny skład badanej próby. Mimo potencjalnych problemów generalnie w celu maksymalizowania liczby wypełnień ankiety zalecane jest wprowadzenie niewysokiej nagrody za udział w badaniu. Należy jednak w takiej sytuacji dokładnie przeanalizować charakterystykę badanej próby oraz precyzyjnie sprawdzić jakość zebranych danych pod kątem obserwacji nietypowych i odstających.

W kontekście maksymalizowania liczby wypełnień ankiet warto zwrócić uwagę na fakt, iż popularne w ankietach internetowych graficzne wskaźniki odzwierciedlające postęp w wypełnianiu kwestionariusza, czyli tzw. paski postępu, nie wykazują związku z liczbą wypełnień²⁰, zatem warto przemyśleć zasadność ich stosowania.

Należy także pamiętać, iż charakterystyki ankiety nie mają uniwersalnego oddziaływania na liczbę wypełnień, ich działanie zależne jest od cech respondentów. Zauważono na przykład, że informacje o wspieraniu ankiety przez instytucję naukową podnosiły liczbę wypełnień w badaniach opinii menedżerów, ale nie w badaniach konsumentów. Zatem nie tylko to, jak skonstruowana jest ankieta, ma znaczenie, ale także to, do kogo jest adresowana²¹.

Chcąc zmaksymalizować liczbę wypełnień, warto pamiętać, iż na ich odsetek pozytywnie wpływają takie cechy respondentów jak: przekonanie, że internet zapewnia anonimowość, posiadanie wolnego czasu na korzystanie z sieci, niezadowolenie z aspektów rzeczywistości, których dotyczą pytania ankiety, oraz pozytywna postawa wobec technologii i przekonanie, że udział w badaniu przyczyni się do realnych zmian²². Negatywnie z odsetkiem wypełnień wiążą się wszelkie błędy dotyczące organizacji badania, które sprawiają, że respondenci - niezależnie od swojej woli - nie mogą wziąć w nim udziału.

Jak zapraszać do udziału w badaniu?

Zwykle to w oparciu o zaproszenie uczestnik decyduje, czy wziąć udział w badaniu, można zatem uznać je za element o znaczeniu krytycznym. Zaproszenie powinno zawierać jasno sprecyzowany cel ankiety, informację o czasie trwania badania, a także dane kontaktowe w razie pytań lub problemów technicznych. Osoby otrzymujące zaproszenia adresowane imieniem i nazwiskiem częściej otwierają i wypełniają ankietę, personalizacja nie wpływa jednak na wyższą jakość zebranych danych²³. Istotna jest także częstotliwość wysyłania przypomnień. Większa może być korzystna przy krótkim czasie trwania badania, natomiast gdy nie ma ściśle wyznaczonych ram czasowych, warto ograniczyć liczbę przypomnień²⁴. Podanie daty końca badania (deadline) w zaproszeniu nie wykazuje związku z liczbą wypełnień²⁵, ale przypomnienia wysłane tuż przed końcem badania podnoszą liczbę odpowiedzi²⁶. Przeformułowanie tekstu kolejnego przypomnienia - zredagowanie go w inny sposób - zwiększa liczbę odpowiedzi, podczas gdy zmiana pory dnia, o jakiej wysyła się kolejne przypomnienia, nie wpływa na liczbę wypełnień²⁷. Analizy wskazują ponadto, iż pierwsze przypomnienie o badaniu jest bardziej efektywne, jeśli zostanie wysłane w drugim dniu od rozpoczęcia badania, niż jeśli czeka się z nim dłużej²⁸.

Czy stosować pytania z wymuszonymi odpowiedziami?

Pytania z wymuszonym wyborem (forced response) to pytania, w przypadku których badany musi wskazać jedną z możliwych odpowiedzi (lub wpisać tekst), aby kontynuować wypełnianie ankiety - jeśli tego nie zrobi, system nie pozwoli mu na przejście do kolejnego pytania. Mechanizm ten jest charakterystyczny dla ankiet internetowych i nie występuje w badaniach papierowych. Zabezpiecza on przed przypadkowym ominięciem pytań, minimalizując ryzyko braku danych. Z drugiej strony zwiększa liczbę rezygnacji z ankiety i może prowadzić do zjawiska reaktancji²⁹. Zjawisko to powstaje, gdy osoba zmuszana do pewnego działania odczuwa, iż jej wolność została zagrożona. Wówczas, chcąc odzyskać kontrolę nad sytuacją, podejmuje działania mające na celu przeciwstawienie się czynnikom ograniczającym³⁰. Zaobserwowano, iż osoby zmuszone do udzielenia odpowiedzi na pytanie, na które nie chcą odpowiadać, częściej wpisują odpowiedzi losowo lub wybierają opcje skrajne, co nie oddaje ich rzeczywistych opinii, a prowadzi jedynie do błędów w danych³¹. Rozwiązaniem może być tutaj wyświetlenie respondentom informacji przypominającej o tym, że na pytanie nie udzielono odpowiedzi, jednak z możliwością jego opuszczenia, jeśli badany świadomie chce je pominąć. Redukuje to błędy ominięcia i nie prowadzi do powstania poczucia przymusu odpowiedzi na pytania, na które osoba badana odpowiadać nie chce.

Jak minimalizować błąd braku odpowiedzi?

Częstym problemem wskazywanym w kontekście badań internetowych jest błąd pokrycia (coverage), polegający na tym, iż wybrana do badania grupa nie reprezentuje całej populacji, którą się interesujemy. Innymi słowy, błąd pokrycia powstaje, gdy prowadząc badanie, systematycznie wyłączamy z niego pewną podgrupę, np. osób nieużywających internetu. W badaniach internetowych błąd pokrycia może być szczególnie niebezpieczny. Wskazuje się bowiem, że osoby chętnie korzystające z sieci mogą istotnie różnić się od tych, które z niej nie korzystają³². Zatem wnioski z badań internetowych w niektórych przypadkach nie mogą być generalizowane na całą populację, którą się interesujemy³³. Przykładem są internetowe sondaże wyborcze, które zwykle nie odzwierciedlają realnych wyników wyborów, bo znaczna część społeczeństwa po prostu nie bierze w nich udziału. Warto zwrócić uwagę, iż błąd pokrycia dotyczy nie tylko standardowej sytuacji, gdy pewna część badanej populacji jest niedostępna, bo po prostu nie korzysta z internetu. Błąd pokrycia to każda sytuacja, w której pewna część populacji została pominięta w losowaniu do badanej próby i nie jest w niej reprezentowana. Błąd taki może pojawić się na przykład, gdy wyślemy ankietę jedynie do kluczowych klientów, pracowników na określonych stanowiskach, zarejestrowanych użytkowników portalu czy studentów, którzy aktywnie udzielali się na stronach kursu e-learningowego. Dlatego istotne wydaje się, by zawsze rozważyć to, w jakim stopniu grupa, którą planujemy przebadać, odzwierciedla rzeczywistą strukturę populacji będącej w centrum naszego zainteresowania.

Oprócz błędu pokrycia, na występowanie którego badacze są zwykle wyczuleni, innym poważnym problemem jest błąd braku odpowiedzi (non-response). Błąd ten występować może nawet pomimo właściwego doboru próby z populacji - gdy niektórzy wylosowani do badania respondenci ze względu na pewne swoje cechy (np. obawa o anonimowość w internecie, niechęć do technologii) systematycznie odmawiają udziału w badaniu, a na ich miejsce losowani są inni respondenci nieposiadający cech skłaniających do odmowy lub, co gorsza, nie są dobierani żadni nowi respondenci. Błąd braku odpowiedzi występuje zatem, gdy opinie wylosowanych do badania osób, które nie odpowiedziały na pytania ankiety, różnią się od opinii tych, którzy wyrazili swoje zdanie³⁴. Błąd ten jest szczególnie niebezpieczny w badaniach online, w przypadku których pojedynczy badacz wysyła kwestionariusze do dużej liczby respondentów, co wywołuje silną pokusę stosowania techniki „wyślij i zapomnij”. Jeśli badacz nie będzie dokładnie kontrolował, które z wytypowanych osób nie wzięły udziału w badaniu, może być zupełnie nieświadomy, że zebrane dane obarczone są błędem braku odpowiedzi. Przykładowo w internetowej ankiecie ewaluacyjnej, do której wypełnienia zaproszono wszystkich uczestników kursu (500 studentów), zwrot ankiet wyniósł 98 proc., a rezultaty wskazywały na wysokie zadowolenie badanych z przebiegu kursu. Tymczasem dziesięciu studentów, którzy nie wyrazili zdania, to osoby ekstremalnie niezadowolone, które umówiły się, iż napiszą anonimową skargę do dyrekcji i z premedytacją unikają wypełnienia ankiety ewaluacyjnej. Jak widać, nawet wysoki odsetek wypełnień ankiety nie zabezpiecza przed błędem braku odpowiedzi³⁵. W kontekście tego typu błędu to nie liczba osób, które wzięły udział w badaniu, jest kluczowa, ale to, w jakim stopniu w przebadanej próbie udało się zrealizować zakładany model doboru próby³⁶. Istotne jest tu rozstrzygnięcie, czy mamy podstawy, by przypuszczać, że wśród wylosowanych do badania respondentów znajdą się osoby unikające udziału w badaniu online. Ważna jest ponadto ocena potencjalnego powodu tego unikania. Przyczyną powstawania błędu braku odpowiedzi może być także brak umiejętności wypełnienia lub nieufność wobec internetowego kwestionariusza u wytypowanych osób do badania. Warto upewnić się, że potrafią one wypełnić ankietę w wersji komputerowej, a w razie potrzeby rozwiać ich wątpliwości związane z badaniem online.

Przed błędem braku odpowiedzi trudno się zabezpieczyć, można jednak zwiększyć szansę jego wykrycia, analizując właściwości respondentów i przyglądając się zebranym danym. W przypadku badania opinii uczestników kursu czy pracowników firmy zwykle dokładnie znana jest charakterystyka całej analizowanej populacji. Porównanie struktury populacji ze strukturą osób biorących aktualnie udział w badaniu może pomóc w wychwyceniu potencjalnych anomalii. Porównania takie umożliwiają dostrzeżenie tendencyjności danych, np. nieudzielenie odpowiedzi przez 10 z 15 uczestników kursu, którzy go nie zaliczyli, może sugerować, że otrzymane wyniki są niepełne i warto rozważyć inny sposób zebrania brakujących opinii. Zaletą badań internetowych jest możliwość bieżącego analizowania zbieranych danych. Często już w trakcie badania możemy zauważyć, od jakiej grupy uczestników brakuje odpowiedzi, co umożliwia zwiększenie liczby informacji o badaniu w tej właśnie grupie lub przygotowanie innego sposobu analizy jej opinii.

W kontekście błędu braku odpowiedzi istotna jest także analiza odpowiedzi na poszczególne pytania. Błąd ten może wystąpić nie tylko wtedy, gdy określona grupa badanych całkowicie odmawia udziału w ankiecie, ale także wtedy, gdy badani, którzy wypełnili ankietę, omijają pewne pytania nie, udzielając na nie odpowiedzi.

Jak w ankietach internetowych pytać o kwestie wrażliwe?

Pytania wrażliwe to takie pytania, na które respondent obawia się udzielić prawdziwej odpowiedzi, a które są ważne dla uzyskania rzetelnych wyników badania. Kwestionariusze internetowe, ze względu na swoją specyfikę, pozwalają zadbać o wysoką anonimowość badanych³⁷ poprzez wprowadzenie kont użytkowników i jednorazowych haseł. Badania internetowe umożliwiają także stosowanie dwóch efektywnych rozwiązań kłopotów z pytaniami wrażliwymi.

Pierwszym rozwiązaniem jest randomizacja odpowiedzi (randomized response technique). Technika ta stosowana jest z powodzeniem w wywiadach bezpośrednich, zaś niektórzy badacze wskazują, że może poprawiać trafność danych zbieranych z użyciem komputera³⁸. Wykorzystanie jej wymaga zastosowania wbudowanego w ankietę generatora liczb losowych. Przed udzieleniem odpowiedzi na pytanie badany każdorazowo klika wbudowany w ankietę przycisk uruchamiający procedurę losowania, np. w postaci animacji rzutu monetą. To, jakiej odpowiedzi udziela respondent, zależy od wyniku losowania. Jeśli wylosowany zostanie orzeł, badany zawsze w odpowiedzi na pytanie zaznacza opcję „tak”, dopiero jeśli wypadnie reszka, udziela prawdziwej odpowiedzi na zadane mu pytanie. Tylko badany wie, jaki jest wynik przeprowadzonego losowania i czy udzielona odpowiedź jest rzeczywistą odpowiedzią na pytanie, czy wynika z rezultatu losowania³⁹. Procedura ta bazuje na założeniu, iż respondent może unikać odpowiedzi zgodnej z prawdą z obawy przed jej ujawnieniem. W sytuacji randomizacji odpowiedzi nie musi obawiać się ujawnienia swoich wyborów, gdyż osoby mające dostęp do wyników ankiety nie wiedzą, czy odpowiedzi udzielane przez badanego dotyczą jego rzeczywistych zachowań i opinii, czy wynikają z rezultatu losowania. Badany może czuć się bezpiecznie, tymczasem znając właściwości algorytmu losującego, można ustalić odsetek prawdziwych odpowiedzi wśród wszystkich respondentów i rzetelnie przeanalizować opinie na temat interesującego nas zagadnienia. Problemem jest tu jednak zapewnienie badanego, że wyniki losowania nie są rejestrowane i że zna je tylko on.

Alternatywnym podejściem, uznawanym za lepsze w badaniach online⁴⁰, jest technika nierównego liczenia (unmatched count technique). W tym modelu badany przydzielany jest do jednej z dwóch grup przez algorytm losujący. Każdej z grup prezentuje się listę neutralnych zachowań lub opinii (np. jeżdżę na rowerze, lubię psy itp.), ale w jednej z grup lista pytań poszerzona jest dodatkowo o wrażliwe pytanie. Respondent ma określić liczbę zachowań, których doświadczył, lub opinii, które podziela. Ponieważ podział grup jest losowy, można oczekiwać, że ewentualny różny rozkład odpowiedzi w grupach będzie spowodowany pytaniem wrażliwym. Porównanie wyników grupy kontrolnej z grupą z pytaniem wrażliwym pozwala określić częstość występowania danego zjawiska lub opinii wśród badanych⁴¹. Technika ta pozwala na zachowanie anonimowości bez wykorzystywania dodatkowych urządzeń czy mechanizmów.

Dwie omawiane techniki mogą być pomocne w przypadku pytań o kwestie szczególnie wrażliwe, wywołujące u badanych silny lęk lub tendencję do udzielania odpowiedzi zgodnych ze społecznymi oczekiwaniami. Techniki te są jednak dość skomplikowane w stosowaniu. Jeśli badacz uzna, że przedmiot badania nie wymaga aż tak daleko idących środków zapewnienia anonimowości, może zastosować mniej wymagające strategie redukujące dyskomfort odpowiedzi na pytania wrażliwe: formułować pytania w nieoceniający i neutralny sposób, wprowadzić zwięzłą i zrozumiałą klauzulę poufności, zapewniającą o anonimowości badania i informującą o osobach odpowiedzialnych za zachowanie tej anonimowości⁴², sformułować w instrukcji jasną prośbę o udzielanie odpowiedzi zgodnych z prawdą⁴³, zachowywać anonimowość wizualną - brak kontaktu wzrokowego pomiędzy badaczem a badanym może zwiększać liczbę informacji, które badany zechce ujawnić⁴⁴.

Badanie pilotażowe

W artykule przedstawiono rekomendacje dotyczące pięciu problemów, przed jakimi stanąć mogą badacze korzystający z internetowych kwestionariuszy ewaluacji i oceny. Nie sposób jednak przewidzieć wszystkich potencjalnych problemów, które mogą się pojawić w trakcie badania. Dlatego warto zawsze poprzedzić je badaniem pilotażowym, przeprowadzonym na małej próbie respondentów. Może to dać odpowiedź na wiele istniejących pytań, a także pozwoli zauważyć problemy, których wcześniej nie dostrzegano⁴⁵. Dzięki badaniu wstępnemu dowiemy się: czy ankieta jest zrozumiała i nie generuje błędów; czy nie pojawiają się problemy techniczne (np. czy zaproszenia nie zostają zakwalifikowane jako spam, czy badani wiedzą, w jaki sposób przejść z zaproszenia do ankiety); czy wypełnianie zajmuje założony czas; czy użytkownik może bez problemu przesłać wypełnioną ankietę; czy wszystkie dane poprawnie się zapisują; czy dane zapisane są w zrozumiałym formacie, który pozwala na ich analizę. Badania wstępne są szczególnie istotne w kontekście wykorzystania internetu, bowiem sprzęt i oprogramowanie ewoluują szybko i to, co sprawnie funkcjonowało jeszcze pół roku temu, niekoniecznie musi działać przy aktualnych możliwościach systemu.

Podsumowanie

Powodzenie kwestionariuszowego badania prowadzonego z wykorzystaniem internetu zależy od wielu czynników pojawiających się na etapach: konstruowania, przesyłania, wypełniania i zwracania kwestionariusza⁴⁶. Nie ma uniwersalnej recepty na idealne badanie z wykorzystaniem internetowych kwestionariuszy, wydaje się jednak, iż można zwiększyć szanse sukcesu poprzez stosowanie się do przedstawionych heurystycznych wskazówek. Przed rozpoczęciem internetowego badania postaw i opinii warto upewnić się, czy:
• przeprowadzono wstępne badanie pilotażowe w celu praktycznej weryfikacji założeń badawczych;
• czas wypełniania kwestionariusza jest krótki i nie przekracza 13 minut;
• ewentualne nagrody za udział w badaniu przekładają się na realne korzyści, wykazane w badaniu pilotażowym;
• wysyłane respondentom zaproszenia do udziału w badaniu zawierają informacje o: celu badania, znaczeniu osiągnięcia tego celu dla badanego, czasie trwania badania, oraz dane kontaktowe do koordynatora badania i działający (!) link do strony z kwestionariuszem;
• sposób, w jaki napisano zaproszenie mailowe do udziału w ankiecie i przypomnienia o badaniu, nie sprawia, że systemy pocztowe traktują je jak spam;
• wysłanie pierwszego przypomnienia o trwającym badaniu zaplanowano najpóźniej na 2 dni po rozpoczęciu badania;
• pytania, w których respondent musi wybrać jedną z odpowiedzi, by kontynuować badanie, zastąpiono pytaniami dającymi możliwość świadomego nieudzielania odpowiedzi;
• przeanalizowano, czy wśród respondentów występują grupy, które nie wezmą udziału w badaniu internetowym oraz określono, w jaki sposób badanie zostanie przeprowadzone w tych grupach;
• zapewniono reprezentatywność badanej próby dla populacji, na którą chcemy generalizować wyniki - skoncentrowano się na reprezentatywności odpowiedzi, a nie na ich liczbie;
• w przypadku badań dotyczących kwestii wrażliwych zadbano, by konstrukcja ankiety i sposób przeprowadzenia badania były postrzegane przez respondentów jako zapewniające anonimowość;
• wykonano testy informatyczne sytemu do przeprowadzenia badania internetowego - ankieta nie generuje problemów technicznych;
• dostosowano formę pytań i szatę graficzną kwestionariusza internetowego do specyfiki grupy docelowej.

Bibliografia

• Alessi E.J., Martin J.I., Conducting an Internet-based Survey: Benefits, Pitfalls, and Lessons Learned, „Social Work Research”, 2010, Vol. 34, No. 2, s. 122-128, http://dx.doi.org/10.1093/swr/34.2.122.
• Anseel F., Lievens F., Schollaert E., Choragwicka B., Response Rates in Organizational Science, 1995-2008: A Meta-analytic Review and Guidelines for Survey Researchers, „Journal of Business and Psychology” 2010, Vol. 25, No. 3, s. 335-349, http://dx.doi.org/10.1007/s10869-010-9157-6.
• Batorski D., Polacy wobec technologii cyfrowych - uwarunkowania dostępności i sposobów korzystania. Diagnoza Społeczna 2013. Warunki i jakość życia Polaków - raport, „Contemporary Economics” 2013, Vol. 7, s. 317-341, http://dx.doi.org/ 10.5709/ce.1897-9254.114.
• Bentley D., College P., Randomized Response, https://www.dartmouth.edu/~chance/teaching_aids/RResponse/RResponse.html.
• Blair G., Imai K., Zhou Y.Y. , Design and Analysis of the Randomized Response Technique, http://imai.princeton.edu/research/files/randresp.pdf.
• Buchanan E., Hvizdak E.E., Online survey tools: ethical and methodological concerns of human research ethics committees, „Journal of Empirical Research on Human Research Ethics” 2009, Vol. 4, No. 2, s. 37-48, http://dx.doi.org/10.1525/jer.2009.4.2.37.
• Cook C., Heath F., Thompson R.L., A meta-analysis of response rates in Web or Internet-based survey, „Educational and Psychological Measurement” 2000, Vol. 60, No. 6, s. 821-836, http://dx.doi.org/10.1177/00131640021970934.
• Couper M.P., Conrad F.G., Tourangeau R., Visual context effects in web survey, „Public Opinion Quarterly” 2007, Vol. 71, No. 4, s. 623-634, http://dx.doi.org/10.1093/poq/nfm044.
• Couper M.P., Kapteyn A., Schonlau M., Winter J., Noncoverage and nonresponse in an Internet survey, „Social Science Research” 2007, Vol. 36, No. 1, s. 131-148, http://dx.doi.org/ 10.1016/j.ssresearch.2005.10.002.
• Coutts E., Jann B., Sensitive Questions in Online Surveys: Experimental Results for the Randomized Response Technique (RRT) and the Unmatched Count Technique (UCT), „Sociological Methods & Research” 2011, Vol. 40, No. 1, s. 169-193, http://dx.doi.org/10.1177/0049124110390768.
• Crawford S.D., Couper M.P, Lamias M.J., Web surveys: Perceptions of burden, „Social Science Computer Review” 2001, Vol. 19, No. 2, s. 146-162, http://dx.doi.org/10.1177/089443930101900202.
• Dillman D.A., Tortora, R.D., Bowker D., Principles for constructing Web surveys, „SESRC Technical Report” 1998, http://www.sesrc.wsu.edu/dillman/papers/2001/thewebquestionnairechallenge.pdf.
• Fan W., Yan Z., Factors affecting response rates of the web survey: A systematic review, „Computers in Human Behavior” 2010, Vol. 26, No. 2, s. 132-139, http://dx.doi.org/10.1016/j.chb.2009.10.015.
• Giles W.F., Feild H.S., Effects of amount, format, and location of demographic information on questionnaire return rate and response bias of sensitive and nonsensitive items, „Personnel Psychology” 1978, Vol. 31, No. 3, s. 549-559, http://dx.doi.org/ 10.1111/j.1744-6570.1978.tb00462.x.
• Göritz A.S., Incentives in Web Studies: Methodological Issues and a Review, „International Journal of Internet Science” 2006, Vol. 1, No. 1, s. 58-70.
• Göritz A.S., Stieger S., The impact of the field time on response, retention, and response completeness in list-based Web survey, „International Journal of Human-Computer Studies” 2009, Vol. 67, No. 4, s. 342-348, http://dx.doi.org/10.1016/j.ijhcs.2008.10.002.
• Göritz A.S., The impact of material incentives on response quantity, response quality, sample composition, survey outcome, and cost in online access panels, „International Journal of Market Research” 2004, Vol. 46, No. 3, s. 327-345.
• Gosling S.D., Vazire S., Srivastava S., John O.P., Should we trust web-based studies? A comparative analysis of six preconceptions about internet questionnaires, „American Psychologist” 2004, Vol. 59, No. 2, s. 93-104, http://dx.doi.org/10.1037/0003-066X.59.2.93.
• Groves R.M., Peytcheva E., The impact of nonresponse rates on nonresponse bias: A meta-analysis, „Public Opinion Quarterly” 2008, Vol. 72, No. 2, s. 167-189, http://dx.doi.org/10.1093/poq/nfn011.
• Hall J., Brown V., Nicolaas G., Lynn P., Extended Field Efforts to Reduce the Risk of Non-response Bias: Have the Effects Changed over Time? Can Weighting Achieve the Same Effects?, „Bulletin of Sociological Methodology/Bulletin de Méthodologie Sociologique” 2013, Vol. 117, No. 1, s. 5-25, http://dx.doi.org/10.1177/0759106312465545.
• Harrison Ch., Tip Sheet On Survey Sampling, Coverage And Nonresponse, http://psr.iq.harvard.edu/files/psr/files/PSRTipSheetSamplingCoverageNonresponse_1_0.pdf.
• Joinson A.N., Self-disclosure in computer-mediated communication: The role of self-awareness and visual anonymity, „European Journal of Social Psychology” 2001, Vol. 31, No. 2, s. 177-192, http://dx.doi.org/10.1002/ejsp.36.
• Kraut R., et al. Psychological Research Online: Report of Board of Scientific Affairs' Advisory Group on the Conduct of Research on the Internet, „American Psychologist” 2004, Vol. 59, No. 2, s. 105-117, http://dx.doi.org/10.1037/0003-066X.59.2.105.
• Krumpal I., Determinants of social desirability bias in sensitive surveys: a literature review. „Quality & Quantity” 2013, Vol. 47, No. 4, s. 2025-2047, http://dx.doi.org/10.1007/s11135-011-9640-9.
• Lensvelt-Mulders G.J.L.M., Hox J.J., Heijden P.G. der, Maas C.J.M, Meta-analysis of randomized response research: 35 years of validation studiem, „Sociological Methods and Research” 2005, Vol. 33, No. 3, s. 319-348, http://dx.doi.org/10.1177/0049124104268664.
• Mühlenfeld H.U., Differences between 'talking about' and 'admitting' sensitive behaviour in anonymous and non-anonymous web-based interviews, „Computers in Human Behavior” 2004, Vol. 21, No. 6, s. 993-1003, http://dx.doi.org/10.1016/j.chb.2004.02.023.
• Munoz-Leiva F., Sánchez-Fernández J., Montoro-Ríos F.J., Ibánez-Zapata J.A., Improving the response rate and quality in Web-based surveys through the personalization and frequency of reminder mailings, „Quality and Quantity” 2010, Vol. 44, No. 5, s. 1037-1052, http://dx.doi.org/10.1007/s11135-009-9256-5.
• Porter S.R., Whitcomb M.E., E-mail subject lines and their effect on web survey viewing and response, „Social Science Computer Review” 2005, Vol. 23, No. 3, s. 380-387, http://dx.doi.org/10.1177/0894439305275912.
• Rains S., The Nature of Psychological Reactance Revisited: A Meta-Analytic Review, „Human Communication Research” 2013, Vol. 39, No. 1, s. 47-73, http://dx.doi.org/10.1111/j.1468-2958.2012.01443.x.
• Rogelberg S.G., Spitzmüller C., Little I.S, Reeve C.L., Understanding response behavior to an online special topics organizational satisfaction survey, „Personnel Psychology” 2006, Vol. 59, No. 4, s. 903-923, http://dx.doi.org/10.1111/j.1744-6570.2006.00058.x.
• Sánchez-Fernández J., Munoz-Leiva F., Montoro-Ríos F.J., Improving retention rate and response quality in Web-based survey, „Computers in Human Behavior” 2012, Vol. 28, No. 2, s. 507-514, http://dx.doi.org/10.1016/j.chb.2011.10.023.
• Sauermann H., Roach M., Increasing web survey response rates in innovation research: An experimental study of static and dynamic contact design features, „Research Policy” 2013, Vol. 42, No. 1, s. 273-286, http://dx.doi.org/10.1016/j.respol.2012.05.003.
• Stieger S., Reips U.D., Voracek M., Forced-response in online surveys: Bias from reactance and an increase in sex-specific drop out, „Journal of the American Society for Information Science and Technology” 2007, Vol. 58, No. 11, s. 1653-1660, http://dx.doi.org/10.1002/asi.20651.
• Toepoel V., Das M., Van Soest A., Design of web questionnaires: The effects of the number of items per screen, „Field Methods” 2009, Vol. 21, No. 1, s. 200-213, http://dx.doi.org/10.1177/1525822X08330261.
• Tourangeau R., Couper M.P., Conrad F.G., Spacing, Position, and Order: Interpretive Heuristics for Visual Features of Survey Questions, „Public Opinion Quarterly” 2004, Vol. 68, No. 3, s. 368-393, http://dx.doi.org/10.1093/poq/nfh035.
• Villar A., Callegaro Myang Y., Where Am I? A Meta-Analysis of Experiments on the Effects of Progress Indicators for Web Surveys, „Social Science Computer Review” 2013, Vol. 31, No. 6, s. 744-762, http://dx.doi.org/10.1177/0894439313497468.
• Wouters K., Maesschalck J., Peeters C.F.W., Roosen M., Methodological Issues in the Design of Online Surveys for Measuring Unethical Work Behavior: Recommendations on the Basis of a Split-Ballot Experiment, „Journal of Business Ethics” 2013, Vol. 120, No. 2, s. 275-289, http://dx.doi.org/10.1007/s10551-013-1659-5.
• Zając J.M., Batorski D. Jak skłonić do udziału w badaniach internetowych: zwiększanie realizacji próby, „Psychologia społeczna” 2007, t. 2, nr 3-4, s. 234-248.