Wprowadzenie

Artykuł stanowi prezentację praktycznych doświadczeń autorów w zakresie stosowania informatycznych narzędzi wykrywania plagiatów prac zaliczeniowych.

Niemal każdy pracownik naukowy na co dzień spotyka się z różnymi próbami nieuczciwego uzyskania pozytywnego zaliczenia prowadzonych zajęć. Próby ściągania oraz odpisywania na kolokwiach i egzaminach są tak powszechne, że czasami studenci są bardzo zaskoczeni, gdy zostanie im zwrócona uwaga lub wyciągnięte poważniejsze konsekwencje. Zdziwienie budzi fakt coraz większego pobłażania prowadzących wobec tego rodzaju praktyk, szczególnie na studiach płatnych (zaocznych i wieczorowych). O ile ściąganie stanowi przykład drobnego, choć wciąż nagannego, oszustwa, o tyle przedstawienie cudzej pracy jako swojej, stanowi poważne naruszenie nie tylko zasad obowiązujących w szkołach wyższych, ale również praw autorskich innych osób. Przyczyn tego rodzaju zachowań upatrywać można w trudności ich wykrycia, lenistwie studentów, swoiście pojętej życiowej zaradności, braku odpowiednich działań wychowawczych. Wyciąganie surowych konsekwencji wobec osób oszukujących na egzaminach i sprawdzianach nie przyniesie efektu, jeżeli nie będzie połączone z szeroko zakrojoną akcją edukacyjną nie tylko wśród uczniów czy studentów, ale może przede wszystkim wśród pracowników naukowych, którzy nierzadko dla własnej wygody akceptują pewien poziom ściągania. Trudno nie zgodzić się z G. Myśliwcem i P. Garczyńskim, że skala ściągania jest duża i przykładne ukaranie tylko jednego przyłapanego zawiera w pewnym sensie akceptację codziennej patologii¹.

Sytuacja prawna plagiatu może być niejasna zarówno dla studentów, jak i pracowników naukowych bez przygotowania prawniczego. R. Markiewicz² podaje, że w prawie określenie "plagiat" nie występuje, lecz jest wykorzystywane potocznie. Wskazuje on na trzy znaczenia tego pojęcia:

• przywłaszczenie autorstwa całości lub części cudzego dzieła, a także przetworzenie cudzego utworu z zachowaniem oryginalnej narracji, doboru przykładów, kolejności argumentów,
• przywłaszczenie autorstwa projektu wynalazczego,
• przypisanie sobie odkrycia lub ustalenia naukowego, co ma znaczenie dla oceny pracy naukowej, a nie jest chronione prawem autorskim lub prawem własności przemysłowej.

Należy zauważyć, że nie określa się, od ilu skopiowanych słów utworu zaczyna się plagiat. Jeśli są to słowa kluczowe, to wystarczy nawet jedno zdanie. W przypadku uczelni wyższej najczęstszym przypadkiem jest wystąpienie pierwszej formy oszustwa.

Ustawa o szkolnictwie wyższym przewiduje, że uczelnia w drodze decyzji, stwierdza nieważność postępowania w sprawie nadania tytułu zawodowego, jeżeli w pracy stanowiącej podstawę nadania tytułu zawodowego osoba ubiegająca się o ten tytuł przypisała sobie autorstwo istotnego fragmentu lub innych elementów cudzego utworu lub ustalenia naukowego³. Przepis ten w praktyce będzie trudny do wyegzekwowania, ponieważ nie zdefiniowano, jak istotny ma być ów fragment. Łatwiejsze do przeprowadzenia może być postępowanie w przypadku, gdy w regulaminie studiów zostaną przewidziane konkretne kary za plagiaty, a studenci będą składać pisemne oświadczenia, że pisali prace samodzielnie. Z pomocą przychodzą także dwie inne ustawy - o prawie autorskim i prawach pokrewnych oraz Kodeks karny.

Prawo autorskie określa, że ochronie podlegają utwory wyrażone słowem⁴ oraz iż autorskie prawa osobiste chronią nieograniczoną w czasie i nie podlegającą zrzeczeniu się lub zbyciu więź twórcy z utworem, a w szczególności prawo do: 1) autorstwa utworu, 2) oznaczenia utworu swoim nazwiskiem lub pseudonimem albo do udostępniania go anonimowo, 3) nienaruszalności treści i formy utworu oraz jego rzetelnego wykorzystania⁵. Osoba, której prawa autorskie zostały zagrożone, może żądać zaprzestania bezprawnych działań, a także żądać usunięcia skutków, np. poprzez złożenie publicznego oświadczenia. Sąd w trybie rozprawy cywilnej może przyznać odszkodowanie⁶.

Przewidziano także odpowiedzialność karną w art. 114 par. 1, który stanowi, że kto przywłaszcza sobie autorstwo albo wprowadza w błąd co do autorstwa całości lub części cudzego utworu albo artystycznego wykonania, podlega grzywnie, karze ograniczenia wolności albo pozbawienia wolności do lat 3. Podobne skutki rodzi rozpowszechnianie utworu, nawet w wersji oryginalnej, bez podania nazwiska autora. Jednak postępowanie na podstawie wymienionych paragrafów, jak podaje R. Markiewicz, można wszcząć tylko na wniosek autora, a jeśli ten sprzedał swoje dzieło, co ma miejsce w przypadku wielu popularnych w internecie serwisów z materiałami dla studentów, to zapewne zgodził się na sfałszowanie autorstwa.

Jako podstawę prawną do ścigania przestępstwa sfałszowania pracy, R. Markiewicz podaje art. 272 Kodeksu karnego, który mówi, iż kto wyłudza poświadczenie nieprawdy przez podstępne wprowadzenie w błąd funkcjonariusza publicznego lub innej osoby upoważnionej do wystawienia dokumentu, podlega karze pozbawienia wolności do lat 3⁷. Artykuł 273 określa natomiast wysokość kary do 2 lat pozbawienia wolności za używanie tak wyłudzonego dokumentu. Korzyścią ze stosowania przepisów Kodeksu karnego jest to, że jeśli ktoś wiedząc o przestępstwie nie zgłosi tego odpowiednim organom, sam podlega karze, zatem władze uczelni nie mogą blokować tego typu informacji.

Rozwijające się środki komunikacji (strony WWW, sieci peer-to-peer, itp.) powodują, że studenci mają możliwość sięgnięcia do ogromnej liczby materiałów i wykorzystywania ich w swoich pracach, co czynią często bez podawania źródeł. Przerażające jest pojawianie się coraz to nowych serwisów internetowych oferujących sprzedaż całych prac magisterskich, licencjackich, zaliczeniowych, referatów i opracowań na dowolny temat, z dowolnej dziedziny wiedzy. Nikt nie prowadzi walki z tego typu ofertą, co gorsza wciąż powstają nowe serwisy internetowe oferujące takie usługi. Innym przykładem jest możliwość "ściągnięcia" z popularnej sieci peer-to-peer w internecie kilkuset megabajtów materiałów jednej z polskich Akademii Ekonomicznych oraz dwu Politechnik, zawierających kilka tysięcy dokumentów z różnych dziedzin. Są tam referaty, opracowania, ściągi, tematy egzaminacyjne, projekty, prace zaliczeniowe. Obserwując te przykłady, wydaje się, iż studenci bardzo szybko przyswoili sobie zdobycze współczesnej techniki komputerowej, pozostawiając daleko w tyle pracowników uczelni.

Pojawia się pytanie, czy jest możliwe przeciwdziałanie tego typu praktykom? Odpowiedź brzmi: tak, ale należy również wykorzystać zdobycze nowoczesnej techniki. W niniejszym artykule zaprezentowano efekty stosowanego od dwóch lat w Katedrze Procesu Zarządzania Akademii Ekonomicznej w Krakowie systemu wykrywania plagiatów w pracach zaliczeniowych. Opracowane przez autorów rozwiązanie oparte jest na oprogramowaniu powszechnie dostępnym w sieci internet, opartym na licencji GPL zapewniającej darmowy i nieograniczony dostęp do źródeł programu oraz jego wykorzystania.

Geneza powstania systemu obsługi studenta

Studenci na zaliczenie kilku prowadzonych w Katedrze przedmiotów oddają prace w formie projektów. Najbardziej charakterystycznym przykładem są zajęcia: zarządzanie projektami ekonomicznymi i organizacyjnymi. Przedmiot ten prowadzony jest na studiach dziennych, zaocznych (SUM) oraz wieczorowych, składa się z ćwiczeń i wykładu, kończy się egzaminem pisemnym. Praca zaliczeniowa jest opisem przedsięwzięcia realizowanego przez dowolną jednostkę (przedsiębiorstwo, gminę, jednostkę budżetową). Dla ułatwienia pracy studentom, projekty są tworzone według ściśle narzuconego schematu, obejmującego cztery zasadnicze części: identyfikację, diagnozę, dokumentację projektową i wdrożenie. Pierwszy rozdział może zawierać dane z przedsiębiorstwa, jednak kolejne są autorskimi propozycjami studentów i praktycznie nie zawierają cytatów z literatury.

Prace studentów powstają w zespołach kilkuosobowych w ciągu całego semestru. Ćwiczenia w dużej części opierają się na uściślaniu kolejnych elementów projektu wraz z dyskusją, omawianiem przykładów, samodzielną pracą studentów. Właśnie zarządzanie projektami stało się przyczyną powstania internetowego systemu obsługi studenta, ponieważ każdego roku w ramach tego tylko przedmiotu składanych jest około 700 prac⁸.

Ogromna liczba ocenianych prac, duża liczba prowadzonych grup ćwiczeniowych i studentów (do 20 grup na jednego prowadzącego, czyli ponad 600 studentów), spowodowały narastające problemy logistyczne w Katedrze. Problemy te wynikały z dużej liczby papierowych prac o średniej objętości ok. 40 stron składanych na zaliczenie, częstego przemieszczania się studentów pomiędzy grupami z powodu dostosowywania harmonogramu zajęć do innych przedmiotów, niewydolnego przepływu informacji o wymaganiach i ocenach.

Pojedyncze i przypadkowe wykrycia plagiatów spowodowały, że prowadzący zaczęli wymagać składania prac również w formie elektronicznej. Szansa wykrycia plagiatu była jednak tylko wówczas, gdy podobne prace trafiały do tego samego prowadzącego w ciągu jednego semestru. W przeciwnym wypadku było to wykluczone z powodu dużego obciążenia pracą oraz faktu prowadzenia tego przedmiotu przez wielu pracowników. Katedra nie posiadała możliwości technicznych porównywania prac w wersji elektronicznej, lecz trafiały one tymczasowo do archiwum. Studenci byli informowani o możliwości porównania prac w celu poszukiwania plagiatów.

Wymienione problemy zachęciły pracowników Katedry do opracowania internetowego systemu składania, oceniania i kontroli prac. Początkowo system, testowany przez jednego z prowadzących, zawierał tylko podstawowe funkcje kontroli obecności, zgłaszania tematów projektów, ich oddawania oraz wprowadzania ocen. Testy wypadły pozytywnie i już po jednym semestrze kierownik Katedry zadecydował o obowiązkowym stosowaniu systemu dla wybranych przedmiotów. Należy dodać, że system był rozwijany stopniowo i dostosowywany do życzeń wszystkich prowadzących. Początkowe, podstawowe i mało wygodne w stosowaniu, funkcje były stopniowo zastępowane przez bardziej rozbudowany interfejs użytkownika, różnorodne zestawienia, raporty i formularze⁹. Obecny zakres funkcji systemu zawiera: rejestrację obecności na zajęciach i wyników studentów z uwzględnieniem czterech kryteriów oceny (obecność, aktywność na zajęciach, projekt, prezentacja), automatyczną wymianę informacji ze studentami poprzez stronę internetową oraz e-mail, zatwierdzanie tematów prac, konsultowanie prac, przyjmowanie projektów i prezentacji, analizę porównawczą prac oraz tworzenie różnorodnych zestawień dla potrzeb prowadzących.

Potrzeba wprowadzenia automatycznego porównywania prac, spowodowała podjęcie działań mających na celu znalezienie rozwiązania informatycznego, które można by wykorzystać do celów wyszukiwania plagiatów. Rozmowy prowadzone z przedstawicielami firm zajmujących się świadczeniem usług z tego zakresu oraz ich ceny przekonały autorów, że warto poszukać rozwiązań w sferze programów open source. Po przeprowadzonych testach, najlepszym okazał się bardzo prosty program Sherlock¹⁰. Wstępny test, któremu poddano program, polegał na porównaniu z jego pomocą zawartości kilkuset zebranych w poprzednich latach dyskietek z pracami studentów . Biorąc pod uwagę liczbę relacji typu "każdy z każdym" przy porównywaniu tylu dokumentów, wydawałoby się, że wykorzystanie programu będzie wymagało gigantycznej mocy obliczeniowej komputera. Sherlock wykonuje to zadanie na zwykłym komputerze PC w 30 sekund. Wynik porównania na poziomie od 20% do 30% wskazuje na możliwość wykorzystania fragmentów innej pracy, jednak najczęściej wynika z wykorzystania podobnych materiałów źródłowych (definicji z książek, opisów przedsiębiorstw). Pomiędzy 30 a 50% można mówić o istotnym podejrzeniu plagiatu, natomiast powyżej 50% można z całą pewnością stwierdzić, że praca w dużej części została skopiowana. Naturalnie w innych typach prac, o większej różnorodności struktur oraz wykorzystujących w większym stopniu cytaty z literatury, rozkład może być nieznacznie różny. Test na projektach z dyskietek wykazał prawie 10% plagiatów powyżej 30% i około 5% plagiatów powyżej 50%. Oznaczało to że autorzy ok. 80 projektów (czyli prawie 200 studentów) powinni zostać w ostatnich latach ocenieni negatywnie lub nawet wydaleni ze studiów.

Program Sherlock został zintegrowany z SOS2003 w Katedrze w taki sposób, aby sprawdzanie prac odbywało się automatycznie, bez udziału prowadzącego. System zawiera bazę wszystkich oddanych w poprzednich latach projektów, a każdy nowo oddany zasila ją, stając się podstawą do kolejnych porównań. Prowadzący zajęcia, korzystając z bazy, widzi w momencie oceniania projektu, czy jest on podobny do innej pracy, jaki jest stopień podobieństwa, a także może otworzyć obie prace i dokonać ich porównania. Decyzja o dalszym postępowaniu należy do prowadzącego, ponieważ trzeba obie prace przejrzeć, znaleźć miejsca i przyczyny podobieństw, a dopiero później ustalić ewentualną winę studenta i odpowiednio pokierować dalszym postępowaniem. W tym pomaga drugi program - Copyfind¹², który pokazuje na jednej stronie tekst obu prac z zaznaczonymi na czerwono identycznymi fragmentami. Istotną informacją jest, iż zastosowanie systemu antyplagiatowego nie wpłynęło na wydłużenie czasu oceniania projektów.

Efekty stosowania systemu antyplagiatowego

W roku akademickim 2004/2005 zostały wdrożone wszystkie aktualnie działające funkcje systemu obsługi studenta (SOS2003). Każdy prowadzący zajęcia informował studentów o tym, że prace składać można wyłącznie w postaci elektronicznej przez stronę internetową oraz że będą one porównywane z innymi w celu wykrycia plagiatów. Każdy student logujący się do serwisu widział wyraźne ostrzeżenie: Tu działa system antyplagiatowy - nie ryzykuj. Pracownikom Katedry wydawało się, że po takich ostrzeżeniach system nie wykryje żadnego plagiatu. Byłoby to łatwe i szybkie osiągnięcie celu. Jednak już po złożeniu pierwszej partii projektów przez studentów studiów dziennych, pojawiło się kilka prac o podwyższonym poziomie podobieństwa. Prawdziwe przerażenie wywołały jednak wyniki porównań po złożeniu prac przez studentów zaocznych. Stwierdzono dużą liczbę plagiatów, kilka procent prac zaliczeniowych stanowiły bardzo mocne plagiaty o stopniu podobieństwa powyżej 50% Wykryto również kilka prac powyżej 70%¹³.

Potwierdziła się wysoka skuteczność systemu, mimo iż jest on stosunkowo prosty, nie są tu stosowane żadne statystyczne narzędzia analizy tekstu czy stylu. Oprogramowanie Sherlock nie radzi sobie z parafrazowaniem zdań, podmienianiem słów w tekście, wykrywa jedynie identyczne ciągi znaków, będące efektem nadużywania kombinacji "kopiuj-wklej", jednak, jak pokazują nasze doświadczenia, znakomicie zdało egzamin. Naturalnie zdarzały się również fałszywe alarmy (kilka o wysokości podobieństwa 20-30%), gdzie przyczyną wysokiego wyniku była duża liczba tabel, danych liczbowych lub wykorzystanie jako podstawy projektu materiałów z tego samego przedsiębiorstwa. W każdym przypadku prowadzący zajęcia analizował obie prace i oceniał, gdzie następuje zbieżność i czy plagiat rzeczywiście miał miejsce. Ilustracją skali problemu plagiatów jest wykres przedstawiający statystykę porównań dla ponad 6000 zgromadzonych obecnie w systemie dokumentów. Dla zachowania czytelności wskazano tylko prace wykazujące powyżej 20% podobieństwa.

Rysunek 1. Rozkład podobieństwa prac zaliczeniowych zgromadzonych w systemie obsługi studentów

Źródło: opracowanie własne

System przyniósł efekty także w innych obszarach. Okazało się, że wielu studentów mając świadomość ograniczeń czasowych pracowników, spowodowanych nadmiarem prowadzonych zajęć, próbowało wykorzystać ten fakt, wyłudzając oceny w drugim terminie bez oddawania poprawionych prac lub zaliczania kolokwium. Jakież było ich zdziwienie, gdy po zalogowaniu do systemu, prowadzący był w stanie podać wszystkie szczegóły, począwszy od pierwszych zajęć, łącznie z terminami i treścią konsultacji. Prawidłowo wykorzystywany system SOS2003 pozwala także na wykrycie prób podchodzenia do egzaminu bez zaliczenia oraz, po porównaniu z danymi dziekanatu, sfałszowania podpisu prowadzącego ćwiczenia.

Nie bez znaczenia pozostaje także fakt, że system obsługi studenta umożliwił zaoszczędzenie około 50 000 stron papieru w ciągu roku oraz atramentu i tonera potrzebnego na ich zadrukowanie. Sprawy ochrony środowiska, które w dużej mierze dotyczą działalności przemysłowej człowieka, powinny mieć również dostrzegane w obszarze działalności naukowo-dydaktycznej.

Autorzy zgadzają się z twierdzeniami, że komputerowe narzędzia kontroli plagiatów są dalekie od doskonałości¹⁴, jednak jak pokazują doświadczenia Katedry, są one dużo doskonalsze od człowieka, szczególnie przeładowanego dużą liczbą zajęć, ocenianych prac zaliczeniowych, dyplomowych lub magisterskich. Celem nie jest wykrycie każdego jednozdaniowego plagiatu, lecz eliminacja najbardziej bezczelnych oszustw polegających na skopiowaniu części pracy innego autora. Sherlock nie wykryje plagiatu w dokumencie, w którym sparafrazowano każde zdanie, jednak należy zauważyć, że trud włożony w przerobienie całości takiej pracy byłby porównywalny z napisaniem od podstaw nowej.

Autorzy dalecy są od gloryfikowania narzędzi elektronicznych, niepodważalnym faktem jednak jest, iż w pewnych sytuacjach mogą one pomóc w wykrywaniu większości ewidentnych oszustw¹⁵. Ostateczna decyzja zawsze należy do prowadzącego zajęcia, który analizuje podobne prace oraz bierze pod uwagę sytuację konkretnego studenta.

Konsekwencje wobec studentów

Z uwagi na brak w regulaminie studiów zapisu regulującego w administracyjny sposób zasady postępowania w przypadku wykrycia plagiatu, władze uczelni odmówiły podjęcia działań. Studenci zwykle szli w zaparte, nie przyznając się do popełnionego plagiatu. Najczęstsze tłumaczenia dotyczyły przypadkowej zbieżności słów, jednak przeglądając wspólnie z prowadzącym akapit po akapicie identyczne teksty, studenci zaczynali dostrzegać powagę swojej sytuacji. Występowały często strategie obrony: "mamy dużo pracy", "chcieliśmy szybko napisać", "to nie ja, to kolega", "dostałem materiały od brata, siostry" itp.

Stosowane konsekwencje mogły obejmować jedynie niezaliczenie przedmiotu oraz wymóg napisania ponownie pracy zaliczeniowej na inny temat oraz na podstawie danych z innego przedsiębiorstwa.

Wielu studentów zwracało uwagę, że prowadzący "chcą ich pognębić", "wyżywają się", a oni "płacą za studia i nie mają czasu pisać głupich projektów na zaliczenie". Jednak patrząc na problem z perspektywy polskiego społeczeństwa, zaczęliśmy dostrzegać głębszy sens naszych działań. Jeżeli bowiem nie będziemy potępiać nieuczciwości na etapie studiowania czy nauki w szkole, jeżeli gra "nie fair" zawsze przyniesie wygraną, a sędzia na nic nie zwróci uwagi, to w perspektywie część społeczeństwa będzie stosować nieuczciwe "zagrania", a reszta nie będzie reagować, gdyż uzna, że nie ma to większego sensu.

Należy również zwrócić uwagę na obniżenie się poziomu kwalifikacji absolwenta uczelni, który będzie musiał sobie poradzić w pracy zawodowej. Pracodawcy powinni się poważnie zastanowić, czy widoczne w indeksie stopnie są rzeczywiście efektem własnej pracy kandydata, czy też efektem jego "zaradności" i umiejętności "kombinowania". Już obecnie coraz częściej spotykamy się w swojej pracy z pracodawcami, którzy nie szukają pracowników przez ogłoszenia, lecz kontaktują się z promotorami i wykładowcami, aby znaleźć kandydatów o odpowiednich zdolnościach i kwalifikacjach.

Czy można zastosować podobny system do wyszukiwania plagiatów prac magisterskich i licencjackich?

Wiele uczelni wyższych od lat wymaga od studentów składania prac licencjackich i magisterskich na dyskietkach. Są one przechowywane w archiwach z zamiarem wykorzystania do wykrywania plagiatów. Jednak mimo dostępności narzędzi elektronicznych typu prezentowanego w artykule programu Sherlock, nie ma zbyt wielu chętnych do ich zastosowania. Może się to wydawać zaskakujące, jednak takie zaniechanie ma istotne przyczyny. Wykrycie plagiatu w pracy związanej z nadaniem tytułu zawodowego lub naukowego pociąga za sobą konieczność poinformowania prokuratury o podejrzeniu popełnienia przestępstwa (wspomniany art. 272 KK). Sprawa sądowa w przypadku udowodnienia winy zakończy się odebraniem tytułu, karą - zapewne w zawieszeniu - oraz wpisaniem do rejestru skazanych. Z kolei zaniechanie zgłoszenia do prokuratury, będzie przestępstwem popełnionym przez władze uczelni. Gdyby sprawa dotyczyła jednostek, z pewnością nie byłoby to problemem i na pewno władze zdecydowałyby się bez wahania na taki krok.

Naszym zdaniem zastosowanie programu Sherlock do wykrywania plagiatów prac dyplomowych i magisterskich mogłoby wykazać wysoki ich odsetek . Jeśli założyć, że wskaźnik 10% plagiatów wystąpiłby dla prac dyplomowych i magisterskich , wyniki mogą być zaskakujące. Uczelnia ekonomiczna, w której studiuje około 20 tysięcy studentów, rocznie wydaje około trzech tysięcy dyplomów. Zatem w przeliczeniu około 300 studentów popełniałoby plagiaty. Należy jednak pamiętać, że dla uruchomienia systemu konieczne jest wczytanie bazy prac z poprzednich lat z dyskietek. W ostatnich pięciu latach mogło wystąpić 1500 plagiatów. Uczelnia musiałaby wszcząć 1500 spraw zmierzających do odebrania dyplomu, osoby te w wyniku wyroku sądu zapewne straciłyby pracę i nie miałyby szans na zatrudnienie przez kilka lat.

Konieczne jest, według nas, wprowadzenie ogólnopolskiego - międzyuczelnianego - systemu wykrywania plagiatów prac magisterskich i licencjackich, obejmującego swym zasięgiem wszystkie kierunki studiów, uczelnie państwowe i prywatne. Wymaga to połączenia wysiłków wszystkich uczelni tworzących podobne systemy lub korzystających z usług systemu plagiat.pl i stworzenie wspólnej bazy teksów prac będącej podstawą takiego systemu.

Bibliografia

• G. Myśliwiec, P. Garczyński, "Złodzieje wiedzy", czyli glosa o lekkim zabarwieniu moralno-etycznym, "e-mentor" 2004, nr 3(5).
• G. Myśliwiec, P. Garczyński, "Złodzieje wiedzy", czyli glosa o lekkim zabarwieniu moralno-etycznym cz.II, "e-mentor" 2005, nr 1(8).

Netografia

• http://www.cs.usyd.edu.au/~scilect/sherlock/, [04.09.2005]
• http://plagiarism.phys.virginia.edu/software.html, [04.09.2005]
• A. Wojnar, Wywiad z Prof. Ryszardem Markiewiczem, "Alma Mater", 2004, nr 63 http://www3.uj.edu.pl/alma/alma/63/01/08.html, [04.09.2005]