Wprowadzenie

Dostęp do multimedialnych treści edukacyjnych przez osoby niewidome, mimo prężnego rozwoju nowoczesnych technologii, wciąż jest niewielki. Standardowa multimedialność - łączenie obrazu, dźwięku, ruchomych animacji czy elementów zapewniających interaktywność - to za mało, by sprostać potrzebom osób słabowidzących. Pojawiające się rozwiązania, jak projekt "1812 Serce Zimy" (S.A., 2011), implementują alternatywne, multimodalne interfejsy, które stosują jednocześnie mowę syntetyczną, zestaw skrótów klawiszowych, dźwięki pomocnicze, tyflografikę, interaktywną dźwiękową obsługę ekranu dotykowego i użycie monitorów brajlowskich. W niniejszym artykule opisano sposób zastosowania tej metody do tworzenia przyjaznych gier edukacyjnych dla niewidomych, Jako główny przykład jej realizacji posłużyła aplikacja gry edukacyjnej "Encyklopedia Geografii Europy dla Niewidomych" (Impuls, 2014), której autor jest pomysłodawcą i projektantem. Encyklopedia była zrealizowana jako projekt naukowo-badawczy, ale została również wdrożona do sprzedaży, dzięki czemu możliwe było zebranie sugestii i uwag od jej użytkowników. Opinie o programie encyklopedii pozyskano poprzez przeprowadzenie krótkich wywiadów drogą telefoniczną i mailową. Artykuł prezentuje negatywne i pozytywne cechy, wymienione w badaniu.

Mimo rozwijającego się intensywnie rynku elektronicznych materiałów edukacyjnych osoby niewidome mają do nich bardzo ograniczony dostęp. Wynika to głównie z faktu, że interfejsy użytkownika stosowane w grach edukacyjnych udostępniających multimedialne treści są projektowane z myślą o osobach widzących. Dlatego takie gry mają zwykle charakter multimedialnej i interaktywnej prezentacji. Są one tworzone jako połączenie obrazu, dźwięku, ruchomych animacji i elementów interaktywnych. Dla widzącego ucznia jest to dobre rozwiązanie, gdyż interfejs taki przyciąga jego uwagę i uatrakcyjnia mu naukę. Osoby niewidome mają jednak całkowicie inne wymagania co do sposobów prezentacji treści multimedialnych. Istnieje kilka projektów, które próbują zaradzić problemowi ograniczonego dostępu do tego rodzaju materiałów np.: "Audio Games" (Balan, Moldoveanu, i Moldoveanu, 2015), czy "1812 Serce Zimy" (S.A., 2011), poprzez implementowanie gier dedykowanych specjalnie dla niewidomych. Odrębnym problemem jest fakt, że rynek odbiorców niewidomych jest zbyt mały, aby komercyjnym firmom opłacało się wytwarzanie oprogramowania dedykowanego wyłącznie dla nich. Dlatego wydaje się, że jednym z pomysłów na zaradzenie temu problemowi, byłoby tworzenie takich dedykowanych rozwiązań w ramach projektów naukowo-badawczych i innych niekomercyjnych inicjatyw. Jednym z projektów tego typu jest gra edukacyjna prezentowana w niniejszym artykule.

Przy tworzeniu opisywanych rozwiązań trzeba wziąć pod uwagę specyficzne potrzeby przyszłych odbiorców. Przy formułowaniu wymagań bardzo pomocna może być specyfikacja WCAG2.0 opracowana przez konsorcjum W3C (W3C, 2008), która określa zasady i zawiera wskazówki co do tworzenia treści stron internetowych w taki sposób, aby były one dostępne dla wszystkich grup użytkowników w tym w szczególności dla niewidomych. WCAG2.0 nie zawiera jednak wskazówek praktycznych dotyczących tworzenia gier edukacyjnych, a ponadto w swojej aktualnej wersji nie uwzględnia dostępnych obecnie możliwości technologicznych, jak np. użycie ekranu dotykowego do dźwiękowej prezentacji rysunków dla niewidomego ucznia, które wykorzystano w takich systemach jak: Desmos (Desmos, 2017) lub PlatMat (Brzostek-Pawlowska i Mikulowski, 2014). Jednym z wymagań co do tworzenia omawianych aplikacji jest konieczność zastąpienia mediów dostępnych tylko dla widzącego użytkownika takich jak: animacje wideo, grafiki na ekranie czy nieudźwiękowiona interakcja z użytkownikiem poprzez zestaw alternatywnych interfejsów. Należą do nich: mowa syntetyczna, zestawy skrótów klawiszowych, dźwięki pomocnicze, tyflografika, interaktywna dźwiękowa obsługa ekranu dotykowego, czy użycie monitora brajlowskiego.

Niniejszy artykuł prezentuje sposób zastosowania wymienionych, dostępnych dla niewidomego odbiorcy elementów interfejsu użytkownika, które mogą zastąpić multimedialne treści edukacyjne dostępne dla widzącego. Następnie przedstawia kilka projektów aplikacji, w których te interfejsy zostały użyte, a które były zaprojektowane i zrealizowane jako projekty badawcze z udziałem autora.

Aktualne rozwiązania udostępniające multimedialne treści edukacyjne dla niewidomych

Biorąc pod uwagę aktualny stan rzeczy, można się przekonać, że większość ogólnodostępnych gier i innych aplikacji edukacyjnych jest niedostosowana dla użytkowników całkowicie niewidomych, a tylko w ograniczony sposób nadaje się dla słabowidzących. Nieliczne wyjątki stanowią implementacje takich klasycznych gier jak szachy czy popularnej gry w statki, które dzięki zainstalowanemu w komputerze użytkownika oprogramowaniu odczytu ekranu - np. darmowego programu NVDA (Bigham, Prince, i Ladner, 2008) - mogą być przez nich używane. Jednakże osoby niewidome, tak jak inni użytkownicy, powinni mieć również dostęp do ciekawych, przyciągających uwagę multimedialnych treści edukacyjnych. Sanchez i Darin (Sánchez, Darin, i Andrade, 2015) przeanalizowali wpływ, jaki wywiera zastosowanie w grach edukacyjnych komponentów multimodalnych na zwiększenie zdolności poznawczych niewidomych uczniów. Stwierdzili oni, że gry multimodalne są czynnikiem, który pozytywnie stymuluje proces poznawczy u niewidomych dzieci i pomaga im w opanowywaniu nowych umiejętności oraz uczeniu się nowych zagadnień. Mimo że autorzy wspomnianego opracowania odnaleźli ponad 17 multimodalnych gier, zaprojektowanych specjalnie dla niewidomych, to tylko w czterech przypadkach zaproponowano ogólny model, według którego należy budować takie gry. Jednym z ciekawszych przykładów tego typu jest edukacyjna gra video, zaproponowana przez Sancheza (Sánchez, Sáenz, i Garrido, 2010), w której z danych wejściowych przygotowanych przez nauczyciela tworzona jest kognitywna mapa pojęć, jakie powinien opanować uczeń. Następnie na podstawie tej mapy generowany jest scenariusz nowej gry, którą uczeń może wykorzystać do opanowania nowych treści.

Wspomniane podejście jest bardzo podobne do rozwiązania zastosowanego w grze zatytułowanej "1812 Serce zimy" (TP SA, 2011). W tej wykonanej z dużym rozmachem interaktywnej książce audio, przygotowanej z myślą o niewidomych, wykorzystano dialogi i narracje zrealizowane przez profesjonalnych aktorów, a także muzykę zaaranżowaną specjalnie na potrzeby tej produkcji. Znaczne powodzenie tej gry wśród użytkowników potwierdza, że niewidomi przedkładają słuchanie tekstów odczytywanych przez lektora nad informacje odtwarzane przez (choćby najlepszej jakości) syntezator mowy, co potwierdzają także inne badania (Pucher i in., 2017).

Kolejnymi przykładami rozwiązania problemu słabej dostępności do multimedialnych treści edukacyjnych są projekty, które mają podwójne interfejsy - budowane zarówno z myślą o całkowicie niewidomych, jak i o słabowidzących. Istnieją też podejścia polegające na użyciu techniki rozpoznawania mowy, ale stosuje się je bardzo rzadko w odniesieniu do użytkowników niewidomych. Powodem jest fakt, że osoby takie są najczęściej dobrze obeznane ze zwykłą klawiaturą komputerową i nie mają potrzeby wprowadzania tekstu do komputera za pomocą własnego głosu.

Niewątpliwie najbardziej znanym portalem internetowym, który gromadzi informacje na temat tzw. gier audio, jest anglojęzyczny serwis "Audio games" (Creative Heroes, 2012). Znamiennym jest fakt, że spośród ponad 600 prezentowanych tam gier dla niewidomych tylko 9 zostało przyporządkowanych do kategorii gier edukacyjnych. Kilkanaście innych, typowych gier dostępnych na tym portalu (takich jak puzzle, labirynty czy szachy) można uznać za gry rozwijające intelekt użytkownika, czyli w pewnym sensie gry edukacyjne. To pokazuje, że dla tej grupy użytkowników istnieje nadal duża potrzeba tworzenia gier edukacyjnych.

Jednym z rozwiązań, jakie może być zastosowane podczas ich produkowania, jest użycie multimodalnych interfejsów, a w szczególności interfejsów haptycznych. Nie jest to jednak sprawą całkiem prostą. Specyfikacja WCAG 2.0 (W3C, 2008), która zawiera wiele pożytecznych wskazówek co do tworzenia stron internetowych i innych dokumentów elektronicznych tak, aby były one dostępne dla wszystkich grup użytkowników, nie dostarcza wskazówek praktycznych podpowiadających, jak tworzyć gry edukacyjne. Na szczęście wiele jej zaleceń co do multimedialnych treści da się zastosować również do gier. Ponadto większość proponowanych rozwiązań, takich jak np. system Math Tracks (Morrison, 2011), wymaga użycia dodatkowych urządzeń - takich jak specjalne monitory dotykowe lub brajlowskie, wyświetlające tzw. grafikę dotykową - ang. tactile graphic (Watanabe, Kobayashi, Ono, i Yokoyama, 2006). To powoduje, że rozpowszechnienie owych projektów, zwłaszcza w szkołach integracyjnych lub prowadzących edukację włączającą, jest bardzo ograniczone. Dużo większe możliwości otwierają się przed rozwiązaniami wykorzystującymi technologie dostępne w popularnych urządzeniach z ekranami dotykowymi, takich jak tablety i laptopy, standardowe generatory dźwięku w komputerach, oprogramowanie odczytu ekranu, dźwiękowe wspomaganie nawigacji po dotykowym ekranie itd.

Podsumowując, można powiedzieć, że tworzenie gier edukacyjnych zawierających dostępne dla niewidomych treści multimedialne jest problematyczne. Jest ono kosztowne, z powodu braku zaleceń praktycznych co do tego, jak je tworzyć, konieczności stosowania dodatkowych urządzeń oraz wąskiego rynku niewidomych odbiorców. Dlatego mało jest ciekawych gier edukacyjnych, przystosowanych dla niewidomego ucznia. Próbą rozwiązania części tych problemów mogłoby być opracowanie praktycznych metod i wskazówek podpowiadających projektantom i programistom, jak takie gry tworzyć. Koncepcja multimodalnych interfejsów, zaproponowana w dalszej części tego artykułu, może być krokiem w kierunku opracowania takich wskazówek.

Koncepcja alternatywnych multimodalnych interfejsów użytkownika

Zgodnie z definicją podaną przez Oviatt, Jacko, i Sears (2002, s. 4), systemy multimodalne to systemy przetwarzające w sposób skoordynowany dwa lub więcej połączonych rodzajów sygnałów wejściowych, takich jak mowa, gesty dotykowe wykonywane rysikiem i palcem, ruchy głowy i ciała w połączeniu z multimedialnymi elementami wyjściowymi, takimi jak tekst, obraz, dźwięk i video. Można wśród nich wyróżnić interfejsy haptyczne związane z użyciem dotyku oraz auralne - związane z użyciem dźwięku. Spotykane są również rozwiązania hybrydowe, tzn. połączenie tych dwóch podejść, które stają się coraz popularniejsze z powodu zwiększającej się dostępności ekranów dotykowych w tabletach i laptopach. Tak więc metoda multimodalnych interfejsów użytkownika polega na jednoczesnym zastosowaniu zbioru alternatywnych, akceptowanych przez niewidomego, sposobów udostępniania treści edukacyjnych w zamian za multimedialne elementy gry, standardowo dostępne dla widzącego ucznia. W kolejnych podrozdziałach przedstawimy sposoby zastosowania różnych dostępnych interfejsów, których można użyć zamiast multimedialnych treści dostępnych tylko dla widzącego użytkownika.

Mowa syntetyczna i skróty klawiszowe

Od bardzo dawna sposobem na udostępnienie komputerów dla niewidomych jest zastosowanie tzw. mowy syntetycznej, czyli sztucznie generowanego głosu ludzkiego. Sama mowa jednak nie wystarcza, ponieważ równie ważne jak to, że komputer mówi do użytkownika jest to, aby informacja, którą przekazuje, była tą akurat potrzebną. Dlatego już dawno wymyślono oprogramowanie typu screen reader (z ang. czytnik ekranu), które zajmuje się selekcjonowaniem informacji przekazywanych użytkownikowi w formie głosu syntetycznego. Istniały już programy tego typu dla systemów tekstowych, m.in. MS-DOS i UNIX (Jones, Choy, i Williams, 2006). Wraz z pojawieniem się systemów graficznych powstał problem, w jaki sposób udostępniać elementy, które nie mają charakteru tekstowego, a więc ikonki, widżety, ramki, strzałki i grafiki. Jest on rozwiązywany poprzez tworzenie specjalnych słowników grafik, które są wbudowane w czytnik ekranu. Gdy użytkownik napotka na symbol graficzny, np. ikonkę z obrazkiem drukarki, czytnik ekranu odczyta słowo "drukuj". Oprócz słowników, wbudowanych w program czytający, użytkownik może tworzyć również własne zestawy grafik i ich opisów.

Innym problemem związanym z prawidłowym odczytem jest fakt, że ogólnodostępne gry edukacyjne są zazwyczaj projektowane z użyciem niestandardowych komponentów, które niedostatecznie dobrze współpracują z czytnikami ekranu. Oznacza to, że czytnik nie ma odpowiedniego zestawu opisów tekstowych grafik używanych w takiej grze albo z powodu samej konstrukcji programistycznej gry nie potrafi uzyskać dostępu do elementów, które mógłby odczytać, takich jak: etykietki, napisy menu itd. W takim wypadku, w celu dostosowania gry, widzący programista może utworzyć potrzebny słownik grafik i ich opisów oraz zestaw specjalnych skryptów dla programów odczytu ekranu, które umożliwią niewidomemu dostęp do tak przystosowanej gry. Ten sposób zastosowano w popularnych aplikacjach, np. MS Word. Innym rozwiązaniem tego problemu może być zaprogramowanie dedykowanej gry dla niewidomego użytkownika tak, aby wysyłała ona odpowiednie informacje bezpośrednio do syntezatora mowy. Należy również pomyśleć o tym, aby użytkownik mógł ją obsłużyć wyłącznie przy pomocy klawiatury. Przykładowo, jeśli na ekranie otwarte jest okienko dialogowe, to używając klawiszy Tab lub Shift+Tab użytkownik może przemieścić się do następnego lub poprzedniego jego elementu. Jeśli przy tworzeniu gry programista użył standardowego komponentu okienka dialogowego, ta możliwość jest w nim już zaprojektowana i nie musi on poświęcać dodatkowego wysiłku, aby takie okienko udostępnić. Jednocześnie z przemieszczaniem się po elementach okienka automatycznie odczytywany jest tekst podświetlonego elementu, np. przycisk Zapisz. Dodatkowo użytkownik może użyć tzw. gorących klawiszy, aby szybciej przemieścić się do pożądanego elementu okienka - np. aby podświetlić przycisk Zapisz i go nacisnąć, może użyć tylko jednej kombinacji klawiszy, czyli Alt+S.

Dźwięki pomocnicze

Innym elementem, wspomagającym pracę niewidomego użytkownika z grą edukacyjną, może być zastosowanie w niej tzw. dźwięków pomocniczych czy też technicznych. Funkcja ta działa w następujący sposób: gdy użytkownik otwiera menu, słyszy dźwięk podobny do odgłosu otwieranych drzwi. Podobnie przy zamykaniu okienka, opcji menu czy samego programu - słyszy on inny sygnał dźwiękowy. Użycie dźwięków pomocniczych przyspiesza pracę z programem, ponieważ taka informacja szybciej dociera do użytkownika niż przykładowo odczyt komunikatu "Zamknąłeś okienko". Różne dźwięki mogą być tu zastosowane do różnego typu okien i innych elementów programu. Projektując taki zestaw dźwięków trzeba jednak zwrócić uwagę na to, żeby były one jak najbardziej intuicyjne, gdyż nie ma jednolitego standardu mówiącego o tym, w jakiej sytuacji powinien być użyty dany dźwięk. Dodatkowo, w programie powinna być zapewniona możliwość ustawiania głośności tych dźwięków tak, aby były one cichsze od mowy syntetycznej, której użytkownik i tak musi słuchać cały czas przy pracy z programem.

Ilustracje muzyczne i narracje

Elementami uatrakcyjniającymi interfejs użytkownika programu edukacyjnego mogą być ilustracje muzyczne i narracje, a także udźwiękowione filmy. Chodzi o to, aby ciekawsze treści były prezentowane jako nagrania audio, wykonane przez profesjonalnego lektora i zaopatrzone dodatkowo w adekwatne tło muzyczne. Takimi elementami mogą być też filmy z audiodeskrypcją (Walczak i Fryer, 2018). Aby zapewnić wygodny dostęp do takich treści, można wyposażyć grę w prosty odtwarzacz z kilkoma podstawowymi funkcjami, takimi jak odtwarzanie, zatrzymanie odtwarzania, pauza, przewinięcie do przodu lub w tył itd. Wszystkie te funkcje muszą być dostępne za pomocą łatwych do zapamiętania skrótów klawiszowych. Jest oczywiste, że taki sposób prezentacji będzie dla ucznia bardziej interesujący, niż odsłuchanie informacji tekstowej wypowiadanej przez syntezator mowy.

Interaktywna tyflografika

Największą barierą w dostępie do różnego typu informacji jest dla niewidomych brak możliwości oglądania grafiki, a szczególnie grafiki prezentowanej na ekranie komputera. Dlatego, aby w jakiejś części ją zastąpić, trzeba użyć innych rozwiązań. Jednym z nich może być jednoczesne zsynchronizowanie trzech następujących elementów interfejsu użytkownika:

informacji tekstowej podawanej przez syntezator mowy;

grafiki dotykowej wydrukowanej na papierze w postaci rysunku brajlowskiego lub na puchnącym papierze, zaopatrzonej w odpowiednie etykiety brajlowskie;

legendy objaśniającej symbole użyte w grafice brajlowskiej, która jest również wydrukowana na papierze w alfabecie brajla.

Taka tyflografika musi być odpowiednio przygotowana. Nie może ona być zbyt szczegółowa, może zawierać tylko w niewielkie 2 i 3-literowe oznaczenia ważniejszych miejsc, a także proste symbole graficzne, np. kółka, kwadraty czy trójkąty. Jest oczywiste, że te symbole muszą być w jakimś miejscu opisane. Mogą być wyjaśnione poprzez komunikat głosowy, który można uzyskać naciskając, np. klawisz pomocy F1 lub w książce z rysunkami wypukłymi na stronie sąsiadującej z oglądaną właśnie grafiką. Dzięki temu uczeń może łatwo zapoznać się z graficzną informacją, dostępną w grze edukacyjnej.

Innym sposobem na udostępnienie grafiki dla niewidomych może być jej oglądanie na ekranie dotykowym. Tę funkcjonalność można zrealizować poprzez zastosowanie odpowiedniej dźwiękowej interakcji ekranu z użytkownikiem. Działanie tego mechanizmu polega na tym, że gdy użytkownik porusza palcem po ekranie dotykowym i napotka linie np. bok figury geometrycznej, usłyszy ciągły sygnał dźwiękowy. Podobnie gdy napotka oś układu współrzędnych - usłyszy sygnał, tym razem o innej wysokości dźwięku. Dodatkowo jeśli wykona gest podwójnego stuknięcia w miejscu linii albo punktu, usłyszy opis wybranego elementu odczytany przez syntezator mowy.

Praktyczne realizacje koncepcji multimodalnych interfejsów

Pierwszą prostą realizacją koncepcji multimodalnych interfejsów była aplikacja Atlas Geograficzny Świata, zrealizowana przez autora w 2005 r. Był to prosty program edukacyjny zaprogramowany z myślą o niewidomych. Zawierał on zbiór informacji o państwach świata oraz kilkanaście nagrań audio i filmów z opisami niektórych zagadnień. Materiał merytoryczny do tej aplikacji pochodził z podobnego programu przeznaczonego dla widzących, który jednak w oryginalnej formie nie nadawał się do użytku przez osoby niewidome. Aplikacja ta trafiła do sprzedaży, a pomysł według którego została zrealizowana spodobał się jej użytkownikom.

Kolejną, bardziej zaawansowaną realizacją metody multimodalnych interfejsów, był program edukacyjny "Multimedialna Encyklopedia Geografii Europy dla Niewidomych" (Impuls, 2014). Projekt ten był zrealizowany w 2014 r w Instytucie Maszyn Matematycznych w ramach konkursu "Bon na innowacje". Zastosowano w niej niemal wszystkie przedstawione wyżej sposoby udostępnienia treści edukacyjnych dla niewidomego ucznia, a więc syntezę mowy, dźwięki pomocnicze, pełną obsługę przy pomocy klawiatury, ilustracje słowno-muzyczne oraz zsynchronizowanie grafiki elektronicznej, dotykowej i objaśniającej ją legendy. Za przykład sposobu udostępnienia grafiki w tym programie niech posłuży sytuacja, gdy uczeń podczas pracy z grą dotrze do miejsca, w którym jest mowa o krajach graniczących z Polską oraz jej najważniejszych miastach. Ma wówczas na ekranie wyświetloną poglądową mapkę Polski. Jest oczywiste, że nie może jej zobaczyć. Dlatego w tym momencie dostaje komunikat o tym, na której stronie w dołączonej do programu książeczce z rysunkami tyflograficznymi znajduje się ta mapka. Może ją więc obejrzeć za pomocą dotyku.

Tyflograficzna wersja mapki Polski z gry encyklopedii jest pokazana na rys. 1.

Na mapce Polski znajdują się oznaczenia różnych obiektów takich jak rzeki czy miasta. Muszą być one w jakimś miejscu objaśnione. Jednym z takich miejsc jest legenda, która znajduje się w tej samej, dołączonej do programu książeczce brajlowskiej. Ta legenda została pokazana na rys. 2.

Legenda objaśniająca symbole jest dodatkowo dostępna w samym programie jako okienko tekstowe, z którego uczeń może ją odczytać przy pomocy syntezatora mowy.

Program encyklopedii otrzymał złoty medal na wystawie wynalazczości "Invento" w Pradze w 2014 r. Został on też wdrożony do sprzedaży. Program zakupiło pięć instytucji oraz kilku klientów indywidualnych. Dzięki temu możliwe było zebranie sugestii i uwag na temat jego użytkowania. Informacje te zostały zebrane drogą wywiadów telefonicznych, przeprowadzanych przez sprzedawcę oraz poprzez zebranie opinii za pośrednictwem poczty elektronicznej - na końcu zaś przekazane autorowi. Elementami programu, które podobały się użytkownikom, były: zastosowanie jednoczesnej ilustracji zagadnień geograficznych poprzez informacje tekstowe i rysunki brajlowskie, prezentacja niektórych informacji przy pomocy narracji i muzyki oraz użycie dźwięków pomocniczych. Negatywne uwagi dotyczyły: nie dość intuicyjnego wyszukiwania informacji w całej aplikacji oraz dezaktualizowania się treści merytorycznych, co rodzi potrzebę częstego tworzenia nowych wersji programu.

Inną, najbardziej zaawansowaną realizacją koncepcji multimodalnych interfejsów użytkownika, był projekt PlatMat (Brzostek-Pawlowska i Mikulowski, 2014), realizowany w Instytucie Maszyn Matematycznych w latach 2014-2016. PlatMat jest platformą edukacyjną, przeznaczoną do nauczania matematyki uczniów niewidomych i słabowidzących przez widzących nauczycieli. Składa się on z kilku aplikacji dedykowanych dla nauczyciela, dla ucznia słabowidzącego i dla ucznia niewidomego, a także aplikacji wirtualnych kubarytmów i kalkulatora. W aplikacjach przeznaczonych dla uczniów w tym systemie zastosowano różne interfejsy, takie jak: synteza mowy, prezentacja formuł matematycznych na monitorze brajlowskim i ich inteligentny odczyt głosowy czy dźwięki pomocnicze. Dodatkowo, eksperymentalnie zastosowano także dźwiękowy odczyt grafiki matematycznej na ekranie dotykowym, który został przedstawiony w poprzednim rozdziale.

Aplikacje PlatMat były testowane i używane przez uczniów i nauczycieli z trzech szkół dla niewidomych oraz trzech szkół prowadzących edukację w systemie integracyjnym.

Podsumowanie

Niewidomi uczniowie mają bardzo utrudniony dostęp do elektronicznych materiałów edukacyjnych, gdyż są one zwykle przygotowywane w formie grafiki, animacji i innych elementów, utrudniających ich percepcję. Istnieje znacząca potrzeba tworzenia oprogramowania, w którym multimedialne treści edukacyjne byłyby odpowiednio dostosowane Jednym ze sposobów może być metoda multimodalnych interfejsów użytkownika przybliżona w tym artykule.

Metoda multimodalnych interfejsów spotkała się z akceptacją, co potwierdzają opinie użytkowników o programach, w których została wykorzystana, oraz nagrody, jakie otrzymały wymienione projekty na międzynarodowych wystawach. Będzie ona w dalszym ciągu rozwijana i ulepszana. Przykładem takiego kierunku rozwoju może być chociażby funkcja eksplorowania dźwiękowego grafik matematycznych w systemie PlatMat, którą można będzie rozbudować i udoskonalić. Autor dziękuje dr Jolancie Brzostek-Pawłowskiej za umożliwienie realizacji projektu "Multimedialna Encyklopedia Geografii Europy dla niewidomych" i dużą pomoc w jego przeprowadzeniu.

Bibliografia

• Balan, O., Moldoveanu, A., i Moldoveanu, F. (2015). Navigational audio games: an effective approach toward improving spatial contextual learning for blind people. International Journal on Disability and Human Development, 14(2), 109-118.
• Bigham, J.P., Prince, C.M., Ladner, R. E. (2008). WebAnywhere: a screen reader on-the-go. W: Proceedings of the 2008 international cross-disciplinary conference on Web accessibility (W4A), 73-82. ACM.
• Brzostek-Pawlowska, J., Mikulowski, D. (2014). A concept of mobile technology for remotely supporting mathematical education of the blind. W: Remote Engineering and Virtual Instrumentation (REV), 2014 11th International Conference on Remote Engineering and Virtual Instrumentation Porto 2014, 54-60. IEEE.
• Creative Heroes. (2012). Audio Games, your resource for audiogames, games for the blind. Pobrano z: https://www.audiogames.net/.
• Desmos, I. (2017). Desmos graph. Pobrane z: https://www.desmos.com/calculator.
• Impuls, P.H.U. (2014). Multimedialna Encyklopedia Geografii Europy dla Niewidomych. Pobrane z: http://www.phuimpuls.pl/pobierz/.
• Jones, R.J., Choy, A., Williams, B. (2006). Integrating Festival and Windows. W: Ninth International Conference on Spoken Language Processing.
• Morrison, M. (2011). Math Tracks: What Pace in Math Is Best for the Middle School Child?. Montessori Life: A Publication of the American Montessori Society, 23(4), 26-35.
• Oviatt, S., Jacko, J., Sears, A. (2002). Handbook of Human-Computer Interaction. New Jersey: Lawrence Erlbaum.
• Pucher, M., Zillinger, B., Toman, M., Schabus, D., Valentini-Botinhao, C., Yamagishi, J., Woltron, T. (2017). Influence of speaker familiarity on blind and visually impaired children's and young adults' perception of synthetic voices. Computer Speech & Language, 46, 179-195.
• S.A, T.P. (2011). 1812 Serce Zimy. Pobrane z: http://www.sercezimy.pl/tpsa/run?n=1812_tekst&p1=1002.
• Sánchez, J., Darin, T., Andrade, R. (2015). Multimodal videogames for the cognition of people who are blind: trends and issues. W: International Conference on Universal Access in Human-Computer Interaction, 535-546. Springer.
• Sánchez, J., Sáenz, M., Garrido, J.M. (2010). Usability of a multimodal video game to improve navigation skills for blind children. ACM Transactions on Accessible Computing (TACCESS), 3(2), 7.
• W3C, W.W.W.C. (2008). Web Content Accessibility Guidelines (WCAG) 2.0. Pobrane z: https://www.w3.org/TR/WCAG20/.
• Walczak, A., Fryer, L. (2018). Vocal delivery of audio description by genre: measuring users' presence. Perspectives, 26(1), 69-83. DOI: https://doi.org/10.1080/0907676X.2017.1298634.
• Watanabe, T., Kobayashi, M., Ono, S., Yokoyama, K. (2006). Practical use of interactive tactile graphic display system at a school for the blind. W: Proc. Fourth International Conference on Multimedia and Information and Communication Technologies in Education (m-ICTE), 1111-1115. Citeseer.