ZESPÓŁ AUTORSKI

Politechnika Rzeszowska im. Ignacego Łukasiewicza

dr hab. inż. Marian Wysocki, prof. PRz (kierownik zespołu)
dr inż. Joanna Marnik
dr inż. Mariusz Oszust
dr inż. Dawid Warchoł
dr inż. Tomasz Kapuściński

CO MOŻNA OSIĄGNĄĆ DZIĘKI WYNALAZKOWI?

Osoby głuche mają bardzo duże trudności w rozumieniu treści pisanych i wyrażaniu myśli na piśmie. Niemożność korzystania z kanału głosowego stanowi dla nich dużą barierę w kontaktach społecznych.

SyKoMi jest rozwiązaniem wychodzącym naprzeciw trendom w działaniach na rzecz likwidacji barier, na które napotykają te osoby, w celu zapewnienia im możliwości pełnego uczestnictwa w życiu kulturalnym i społecznym oraz stworzenia warunków koniecznych do wzrostu aktywności na rynku pracy.

SyKoMi jest interfejsem człowiek – komputer wspomagającym komunikację osoby głuchej z urzędnikiem w instytucji użyteczności publicznej. Wypowiedzi osoby głuchej w języku migowym są obserwowane przez kamerę i tłumaczone przez komputer na język pisany lub mówiony. Tłumaczenie przedstawiane jest urzędnikowi. Wypowiedzi urzędnika, wybrane przez niego z bazy danych, są przedstawiane osobie głuchej w postaci filmu w języku migowym.

Wynalazek jest zbudowany jako zbiór oddzielnych modułów, które można łączyć w różnych konfiguracjach. Wyróżnione zostały następujące moduły: rozpoznawania wypowiedzi migowych, translacji wypowiedzi tekstowych na sekwencje gestów języka migowego, oraz słowniki wypowiedzi migowych adekwatne do wybranego zastosowania (np. sprawy urzędowe związane z dowodem osobistym). Dzięki temu możliwe jest tworzenie produktów pochodnych, przystosowanych do zastosowań, które mają odmienne wymagania.

Obecna wersja pozwala, aby przeszkolona osoba głucha samodzielnie załatwiła w urzędzie sprawy związane ze złożeniem wniosku o dowód osobisty i odbiorem dowodu osobistego. Możliwe jest przystosowanie systemu do załatwienia innych spraw w dowolnej instytucji użyteczności publicznej. Wybrane moduły systemu mogą także posłużyć do zbudowania tablic informacyjnych lub interaktywnych „kiosków” dla osób głuchych, np. na dworcach, w pociągach, autobusach, itp. lub do stworzenia w szkołach stanowisk dla dzieci do nauki języka migowego w formie zabawy.

ISTOTA WYNALAZKU

Osoby głuche mają bardzo duże trudności w rozumieniu treści pisanych i wyrażaniu myśli na piśmie. Niemożność korzystania z kanału głosowego stanowi dla nich dużą barierę w kontaktach społecznych.

SyKoMi jest rozwiązaniem wychodzącym naprzeciw trendom w działaniach na rzecz likwidacji barier, na które napotykają te osoby, w celu zapewnienia im możliwości pełnego uczestnictwa w życiu kulturalnym i społecznym oraz stworzenia warunków koniecznych do wzrostu aktywności na rynku pracy.

SyKoMi jest interfejsem człowiek – komputer wspomagającym komunikację osoby głuchej z urzędnikiem w instytucji użyteczności publicznej. Wypowiedzi osoby głuchej w języku migowym są obserwowane przez kamerę i tłumaczone przez komputer na język pisany lub mówiony. Tłumaczenie przedstawiane jest urzędnikowi. Wypowiedzi urzędnika, wybrane przez niego z bazy danych, są przedstawiane osobie głuchej w postaci filmu w języku migowym.

Wynalazek jest zbudowany jako zbiór oddzielnych modułów, które można łączyć w różnych konfiguracjach. Wyróżnione zostały następujące moduły: rozpoznawania wypowiedzi migowych, translacji wypowiedzi tekstowych na sekwencje gestów języka migowego, oraz słowniki wypowiedzi migowych adekwatne do wybranego zastosowania (np. sprawy urzędowe związane z dowodem osobistym). Dzięki temu możliwe jest tworzenie produktów pochodnych, przystosowanych do zastosowań, które mają odmienne wymagania.

Obecna wersja pozwala, aby przeszkolona osoba głucha samodzielnie załatwiła w urzędzie sprawy związane ze złożeniem wniosku o dowód osobisty i odbiorem dowodu osobistego. Możliwe jest przystosowanie systemu do załatwienia innych spraw w dowolnej instytucji użyteczności publicznej. Wybrane moduły systemu mogą także posłużyć do zbudowania tablic informacyjnych lub interaktywnych „kiosków” dla osób głuchych, np. na dworcach, w pociągach, autobusach, itp. lub do stworzenia w szkołach stanowisk dla dzieci do nauki języka migowego w formie zabawy.

POTENCJAŁ KOMERCJALIZACYJNY WYNALAZKU

SyKoMi jest systemem wspomagającym komunikację osoby posługującej się językiem migowym z osobą, która nie zna tego języka. Wypowiedzi migowe z danego obszaru tematycznego są obserwowane przez kamerę i na bieżąco tłumaczone przez komputer na język pisany lub mówiony. Tłumaczenie w drugą stronę ma formę filmu zbudowanego z wypowiedzi lektora języka migowego oraz informacji o charakterze ikonicznym, np. formularzy, map, planów pomieszczeń. Do rozpoznawania wypowiedzi migowych zastosowano metody sztucznej inteligencji.

W systemie osoba głucha, posługująca się językiem migowym, jest obserwowana przez kamerę usytuowaną naprzeciwko (zał. 3, rys. 1). Przekazane przez nią wypowiedzi migowe, po przetłumaczeniu są prezentowane na ekranie osoby słyszącej (np. urzędnika) (rys. 2). Jej odpowiedzi są z kolei wyświetlane na ekranie osoby głuchej jako tłumaczenie migowe w formie filmu (rys. 3). Osoba niesłysząca może również skorzystać z multimedialnego wniosku o wydanie dowodu osobistego z tłumaczeniem pól na język migowy (rys. 4). Na rys. 5 pokazano stanowisko badawcze systemu SyKoMi.

System zbudowano w postaci możliwych do łączenia ze sobą w różnych konfiguracjach oddzielnych modułów, w szczególności modułu rozpoznawania wypowiedzi migowych, modułu translacji wypowiedzi tekstowych na sekwencje gestów języka migowego, baz wypowiedzi migowych zawierających słownictwo odpowiadające kategoriom powiązanym z zastosowaniem systemu w danym miejscu. Budowa systemu ma charakter ogólny, jednak ze względu na zasób wypowiedzi, pilotażowe zastosowanie ukierunkowano na konkretną instytucję. W roku 2017 system zainstalowano w Urzędzie Miasta Rzeszowa, w Wydziale Spraw Obywatelskich, do wspomagania spraw związanych z wyrabianiem dowodu osobistego (rys. 6), jako element projektu TANGO1/270034/NCBR/2015. Modułowy charakter systemu pozwala na jego wykorzystanie także do innych celów, w tym z użyciem tylko części modułów, np. gdy komunikacja dwustronna nie jest wymagana (zobacz pkt 4.).