V bakalárskej práci sme sa venovali klasifikácii 25 znakov Americkej posunkovej abecedy, ktorá je znázornená na nasledujúcom obrázku:
Znaky v Americkej posunkovej abecede [1].
Použili sme dva datasety: prvý vo forme nespracovaných obrázkov na ktorých sú znázornené jednotlivé znaky posunkovej abecedy a druhý, ktorý obsahuje tieto obrázky v štruktúrovanej a predspracovanej podobe. Pri riešení tejto úlohy sme využili tradičné metódy strojového učenia aj metódy hĺbkového učenia, pričom najpresnejšie a najefektívnejšie riešenie sme dosiahli pomocou konvolučných neurónových sietí.
Okrem samotnej klasifikácie sme sa venovali taktiež lokalizácií posunkujúcej ruky na obrázku a jej ohraničeniu bounding boxom. Na tento účel sme použili konvolučnú neurónovú sieť s piatimi výstupnými vrstvami. Výstupom prvej vrstvy bol znak posunkovej abecedy a zvyšné štyri vrstvy sa zaoberali predpoveďou súradníc bodov, ktoré sú znázornené kružnicami na nasledujúcom výstupe:
Hlavný výstup bakalárskej práce.
Znaky posunkovej abecedy sme týmto modelom dokázali klasifikovať s presnosťou 96.69 %, pričom priemerná odchýlka pri predpovedi súradníc bola 5.18 px.
Prezentácia z obhajoby tejto práce s podrobnejšími informáciami je zverejnená na tomto odkaze.
Zdroje
[1] VALLI, C., LUCAS, C., 2000. Linguistics of American sign language: An introduction. Gallaudet University Press.
