Gebarentalen ontdekken en vergelijken
Computerwetenschapper Manolis Fragkiadakis werkt voor zijn promotieonderzoek aan een computerprogramma dat video’s van verschillende gebarentalen kan vergelijken. Hiermee kunnen verschillen tussen gebarentalen worden ontdekt, en dat kan vertaalfouten voorkomen. Uiteindelijk moet het programma alle gebarentalen van de wereld kunnen vergelijken.
Het Data Science Onderzoeksprogramma (DSO) combineert Leidse promotieonderzoeken uit allerlei disciplines met data science. Het programma loopt nu ruim twee jaar, en levert verrassende eerste resultaten op. In deze artikelenreeks bespreken we er een aantal.
Er zijn 130 bekende gebarentalen en -dialecten in de wereld. Het kan erg lastig zijn voor taalkundigen om deze gebarentalen te vertalen: elke taal of dialect heeft verschillen in de vorm, positie en beweging van de hand. Om die verschillen te analyseren en vast te leggen, moet je uren aan video-opnames van de betreffende talen bekijken. Een lastige en vermoeiende taak voor een mens, waarbij een fout snel gemaakt is.
Computerwetenschapper Manolis Fragkiadakis probeert in zijn promotieonderzoek een programma te ontwikkelen dat met behulp van machine learning en deep imaging-technieken video’s van gebarentaal kan vergelijken. Om het programma te ontwikkelen, gebruikt hij een collectie van vier Afrikaanse gebarentalen, die al eerder door de Universiteit Leiden zijn verzameld.
Wat zijn je resultaten tot nu toe?
‘Ons systeem is nu in staat om een video te bekijken en te detecteren of er gebarentaal gesproken wordt of niet. Ook ziet het of de taal gebaseerd is op gebaren met één of met twee handen. Nu werken we aan het herkennen van de vorm van de hand. Dat is ontzettend moeilijk. De video’s zijn van lage kwaliteit: de beelden zijn vaak onscherp en slecht verlicht. Bovendien heeft ons systeem moeite met het herkennen van donkere handen – wat lastig is aangezien we met Afrikaanse talen werken. Ik wacht nu op de resultaten van een nieuw systeem dat de gewrichten in vingers zou moeten kunnen herkennen. Dat zou het voor computerprogramma’s makkelijker maken om handen en handbewegingen te herkennen.’
Je bent nu twee jaar bezig met je promotieonderzoek. Wat hoop je in de komende twee jaar te bereiken?
‘Uiteraard hoop ik dat we erin slagen om een tool te ontwikkelen die taalkundigen kunnen gebruiken voor het vergelijken van gebarentalen. We hopen daarnaast ook een programma te ontwikkelen wat ons meer vertelt over hoe gebarentalen zijn opgebouwd. Dat zou ons veel nieuwe informatie geven over de oorsprong van een gebarentaal en de geschiedenis van de mensen die deze taal gebruiken.’
Hoe is het om als computerwetenschapper samen te werken met onderzoekers van Geesteswetenschappen? Wat leer jij van hen, en wat leren zij van jou?
De samenwerking met de Faculteit Geesteswetenschappen is geweldig. Mijn doel als computerwetenschapper is het promoten van een computationele of rekenkundige aanpak van onderzoeksvragen in de geesteswetenschappen – zoals ik nu doe. Het creatieve en cultureel georiënteerde onderzoek bij Geesteswetenschappen vormt een interessante uitdaging voor ons. En het kritische perspectief vanuit de Geesteswetenschappen geeft onze tools meer diepgang.
Wat is het voordeel van het Data Science Onderzoeksprogramma?
‘Het is ontzettend nuttig voor een computerwetenschapper als ik om te zien hoe data science wordt toegepast in andere vakgebieden, van begin tot eind. Dit geeft je informatie over het soort programma’s of methoden die dat vakgebied nodig heeft, de problemen die wetenschappers tegenkomen als ze zo’n methode gebruiken, en hoe systemen voor data science worden gebruikt. Bovendien is data science een heel breed veld: de resultaten uit het ene wetenschappelijke vakgebied zouden best eens relevant kunnen zijn in een ander gebied. De kracht van het Data Science Onderzoeksprogramma is dat het al dit soort interacties mogelijk maakt.’
Het Data Science Onderzoeksprogramma (DSO) is een universiteitsbreed programma, dat erop gericht is de kwaliteit van het bestaande data science-onderzoek te verhogen, en het gebruik van data science-methoden te bevorderen bij alle faculteiten van de Universiteit Leiden.