Daan Pelt brengt de theorie en praktijk van Deep Learning dichterbij elkaar
De theoretische wereld van wiskunde en informatica naar meer toegepaste onderzoeksgebieden brengen. Dat is wat Daan Pelt, universitair docent bij het Leiden Institute of Advanced Computer Science (LIACS) probeert te bereiken met de methodes die hij ontwikkelt als oplossing voor uitdagingen in beeldverwerking.
Falende methodes
Tijdens zijn promotieonderzoek bij het Centrum Wiskunde & Informatica (CWI) in Amsterdam focuste hij zich op tomografie: het maken van een driedimensionaal beeld van de interne structuur van een object. Deze techniek wordt onder andere ingezet in de medische wereld, bijvoorbeeld bij CT-scans. Pelt ondervond in zijn onderzoek dat de methodes die in de tomografie gebruikt worden in de praktijk vaak minder goed werken dan in de theorie. ‘Methodes die op dat moment veel gebruikt werden, waren vaak niet accuraat genoeg voor geavanceerde toepassingen,’ vertelt hij. ‘Maar accuratere methodes waren vaak veel te langzaam om in de praktijk te gebruiken. Op die manier werd ik getriggerd om methodes te vinden die snel en accuraat genoeg zijn voor praktische toepassingen.’
Welke factoren ervoor zorgen dat bestaande Deep Learning methodes in de wetenschap vaak lastig te gebruiken zijn, ontdekt hij als hij na zijn promotie een jaar in Amerika bij het Lawrence Berkeley National Laboratory werkzaam is. Pelt: ‘Vaak zijn de wetenschappelijke beelden te groot voor snelle verwerking, zijn er te weinig voorbeelden om bestaande modellen mee te trainen, en werken de instellingen van het model niet voor ieder probleem, waardoor wetenschappers zelf vaak veel tijd kwijt zijn met het vinden van de juiste instellingen.’
Mixed-Scale Dense Network
Hij ontwikkelde daarom het Mixed-Scale Dense Network, een Deep Learning methode voor wetenschappelijke beelden. ‘Bij deze methode moeten veel minder instellingen gekozen worden, waardoor het makkelijker toepasbaar wordt,’ legt Pelt uit. ‘Doordat alle onderdelen van het netwerk met elkaar verbonden zijn, leert het netwerk tijdens het trainen wat er nodig is om een specifiek probleem op te lossen. Daardoor past het zich automatisch aan het probleem, en hoeft de wetenschapper dit niet zelf te doen. Het netwerk kan daardoor toegepast worden op veel verschillende soorten afbeeldingen: van beelden van cellen tot foto’s die door een camera op een auto gemaakt zijn, maar ook bijvoorbeeld CT-beelden van kaken.’
3D-beelden
Op het moment is Pelt bezig met een onderzoek waar hij een Veni voor heeft gekregen. Doorgaand op de ideeën achter het Mixed-Scale Dense Network ontwikkelt hij nu een methode om 3D-afbeeldingen te analyseren. ‘Het Mixed-Scale Dense Network is gebouwd op 2D-beelden, maar veel interessante wetenschappelijke beelden zijn in 3D,’ vertelt Pelt. ‘Dat is wel een grote uitdaging, want voor 3D-beelden zijn er nog minder trainingsdata beschikbaar en de beelden zijn nog groter. Het is dus essentieel dat het systeem superefficiënt werkt. Daarnaast willen we wel dat het systeem zich blijft aanpassen aan het probleem, zodat het makkelijk te gebruiken is.’
In de toekomst hoopt Pelt deze lijn door te trekken en de kloof tussen theorie en praktijk verder te kunnen dichten. Een van de dingen waar hij aan wil werken is de gebruiksvriendelijkheid van methodes en systemen. Pelt: ‘Nu ontstaan er bijvoorbeeld vaak problemen als er ergens in de data een fout zit, terwijl er in de praktijk juist vaak fouten in de data zitten. Het is dus belangrijk om een robuustere methode te ontwikkelen, zodat je die methode ook praktisch kunt blijven gebruiken.’