Het project FlowerPower is een meerjarig onderzoeksproject van Fontys. Afgelopen semester deed student Filip Vangelov met zijn studententeam onderzoek naar beeldanalyse-algoritmen voor het project.
Biodiversiteit als meetlat
Zo'n 85% van de inheemse flora verdween sinds 1900 in Nederland, vooral vanwege landbouw en verstedelijking. Een groeiend ecologisch bewustzijn zorgt dat we het tij proberen te keren. Daarvoor meten we biodiversiteit, legt Lector AI & Big Data Gerard Schouten uit: “Biodiversiteit is de meetlat om de gezondheid van een ecosysteem te meten. Simpel gezegd; hoe meer soorten flora in een gebied, des te sterker en weerbaarder is het ecosysteem. Bij een plaag bijvoorbeeld, zie je dat een monocultuur zoals we dat tegenkomen in de landbouw veel kwetsbaarder en minder veerkrachtig is. Daarnaast heeft biodiversiteit ook een grote intrinsieke waarde en draagt het bij aan een gezonde leefomgeving, ook voor mensen. Wil je daar wat aan doen, dan moet je het eerste kunnen meten en dat proberen we te doen met het FlowerPower project, door middel van dronebeelden en beeldanalyse.”
In de derde editie van Eyes on AI legt Filip uit wat hij en zijn team precies gedaan hebben in het FlowerPower III project.
Convolutional Neurel Networks
In eerdere iteraties van het project, onderzochten studenten de inzet van drones en brachten het proces van beeld naar data in kaart. Filip’s groep startte met inzichten en bevindingen van vorige studentprojecten. Aan hen de uitdaging een model te ontwikkelen dat efficiënt en correct AI-analyses van beelden kan uitvoeren. Daarvoor gebruik je een convolutional neural network (CNN). In feite is dat een serie algoritmes die in staat is een beeld te ‘begrijpen’ en herkennen. Filip: "Het idee van een CNN bestaat al erg lang en wat zo’n neural network doet is de data, het beeld dus, vertalen naar verschillende lagen waarin het als een soort heatmap een object leert herkennen. Hier zijn verschillende modellen voor, die allemaal net anders werken. Aan ons de opdracht om uit te zoeken welk CNN het meest efficiënt en accuraat bloemen kan herkennen en tellen op foto’s.”
Gestructureerde aanpak
Dit lijkt eenvoudig, maar er gaat veel werk vooraf aan het testen van een model. Om dit gestructureerd aan te pakken koos het team voor het IBM CRISP-DM model, wat bestaat uit de volgende stappen:
- Business understanding
- Data understanding
- Data preparation
- Modelling
- Evaluation
- Deployment
Bij data preparation werd het behoorlijk uitdagend. Wij zien op een foto meteen dat er bloemen op staan, maar een AI weet niet of een cluster bloemen één of meer bloemen zijn, of dat twee gele bloemen verschillende soorten zijn. De data moest handmatig voorbereid worden, legt Filip uit: “Je data moet leesbaar zijn, dus je model moet leren wat dan een bloem is. Wij kregen 11Gb aan beeldmateriaal, aangeleverd vanuit het lectoraat. Van een aantal foto’s zijn handmatig annotaties gemaakt, zogenaamde bounding boxes. In feite zijn dat handmatig uitsnedes, die het mogelijk maken voor het model om te lezen waar in het beeld de bloemen te vinden zijn. Dat is monnikenwerk, dus op aanraden van onze begeleider hebben we gekeken naar methoden om dit te automatiseren. Door kleurfiltering toe te passen, bijvoorbeeld door al het groen onzichtbaar te maken, werd dit een sneller proces.”
Modellen trainen
Met een subset van de data klaar, was het tijd om de modellen te kiezen. Er zijn 3 CNN-modellen getest. Het complexere Faster R-CNN model heeft meer rekenkracht en resultaten waren veelbelovend volgens de studenten: “Dit model is met name goed in het herkennen van verschillende typen bloemen op één beeld. Andere modellen missen dit, maar het kost veel computerkracht en kon nog niet volledig benut worden. “In een vervolgproject gaan we dat ook met onze docentonderzoekers, verbonden aan het lectoraat AI & Big Data, verder uitwerken”, zegt Gerard Schouten. De studenten hebben ook een custom en pre-trained CNN-model getest. Het eerste werd dus door de groep zelf ontwikkeld, en het tweede is een bestaand model. Begeleider en onderzoeker Nico Kuijpers legt het verschil uit: “De makkelijkste manier om dat uit te leggen is zo; als een kind leert om te kijken, dan leert het om verschillende kleuren te herkennen en objecten. Dat is wat een custom model doet, het moet nog volop ‘leren’ en verbindingen leggen in het brein. Stel er is een ander kind, wat al leerde kijken en verbindingen leggen in het brein, maar in een compleet ander deel van de wereld. Dat kind hoeft niet opnieuw te leren herkennen en verbindingen te leggen, maar moet wel nieuwe kennis integreren daarin. Dat is een wat een pre-trained model doet.” Ook hier waren de resultaten veelbelovend, maar het werk is nog lang niet voorbij. Filip en zijn groep hebben succesvol de verschillende modellen verkend en hun bevindingen gedocumenteerd, inclusief aanbevelingen voor een volgende groep studenten die dit gaan verfijnen.
Leren in de praktijk
Inmiddels is het project succesvol afgerond. Een leerzame ervaring voor de groep, die hiermee zowel kennis als praktijkervaring opdoen. Filip: “Het FlowerPower project was ontzettend leerzaam, maar er is veel meer te doen. Dat dragen we over aan een volgende groep. Ik heb veel geleerd over technieken, maar ook over samenwerken, processen en deskresearch. Allemaal skills die nuttig zijn als professional. Ook weet ik nu meer over bloemen dan ooit.”
Het project Flower Power III is uitgevoerd door studenten Veneta Angelova, Lia Boyadzhieva, Kristina Krasteva en Filip Vangelov onder begeleiding van docent-onderzoeker Nico Kuijpers. Het project maakt deel uit van de onderzoekslijn “AI for People and Planet” van het lectoraat AI & Big Data, en is mede mogelijk gemaakt door cofinanciering van partner coöperatie SPARC.