Edge ML Camera for Citizen Science

Kontext

Im Citizen-Science-Umfeld fallen grosse Mengen an Bilddaten an, etwa zur Beobachtung von Tieren und Insekten in der Natur. Diese Daten zentral zu übertragen und auszuwerten ist teuer und langsam. Die Idee dieses Projekts: die Auswertung direkt auf dem Gerät am Sensor durchführen (Edge ML), damit nur relevante Ergebnisse statt roher Bildmassen übertragen werden.

Meine Rolle

Im Rahmen meines Masterstudiums (MSE) habe ich eine ML-Pipeline für Edge-Devices entworfen und umgesetzt, die Bilder in Echtzeit direkt auf ressourcenbeschränkter Hardware analysiert.

Ansatz & Architektur

Der Kern ist eine schlanke Inferenz-Pipeline, die auf Edge-Hardware mit begrenztem Speicher und Rechenleistung lauffähig ist. Die Modellauswahl und -optimierung erfolgten bewusst mit Blick auf das Verhältnis von Genauigkeit zu Laufzeit: auf einem Edge-Device ist nicht das grösste Modell das beste, sondern jenes, das zuverlässig in Echtzeit und im Energiebudget bleibt.

Herausforderungen

Die zentrale Herausforderung war der Spagat zwischen Modellgüte und den harten Ressourcen- und Energiegrenzen der Edge-Hardware. Das verlangte Optimierung der gesamten Pipeline, von der Bildaufnahme über die Vorverarbeitung bis zur Inferenz.

Ergebnis

Eine funktionierende Edge-ML-Pipeline, die Bilder direkt am Gerät in Echtzeit analysiert und damit den Datentransfer und die Latenz für Citizen-Science-Anwendungen drastisch reduziert.