FS1: Monitoring Collective Behavior in a Reactive 3D-Environment
Beteiligte Wissenschaftler:
Um das Gruppenverhalten von Tieren detailliert und realistisch zu untersuchen, ist es notwendig, diese in naturgetreue reaktive 3D-Umgebungen einzubetten.
Dabei gilt es, die Illusion eines grenzenlosen natürlichen Lebensraums zu erzeugen, und dafür muss die Umgebung möglichst (foto)realistisch erzeugt werden und sofort interaktiv auf das Verhalten der Tiere reagieren können. Dabei sollen die visuellen Reize untersucht werden, auf die unterschiedliche Spezies reagieren, und geklärt werden, wie detailliert eine virtuelle Umgebung sein muss, um natürliche Reaktionen hervorzurufen – Heuschrecken nehmen ihre Umwelt beispielsweise ganz anders wahr als Vögel. Für diese Untersuchungen müssen realitätsnahe und natürlich strukturierte Umgebungen inklusive simulierter aktiver Organismen erzeugt werden, um z.B. die Reaktion der Blutschnabelweber auf virtuelle Raubvögel zu studieren.
Diesen Herausforderungen stellt sich FS1: Zunächst müssen die technischen Grundlagen der Beobachtungsumgebung geschaffen werden, in der die Tiere sowohl eine realitätsnahe Darstellung ihrer dreidimensionalen Umgebung erhalten, als auch Daten über alle Individuen eines großen Kollektivs in höchstmöglicher zeitlicher und räumlicher Auflösung gewonnen werden. Die Verhaltensexperimente mit Wüstenheuschrecken, Zebrabärblingen und Blutschnabelwebern erfolgen in FS2 und liefern die Basis, um die Umgebung in intelligenter Weise interaktiv auf das Verhalten der Tiere anzupassen.
Das in FS1 erarbeitete technische Fundament zur Durchführung der Experimente und der Gewinnung von hochdetaillierten Daten über das Schwarmverhalten ermöglicht das Studium einer Reihe interessanter grundlegender Fragen in Biologie, Wahrnehmungsforschung und Informatik, hinsichtlich emergentem Verhaltens und den Reaktionen eines Kollektivs auf unterschiedliche Einflüsse. Ebenso bewegt sich das eigentliche Schaffen dieses Fundaments an den Grenzen des heute Möglichen und erfordert neue Erkenntnisse und Methodik im Umfeld von Computergrafik, Bildverarbeitung und Computer-Vision sowie Echtzeit-Signalverarbeitung. Zentral für die geplanten Experimente sind der Imaging Hangar und die Fish Labs.
Zu diesem Zweck werden mit Projektionssystemen realistische Umgebungen für die drei Modelltierarten generiert und in Abhängigkeit vom Verhalten und dem Gesichtsfeld der Tiere in Echtzeit aktualisiert. Dafür ist es notwendig, die erforderlichen Bewegungsdaten des Schwarms ebenfalls in Echtzeit zu gewinnen. Dies gelingt, indem das Verhalten der betrachteten Kollektive mit verschiedenen bildgebenden Systemen wie hochauflösenden Kameras und Lichtfeldtechnik aufgenommen wird. Ziel ist, Geometrie und Bewegung der Tiere lokal zu erfassen und detaillierte Modelle für jedes einzelne Individuum des Kollektives an die Beobachtungen anzupassen und auf diese Weise präzise Daten über Position, Orientierung und Kinematik des Tieres im Raum zu erhalten. Ist die dreidimensionale Struktur der Organismen präzise bekannt, so kennt man insbesondere auch die Lage der Augen und kann daraus mit Methoden der Computergrafik die visuelle Wahrnehmung, das Gesichtsfeld eines Individuums, synthetisieren. Die Daten aus einer solchen 3D-Repräsentation des Gesichtfeldes hängen in komplexer Weise von der Eigenbewegung, der Bewegung anderer Individuen und der Umgebung ab.
In FS3 wird dann mit Methoden der Datenanalyse untersucht, welche visuellen Merkmale die Individuen des Schwarms für Bewegungsentscheidungen heranziehen. In enger Zusammenarbeit mit FS2 und FS3 wird FS1 somit nicht nur neue Verfahren zur Echtzeitrekonstruktion dreidimensionaler Bewegungsdaten und interaktiven Darstellung realistischer dreidimensionaler Welten entwickeln, sondern insbesondere das Wissen über die visuelle Wahrnehmung der untersuchten Wüstenheuschrecken, Zebrabärblinge und Blutschnabelweber substantiell erweitern.