Ecole Doctorale

Sciences du Mouvement Humain

Spécialité

Sciences du Mouvement Humain - MRS

Etablissement

Aix-Marseille Université

Mots Clés

flux optique,modèles robotiques,odometrie visuelle,hexarotor,

Keywords

optic flow,robotic models,visual odometry,hexarotor,

Titre de thèse

Modèles robotiques pour l'odomètre visuel de l'abeille
Robotic models for the honeybee visual odometer

Date

Mercredi 22 Mars 2023 à 14:00

Adresse

163, Avenue de Luminy, case 910, 13288 MARSEILLE Cedex 9 Amphithéâtre Jacques Paillard

Jury

Directeur de these M. Franck RUFFIER CNRS, Aix Marseille Université
Rapporteur Mme Barbara WEBB University of Edinburgh
Président M. Luc JAULIN Université de Bretagne Occidentale - ENSTA
CoDirecteur de these M. Thibaut RAHARIJAONA Université de Lorraine
Examinateur M. Antoine WYSTRACH CNRS, Université Paul Sabatier
Examinateur M. Guido DE CROON Delft University of Technology

Résumé de la thèse

Dans la ruche, les abeilles butineuses informent leurs congénères de l’«emplacement» d'une source de nourriture en effectuant une danse en huit, qui indique la direction et la «distance» à parcourir. Des études précédentes ont suggéré que l'odomètre (servant de compteur de distance) de l’abeille évalue cette distance en intégrant mathématiquement la vitesse angulaire brute de l'image balayant vers l'arrière à travers leur champ de vision ventral, ce qui est connu comme le flux optique de translation. Dans les applications robotiques aériennes, la mise en œuvre d'une odométrie visuelle à bord de micro- et nano-drones est une tâche particulièrement difficile en raison des faibles ressources de calcul et des faibles moyens de perception disponibles. Plusieurs insectes ailés, tels que les abeilles et les papillons, oscillent de haut en bas tout en volant vers l'avant, ajoutant une composante d'expansion et de contraction à leur champ de vecteurs de flux optique ventral : il s’agit de la divergence du flux optique. La question se pose de comprendre comment l'intégration brute du flux optique (exprimée en rad/s) pourrait coder de manière suffisamment fiable une distance, puisque le flux optique dépend à la fois de la vitesse sol et de la hauteur sol. Dans cette thèse, un modèle de l'odomètre visuel de l’abeille, appelé SOFIa, est présenté. La hauteur courante par rapport au sol est estimée par un filtre de Kalman étendu et la divergence du flux optique générée par la trajectoire oscillante. L’estimation de la hauteur par rapport au sol permet la mise à l’échelle du flux optique de translation, qui est ensuite intégré mathématiquement pour obtenir la distance parcourue. En mesurant les indices de flux optique de translation et de divergence avec des capteurs de flux optique, l'odomètre visuel SOFIa a pu être testé sur un hexarotor à la fois en intérieur et en extérieur. Un second modèle d'odomètre visuel (appelé SuRf) a également été développé et testé en simulation. L'odomètre visuel SuRf est également basé sur la mise à l'échelle du flux optique de translation, mais dans ce cas, le flux optique pris en compte est toujours perçu perpendiculairement à la surface survolée. Pour cela, un processus de réorientation active a été ajouté afin de toujours garder le plan visuel parallèle au terrain en dessous. Le modèle SuRf a permis d'améliorer les performances odométriques obtenues sur terrain irrégulier par rapport à celles du modèle SOFIa brut. Modéliser l'odomètre visuel de l'abeille en se basant sur une vision biologiquement plausible est donc d'un grand intérêt pour deux raisons principales : (i) jeter une lumière nouvelle sur les processus neuro-éthologiques à l'œuvre chez les insectes ailés, et (ii) ouvrir la voie à la mise en œuvre sur des micro-robots volants de capacités odométriques visuelles minimalistes.

Thesis resume

In the hive, foraging honeybees inform their nestmates about the «location» of a food source by performing a waggle dance, which carries knowledge about the direction and «distance» to travel. Previous studies have suggested that the odometer (serving as a distance-meter) of flying honeybees assesses distance by mathematically integrating the raw angular velocity of the image sweeping backwards across their ventral viewfield, which is known as the translational optic flow. In aerial robotic applications, performing visual odometry onboard micro- and nano-drones is a particularly challenging task due to the low computational and perception resources available. Several winged insects, such as bees and butterflies, oscillate up and down while flying forward, adding an expansion and contraction component to their ventral optic flow vector field: this is the optic flow divergence. The question arises as to how raw integration of the optic flow (expressed in rad/s) could reliably encode a distance, since optic flow depends on the ground speed and the ground height. In this thesis, a model for the honeybee visual odometer, called SOFIa, is presented. The current ground height is estimated solely by means of an Extended Kalman Filter (EKF) and the optic flow divergence generated by the oscillating trajectory. The ground height estimate scales the translational optic flow, which is then mathematically integrated to obtain the distance travelled. By measuring the translational and divergence optic flow cues with optic flow sensors, the SOFIa visual odometer could be tested onboard a hexarotor both indoors and outdoors. A second model for the visual odometer (called SuRf) was also developed and tested in simulation. The SuRf visual odometer is also based on the scaling of the translational optic flow, but in this case, the optic flow taken into account is always perceived perpendicularly to the surface below. For this purpose, an active reorientation process was added so as to always keep the visual plane parallel to the ground below. The SuRf model improved the odometric performances obtained over uneven terrain in comparison with those of the raw SOFIa model. Modelling of the honeybee visual odometer using biologically plausible vision is therefore of great interest for two main reasons: (i) shed new light on the neuro-ethological processes at work in winged insects, and (ii) open the way to providing micro flying robots with minimalistic visual odometric equipment and abilities.