Séminaire IMAGE : Fethi Ghazouani (Centre Henri Becquerel de Rouen), « Exploitation de l’apprentissage profond multi-modale/tâche/sources pour l’analyse et l’interprétation d’images »

Nous aurons le plaisir d’accueillir Fethi Ghazouani,  post-doctorant au Centre Henri Becquerel de Rouen, qui donnera un séminaire IMAGE, le jeudi 23 mars 2023 à 14h00 en salle F-200.

Dans une première partie de cette présentation, j’exposerai mes travaux de postdoc qui portent sur la fusion d’images IRM multimodales basée sur l’apprentissage profonds multi-tâche pour la segmentation et la prédiction de la tumeur cérébrale. Je présenterai tout d’abord l’architecture du modèle Swin Transformer et son principe de calcul de l’auto-attention, introduit pour réduire la complexité de l’opération d’auto-attention utilisée dans le modèle Vision Transformer (ViT) classique. Je détaillerai ensuite l’approche proposée pour la segmentation d’images multimodales de tumeurs cérébrales, qui s’appuie sur le modèle Swin Transformer et l’auto-attention locale améliorée. Dans une seconde partie, je montrerai, comment il est possible de réaliser une fusion par corrélation multimodale dans l’espace des caractéristiques latentes pour la segmentation de la tumeur et prédiction de la localisation de la récidive de la tumeur cérébrale. Dans cette approche, le mécanisme d’apprentissage par transfert a été appliqué afin d’améliorer la performance et la précision du modèle dans le cas où les données sont limitées.

Je terminerai ma présentation par mon thème de recherche actuel au Centre Henri Becquerel : Harmonisation des images TEP (Tomographie par Émission de Positons) multi-sources par apprentissage profond.

Mots-clés :

Apprentissage profond multi-tâche, analyse d’images multimodales, Swin Transformer, auto-Attention.