DESCRIPTION :
                                L'objectif principal de ce stage est d'évaluer et d'adapter un modèle de langage multimodal (ex : Qwen3 Omni) pour son intégration dans un contexte de robotique sociale. Le robot sera amené à interagir avec une ou plusieurs personnes en exploitant ses caméras et micros, avec un traitement multimodal simultané.
   Ce que vous apprendrez durant le stage
     * Compréhension approfondie des architectures des modèles de langage multimodaux et des techniques de traitement simultané de données textuelles, visuelles, audio et vidéo.
     * Mise en pratique des méthodes de fine-tuning pour adapter de grands modèles multimodaux à des cas d'usage spécifiques.
     * Déploiement local d'un modèle d'IA avancé, en liaison avec une plateforme robotique pour des interactions sociales intelligentes.
     * Travailler en collaboration avec des ingénieurs et des chercheurs
   Environnement
   Vous serez encadré par Nicolas Turro, ingénieur et co-encadré par les chercheurs de l'équipe RobotLearn - Learning, perception and control for social robots
   Les expérimentations robotiques s'effectueront sur un des deux robots ARI | Social and Collaborative Robot for Research & Entertainment ou Enchanted Tools / Changing the face of robotics
Mission confiée
   Première phase : Évaluation multimodale
     * Choisir, installer, configurer et exécuter un modèle multimodal sur une machine locale de l'équipe.
     * Analyser les interactions entre les différentes modalités d'entrée (texte, image, audio, vidéo) et leur impact sur les réponses.
     * Étudier des cas spécifiques, par exemple :
          + Influence éventuelle de caractéristiques visibles comme l'âge ou le genre sur les réponses.
          + Perception des émotions dans la voix et/ou l'image et leur prise en compte dans la génération des réponses.
          + Gestion des contradictions entre modalités (ex. description textuelle contredite par la vidéo).
     * Cette évaluation combinera des interactions en temps réel avec le modèle et des tests sur des datasets annotés.
   Deuxième phase : Adaptation et fine-tuning
     * Étudier en détail l'architecture du modèle multimodal (ex : couches de fusion des modalités, encodeurs spécialisés).
     * Rechercher et comparer les méthodes existantes de fine-tuning pour ces grands modèles multimodaux, notamment via des frameworks comme align-anything ou Unsloth.
     * Mettre en œuvre une méthode de fine-tuning adaptée pour modifier ou améliorer la prise en compte des modalités en fonction des résultats de la première phase.
     * Évaluer l'impact de cette adaptation sur les performances du modèle dans le contexte de la robotique sociale.
   Troisième phase : Intégration robotique et démonstration
     * Intégrer le modèle adapté aux plateformes robotiques de l'équipe (ex : robot Mirokaï d'Enchanted Tools).
     * Développer une application de démonstration où le robot interagit de manière multimodale avec des utilisateurs humains.
   Références utiles :
     * Qwen3-Omni Technical Report (ArXiv) : description détaillée du modèle multimodal Qwen3 Omni, son architecture et ses performances.
     * USER-VLM 360°: Personalized Vision Language Models with User-aware Tuning (ArXiv) : travaux récents sur la personnalisation des modèles VLM pour interactions sociales.
     * Align-anything Documentation : framework pour fine-tuning multi-modale.
     * Unsloth AI : outils open source pour fine-tuning efficace des LLM multimodaux.
     * Enchanted Tools : informations sur les robots Mirokaï, contexte d'intégration.
Principales activités
     * lecture de documentation technique est scientifique
     * évaluation de frameworks (d'inférence, de finetuning)
     * expérimentation avec datasets ou caméra/micro ordinateur et robot
     * développment logiciel Python
   Activités complémentaires :
     * reporting oral et ecrit
                             
                        
                                                    Code d'emploi : Stagiaire (h/f)
                        
                        
                                                    Niveau de formation : Bac+4
                        
                                                    Temps partiel / Temps plein : Plein temps
                        
                                                    Type de contrat : Stage/Jeune diplômé
                        
                                                    Compétences : Intelligence Artificielle, Vision par Ordinateur, Traitement du Signal Audio, Python (Langage de Programmation), Traitement du Langage Naturel, Technologie Open Source, Pytorch, Large Language Models, Minutie ou Attention aux Détails, Esprit d'Équipe, Motivation Personnelle, Curiosité, Recherche, Architecture, Personnalisation, Conception et Réalisation en Robotique, Documentation Technique, Compétences de Modélisation
                        
                                                                                Courriel :
                                                                    nicolas.turro@inria.fr
                                                            
                        
                                                                                Téléphone :
                                                                    0139635511
                                                            
                        
                                                    Type d'annonceur : Employeur direct