Le club Neura’TN de TELECOM Nancy a récemment participé à un hackathon organisé autour des modèles d’intelligence artificielle de Mistral AI. Pendant près de 48 heures, les participants devaient imaginer et développer une solution innovante utilisant les technologies d’IA proposées par l’entreprise française.
Le défi était de taille : concevoir et développer un projet fonctionnel entre le samedi 9h et le lundi 8h. Les équipes pouvaient soit améliorer un modèle existant grâce au fine-tuning (entraînement du modèle sur des tâches spécifiques), soit utiliser les modèles de Mistral pour créer une application complète. Les étudiants de TELECOM Nancy ont choisi cette seconde approche afin de bénéficier d’une plus grande liberté dans la conception de leur projet.
Un projet d’IA pour aider les personnes malvoyantes
Leur projet, baptisé Noah, vise à aider les personnes souffrant de cécité ou rencontrant des difficultés de lecture à mieux se repérer dans leur environnement grâce à l’intelligence artificielle.
L’application repose sur deux composantes principales :
- une application mobile, conçue avec une interface accessible pour les personnes malvoyantes,
- une infrastructure serveur, chargée de traiter les demandes nécessitant une puissance de calcul plus importante.
Une fois le mode “tracking” activé dans l’application, plusieurs données sont collectées et envoyées au serveur :
- les coordonnées GPS,
- les données de l’accéléromètre et du gyroscope, permettant de déterminer si l’utilisateur est à pied ou dans un transport,
- l’image captée par la caméra,
- et la voix de l’utilisateur, qui peut formuler sa demande oralement.
La requête vocale est d’abord transcrite par un modèle de langage Mistral, puis traitée par un agent intelligent jouant le rôle de coordinateur. Celui-ci décide des informations à analyser pour répondre à la demande : analyse d’image, identification de la localisation ou encore repérage des lieux à proximité (restaurants, écoles, etc.).
Par exemple, si l’utilisateur demande ce qui se trouve devant lui, l’agent peut solliciter un outil d’analyse d’image pour résumer le contenu visuel. Ces différentes informations sont ensuite combinées pour générer une réponse vocale claire et naturelle, permettant à l’utilisateur de comprendre son environnement.
Un projet réalisé en équipe internationale
Lors de ce hackathon, les étudiants ont également collaboré avec Ayush Tanwar, ingénieur en apprentissage automatique rencontré durant la phase de préparation de l’événement. Cette collaboration internationale a été l’occasion de travailler en anglais et d’échanger sur différentes approches techniques en intelligence artificielle.
Malgré le temps très limité, l’équipe a réussi à développer un prototype fonctionnel et une architecture technique complète, posant les bases d’une application d’assistance prometteuse.
👉 Découvrir le projet Noah :
https://github.com/TobiasNobile/noah