Thèse " Détection et mitigation des biais de résumé par des LLM dans les services Entreprise" F/H

votre rôle

Votre rôle est d’effectuer un travail de thèse sur la détection et la mitigation des biais de résumé par des LLM dans les services Entreprise, pour des usages de l'Intelligence Artificielle (IA) tels que : des résumés de réunions ou verbatims dans une organisation ; synthèses d’interactions client ; résumés d’échanges interpersonnels non structurés via des services de communication et de collaboration. Il ne s’agit pas ici simplement de résumer des échanges, mais d’en produire une synthèse utile pour son destinataire, dont les besoins peuvent être différents en fonction de son métier / de ses objectifs.

La production de cette synthèse peut néanmoins être entachée de biais qui peuvent entraîner des inégalités, des inexactitudes ou des préjudices, qu'ils soient intentionnels ou non. Ils résultent de divers facteurs, tels que les données d'entraînement, les choix de conception ou encore les interactions avec les utilisateurs. Or, avec l’apparition des self supervised pretrained large language model il n’est plus possible de mesurer des corrélations entre les signaux d'entrées, les choix algorithmiques et les biais observés. Concernant la détection de ces biais, seule une approche fondée sur des observations est réalisable, reposant sur la construction de métriques avec des évaluations effectuées par des humains et/ou des modèles de langage (LLM as a Judge).

Les étapes principales de la thèse seront donc :

1. Etudier puis élaborer une méthodologie et des protocoles d’évaluation adaptée, dans une optique de modularité et généricité (multi-LLM, multi-métriques et multi cas d’usages), et mise en place d’un benchmark les implémentant.

2. Conduire des tests basés sur ce benchmark en définissant des métriques dédiées.

3. Identifier des stratégies de mitigation des biais, en comparant les approches avec ou sans entraînement supplémentaire des modèles.

Un des points forts d’Orange dans ces travaux est la disponibilité de datasets privés qui n’ont pas pu contaminer les modèles que ce soit dans la phase de pré-entrainement ou d’alignement. Des datasets publics seront également utilisés. Les métriques seront élaborées par itération progressive, les biais se manifestant de manière statistique. Il sera nécessaire d’aller au-delà de l’aspect test et d’étendre à la recherche de règles heuristiques sur la corrélation entre les différentes étapes de construction et d’utilisation des LLMs avec la présence de biais. Enfin, il s’agira de construire une méthode adaptée pour les corriger en identifiant les stratégies d’alignement les plus adaptées : avec apprentissage supervisé pour fine-tuner un modèle pré-entrainé ; avec apprentissage par renforcement. La solution proposée sera comparée à des méthodes de mitigation de biais effectuées sans entrainement supplémentaire (auto-diagnostic, prompt engineering et roleplay).

Contexte :

votre profil

Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste : forte autonomie, écoute, motivation et rigueur scientifique, compétences en modèles de langages (LLM), apprentissage (deep learning), intelligence artificielle (IA) et bonnes capacité en développement logiciel.

Formation demandée : Master 2 ou diplôme d’ingénieur avec une spécialisation en intelligence artificielle

Expériences souhaitées : une expérience liée aux biais dans les LLM serait un plus

le plus de l'offre

Une offre à la pointe des enjeux actuels de l’IA et des LLM

entité

L’ambition de la Division Innovation est de porter plus loin l’innovation d’Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l’humain, éclairer les choix stratégiques du Groupe à long terme et influencer l’écosystème digital mondial.

Nous formons les expertes et les experts des technologies d’aujourd’hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité.
La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l’innovation dont 740 chercheurs. Porteurs d’une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité…), les femmes et les hommes de Innovation sont à l’écoute et au service des pays, des régions et des business units pour faire d’Orange un opérateur multiservices de confiance.

Au sein de la division Innovation, vous serez intégré(e) dans une équipe de recherche à la pointe de l’innovation et de l’expertise sur les usages des grands modèles de langage (LLM) et les biais associés. Vous ferez partie d’un écosystème de recherche côtoyant des ingénieurs d'études en anticipation (plus court terme) permettant la mise en œuvre concrète des concepts étudiées, bénéficiant de plateformes de benchmarks.