Les IA qui évaluent des candidats évitent le biais affiché mais pas le biais déguisé, selon Yale SOM

Une évaluation confiée à une intelligence artificielle peut éviter les signes extérieurs de discrimination tout en restant influencée par des indices raciaux et de genre. C’est ce que concluent Tristan Botelho et Qingyang (Iris) Wang, de Yale SOM, dans une étude parue dans le Strategic Management Journal et présentée par Tech Xplore. Elle porte sur des grands modèles de langage (LLM), que certaines entreprises emploient pour repérer les profils prometteurs.

Un afflux de candidatures qui pousse vers l’automatisation

Le point de départ est un problème de volume. Un spécialiste du recrutement compare la situation des employeurs à celle de quelqu’un qui boirait à une lance d’incendie : certaines offres très prisées reçoivent 1 000 candidatures en un seul week-end. Face à ce flot, des entreprises ont commencé à déléguer un premier tri à des outils d’IA.

Le recrutement n’est pas le seul domaine touché. Des fonds de capital-risque qui examinent des projets de startups et des studios hollywoodiens qui jugent des scénarios disent eux aussi recourir à ces outils dans leurs décisions. Tristan Botelho est professeur associé de comportement organisationnel à Yale SOM, et Qingyang (Iris) Wang est doctorante dans la même école.

Des systèmes entraînés sur des données déjà biaisées

Les systèmes d’IA apprennent à partir de données qui reflètent des biais humains bien documentés, d’où l’expression « bias in, bias out », que l’on pourrait rendre par « des biais en entrée, des biais en sortie ». Amazon a ainsi renoncé à un outil de recrutement fondé sur l’apprentissage automatique, après que des employés ont constaté qu’il pénalisait systématiquement les dossiers contenant le mot « women ».

Pour éviter ce genre de dérive flagrante, certaines sociétés d’IA appliquent après l’entraînement un « safety alignment », c’est-à-dire un réglage qui sanctionne les réponses biaisées. Reste à savoir si ce réglage produit des évaluations réellement justes ou s’il sert surtout à éviter l’embarras public. Tristan Botelho explique que la réponse est difficile à établir, car de nombreuses entreprises communiquent peu sur ce qu’elles font et sur la manière de le faire. Selon lui, personne ne sait vraiment si les LLM sont capables d’évaluer sans biais, ce qui a motivé une étude plus systématique.

Première expérience : 2 000 pitchs au contenu identique

Les chercheurs ont conçu 2 000 pitchs de startups inspirés d’idées réellement soumises à l’accélérateur Y Combinator entre 2020 et 2023. Le modèle les recevait par lots, attribuait à chacun une note de 1 à 100 et choisissait un gagnant dans chaque lot. Deux conditions ont été comparées.

Les pitchs étant identiques d’une condition à l’autre, une évaluation sans biais n’aurait produit aucun écart systématique de notes ou de gagnants entre les groupes. Or le modèle évite de reléguer ces pitchs en dernière position, sans pour autant leur donner davantage de chances de l’emporter.

Les auteurs n’étaient pas certains d’interpréter ce résultat, mais ils avaient une intuition. Des organisations pressées d’adopter des pratiques durables se contentent parfois de changements superficiels, ce que l’on appelle le greenwashing. De la même manière, une organisation soumise à une pression en faveur de la diversité pourrait pratiquer ce qu’ils nomment la « symbolic compliance » : éviter l’apparence d’un biais racial ou de genre sans modifier ses mécanismes de fond.

Seconde expérience : le modèle face à un juge humain biaisé

Il n’est pas possible de demander simplement au modèle d’expliquer sa décision, indique Qingyang (Iris) Wang, d’où cette seconde expérience. Elle visait à vérifier si le LLM comprend l’équité ou s’il n’en a que l’apparence. Le modèle y tient le rôle d’un « juge pair » aux côtés d’évaluateurs humains. Il reçoit, avec les pitchs, ce qu’on lui présente comme des évaluations humaines, chacune composée d’une note et d’une justification. Dans chaque lot, un pitch associé à une minorité sous-représentée reçoit une note nettement basse.

Seule la justification varie. Dans la condition « justified bias », la note basse s’appuie sur des considérations commerciales. Dans la condition « overt bias », elle repose sur des stéréotypes d’identité, par exemple l’idée que le fondateur ne s’intégrerait pas forcément à l’écosystème d’affaires traditionnel. Le modèle devait donner sa propre note et une évaluation écrite en s’appuyant sur la justification humaine.

Un modèle équitable aurait relevé ces notes du même montant dans les deux cas. Le LLM les a pourtant relevées nettement plus quand la justification était ouvertement biaisée que lorsqu’elle prenait l’allure d’une raison commerciale. Il corrige donc certaines discriminations manifestes, mais pas les formes plus subtiles ou codées. D’après Qingyang (Iris) Wang, les modèles s’efforcent de ne pas sembler discriminatoires en surface, alors que leur logique d’évaluation sous-jacente n’est pas particulièrement juste.

Une conformité de façade qui appelle à la prudence

Pour les auteurs, ce schéma suggère une conformité symbolique : le modèle évite la mauvaise image, par exemple un pitch de minorité classé dernier, mais n’incarne pas une équité réelle. Un système vraiment juste traiterait tous les pitchs de la même façon, quelle que soit l’identité du fondateur, et corrigerait les discriminations subtiles comme les flagrantes.

Selon la publication de Yale SOM, ces résultats appellent à la prudence tant les utilisateurs que les concepteurs de LLM. Le safety alignment, longtemps vu comme une solution miracle au problème du « bias in, bias out », pourrait réclamer bien plus d’attention de la part des entreprises d’IA, avance Qingyang (Iris) Wang. Selon elle, l’entraînement de sécurité pourrait ne pas réduire réellement le biais et produire surtout une conformité symbolique, un problème plus vaste qu’il faudra résoudre collectivement.

Les utilisateurs ne devraient pas non plus se laisser abuser par la facilité et le vernis de ces évaluations automatisées. Tristan Botelho souligne que l’intelligence et la minutie de ces systèmes n’excluent pas des points de vigilance, ni la nécessité que des humains participent au processus pour se prémunir contre des résultats peu satisfaisants.

Les deux expériences décrites reposent sur des pitchs de startups attribués à des fondateurs fictifs, et non sur des candidatures réelles à un poste.

Photo à la une. Source : Wikimedia Commons. Photographe : Breather breather. Licence : CC0.