Biais IA : définition, origines et ce que vous pouvez contrôler

D’où viennent les biais de l’IA ?

Les biais de l’IA viennent des données, des choix de conception et de l’usage que l’organisation fait des résultats. Le NIST, l’institut américain des normes et de la technologie, les classe en trois catégories dans sa publication SP 1270 de mars 2022.

• Les biais systémiques naissent des procédures et des pratiques d’institutions qui désavantagent certains groupes.

• Les biais statistiques et computationnels naissent par exemple d’un échantillon qui ne représente pas la population.

• Les biais humains sont des erreurs systématiques de raisonnement, chez ceux qui conçoivent ou utilisent le système.

Le Défenseur des droits, avec la CNIL, décrit en mai 2020 trois mécanismes. Les données reproduisent des discriminations passées. Des critères neutres en apparence, comme le lieu de résidence, servent de substitut à une caractéristique protégée. Une boucle de rétroaction renforce enfin l’écart : les sorties du système alimentent ses données futures.

Biais ou discrimination : quelle différence ?

Le biais décrit un écart systématique dans le fonctionnement d’un système ; la discrimination est une notion juridique. Un biais devient une discrimination quand il désavantage des personnes sur un critère que la loi protège, dans un domaine qu’elle couvre. À l’embauche, l’article L1132-1 du Code du travail protège notamment l’origine, le sexe, l’âge, l’état de santé et le lieu de résidence. Un outil peut donc discriminer sans lire ces critères, à travers des données corrélées comme l’adresse.

Ne confondez pas non plus biais et hallucination. Une hallucination est une réponse fausse qu’un modèle présente avec assurance. Un biais produit un écart répété au détriment des mêmes groupes, même quand chaque réponse paraît plausible.

Que change un biais pour votre décision ?

• Une performance moyenne cache des écarts par groupe. L’étude « Gender Shades » de Joy Buolamwini et Timnit Gebru (2018) a testé trois systèmes commerciaux de classification du genre. Le taux d’erreur atteignait 34,7 % pour les femmes à peau foncée, contre 0,8 % au plus pour les hommes à peau claire. Exigez des résultats par groupe.

• L’AI Act impose l’examen des biais aux systèmes à haut risque. Selon l’article 10 de l’AI Act, le fournisseur recherche les biais possibles et prend des mesures pour les détecter, les prévenir et les atténuer. À titre exceptionnel et sous six conditions, l’article 4 bis, issu du règlement (UE) 2026/1744, lui permet de traiter pour cela des catégories particulières de données personnelles. Le déployeur veille à la représentativité des données d’entrée qu’il contrôle (article 26). Les obligations des articles 10 et 26 s’appliquent à partir du 2 décembre 2027 pour les usages de l’annexe III, comme le recrutement.

• Un biais peut apparaître après la mise en service. L’article 10 vise en particulier le cas où « les données de sortie influencent les entrées pour les opérations futures ». Le Défenseur des droits recommande de contrôler les résultats de façon régulière après le déploiement.

• Celui qui valide peut ajouter ses propres biais. Le NIST range les biais humains, comme le biais de confirmation, parmi les sources de biais de l’IA. Un assistant qui donne raison à son utilisateur renforce ce biais : c’est la sycophantie. Un human in the loop repère mieux un écart s’il dispose des résultats par groupe.

• Vos données font partie du risque. Demandez au fournisseur sur quelles données le système a appris, et vérifiez la qualité de vos propres données.

Exemple illustratif

Ce cas est fictif. Une ETI de services entraîne un outil de présélection sur dix ans de recrutements. Les candidats retenus venaient surtout de trois écoles et de deux départements. L’outil écarte ensuite des profils comparables issus d’autres territoires. Le lieu de résidence ne figure dans aucun champ, mais l’adresse et l’école le révèlent. Un test par groupe, avant la mise en service, aurait montré l’écart.