Muneera Bano et Didar Zowghi du CSIRO explorent les facteurs humains qui conduisent souvent à un biais en matière d'IA.
Aux États-Unis, le leader des logiciels RH Workday est actuellement confronté un procès concernant son utilisation d'outils de sélection d'emploi alimentés par l'IA qui auraient discriminé les candidats en fonction de facteurs tels que l'âge, le handicap et la race.
L'entreprise, dont le logiciel de recrutement est largement utilisé par les grands employeurs du monde entier, a refusé les allégations.
Cette affaire est l’un des nombreux exemples de systèmes d’IA présumés avoir causé un préjudice discriminatoire. Lorsque les systèmes d’IA reproduisent et amplifient la discrimination, ils brouillent la frontière entre erreur technique et injustice systémique, transformant les préjugés en préjudice numérique.
Et même si notre premier réflexe pourrait être de blâmer les algorithmes, ils ne décident pas de ce qu’ils peuvent générer, des garanties qui y sont intégrées ou de la manière dont une entreprise réagit lorsque des incidents de discrimination sont signalés. Les gens passent ces appels bien avant qu’une IA ne produise un résultat.
C’est pourquoi les correctifs techniques apportés aux systèmes d’IA ne suffisent pas. Ce qu’il faut, c’est une refonte des écosystèmes d’IA pour garantir qu’ils soient plus inclusifs.
Un modèle plus large
Les systèmes d’IA limitent discrètement ceux qui sont considérés comme compétents, employables ou aptes à diriger.
Par exemple, dans un projet 2025 étudenous avons testé comment deux modèles d'IA, le GPT-4 d'OpenAI (maintenant à la retraite) et Microsoft Copilot, ont représenté des ingénieurs logiciels dans un exercice de recrutement simulé : 300 profils de candidats pour quatre postes, suivis de recommandations et d'images générées des candidats préférés de chaque modèle d'IA.
Les deux modèles privilégient les profils masculins, notamment pour les postes à responsabilité. Leurs images étaient également orientées vers des ingénieurs plus jeunes, plus minces et à la peau plus claire. Les modèles reproduisaient des associations ancrées dans le langage, l'imagerie, les relevés d'emploi et hypothèses sur qui appartient à la profession.
Ces résultats ne restent pas limités à une étude de recherche. Les recommandations générées par l’IA arrivent embauche, éducation et services publics.
Cela compte quand certaines données démographiques et les femmes restent sous-représentées dans le développement et le leadership de l’IA, tout en étant exposés de manière disproportionnée à ses méfaits.
Le problème ne se limite pas au sexe et à la race.
Même lorsque les systèmes d'IA fonctionnent à travers différentes langues et culturesils reproduisent souvent des valeurs, des hypothèses et des manières de comprendre le monde majoritairement occidentales. Les pays riches sont devenus les principaux bénéficiaires de l’IA, qui creuse les inégalités mondiales.
Dans une autre étude à partir de 2025, nous avons examiné manuellement les incidents d’IA signalés.
Près de la moitié concernaient un problème de diversité ou d’inclusion, la discrimination raciale, sexuelle et liée à l’âge étant la plus importante. Les préjudices remontent à différents moments du cycle de vie du développement de l’IA : données de formation non diversifiées et principes de diversité et d’inclusion négligés lors de la conception, du développement et du déploiement.
Pourquoi les correctifs techniques ne suffisent pas
Le travail technique est important, y compris l'identification des biais, le rééquilibrage des ensembles de données et l'ajustement des résultats. Mais ces correctifs traitent souvent les biais comme une propriété du modèle d’IA, alors qu’une grande partie provient de l’extérieur du système.
Les données n'entrent pas dans un système d'IA en tant que enregistrement neutre de la réalité.
Les gens décident quelles données collecter, comment les étiqueter et les catégoriser, et quelles expériences sont importantes. Ces décisions sont façonnées par l’histoire, les normes culturelles, les institutions et les déséquilibres de pouvoir existants.
Partout où la société a associé le leadership aux hommes, les compétences techniques à la peau plus claire ou l’innovation à la jeunesse, les modèles d’IA apprennent de ces associations et les formalisent, les automatisent et les répètent à plus grande échelle.
Les préjugés apparaissent également généralement à l’intersection de plusieurs identités, telles que le sexe, la race, l’âge, le handicap et la classe sociale. Un système qui semble équitable lorsque chaque identité est testée séparément peut néanmoins désavantager les personnes en cas de chevauchement de plusieurs.
Construire un écosystème d’IA plus inclusif
C'est pourquoi la construction d'un écosystème d'IA plus inclusif nécessite connaissances interdisciplinairestel que former les ingénieurs en IA sur les théories des sciences sociales pour les aider à comprendre l’origine sociale des préjugés.
L’IA inclusive n’est pas une question de politiquement correct ; il s’agit de faire respecter les droits de l’homme, de prévenir les préjudices, de garantir la justice et d’instaurer la confiance.
Cela nécessite également une véritable participation des groupes concernés et une attention soutenue aux structures de pouvoir au sein desquelles ces systèmes opèrent. Les équipes de développement de l’IA doivent non seulement vérifier si un modèle est précis, mais aussi si ses avantages, ses erreurs et ses inconvénients sont répartis équitablement entre les différents groupes.
Ensemble, cela permettrait aux entreprises technologiques de mieux comprendre la nature d'un préjugé une fois qu'il se manifeste par l'IA et donc de développer de nouvelles méthodes ou de nouveaux outils pour minimiser les dommages qu'il cause.
Les organisations qui adoptent l’IA ont également besoin d’une gouvernance plus forte pour surveiller le comportement de la technologie. Cela pourrait inclure, par exemple, la nomination d'une personne responsable de examen des risques et répondre aux incidents et surveiller les systèmes une fois qu’ils sont opérationnels.
Les algorithmes ne décident pas quelles données sont importantes ni quel niveau de risque est acceptable. Les gens font ces choix. Il est grand temps que les entreprises technologiques s’en souviennent. L’accent ne devrait pas seulement être mis sur la correction d’un algorithme biaisé, mais plutôt sur l’examen des décisions humaines qui ont permis un risque de préjudice et sur les personnes disparues au moment où ces décisions ont été prises.
Par Muneera Bano et Didar Zowghi
Le Dr Muneera Bano est chercheur scientifique principal à Les CSIRO Data61 et chercheur de renommée internationale en IA responsable. Elle dirige des recherches sur la diversité et l'inclusion dans l'IA, développant des méthodes d'ingénierie pratiques et des approches de gouvernance qui aident les organisations à concevoir des systèmes d'IA qui servent mieux les personnes et les communautés qu'elles affectent. Ses recherches relient le génie logiciel, la gouvernance de l’IA et la conception centrée sur l’humain, en mettant fortement l’accent sur la mise en pratique des données probantes grâce à la collaboration avec le gouvernement et l’industrie.
Le professeur Didar Zowghi est chercheur principal principal à Les CSIRO Données61. Elle dirige l'équipe scientifique sur « Diversité et inclusion dans l'intelligence artificielle » et « Ingénierie des exigences pour une IA responsable ». Elle a constitué une équipe de recherche pour lancer un nouveau domaine de recherche explorant les défis et les opportunités de la diversité et de l’inclusion pour parvenir à une IA responsable.
