Temps de lecture : 10 minutes

Prédiction de criminalité, recommandation d’emplois, analyse préventive de cancer, les modèles de prédiction automatisés fait désormais parti de notre quotidien. Mais comment s’assurer qu’ils ne soient pas biaisés ? Les algorithmes sont-ils “justes” ?

La décennie écoulée a vu l’intelligence artificielle et les sciences de données réaliser de sérieuses avancées dans de nombreux domaines : reconnaissance d’image, voiture autonome, chatbot, marketing prédictif, système de recommandation, médecine… Indissociables des masses de données, rendues accessibles par les récentes méthodes de traitement d’informations à grande échelle (‘Big Data’), les usages multiples et croissants d’algorithmes d’apprentissage automatique ont ravivé les débats quant à leur impact sur notre société et leurs enjeux éthiques associés.

Loin des considérations spéculatives sur des menaces existentielles de l’IA pour l’humanité, de nombreuses voix interpellent l’opinion publique sur des conséquences sociales plus concrètes. En mars 2018, le rapport Villani aborde la question de l’éthique dans l’IA en soulevant les problèmes d’explicabilité et de transparence des algorithmes d’apprentissage, parfois considérés comme des “boîtes noires” : il est aisé d’étudier les données d’entrée et les données de sortie mais leur fonctionnement interne apparaît plus obscur. Dans son livre “Weapons of Math Destruction”, la mathématicienne américaine Cathy O’Neil souligne notamment le risque élevé de propagation de biais discriminatoires au travers de modèles prédictifs. Autrement dit, il s’agit de prévenir l’utilisation d’algorithmes qui renforceraient des inégalités existantes.

De l’aide à la prédiction de “zones à risque” pour les forces de police, aux recommandations personnalisées de contenus au sein des réseaux sociaux, en passant par l’analyse prédictive de cancer, comment s’assurer que ces modèles automatisés ne soient pas biaisés ? Les données d’entrée utilisées sont-elles représentatives de la population étudiée ? Comment définir un algorithme “juste” ?

À partir d’exemples sur la prédiction de crimes aux États-Unis et sur le traitement du language, nous allons voir comment, malgré les bonnes intentions de leur concepteur, un algorithme peut être amené à propager ou accentuer un biais discriminatoire, avant de s’interroger sur les difficultés d’élaboration d’un algorithme ‘juste’.

 

La prédiction de récidive criminelle avec COMPAS

Développé par l’entreprise Northpointe, aujourd’hui renommée Equivant, l’outil COMPAS est un algorithme prédictif utilisé par une partie de tribunaux américains et dont l’un des objectifs est de déterminer le risque de récidive.

L’algorithme se base sur les réponses de prévenus à un questionnaire comportant des questions allant du passé criminel de l’individu à sa situation professionnelle, mais aussi sur son éducation, son quartier, voire des informations sur ses amis et famille. À partir de ces informations, un score de risque de récidive est attribué à l’individu. Ces scores constituent une aide à la décision pour le juge afin de déterminer si l’individu peut être libéré. Parfois utilisés en amont lors de l’estimation des cautions pour un prévenu, certains états comme l’Arizona, le Colorado ou Washington autorise leur consultation pour l’évaluation de la sentence criminelle. En 2014, malgré la forte adoption du logiciel dans les juridictions américaines, Eric Holder, procureur général des États-Unis, alerte sur le risque de biais des jugements engendrés par l’accès à ces scores de risque et appelle une étude approfondi sur leur utilisation.

En mai 2016, ProPublica, une institution américaine indépendante à but non lucratif et dédiée au journalisme d’investigation, publie une étude montrant qu’avec le logiciel COMPAS, une personne noire a deux fois plus de chances d’être considérée à tort comme un potentiel récidiviste qu’une personne blanche. Basé sur les scores de risques assignés à plus de 7 000 personnes arrêtées dans le district de Broward en Floride entre 2013 et 2014, 61% des personnes dont le logiciel avait prédit une forte probabilité de récidive ont effectivement été arrêtées de nouveau dans les deux années qui suivirent, parfois pour des délits mineurs. Cependant, l’étude montre aussi de fortes disparités ethniques :

  • Les personnes noires sont plus souvent considérées comme étant hautement susceptibles de récidiver, sans que cela ne se soit vérifié par la suite (44,9 % des Afro-américains classés comme “à risque” n’ont pas commis d’autres crimes, contre 23,5 % de personnes blanches).
  • Les personnes blanches, à l’inverse, sont considérées moins risquées qu’elles ne devraient l’être (47,7 % de personnes blanches classées comme peu risquées ont récidivé, contre 28 % de personnes noires).

 

 BlancAfro-Américain
Labelisé à haut risque, mais n’a pas commis d’autres crimes la suite23,5%44,9%
Labelisé à faible risque et a commis d’autres crimes par la suite47,7%28,0%

 

Mais alors, comment expliquer cette inégalité ? La solution de facilité aurait liée les résultats avec le passé criminel des prévenus ou le crime considéré. Afin de montrer l’inexactitude de cette intution, l’institut Propublica a renouvelé l’expérience en isolant les effets de l’origine ethnique de l’historique criminel et du récidivisme. Résultat: les personnes noires restent quand bien même 77% plus souvent associées à tort à un fort risque de récidive qu’une personne blanche.

Répartition des prédictions de scores de risque sur les populations noires et blanches (Source: étude statistique de ProPublica sur Broward County)

 

Malgré les critiques, Northpointe maintient que l’algorithme COMPAS n’est pas biaisé puisqu’il prédit correctement le récidivisme à des taux identiques entre les populations noires et les populations blanches. Leur réponse, quoique discutable, souligne une autre vision défendue par Northpointe de la notion d’algorithme “juste” et montre dès à présent la difficulté de sa définition, qui sera abordée dans la suite de cet article

 

Des distinctions de genre en traitement du langage

En avril 2017, trois chercheurs de l’université de Princeton publient un papier sur l’étude des “word embedding”, un algorithme de machine learning largement répandu en traitement du langage.

L’approche, déjà utilisée dans les domaines de la traduction automatique ou de la recherche web, consiste à construire une représentation mathématique du langage, dans laquelle le “sens” d’un mot est inscrit dans un vecteur (c.à.d une suite de chiffres) dont la valeur a été calculée en fonction des autres mots apparaissant fréquemment avec ce mot considéré dans une phrase. Les données utilisées pour l’entraînement proviennent de page webs en anglais.

Par exemple, dans cet espace de représentation que constitue un “word embedding”, les mots désignant les fleurs sont regroupés et proches de mots évoquant l’agréable ; tandis que les mots désignant les insectes se retrouvent liés au domaine du désagréable. Ces liens reflètent les opinions communes sur les relatives appréciations de l’humain vis-à-vis des fleurs et des insectes.

Par leur approche statistique, les “word embeddings” semblent capturer plus finement la richesse du contexte social et culturel d’un mot d’une langue qu’un dictionnaire en serait capable. Mais l’étude montre aussi qu’ils capturent les biais culturels implicites. Les mots liés au monde professionnel, tels que “carrière”, “business” ou “management” y sont plus souvent associés à des mots liés aux hommes (“père”, “oncle”, “homme”, etc.). À l’inverse, les mots liés à la famille (“maison”, “enfants”, “mariage”, “parents”, etc.) ont une plus forte relation avec les mots liés aux femmes. De la même manière, on retrouve des résultats similaires entre les hommes et les mathématiques et l’ingénierie d’un côté, et entre les femmes et les occupations humanitaires et artistiques de l’autre.

Plus troublant, la représentation permet aussi de faire des analogies. Par exemple, à la question “L’homme est à la femme ce que le roi est à…”, l’algorithme sera capable de répondre “reine”, ce qui est impressionnant par ailleurs. Néanmoins, en appliquant le même type d’analogie à “pilote d’avions”, on obtient “hôtesse de l’air”.

Illustration des analogies possibles avec un word embedding

Si l’impact de ce biais vous paraît moindre, imaginons une entreprise qui reçoit plusieurs centaines de candidatures pour un poste de programmeur informatique. Le service des ressources humaines, croulant sous l’énorme pile de CV, décide alors de réaliser un premier tri grâce à un algorithme d’intelligence artificielle. Celui-ci se base sur l’extraction des mots présents sur le CV, tels que la formation, les anciennes expériences, les compétences, mais aussi le nom de la personne. Entraîné sur tout l’historique des recrutements de l’entreprise et utilisant une représentation de type “word embedding”, l’algorithme a démontré son efficacité sur des données de test, elles-même issues de l’historique. Cependant, afin de parvenir à cette efficacité, celui-ci a pris aussi en compte le nom du candidat. L’algorithme a ainsi pu apprendre que Marc et François étant plus souvent lié au domaine de l’informatique que Samantha ou Léa. Il sera probablement à même de classer plus haut dans la liste ces deux premiers noms masculins.

 

Les difficultés de créer un algorithme “juste”

Dans les deux cas étudiés, nous voyons que les algorithmes ont “trop” bien appris vis-à-vis des données qu’il leur a été présentées puisqu’ils en reproduisent leur biais discriminatoires. Tout en étant dénué de mauvaises intentions, leurs créateurs ont, bien malgré eux, contribué à produire des modèles aggravant les inégalités sociales existantes. Mais alors, comment y remédier ? Comment s’assurer que le modèle développé est en accord avec nos valeurs ?

Plusieurs obstacles se dressent sur la route de l’impartialité. Tout d’abord, comment le définir ? Dans le cas de COMPAS, Propublica dénonce une disparité entre le taux de faux positifs chez les populations noires et les populations blanches. Il y a beaucoup plus de personnes noires classé à tort récidivistes que de personnes blanches. Nous parlons donc ici de parité vis-à-vis du taux de faux positifs. Dans un communiqué publié en septembre 2016, l’entreprise Northpointe rétorque que COMPAS est équitable car il respecte la parité de précision : le taux de vrais positifs est similaire entre les deux groupes. En d’autres termes, si un individu devait être classé récidiviste, le modèle aura la même probabilité de le classer effectivement comme positif qu’il soit blanc ou noir. À travers cet exemple, nous voyons s’affronter différentes définitions de l’impartialité et qui montre à quel point il est nécessaire de ne pas s’arrêter à une définition floue.

z
Poussins jaunes (200)MaladesSains
Tests positifs405
Tests négatifs15140
Poussins noirs (50)MaladesSains
Tests positifs104
Tests négatifs135
z
Dans l’exemple ci-dessus, le taux de vrais positifs est similaire chez les poussins jaunes (40/200=20%) et les poussins noirs (10/50=20%). Cependant, il y a une disparité sur le nombre de faux positifs : 2,5% (5/200) pour les poussins jaunes et 8 % (4/50) pour les poussins noirs.

Autre obstacle de taille pour obtenir un algorithme “juste” : la base de données. Parler de données “brutes” lors de son acquisition ne doit pas obstruer le fait qu’elles dépendent des caractéristiques de sa collection : la géographie, la démographie, la période d’acquisition ou l’espace temporel sont autant de biais à prendre en considération. Comme le reconnaît Emmanuel Mogenet, directeur de Google Research Europe, dans un entretien accordé au Monde, les bases de données sont biaisées car souvent incomplètes et pas assez représentatives des minorités. De plus, elles traduisent aussi les biais humains sur le genre et le racisme via les textes et images collectés, tel que dans les exemples précédents.

Enfin, par construction, plus un algorithme d’apprentissage a disposé de données d’entraînements, plus il est capable d’affiner ses prédictions et donc d’avoir un taux d’erreur plus faible. Néanmoins, au sein d’une population hétérogène, les groupes les plus petits sont statistiquement plus sensibles à un taux d’erreur plus important. Se tromper une fois sur 10 000 individus aura nécessairement plus d’impact que de se tromper une fois sur 1 million de personnes.

 

Transparence, auditabilité, explicabilité

Depuis quelques années, des initiatives émergent, à la fois du côté des acteurs citoyens pour dénoncer les algorithmes biaisés et du côté de la recherche scientifique pour découvrir des moyens pour parvenir à une vrai impartialité.

Moritz Hardt

Outre Cathy O’Neil, Moritz Hardt, professeur en mathématiques et sciences informatiques à l’université américaine de Berkeley, est l’un des chercheurs le plus impliqué sur le sujet. Il intervient régulièrement lors de grandes conférences de machine learning (NIPS, ICML, COLT) pour parler de biais algorithmique et d’impartialité. En 2017, il enseigne aussi un module d’éthique en machine learning aux étudiants de Berkeley. Enfin, il est un des co-fondateurs de la conférence “Fairness, Accountability and Transparency in Machine Learning” (FAT ML) qui, chaque année depuis 2014, regroupe des chercheurs du monde entier venant explorer comment caractériser et résoudre ces problèmes avec des méthodes scientifiques rigoureuses. Nous verrons dans un prochain article un panorama des solutions qui y sont apportées.

Un des principaux reproches actuels des algorithmes d’apprentissage tient de l’opacité de ces technologies. Il est possible d’observer les données d’entrées et les données de sorties mais le mécanisme interne semble échapper encore à une pleine et totale compréhension. L’explicabilité en machine learning est aujourd’hui un sujet de recherche en cours d’exploration et qui doit être poussé afin de pouvoir révéler le contenu de ces “boîtes noires”.

Ne pouvant pleinement expliquer le mécanisme interne, les acteurs doivent aussi tendre vers plus de transparence, en accroissant par exemple l’auditabilité des algorithmes. A l’image de ce qui se fait aujourd’hui avec le Règlement général pour la protection des données (RPGD), le rapport Villani préconise la  “constitution d’un corps d’experts publics assermentés, en mesure de procéder à des audits d’algorithmes, des bases de données et de procéder à des tests par tout moyen requis”. Dans l’attente de la création de ces comités, des associations citoyennes se sont formées pour auditer les systèmes à l’œuvre et dénoncer les algorithmes biaisés. Propublica et Algorithm Justice League aux États-Unis œuvrent dans ce sens. En France, AlgoTransparency, porté Guillaume Chaslot, ex-employé de Google et accompagné par Data For Good, dénonce les systèmes de recommandations vidéos, tel que celui de Youtube, enfermant l’utilisateur dans une “bulle filtrante”. Enfin, l’INRIA a lancé en 2018 le projet TransAlgo qui travaille sur la mise en place d’une plateforme “pour le développement de la transparence et de la responsabilité des systèmes algorithmiques”.

 

Des dangers de l’objectivation mathématique à leur utilisation révélatrice

Au-delà des différentes pistes pour œuvrer vers des algorithmes plus justes, il convient aussi d’éveiller les consciences sur les risques de leur justification objective parce que résultat de méthodes mathématiques. Lorsque, dans un article sur la prédiction de crimes par profiling, le Financial Times justifie leur utilisation car un “algorithme est en lui-même neutre” puisque qu’il se base sur une “équation à plusieurs dizaines de variables”, il ne détourne pas seulement le sujet lié à une base de données biaisées ou des difficultés de définition, il participe à une objectivation de ces biais.

Les études de cas au début de l’article illustrent le fait qu’il n’y ait pas besoin d’avoir des intentions néfastes pour engendrer ou aggraver des biais existants, ils résident parfois dans les données récoltées. L’ensemble des recherches et initiatives citoyennes ont pour objectif d’alerter ou corriger ce biais. Et finalement, fort de ce constat, puisque les algorithmes d’apprentissage automatique participent à la propagation de biais, pourquoi ne pas les utiliser pour révéler ces biais pré-existants dans nos données et par conséquent dans notre société ? Cela relèverait sans doute d’un nouvel exemple positif de collaboration homme-machine.