Les politiques et les instruments juridiques européens sont de plus en plus attirés par une approche technocentrique concernant l’équité de l’intelligence artificielle (IA), c’est-à-dire qu’ils accordent une grande attention aux problèmes techniques de l’IA, comme garantir que les ensembles de données sont équilibrés et exempts d’erreurs. Avec ce billet de blog, je soutiens qu’il ne suffit pas de se concentrer uniquement sur les aspects techniques de l’équité sans également considérer les systèmes sociaux, politiques et économiques qui façonnent le développement et le déploiement de l’IA. Il faudrait plutôt envisager une approche sociotechnique plus large. Cet article est basé sur ma récente publication « La justice prédictive à la lumière de la nouvelle proposition de loi sur l’IA ».
Ces dernières années, les forces de police et les autorités judiciaires ont eu de plus en plus tendance à recourir aux technologies de profilage prédictif dans le cadre de la justice pénale, ce qui présente des risques majeurs pour les droits fondamentaux des citoyens. Bien qu’il n’existe actuellement aucun tribunal dans lequel les décisions sont prises uniquement par un algorithme, dans de nombreux pays, la prévision décisionnelle se trouve dans les procédures judiciaires et dans d’autres cas liés à l’application de la loi, comme l’évaluation du risque de violence domestique (par exemple, le système espagnol Viogen ). Autrement dit, les systèmes d’IA sont utilisés pour aider les juges, les avocats et les agents chargés de l’application des lois à prendre des décisions concernant les citoyens.
Le nouveau cadre juridique sur la justice prédictive
Le cadre réglementaire est fragmenté à travers l’UE, car le RGPD et la directive relative à l’application des lois (LED) laissent une marge de manœuvre considérable à chaque État membre pour réglementer le sujet dans le cadre de sa législation nationale. Récemment, le règlement AI Act a également été adopté pour réglementer les systèmes d’IA. La nouvelle proposition introduit une approche basée sur les risques, divisant les dispositifs d’IA en différentes catégories : risque faible, risque moyen, risque élevé et risque inacceptable. Ces catégories sont basées sur les effets négatifs potentiels des systèmes d’IA sur les droits et libertés des citoyens. Alors que les systèmes d’exploitation sont interdits et que les systèmes à risque faible/moyen ne doivent se conformer qu’à des mesures de transparence minimales, les systèmes à haut risque sont fortement réglementés et doivent se conformer à plusieurs exigences et obligations visant à réduire les risques liés à l’utilisation de ces dispositifs. Des exemples de telles mesures sont l’obligation pour le producteur d’outils d’IA à haut risque d’établir un système robuste d’évaluation de la qualité et des procédures gouvernementales de données qui incluent la formation, la validation et le test des ensembles de données pour détecter et corriger les biais.
Comme le souligne Schumann Barragan, l’une des caractéristiques de l’usage des systèmes d’IA dans le domaine judiciaire est le pouvoir intense exercé par les États sur ses citoyens. Dans le contexte de la justice pénale, il est particulièrement important de prendre en considération le fait que les droits fondamentaux des citoyens sont en jeu, tels que la liberté, le droit à une procédure régulière et la présomption d’innocence. C’est pour cette raison que le nouveau règlement AI Act classe les systèmes d’IA utilisés dans le domaine judiciaire comme « à haut risque » et prescrit un certain nombre de garanties pour empêcher leur utilisation abusive, comme l’interdiction de la reconnaissance faciale en temps réel dans les espaces publics à des fins répressives. . Selon les nouvelles règles introduites par la loi sur l’IA, les algorithmes de justice prédictive sont classés comme systèmes à haut risque non seulement lorsque l’évaluation porte sur un délinquant criminel, mais également lorsqu’elle vise à évaluer le risque pour des victimes potentielles.
Classer les outils de justice prédictive comme à haut risque signifie que les fournisseurs d’IA (y compris les agents chargés de l’application des lois lorsqu’ils créent leurs propres outils d’IA internes) doivent se conformer à toutes les dispositions en matière de gouvernance des données, y compris les mesures d’atténuation des biais.
Cette classification crée cependant certains conflits avec la législation sur la protection des données, puisque le considérant 63 affirme qu’aucune nouvelle base juridique du RGPD pour le traitement des données personnelles ne sera introduite. Dans le même temps, elle prévoit une base juridique supplémentaire autorisant le traitement de catégories particulières de données à caractère personnel à des fins de contrôle des biais. En d’autres termes, même si la loi sur l’IA prétend que les règles du RGPD ne sont pas touchées par les nouvelles dispositions, en réalité, c’est loin d’être le cas, puisque ses dispositions prévoient la possibilité légale de réutiliser des données sensibles dans la formation à l’IA. Cela signifie que le traitement des données sensibles sera facilité pour les entreprises fournissant aux forces de l’ordre des systèmes d’IA de police prédictive.
La réutilisation des données sensibles dans la justice prédictive
Dans le contexte de la justice prédictive, la réutilisation des données sensibles telle qu’autorisée par la loi IA peut entraîner de nouveaux risques pour les personnes concernées, en particulier les groupes vulnérables comme les minorités et les personnes handicapées, dont les données seront traitées sans les garanties du RGPD, puisque le Le cadre LED prévoit une restriction substantielle des droits des personnes concernées. En particulier, des affaires récentes ont montré combien il est difficile d’obtenir la suppression des données personnelles archivées à des fins répressives, même lorsque la personne concernée a été complètement réhabilitée (voir Cour de cassation italienne, arrêt n° 35548 du 11 décembre 2020).
Dans la section sur la gouvernance des données de la loi sur l’IA, il est explicitement prévu que le traitement de catégories particulières de données est autorisé à des fins de surveillance des biais. La surveillance des biais dans les ensembles de données consiste à effectuer une évaluation liée à une discrimination potentielle dans les données, comme un déséquilibre entre les sexes, la surreprésentation d’une certaine population ou la non-prise en compte d’une caractéristique spécifique propre à certaines minorités. Pour déterminer si un modèle prédictif peut fonctionner efficacement auprès de diverses populations, notamment les individus non cisgenres, les personnes neurodivergentes et les minorités raciales, il est essentiel de reconnaître et de traiter les caractéristiques spécifiques de ces groupes, comme le fait d’être transgenre, autiste ou juif. Cela implique le traitement de données personnelles sensibles conformément à l’article 9 du RGPD. Sans ces informations, il devient impossible de créer un ensemble de données représentatif comme l’exige l’AI Act. Par conséquent, les services répressifs pourraient se sentir obligés de collecter de nombreuses données sensibles pour adhérer aux nouvelles règles dans le but de garantir l’équité et l’exactitude des systèmes de justice prédictive. Cependant, cette pratique soulève d’importantes préoccupations éthiques concernant la confidentialité et l’utilisation abusive potentielle de ces données.
Risques accrus pour les droits des citoyens
La littérature dans les études critiques sur l’IA a critiqué cette approche technocentrique, comme l’expliquent Balayn et S. Gurses (2021) dans le rapport de l’EDRi « Beyond debiasing : Regulated AI and its inequalities ». Selon les auteurs, les politiques axées sur le dépréciation des données ont souvent une vision limitée de l’équité de l’IA, se concentrant uniquement sur les données sans tenir compte du contexte sociétal plus large dans lequel les systèmes d’IA sont déployés. Le rapport suggère que même les efforts visant à se conformer à la loi sur l’IA, garantissant que les ensembles de données sont « représentatifs, sans erreurs et complets », pourraient néanmoins aboutir à des systèmes d’IA qui reflètent un monde inéquitable. Conformément à cette critique, Hanna et al. (2020) soulignent l’importance de recadrer les discussions sur l’équité dans l’IA loin du niveau algorithmique et vers les contextes sociaux et institutionnels dans lesquels ces systèmes sont mis en œuvre. Le rapport EDRi et la littérature reconnaissent l’importance de la qualité des données et des considérations statistiques relatives aux données, car celles-ci influencent considérablement la qualité de la formation du modèle ML.
Bien que l’inclusion de la surveillance des préjugés dans la législation soit un acte noble, les dispositions de la loi sur l’IA concernant les données sensibles ne sont pas suffisamment équilibrées avec les droits et libertés des citoyens, car ces données (par exemple, les informations sur la santé) peuvent conduire à la stigmatisation, en particulier si l’on considère qu’il est approprié de le faire. aucune garantie n’est prévue au niveau de l’UE. La collecte de catégories particulières de données est considérée par plusieurs chercheurs comme préjudiciable aux minorités, comme l’explique le rapport de l’EDRi : « les modèles d’apprentissage automatique formés sur ces données pourraient faire des inférences qui les désavantagent. Paradoxalement, l’audit, tout en visant à contrôler l’équité des résultats d’un modèle pour les populations défavorisées, souvent minoritaires, leur cause encore davantage de préjudices, dans la mesure où la collecte d’un plus grand nombre de données conduit à une surveillance excessive des minorités et à une surveillance de masse.
En outre, en ce qui concerne les données biométriques, la récente affaire Clearview AI a montré comment les autorités chargées de l’application des lois ont utilisé à mauvais escient les systèmes d’IA malgré les limitations prévues par la loi. Dans ce contexte, les systèmes d’IA utilisés à des fins de justice prédictive pourraient même être utilisés à mauvais escient si un grand nombre de données sensibles étaient collectées, stockées et utilisées par les autorités publiques.
La nécessité d’une approche socio-technique vers l’équité de l’IA
Même d’un point de vue éthique, il ne peut être considéré comme acceptable d’utiliser de telles données pour entraîner des algorithmes prédictifs sans le consentement des personnes concernées, alors que leurs droits sont fortement limités, en leur donnant simplement un simple préavis (comme le prescrit la LED). La discipline actuelle de l’UE crée une discrimination entre les personnes qui ont eu la malchance de tomber sur la police collectant leurs données à des fins de contrôles aléatoires ou parce qu’elles ont été victimes ou témoins dans des affaires pénales, même si elles étaient totalement innocentes et sans faute, et les personnes dont les données n’ont jamais été collectées. Tant la construction d’algorithmes prédictifs que leur mise en œuvre réelle ont été à l’origine de discriminations et de violations des droits et libertés des citoyens. C’est pourquoi les dispositions de la loi sur l’IA ne font qu’augmenter le risque de rencontrer de tels problèmes, sans vraiment prévoir de garanties et d’atténuation. mesures.
Cette tension entre les objectifs d’équité des ensembles de données et les réalités d’un monde injuste souligne la nécessité d’approches interdisciplinaires plus larges de l’équité dans l’IA. Il ne suffit pas de se concentrer uniquement sur les aspects techniques de l’équité – comme garantir que les ensembles de données sont équilibrés et exempts d’erreurs – sans également prendre en compte les systèmes sociaux, politiques et économiques qui façonnent le développement et le déploiement de l’IA. Aborder l’équité dans l’IA nécessite de s’engager dans ces systèmes plus vastes de pouvoir et d’inégalité, plutôt que de s’appuyer uniquement sur des solutions techniques pour résoudre des problèmes enracinés dans les inégalités sociales.
