Introduction

Les algorithmes sont embarqués dans de nombreuses applications et logiciels, et ce dans des domaines divers tels que la médecine, le journalisme, le sport, la finance, la communication ou encore plus récemment la justice. Dans le domaine de la justice, les algorithmes sont aujourd’hui développés et utilisés dans le but de fournir des éléments pertinents à ses acteurs – policiers, juges ou encore avocats – dans leurs décisions de facto éventuellement éclairées. Cela étant dit, il est fondamental de comprendre son histoire, ses applications ainsi que ses limitations pour en cerner le potentiel et les bénéfices tout en écartant les menaces intrinsèques à l’algorithmique mais aussi à son application à la justice.

Cette contribution capture une partie du travail réalisé pour la Fondation Jean Jaurès et décrit dans une note publiée en Juin 2021 : Mécanisme d’une justice algorithmique coécrite par Adrien Basdevant, Aurélie Jean et Victor Storchan.

La justice prédictive : un nom et une histoire

Même si le terme de justice prédictive est couramment employé dans les travaux de recherche, les médias ou encore les articles de vulgarisation, le terme de justice algorithmisée est ici retenu, et a été introduit dans la note précédemment mentionnée. En effet, ce mot capture plus précisément et correctement ce que les algorithmes réalisent dans le milieu judiciaire et qui s’éloigne de toutes prédictions stricto sensu. La justice algorithmisée consiste à développer et utiliser des algorithmes pour (semi-)automatiser des processus administratifs mais aussi évaluer certains éléments qui peuvent éclairer et orienter les acteurs – juges, avocats ou encore policiers – dans leurs décisions telles que l’évaluation d’une peine, d’un risque de récidive ou encore de zones à patrouiller.

Cela étant dit, la justice algorithmisée a une histoire plus ancienne que l’âge des premiers algorithmes computationnels – destinés à être exécutés sur un ordinateur -, et voit le jour sous forme analytique vers les années 1920 du côté des États-Unis à travers les travaux d’universitaires de l’École sociologique de Chicago, fondée par Ernest Burgess. Un peu plus tard, dans les années soixante-dix et quatre-vingt les premiers calculs statistiques sont réalisés pour évaluer le risque de récidive des prévenus, pour préparer leur sortie de prison. Mais c’est à partir des années 2010 et l’émergence du big data, avec l’amélioration des algorithmes computationnels – en particulier ceux d’apprentissage – ou encore l’augmentation de la puissance des ordinateurs, que la justice originellement nommée prédictive, naît.

Quelques définitions

Aujourd’hui, les quelques technologies d’intelligence artificielle, développées et utilisées au sein de la justice et de la police, possèdent des algorithmes explicites, implicites ou hybrides. Un algorithme explicite est un algorithme dont la logique d’exécution a été définie explicitement par les concepteurs. Cette logique contient des structures conditionnelles, des hypothèses, voire des équations mathématiques. Cet algorithme explicite est alors calibré sur des données dites de calibration du phénomène à représenter, pour identifier les paramètres du modèle afin qu’il s’adapte correctement à la réalité. Un algorithme implicite est quant à lui défini implicitement par apprentissage machine sur des données qu’on nomme données – ou data – d’entraînement et qui représentent les scénarios du phénomène à modéliser. Dans les deux cas, l’algorithme simule un phénomène sur lequel répondre à une question, résoudre un problème, ou comprendre des mécanismes. Les algorithmes peuvent également être hybrides en possédant une composante explicite et implicite.

Le choix des données est fondamental, plus particulièrement dans le cas des algorithmes d’entraînement, afin que ceux-ci représentent avec précision et justesse le phénomène en question. Dans le passé, de nombreux scandales algorithmiques ont vu le jour à cause d’un jeu de données non représentatif voire fortement biaisé, qui amenait l’algorithme à traiter les individus injustement selon leur genre, leur couleur de peau, leur âge ou encore leur orientation sexuelle. En 2019, l’application de l’Apple Card, dont l’algorithme a été développé par la banque d’affaires américaine Goldman Sachs, pouvait proposer des crédits vingt fois plus élevés chez des hommes que chez des femmes aux mêmes historiques de crédit et aux mêmes conditions fiscales. La raison principale : un biais algorithmique provenait des données d’apprentissage du passé fortement biaisées dans le temps présent, sur lesquelles l’algorithme avait été entraîné. En pratique, les femmes qui avaient en moyenne des revenus beaucoup moins importants il y a encore vingt ans, bénéficiaient de lignes de crédit beaucoup moins élevées que les hommes. L’algorithme entraîné maladroitement par Goldman Sachs n’a fait que reproduire une représentativité statistiquement significative du passé pourtant (heureusement) incorrecte et biaisée en 2019.

Quelques cas concrets de justice algorithmisée

Aux États-Unis, les technologies algorithmiques sont déjà employées dans l’évaluation du risque de récidive d’un accusé avec des outils comme le logiciel COMPAS (Correctional Offender Management Profiling for Alternative Sanctions[1]), VPRAI (Virginia Pretrial Risk Assessment Instrument[2]) ou encore PSA (Public Safety Assessment). Ces outils ont des efficacités somme toute relatives, mais surtout une logique d’exécution fortement discutable. Prenons l’exemple de COMPAS qui est sûrement le logiciel le plus connu, actuellement utilisé par les juridictions des États de New York et de Californie.

En pratique, l’accusé répond à un questionnaire composé d’un nombre limité de points portant sur son passé judiciaire, ses fréquentations, son âge ou encore son lieu de résidence. De ses réponses est calculé un risque de récidive. On comprend alors les menaces de biais algorithmiques propres à la stigmatisation de certaines ethnicités comme les Noirs ou les Hispaniques qui vivent dans les quartiers les plus pauvres des villes de Los Angeles ou de New York davantage sujets à des crimes et des délits. En d’autres termes, une personne de couleur se verra systématiquement attribuer un risque plus élevé qu’une personne blanche car l’algorithme aura appris sur les données enregistrées impliquant davantage de personnes de couleur. On transforme alors une représentativité statistique en une condition systématique, ce qui reste de la stigmatisation dans le cas présenté. Une autre précaution concerne le nombre de questions posées à l’accusé. Comment capturer un schéma significatif à travers quelques questions seulement ? Cela réduit considérablement la granularité souvent nécessaire pour comprendre l’humain et la situation qui l’accompagne. Car la justice est avant tout une question d’êtres humains et de leurs histoires, il faut impérativement échapper à une certaine factualisation du droit que sous-entend une utilisation non éclairée des outils algorithmiques par les acteurs de la justice. Mais aussi par une conception unilatérale de la part des scientifiques et des ingénieurs qui peuvent dans certains cas ne jamais collaborer de façon transdisciplinaire avec les juristes.

En France, l’entreprise « case law analytics », dont l’algorithme est co-développé par des scientifiques de l’INRIA, estime les chances de succès d’une affaire en s’appuyant sur les affaires historiques, renforçant alors le principe de jurisprudence. En pratique, cet algorithme a été entraîné sur plusieurs milliers de décisions judiciaires du passé. Même si cet outil ne propose qu’une suggestion à l’avocat afin de l’éclairer davantage sur son évaluation d’une affaire, on peut questionner le risque de biais dans les données d’entraînement qui peuvent stigmatiser certains individus par rapport à d’autres. Il est également important de permettre ce qu’on nomme en droit des revirements de jurisprudence basés sur des changements sociétaux et culturels par exemple. Cela étant dit, l’algorithme basé sur les cas historiques doit pouvoir être ré-entraîné avec le temps, mais aussi et surtout être vu comme une suggestion et non comme une vérité absolue afin de pouvoir éventuellement être rejeté par le juge. Force est de reconnaître que des outils comme celui de la société « case law analytics » permettent d’éclairer les acteurs de la loi pour affiner leurs travaux et garantir un traitement juste de chacun.

De nombreux autres exemples concrets sont détaillés dans la note Mécanisme d’une justice algorithmique, comme le programme DataJust de l’État Français destiné entre autres à évaluer le plus justement possible des indemnités pour préjudices corporels. Ce qui permettrait de mettre fin aux différences d’indemnités qui existent entre les villes dans notre pays et qui contredisent le principe d’équité. Le programme américain PredPol pour Predictive Police est également exposé : il fournissait quotidiennement à la police de Los Angeles les zones à patrouiller et les personnes à surveiller. Ce programme PredPol a été interrompu en avril 2020 car il a été jugé dangereux par la ville, après de nombreuses alertes de la part de policiers et de scientifiques sur les risques concrets de discrimination envers les personnes de couleur.

On remarque que la justice algorithmisée est nettement plus utilisée aux États-Unis qu’en France, sûrement en raison des différences de systèmes judiciaires. Alors qu’aux États-Unis, pays qui possède un système de droit commun, ce sont les juges qui construisent la loi par jurisprudence systématiquement, en France, pays de droit civil, ce sont les parlementaires qui fabriquent la loi. On comprend alors que les juges américains soient davantage enclins à utiliser des outils algorithmiques entraînés sur les données du passé pour les éclairer sur la jurisprudence d’aujourd’hui.

Quelques recommandations sur les développements et les usages

Il existe des opportunités et des risques dans le développement et l’utilisation d’outils algorithmiques dans le domaine de la justice, les risques de discrimination technologique et d’utilisation aveugle de la part des acteurs de la justice étant les menaces principales. Bien conçus et employés, ces outils sont au contraire un moyen ingénieux d’éclairer les acteurs dans l’exercice de la loi.

Les bonnes pratiques de développement et de tests des algorithmes sont une étape fondamentale dans le déploiement d’outils inclusifs. L’application des méthodes d’explicabilité à ces outils est également importante pour augmenter le niveau de compréhension de la logique de l’algorithme. Comprendre le fonctionnement de ces outils, en particulier ceux contenant des algorithmes d’apprentissage, est critique pour garantir le principe de transparence de la justice dans lequel un accusé comprend les tenants et les aboutissants pour pouvoir se défendre et/ou saisir les raisons d’une décision judiciaire. De manière générale, il faut envisager les réponses de ces outils de justice algorithmisée comme des suggestions et non des décisions stricto sensu, ou pire, des vérités absolues.

Conclusion

La justice algorithmisée a clairement un avenir pour éclairer les acteurs de la justice et  analyser de manière pertinente les décisions judiciaires ou encore la morphologie des affaires traitées au cours du temps. Cela étant dit, les risques de traitement injuste et biaisé des individus et des affaires existent et ont déjà été démontrés pour certains outils comme PredPol qui tendait à discriminer les populations de couleur et à stigmatiser certains quartiers à patrouiller, les plus pauvres.

Des bons réflexes sont nécessaires tant du côté technique dans le développement et les tests des outils, que du côté métier par une formation des juristes et des policiers aux algorithmes qu’ils utilisent. À cela, il est intéressant d’envisager davantage de co-construction d’outils avec les acteurs de la justice pour garantir l’inclusivité des outils mais aussi l’absence d’erreur de dimensionnement, ou un niveau d’explicabilité suffisant pour aider concrètement ces acteurs dans la pratique de leur métier. De manière générale, il faut s’éloigner d’une certaine factualisation du droit et garantir la prise en compte de la dimension humaine de chaque accusé ou victime par le juge, l’avocat ou le policier.

 

Mots-clés : algorithme – data – justice prédictive – simulation

 

Cet article a été initialement publié le 6 septembre 2021.

[1] que l’on peut traduire par Profil de gestion des délinquants pour les sanctions alternatives.

[2] que l’on peut traduire par Instrument d’évaluation des risques avant le procès de l’État de Virginie.

Aurélie Jean
Les derniers articles par Aurélie Jean (tout voir)