{"id":6098,"date":"2021-12-29T00:01:21","date_gmt":"2021-12-28T22:01:21","guid":{"rendered":"http:\/\/variances.eu\/?p=6098"},"modified":"2021-12-29T01:30:39","modified_gmt":"2021-12-28T23:30:39","slug":"comprendre-la-justice-algorithmisee","status":"publish","type":"post","link":"https:\/\/variances.eu\/?p=6098","title":{"rendered":"Comprendre la justice algorithmis\u00e9e"},"content":{"rendered":"

Introduction<\/strong><\/h3>\n

Les algorithmes sont embarqu\u00e9s dans de nombreuses applications et logiciels, et ce dans des domaines divers tels que la m\u00e9decine, le journalisme, le sport, la finance, la communication ou encore plus r\u00e9cemment la justice. Dans le domaine de la justice, les algorithmes sont aujourd’hui d\u00e9velopp\u00e9s et utilis\u00e9s dans le but de fournir des \u00e9l\u00e9ments pertinents \u00e0 ses acteurs – policiers, juges ou encore avocats – dans leurs d\u00e9cisions de facto \u00e9ventuellement \u00e9clair\u00e9es. Cela \u00e9tant dit, il est fondamental de comprendre son histoire, ses applications ainsi que ses limitations pour en cerner le potentiel et les b\u00e9n\u00e9fices tout en \u00e9cartant les menaces intrins\u00e8ques \u00e0 l\u2019algorithmique mais aussi \u00e0 son application \u00e0 la justice.<\/p>\n

Cette contribution capture une partie du travail r\u00e9alis\u00e9 pour la Fondation Jean Jaur\u00e8s et d\u00e9crit dans une note publi\u00e9e en Juin 2021 : M\u00e9canisme d\u2019une justice algorithmique<\/a><\/span> co\u00e9crite par Adrien Basdevant, Aur\u00e9lie Jean et Victor Storchan.<\/p>\n

La justice pr\u00e9dictive : un nom et une histoire<\/strong><\/h3>\n

M\u00eame si le terme de justice pr\u00e9dictive est couramment employ\u00e9 dans les travaux de recherche, les m\u00e9dias ou encore les articles de vulgarisation, le terme de justice algorithmis\u00e9e est ici retenu, et a \u00e9t\u00e9 introduit dans la note pr\u00e9c\u00e9demment mentionn\u00e9e. En effet, ce mot capture plus pr\u00e9cis\u00e9ment et correctement ce que les algorithmes r\u00e9alisent dans le milieu judiciaire et qui s\u2019\u00e9loigne de toutes pr\u00e9dictions stricto sensu. La justice algorithmis\u00e9e consiste \u00e0 d\u00e9velopper et utiliser des algorithmes pour (semi-)automatiser des processus administratifs mais aussi \u00e9valuer certains \u00e9l\u00e9ments qui peuvent \u00e9clairer et orienter les acteurs – juges, avocats ou encore policiers – dans leurs d\u00e9cisions telles que l\u2019\u00e9valuation d\u2019une peine, d\u2019un risque de r\u00e9cidive ou encore de zones \u00e0 patrouiller.<\/p>\n

Cela \u00e9tant dit, la justice algorithmis\u00e9e a une histoire plus ancienne que l’\u00e2ge des premiers algorithmes computationnels – destin\u00e9s \u00e0 \u00eatre ex\u00e9cut\u00e9s sur un ordinateur -, et voit le jour sous forme analytique vers les ann\u00e9es 1920 du c\u00f4t\u00e9 des \u00c9tats-Unis \u00e0 travers les travaux d\u2019universitaires de l\u2019\u00c9cole sociologique de Chicago, fond\u00e9e par Ernest Burgess. Un peu plus tard, dans les ann\u00e9es soixante-dix et quatre-vingt les premiers calculs statistiques sont r\u00e9alis\u00e9s pour \u00e9valuer le risque de r\u00e9cidive des pr\u00e9venus, pour pr\u00e9parer leur sortie de prison. Mais c\u2019est \u00e0 partir des ann\u00e9es 2010 et l’\u00e9mergence du big data, avec l\u2019am\u00e9lioration des algorithmes computationnels – en particulier ceux d\u2019apprentissage – ou encore l\u2019augmentation de la puissance des ordinateurs, que la justice originellement nomm\u00e9e pr\u00e9dictive, na\u00eet.<\/p>\n

Quelques d\u00e9finitions <\/strong><\/h3>\n

Aujourd\u2019hui, les quelques technologies d\u2019intelligence artificielle, d\u00e9velopp\u00e9es et utilis\u00e9es au sein de la justice et de la police, poss\u00e8dent des algorithmes explicites, implicites ou hybrides. Un algorithme explicite est un algorithme dont la logique d\u2019ex\u00e9cution a \u00e9t\u00e9 d\u00e9finie explicitement par les concepteurs. Cette logique contient des structures conditionnelles, des hypoth\u00e8ses, voire des \u00e9quations math\u00e9matiques. Cet algorithme explicite est alors calibr\u00e9 sur des donn\u00e9es dites de calibration du ph\u00e9nom\u00e8ne \u00e0 repr\u00e9senter, pour identifier les param\u00e8tres du mod\u00e8le afin qu\u2019il s\u2019adapte correctement \u00e0 la r\u00e9alit\u00e9. Un algorithme implicite est quant \u00e0 lui d\u00e9fini implicitement par apprentissage machine sur des donn\u00e9es qu\u2019on nomme donn\u00e9es – ou data – d’entra\u00eenement et qui repr\u00e9sentent les sc\u00e9narios du ph\u00e9nom\u00e8ne \u00e0 mod\u00e9liser. Dans les deux cas, l\u2019algorithme simule un ph\u00e9nom\u00e8ne sur lequel r\u00e9pondre \u00e0 une question, r\u00e9soudre un probl\u00e8me, ou comprendre des m\u00e9canismes. Les algorithmes peuvent \u00e9galement \u00eatre hybrides en poss\u00e9dant une composante explicite et implicite.<\/p>\n

Le choix des donn\u00e9es est fondamental, plus particuli\u00e8rement dans le cas des algorithmes d’entra\u00eenement, afin que ceux-ci repr\u00e9sentent avec pr\u00e9cision et justesse le ph\u00e9nom\u00e8ne en question. Dans le pass\u00e9, de nombreux scandales algorithmiques ont vu le jour \u00e0 cause d\u2019un jeu de donn\u00e9es non repr\u00e9sentatif voire fortement biais\u00e9, qui amenait l\u2019algorithme \u00e0 traiter les individus injustement selon leur genre, leur couleur de peau, leur \u00e2ge ou encore leur orientation sexuelle. En 2019, l\u2019application de l\u2019Apple Card, dont l\u2019algorithme a \u00e9t\u00e9 d\u00e9velopp\u00e9 par la banque d\u2019affaires am\u00e9ricaine Goldman Sachs, pouvait proposer des cr\u00e9dits vingt fois plus \u00e9lev\u00e9s chez des hommes que chez des femmes aux m\u00eames historiques de cr\u00e9dit et aux m\u00eames conditions fiscales. La raison principale : un biais algorithmique provenait des donn\u00e9es d\u2019apprentissage du pass\u00e9 fortement biais\u00e9es dans le temps pr\u00e9sent, sur lesquelles l\u2019algorithme avait \u00e9t\u00e9 entra\u00een\u00e9. En pratique, les femmes qui avaient en moyenne des revenus beaucoup moins importants il y a encore vingt ans, b\u00e9n\u00e9ficiaient de lignes de cr\u00e9dit beaucoup moins \u00e9lev\u00e9es que les hommes. L\u2019algorithme entra\u00een\u00e9 maladroitement par Goldman Sachs n\u2019a fait que reproduire une repr\u00e9sentativit\u00e9 statistiquement significative du pass\u00e9 pourtant (heureusement) incorrecte et biais\u00e9e en 2019.<\/p>\n

Quelques cas concrets de justice algorithmis\u00e9e<\/strong><\/h3>\n

Aux \u00c9tats-Unis, les technologies algorithmiques sont d\u00e9j\u00e0 employ\u00e9es dans l\u2019\u00e9valuation du risque de r\u00e9cidive d\u2019un accus\u00e9 avec des outils comme le logiciel COMPAS (Correctional Offender Management Profiling for Alternative Sanctions[1]<\/sup><\/a>), VPRAI (Virginia Pretrial Risk Assessment Instrument[2]<\/sup><\/a>) ou encore PSA (Public Safety Assessment). Ces outils ont des efficacit\u00e9s somme toute relatives, mais surtout une logique d’ex\u00e9cution fortement discutable. Prenons l\u2019exemple de COMPAS qui est s\u00fbrement le logiciel le plus connu, actuellement utilis\u00e9 par les juridictions des \u00c9tats de New York et de Californie.<\/p>\n

En pratique, l\u2019accus\u00e9 r\u00e9pond \u00e0 un questionnaire compos\u00e9 d\u2019un nombre limit\u00e9 de points portant sur son pass\u00e9 judiciaire, ses fr\u00e9quentations, son \u00e2ge ou encore son lieu de r\u00e9sidence. De ses r\u00e9ponses est calcul\u00e9 un risque de r\u00e9cidive. On comprend alors les menaces de biais algorithmiques propres \u00e0 la stigmatisation de certaines ethnicit\u00e9s comme les Noirs ou les Hispaniques qui vivent dans les quartiers les plus pauvres des villes de Los Angeles ou de New York davantage sujets \u00e0 des crimes et des d\u00e9lits. En d\u2019autres termes, une personne de couleur se verra syst\u00e9matiquement attribuer un risque plus \u00e9lev\u00e9 qu\u2019une personne blanche car l\u2019algorithme aura appris sur les donn\u00e9es enregistr\u00e9es impliquant davantage de personnes de couleur. On transforme alors une repr\u00e9sentativit\u00e9 statistique en une condition syst\u00e9matique, ce qui reste de la stigmatisation dans le cas pr\u00e9sent\u00e9. Une autre pr\u00e9caution concerne le nombre de questions pos\u00e9es \u00e0 l\u2019accus\u00e9. Comment capturer un sch\u00e9ma significatif \u00e0 travers quelques questions seulement\u00a0? Cela r\u00e9duit consid\u00e9rablement la granularit\u00e9 souvent n\u00e9cessaire pour comprendre l\u2019humain et la situation qui l\u2019accompagne. Car la justice est avant tout une question d’\u00eatres humains et de leurs histoires, il faut imp\u00e9rativement \u00e9chapper \u00e0 une certaine factualisation du droit que sous-entend une utilisation non \u00e9clair\u00e9e des outils algorithmiques par les acteurs de la justice. Mais aussi par une conception unilat\u00e9rale de la part des scientifiques et des ing\u00e9nieurs qui peuvent dans certains cas ne jamais collaborer de fa\u00e7on transdisciplinaire avec les juristes.<\/p>\n

En France, l\u2019entreprise \u00ab\u00a0case law analytics\u00a0\u00bb, dont l\u2019algorithme est co-d\u00e9velopp\u00e9 par des scientifiques de l\u2019INRIA, estime les chances de succ\u00e8s d\u2019une affaire en s\u2019appuyant sur les affaires historiques, renfor\u00e7ant alors le principe de jurisprudence. En pratique, cet algorithme a \u00e9t\u00e9 entra\u00een\u00e9 sur plusieurs milliers de d\u00e9cisions judiciaires du pass\u00e9. M\u00eame si cet outil ne propose qu\u2019une suggestion \u00e0 l\u2019avocat afin de l\u2019\u00e9clairer davantage sur son \u00e9valuation d\u2019une affaire, on peut questionner le risque de biais dans les donn\u00e9es d’entra\u00eenement qui peuvent stigmatiser certains individus par rapport \u00e0 d\u2019autres. Il est \u00e9galement important de permettre ce qu\u2019on nomme en droit des revirements de jurisprudence bas\u00e9s sur des changements soci\u00e9taux et culturels par exemple. Cela \u00e9tant dit, l\u2019algorithme bas\u00e9 sur les cas historiques doit pouvoir \u00eatre r\u00e9-entra\u00een\u00e9 avec le temps, mais aussi et surtout \u00eatre vu comme une suggestion et non comme une v\u00e9rit\u00e9 absolue afin de pouvoir \u00e9ventuellement \u00eatre rejet\u00e9 par le juge. Force est de reconna\u00eetre que des outils comme celui de la soci\u00e9t\u00e9 \u00ab case law analytics \u00bb permettent d\u2019\u00e9clairer les acteurs de la loi pour affiner leurs travaux et garantir un traitement juste de chacun.<\/p>\n

De nombreux autres exemples concrets sont d\u00e9taill\u00e9s dans la note M\u00e9canisme d\u2019une justice algorithmique, comme le programme DataJust de l\u2019\u00c9tat Fran\u00e7ais destin\u00e9 entre autres \u00e0 \u00e9valuer le plus justement possible des indemnit\u00e9s pour pr\u00e9judices corporels. Ce qui permettrait de mettre fin aux diff\u00e9rences d’indemnit\u00e9s qui existent entre les villes dans notre pays et qui contredisent le principe d\u2019\u00e9quit\u00e9. Le programme am\u00e9ricain PredPol pour Predictive Police est \u00e9galement expos\u00e9 : il fournissait quotidiennement \u00e0 la police de Los Angeles les zones \u00e0 patrouiller et les personnes \u00e0 surveiller. Ce programme PredPol a \u00e9t\u00e9 interrompu en avril 2020 car il a \u00e9t\u00e9 jug\u00e9 dangereux par la ville, apr\u00e8s de nombreuses alertes de la part de policiers et de scientifiques sur les risques concrets de discrimination envers les personnes de couleur.<\/p>\n

On remarque que la justice algorithmis\u00e9e est nettement plus utilis\u00e9e aux \u00c9tats-Unis qu\u2019en France, s\u00fbrement en raison des diff\u00e9rences de syst\u00e8mes judiciaires. Alors qu\u2019aux \u00c9tats-Unis, pays qui poss\u00e8de un syst\u00e8me de droit commun, ce sont les juges qui construisent la loi par jurisprudence syst\u00e9matiquement, en France, pays de droit civil, ce sont les parlementaires qui fabriquent la loi. On comprend alors que les juges am\u00e9ricains soient davantage enclins \u00e0 utiliser des outils algorithmiques entra\u00een\u00e9s sur les donn\u00e9es du pass\u00e9 pour les \u00e9clairer sur la jurisprudence d\u2019aujourd\u2019hui.<\/p>\n

Quelques recommandations sur les d\u00e9veloppements et les usages<\/strong><\/h3>\n

Il existe des opportunit\u00e9s et des risques dans le d\u00e9veloppement et l\u2019utilisation d\u2019outils algorithmiques dans le domaine de la justice, les risques de discrimination technologique et d\u2019utilisation aveugle de la part des acteurs de la justice \u00e9tant les menaces principales. Bien con\u00e7us et employ\u00e9s, ces outils sont au contraire un moyen ing\u00e9nieux d\u2019\u00e9clairer les acteurs dans l\u2019exercice de la loi.<\/p>\n

Les bonnes pratiques de d\u00e9veloppement et de tests des algorithmes sont une \u00e9tape fondamentale dans le d\u00e9ploiement d\u2019outils inclusifs. L\u2019application des m\u00e9thodes d\u2019explicabilit\u00e9 \u00e0 ces outils est \u00e9galement importante pour augmenter le niveau de compr\u00e9hension de la logique de l\u2019algorithme. Comprendre le fonctionnement de ces outils, en particulier ceux contenant des algorithmes d\u2019apprentissage, est critique pour garantir le principe de transparence de la justice dans lequel un accus\u00e9 comprend les tenants et les aboutissants pour pouvoir se d\u00e9fendre et\/ou saisir les raisons d\u2019une d\u00e9cision judiciaire. De mani\u00e8re g\u00e9n\u00e9rale, il faut envisager les r\u00e9ponses de ces outils de justice algorithmis\u00e9e comme des suggestions et non des d\u00e9cisions stricto sensu, ou pire, des v\u00e9rit\u00e9s absolues.<\/p>\n

C<\/strong>onclusion<\/strong><\/h3>\n

La justice algorithmis\u00e9e a clairement un avenir pour \u00e9clairer les acteurs de la justice et\u00a0 analyser de mani\u00e8re pertinente les d\u00e9cisions judiciaires ou encore la morphologie des affaires trait\u00e9es au cours du temps. Cela \u00e9tant dit, les risques de traitement injuste et biais\u00e9 des individus et des affaires existent et ont d\u00e9j\u00e0 \u00e9t\u00e9 d\u00e9montr\u00e9s pour certains outils comme PredPol qui tendait \u00e0 discriminer les populations de couleur et \u00e0 stigmatiser certains quartiers \u00e0 patrouiller, les plus pauvres.<\/p>\n

Des bons r\u00e9flexes sont n\u00e9cessaires tant du c\u00f4t\u00e9 technique dans le d\u00e9veloppement et les tests des outils, que du c\u00f4t\u00e9 m\u00e9tier par une formation des juristes et des policiers aux algorithmes qu\u2019ils utilisent. \u00c0 cela, il est int\u00e9ressant d\u2019envisager davantage de co-construction d\u2019outils avec les acteurs de la justice pour garantir l\u2019inclusivit\u00e9 des outils mais aussi l\u2019absence d\u2019erreur de dimensionnement, ou un niveau d\u2019explicabilit\u00e9 suffisant pour aider concr\u00e8tement ces acteurs dans la pratique de leur m\u00e9tier. De mani\u00e8re g\u00e9n\u00e9rale, il faut s\u2019\u00e9loigner d\u2019une certaine factualisation du droit et garantir la prise en compte de la dimension humaine de chaque accus\u00e9 ou victime par le juge, l\u2019avocat ou le policier.<\/p>\n

 <\/p>\n

Mots-cl\u00e9s : algorithme – data – justice pr\u00e9dictive – simulation<\/em><\/p>\n

 <\/p>\n

Cet article a \u00e9t\u00e9 initialement publi\u00e9 le 6 septembre 2021.<\/em><\/p>\n

\n

[1]<\/sup><\/a> que l\u2019on peut traduire par Profil de gestion des d\u00e9linquants pour les sanctions alternatives.<\/p>\n

[2]<\/sup><\/a> que l\u2019on peut traduire par Instrument d\u2019\u00e9valuation des risques avant le proc\u00e8s de l\u2019\u00c9tat de Virginie.<\/p>\n","protected":false},"excerpt":{"rendered":"

Introduction Les algorithmes sont embarqu\u00e9s dans de nombreuses applications et logiciels, et ce dans des domaines divers tels que la m\u00e9decine, le journalisme, le sport, la finance, la communication ou encore plus r\u00e9cemment la justice. Dans le domaine de la justice, les algorithmes sont aujourd’hui d\u00e9velopp\u00e9s et utilis\u00e9s dans le but de fournir des \u00e9l\u00e9ments […]<\/p>\n","protected":false},"author":371,"featured_media":6102,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[164,239,222],"tags":[],"class_list":["post-6098","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-intelligence-artificielle","category-justice","category-societe","et-has-post-format-content","et_post_format-et-post-format-standard"],"_links":{"self":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/6098","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/users\/371"}],"replies":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=6098"}],"version-history":[{"count":0,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/6098\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/media\/6102"}],"wp:attachment":[{"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=6098"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=6098"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=6098"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}