Un discours sur l’origine et les fondements des inégalités algorithmiques

Resituer l’algorithme à travers sa capacité d’action, nouvelle et souvent nuisible, sur le réel : c’est là le premier mérite de l’ouvrage de Cathy O’Neil, docteure en mathématique d’Harvard devenue data scientist dans une start-up new-yorkaise, blogueuse reconnue sur le sujet et active dans le mouvement citoyen Occupy Wall Street. Le discours est donc celui d’une praticienne… Et d’une praticienne repentie : Cathy O’Neil est une ancienne « quant », analyste quantitative, qui a travaillé dans un fonds d’investissement spéculatif, et ce en pleine crise financière. C’est à partir de cette expérience qu’elle a pris conscience du rôle néfaste des modèles mathématiques prédictifs, lorsque la société place en eux une confiance démesurée.

 

Cathy O’Neil a tôt fait d’établir un parallèle entre la foudroyante crise du crédit et la « croissante dystopie » algorithmique, qui voit le Big Data régenter l’ensemble des domaines principaux socio-politiques (l’éducation, l’accès au logement et au crédit, l’emploi, les politiques sécuritaires, la justice). Leurs points communs : les WMD, pour Weapons of Math Destruction, armes de destruction mathématique, un jeu de mot sur les Weapons of Mass Destruction, armes de destruction massive.

 

Les WMD sont basés sur des « modèles », qui analysent des comportements, calculent des probabilités et enfin ciblent, optimisent, trient. Dans les Big Data, tout découle du modèle que l’on se choisit et tout découle de choix : choix des paramètres, choix des données, choix de ce que l’on qualifie comme succès. Et, là est tout le discours de Cathy O’Neil : ces modèles, loin d’être neutres, sont simplement des « opinions traduites en mathématiques ». Cela aboutit à ces WMD, qui « s’assurent que les prétendus perdants de la société restent les perdants de la société », une grande machine à inégalité construite par des modèles opaques, opérant à grande échelle, nuisibles.

 

Les exemples, nombreux, sont extrêmement démonstratifs : le stop-and-frisk new-yorkais et autres politiques sécuritaires préventives basées sur la discrimination des minorités ethniques ou sociales, l’évaluation statistiquement absurde des professeurs,  les conséquences sociales imprévisibles du classement des universités américaines d’U.S. News,  les logiciels de recrutement eux aussi discriminants utilisés par les grandes entreprises,  etc.

 

 Des industries entières reposent sur ces modèles algorithmiques, maintenant leurs proies dans un cercle infini de vulnérabilité 

Des industries entières reposent sur ces modèles maintenant leurs proies dans un cercle infini de vulnérabilité. C’est le cas des redoutables prêts sur salaire (les payday loans, sortes d’avances sur salaire, prêts à très court terme, garantis par des sociétés de crédit) ou de l’éducation à but lucratif, ces lycées et universités for-profit, dont le volume de recrutement, grâce aux « modèles », a triplé entre 2004 et 2014 (plus de 10 % des élèves nord-américains étudient aujourd’hui dans ce type d’établissement).

Weapons of math destruction est donc à la fois le récit d’une désillusion, une analyse fouillée de l’entrée dans le réel des algorithmes et enfin, quoique moins approfondi, un plaidoyer pour le changement. Cathy O’Neil en appelle en effet à une éthique des algorithmes, un défi dont l’importance est comparée à l’établissement des standards sociaux en réaction aux exploitations nouvelles induites par la deuxième révolution industrielle. Sur la question de la méthode, c’est un autre parallèle qui est fait : celui avec la crise financière de 2007, une nouvelle fois évoquée, et à l’auto-discipline du Manifeste des modélisateurs financiers, rédigé pour moraliser la profession, dès 2008.

 

Malgré son ancienneté, l’existence même du champ de l’engineering ethics (l’éthique de l’ingénierie) ne va pas de soi : la sociologue Christelle Didier l’écrivait encore en 2010, quand elle appelait les ingénieurs, qu’elle définit comme les personnes capables de transformer une idée ou un algorithme en une chose visible, à, enfin, « prendre leur part » dans les questions éthiques liées à ces choses visibles qu’ils participent à concevoir. La question se pose tout particulièrement ici, et l’équivalent d’un serment d’Hippocrate pourrait être prêté par les data scientists, nous dit Cathy O’Neil. Celui-ci se concentrerait sur les possibles mauvais usages et détournements d’interprétations faits de leurs modèles mathématiques.

 

 C’est à l’homme d’embarquer de meilleurs valeurs dans les algorithmes, en créant des modèles qui suivent nos principes éthiques 

  Puisque les processus prédictifs des big data, en codifiant — c’est-à-dire, en répétant — le passé, n’inventent pas un « nouveau » réel (c’est l’idée qu’ils nous enferment dans une « bulle de filtres », concept théorisé dès 2011), c’est à l’homme d’« explicitement embarquer de meilleurs valeurs dans nos algorithmes, en créant des modèles big data qui suivent nos principes éthiques ».

D’autres auteurs insistent sur la mise en place de régulations gouvernementales et sur la nécessaire transparence des grandes entreprises : c’est aussi le cas de Cathy O’Neil. La régulation devrait renforcer le droit du consommateur (le droit de savoir, par exemple, lorsqu’un credit score ou un e-score est utilisé pour le juger), prévoir de nouvelles politiques anti-discrimination (punir les entreprises qui refuseraient d’employer un candidat dont l’analyse du génome rendue possible par la médecine prédictive montre qu’elle a un fort risque du cancer du sein) ou, suivant le perfectible modèle européen, assurer l’opt-in, c’est-à-dire le consentement a priori de l’utilisation de ses données personnelles.

 

Mais c’est surtout l’audit algorithmique qui est présenté comme une solution « vitale ». Celui-ci s’affirme déjà comme un nouveau champ de recherche, investi par plusieurs laboratoires américains (Princeton, Carnegie Mellon, la NYU ou le MIT) … et auquel les grandes entreprises s’associent, comme récemment Google et Microsoft dans un atelier dédié aux questions de justice, de responsabilité et de transparence dans le machine learning — une manière, aussi, de mieux connaître (et optimiser) leurs propres algorithmes ? Si un intérêt à éliminer des biais est bel et bien exprimé par les mastodontes du numérique, nous apprend Cathy O’Neil, celui-ci est borné par le refus marqué de la transparence.

 

L’ouvrage s’affirme finalement aussi comme un diagnostic de l’impuissance algorithmique. « Oubliez, pour la ou les deux prochaines décennies, la construction d’outils qui pourraient mesurer l’efficacité d’un professeur », nous dit par exemple Cathy O’Neil : audits et études d’impact des modèles mathématiques qui nous gouvernent aujourd’hui aboutiraient inévitablement à prendre la mesure de l’invraisemblable simplification d’un réel trop complexe pour être réductible à un flux d’informations intelligible. Un contre-pied déjà classique à la théorie qui sous-tend ce que nous pensons être une « société de l’information », la théorie cybernétique, selon laquelle on peut approcher le réel non plus via les structures, mais, exclusivement, par les comportements.
 

Tout n’est pas « algorithmisable », certes, mais une politisation de la question algorithmique est souhaitable, pour que ceux-ci, maîtrisés, personnalisés, contrôlés par les utilisateurs et transparents, participent à régénérer la démocratie. Une politisation qui peut passer par des choix non-intuitifs : pour lutter contre les biais du machine learning qui renforcent les discriminations existantes, il faudrait ainsi faire entrer dans le jeu des données sensibles, qu’on aurait a priori plutôt envie de cacher. Par exemple : utiliser des statistiques ethniques pour prouver quantitativement que l’algorithme utilisé par les organismes prêteurs repose sur une discrimination raciale. L’idée, en tout cas, est de faire des choix : de créer de nouvelles boucles de rétroaction et de nouveaux biais, cette fois positifs.