Peut-on gouverner les algorithmes ?

The Black Box Society

NOTE DE LECTURE  par Elsa TRUJILLO  •  Publié le 09.11.2015  •  Mis à jour le 19.11.2015
Comment réguler les algorithmes qui contrôlent la réputation en ligne, les moteurs de recherche et la finance ?

Titre : The Black Box Society

Sous-titre de l’ouvrage : The Secret Algorithms That Control Money and Information

Auteur(s)  : Frank Pasquale

Éditeur(s) : Harvard University Press

Parution : 01.01.2015

Sommaire

De limportance de tel ou tel site web aux trending topics de Twitter, en passant par les recommandations personnalisées en fonction des internautes, les algorithmes déterminent une proportion grandissante des contenus que nous voyons défiler sur Internet.

Si ce que les formules algorithmiques savent de nous nest pas forcément nocif, naviguer sur Internet comporte néanmoins désormais un consentement implicite à être observés. Scrutés, nos goûts et comportements en ligne sont étudiés à la loupe avec une précision jusqualors non atteinte. Mais comment cette information est-elle par la suite transformée ?
 
Professeur de droit à luniversité du Maryland, Frank Pasquale sest penché sur le sujet des algorithmes, véritables « boîtes noires »à ses yeux, dont le processus de transformation des données reste obscur et impénétrable au plus grand nombre. Formules complexes, protégées par une horde dingénieurs et davocats, elles deviennent une forme dexpression privilégiée par lautorité. Sont regroupés sous ce terme la réputation en ligne, les moteurs de recherche et la finance, trois domaines qui laissent une place grandissante aux processus automatisés dans la prise de décisions.
 
Ces applications algorithmiques sont-elles aussi justes et neutres quelles le prétendent ? Pourquoi, par exemple, les vidéos Youtube ont-elles tendance à prédominer dans les recherches Google ? Que signifie le fait que des vendeurs en ligne assignent des prix différents aux mêmes produits en fonction des acheteurs ?

Frank Pasquale ne lexpliquera pas en détail. Face à la crainte de voir toute la société régie par des techniques opaques, lauteur plaide en faveur dune plus grande transparence des entreprises dans lutilisation de ces informations, alors que la régulation de lactivité des algorithmes (à la complexité croissante) qui nous classifient est aujourdhui minimale voire inexistante.

Une autorité de plus en plus algorithmique

La réputation, les moteurs de recherche, la financeTrois pans particulièrement importants de lautorité dont les algorithmes semparent progressivement selon lauteur. Cest que ces trois domaines concentrent une part grandissante du pouvoir. La réputation en ligne, loin de se restreindre à notre simple alter ego numérique, constitue une porte dentrée (ou non) vers lemploi, un crédit ou encore lobtention dun appartement, pour ne citer que ces exemples. Les algorithmes qui la régissent peuvent aussi bien lembellir que la ruiner, constat aussi vérifiable pour les individus que les entreprises elles-mêmes.

Frank Pasquale donne à ce titre, dans une interview accordée à Rue89 le 15 février 2015, lexemple de SearchKing, moteur de recherche potentiellement concurrent que Google aurait cherché à balayer : « En 2003, il y a eu un premier procès contre Google : celui-ci faisait systématiquement descendre dans ses résultats une entreprise appelée SearchKing, qui était un autre moteur de recherche. Or il était impossible de savoir si Google essayait délibérément de se débarrasser dun concurrent ou si le site descendait automatiquement dans les résultats parce quil était mauvais. On ne pouvait pas savoir parce que les algorithmes de Google, qui régissent ces résultats, sont protégés par le secret commercial. »
 
Une belle illustration du pouvoir des algorithmes liés aux moteurs de recherche, deuxième volet de lautorité à lheure actuelle selon Frank Pasquale. Non contents de façonner la manière dont nous nous renseignons en ligne, en classifiant les informations en fonction dintérêts sous-jacents, leur « pouvoir dinclure, dexclure et de classifier reviendrait à sélectionner quelles opinions publiques sancreront dans le temps et lesquelles ne seront que passagères ».
 
 Le secret commercial reste l’un des arguments les plus utilisés par les entreprises pour préserver ces juteuses formules des yeux du grand public  Tout comme elle na jamais, ou très rarement, vent des arrangements commerciaux tangibles conclus entre Google et les entreprises de notation ou de classement. Brandi comme un étendard, le secret commercial reste lun des arguments les plus régulièrement utilisés par les entreprises pour préserver ces juteuses formules des yeux du grand public. Doubléde linvocation du premier amendement , qui protègerait les algorithmes de notation sous couvert de la libertédexpression, il rend ces entreprises quasiment intouchables par les pouvoirs publics et les tribunaux.

Et pourtant : les entreprises de la Silicon Valley, qui concentrent en leurs mains un nombre considérable de richesses et de données, seraient en permanence àla limite de la légalité, en matière de fiscalité, de droit de la concurrence et de protection de la vie privée selon le constat de Frank Pasquale. De plus, leur avantage tiendrait souvent au fait d’être liées àl’élite gouvernementale. De quoi laisser imaginer un certain nombre de dérives que lauteur propose de contrer avant quil ne soit trop tard.
Revenir au sommaire

Algorithmes : les dangers du laissez-faire

Par manque de prise de conscience, et exception faite des activités de surveillance, les pouvoirs publics ont jusqu’à présent manqué demprise par rapport à ces « boîtes noires » aux États-Unis.
 
Une telle confiance accordée aux activités de collecte de données, propice à une forme de laissez-faire du gouvernement, laisserait pourtant libre cours à des pratiques telles que le microtargeting, dont les dangers sont facilement perceptibles. Franck Pasquale cite lexemple de personnes classifiées à des fins marketing sous des critères très précis, dont le fait d’être « probablement bipolaires » ou « victimes de viols ». Aucune véritable restriction nexiste encore à lheure actuelle pour assembler et distribuer de telles listes, ce qui fait craindre à lauteur que de telles données doutils marketing deviennent des indicateurs de réputation.
 
 Certaines classifications peuvent s’avérer totalement fausses, même au sujet de grands patrons pourtant censés être à l’abri  Pire : si ces listes sont bel et bien en circulation aux États-Unis, aucun moyen nexiste non plus pour les individus quelles concernent de démentir leur exactitude. Une situation dautant plus inquiétante que certaines classifications peuvent savérer totalement fausses, et ce même au sujet de grands patrons pourtant censés être à labri : en 2013, Natasha Singer a ainsi révélé que les données dAcxiom, société pourtant spécialisée dans le Big Data, faisaient de son propre PDG Scott Howe un père de deux enfants en lui prêtant des origines italiennes, ce qui était erroné. Si ces qualités ne lui portent pas préjudice, on peut aisément imaginer ce que le fait d’être étiquetté « pédophile » pourrait engendrer pour une personne demandeuse demploi.
 
Et Pasquale de dénoncer un processus de « cyberhygiène » rendu accessible seulement aux plus aisés: « Le système est si compliquéque seuls les plus aisés seraient en mesure de disposer du temps et de lassistance requise pour nettoyer leur identité numérique ». Rappelons que l’Union européenne a de son côté introduit la notion de « droit à l’oubli »  depuis un an, qui permet aux internautes de faire déréférencer des contenus jugés nuisibles ou préjudiciables directement auprès des moteurs de recherche. Malheureusement, ces mêmes internautes peuvent rester désarmés face au volume de données disponibles à leur sujet ou à la complexité des procédures.

Raison de plus pour aiguiller Frank Pasquale vers la piste dune société plus intelligible.
Revenir au sommaire

Vers une société intelligible

Bien que les fameux algorithmes secrets le restent, lauteur parvient à démontrer la façon dont les organisations se dérobent au regard du gouvernement dans les trois grands domaines dautorité analysés, et propose quelques mesures pour déconstruire les boîtes noires du Big Data.
 
Parmi ces propositions, non seulement un appel à ce que les entreprises de la Silicon Valley et de Wall Street acceptent autant de transparence quelles nen imposent à la société civile, mais aussi, et surtout, la nécessité dune « société intelligible » : une société dans laquelle les décisions clés en matière danalyse de données émaneraient d’une procédure juste, non discriminatoire, et ouvert à la critique, le tout en vue de pouvoir tester, contrôler et comprendre ces boîtes noires.
 
Quant au secret commercial, Frank Pasquale réclame que chaque mesure prise pour le défendre ou le renforcer devrait être compensée par une mesure qui garantisse encore davantage la vie privée des individus.
 
 Retourner l’utilisation des techniques liées au big data contre les grandes entreprises  Lauteur propose donc ni plus ni moins de retourner lutilisation des techniques liées au big data contre ces grandes entreprises, afin de pouvoir repérer celles qui font un usage anormal des données. Pour ce faire, il envisage limplication des agences de surveillance elles-mêmes, dont il s’étonne quelles puissent surveiller les citoyens et non les entreprises, mais surtout celle de la société civile.
 
« Cest à nous tous que revient l’étude des effets de ces algorithmes, quils soient racistes, sexistes, erronés ou simplement intrusifs, et de prendre des mesures pour limiter les dégâts » note ainsi Frank Pasquale en guise de conclusion. « Avec davantage de transparence des entreprises et du gouvernement, une régulation claire et effective, et une large prise de conscience des dangers et erreurs qui se produisent dores et déjà, nous pourrons reprendre quelque peu le contrôle sur nos données quanalysent ces algorithmes quaucun dentre nous ne comprend pleinement ».
Revenir au sommaire

Titre du livre : The Black Box Society
Sous-titre de l’ouvrage :  The Secret Algorithms That Control Money and Information
Auteur(s)  : Frank Pasquale
Éditeur(s) : Harvard University Press
Parution : 01/01/2015

Vous souhaitez nous apporter un complément, rectifier une information ? Contactez la rédaction