Algorithmes, la bombe à retardement
Questions de société
Numérique et technologies
Lanceur d'alerte
Économie financière et régulation des marchés
Économie du crédit et régulation financière
Sociologie des algorithmes et critique des données massives
Économie politique des inégalités numériques
Éthique de l'intelligence artificielle
Sociologie des algorithmes et des biais numériques
Économie de l'éducation
Philosophie et éthique des modèles quantitatifs
Sociologie de la justice pénale et discrimination algorithmique
Économie du travail et gestion algorithmique des ressources humaines
Ouvrage de référence
Travail
Technologie
Algorithme
Data Science
Société
Numérique
Résumé
Préface de Cédric Villani
Qui choisit votre université ? Qui vous accorde un crédit, une assurance, et sélectionne vos professeurs ? Qui influence votre vote aux élections ? Ce sont des formules mathématiques.
Ancienne analyste à Wall Street devenue une figure majeure de la lutte contre les dérives des algorithmes, Cathy O’Neil dévoile ces « armes de destruction mathématiques » qui se développent grâce à l’ultra-connexion et leur puissance de calcul exponentielle. Brillante mathématicienne, elle explique avec une simplicité percutante comment les algorithmes font le jeu du profit.
Cet ouvrage fait le tour du monde depuis sa parution. Il explore des domaines aussi variés que l’emploi, l’éducation, la politique, nos habitudes de consommation. Nous ne pouvons plus ignorer les dérives croissantes d’une industrie des données qui favorise les inégalités et continue d’échapper à tout contrôle. Voulons-nous que ces formules mathématiques décident à notre place ? C’est un débat essentiel, au cœur de la démocratie.
Ancienne analyste à Wall Street devenue une figure majeure de la lutte contre les dérives des algorithmes, Cathy O’Neil dévoile ces « armes de destruction mathématiques » qui se développent grâce à l’ultra-connexion.
Qui choisit votre université ? Qui vous accorde un crédit, une assurance, et sélectionne vos professeurs ? Qui influence votre vote aux élections ? Ce sont des formules mathématiques.
Ancienne analyste à Wall Street devenue une figure majeure de la lutte contre les dérives des algorithmes, Cathy O’Neil dévoile ces « armes de destruction mathématiques » qui se développent grâce à l’ultra-connexion et leur puissance de calcul exponentielle. Brillante mathématicienne, elle explique avec une simplicité percutante comment les algorithmes font le jeu du profit.
Cet ouvrage fait le tour du monde depuis sa parution. Il explore des domaines aussi variés que l’emploi, l’éducation, la politique, nos habitudes de consommation. Nous ne pouvons plus ignorer les dérives croissantes d’une industrie des données qui favorise les inégalités et continue d’échapper à tout contrôle. Voulons-nous que ces formules mathématiques décident à notre place ? C’est un débat essentiel, au cœur de la démocratie.
Ancienne analyste à Wall Street devenue une figure majeure de la lutte contre les dérives des algorithmes, Cathy O’Neil dévoile ces « armes de destruction mathématiques » qui se développent grâce à l’ultra-connexion.
📄 Extraits (32)
Un modèle créé à partir de données de substitution est bien plus aisé à duper. La raison est que ces données supplétives sont plus faciles à manipuler que la réalité complexe qu'elles représentent.
En n'incluant pas le coût des études dans la formule, c'est un peu comme si U.S. News avait tendu un chèque en blanc aux présidents d'université. On les enjoignait de maximiser leurs performances sur quinze aspects donnés, et la maîtrise des coûts n'en faisait pas partie. S'ils augmentaient leurs tarifs, ils dégageraient même davantage de ressources à réinjecter dans les domaines sur lesquels ils étaient évalués. Depuis, les frais de scolarité n'ont cessé de s'envoler. Entre 1985 et 2013, le coût des études supérieures a augmenté de plus de 500 %, près de quatre fois plus vite que l'inflation.
Dans un système où la tricherie tient lieu de norme, suivre les règles équivaut à un handicap. Demandez donc aux coureurs du Tour de France, battus à plate couture sept années d'affilée par Lance Armstrong et ses coéquipiers dopés. Dans un scénario pareil, le seul moyen de gagner consiste à acquérir un avantage et à s'assurer que d'autres n'en obtiennent pas un plus grand.
Le résultat, c'est un système éducatif qui favorise les privilégiés et qui dessert les élèves nécessiteux, fermant la porte à une grande majorité d'entre eux – et les poussant sur la voie de la pauvreté. Il accroît la fracture sociale. Néanmoins, ceux qui se fraient un chemin jusqu'à une université de haut niveau sont eux aussi perdants. Si l'on y réfléchit bien, le jeu des admissions dans l'enseignement supérieur, quoique lucratif pour certains, n'apporte pratiquement aucune valeur éducative. Cette mécanique complexe et stressante se borne à réordonner et à reclasser d'une nouvelle façon le même vivier de jeunes post-adolescents.
Ce ne sont que des pions, dans une course à l'armement qui se révèle de surcroît particulièrement nuisible.
Au lieu d'un classement, le ministère de l'Éducation a mis en ligne une grande masse de données. Les étudiants peuvent ainsi poser leurs propres questions sur les aspects qui comptent pour eux – notamment la taille des classes, le taux de diplômés et la dette moyenne en sortie d'études. [...] Le logiciel lui-même, à la manière d'un site de voyages en ligne, crée des modèles individuels à destination de chaque personne. Pensez donc : un système transparent, contrôlé par l'utilisateur, et individualisé... On pourrait appeler ça le contraire d'une ADM.
L'ADM d'U.S. News s'est nourrie de ces convictions, de ces peurs et de ces névroses. Elle a engendré de puissantes incitations qui ont poussé à la dépense, tandis qu'on fermait les yeux sur l'explosion des frais de scolarité. Lorsqu'elles se mettent dans l'optique de progresser au palmarès d'U.S. News, les universités gèrent leur population étudiante presque à la manière d'un portefeuille d'investissements.
Ce n'est pas le modèle lui-même qui pose problème, mais sa portée. Il contraint tout le monde à viser exactement les mêmes objectifs, générant de la sorte une compétition acharnée – et sans qu'on le veuille un grand nombre de conséquences nocives.
Si l'on assimile une ADM à une usine, l'iniquité correspond à la suie noire que vomissent ses cheminées. C'est une émission toxique. La question est de savoir si notre société serait prête à sacrifier un peu d'efficience dans l'intérêt de l'équité.
Pourquoi y a-t-il une plus grande probabilité pour que des prisonniers de couleur, originaires des quartiers pauvres, commettent des délits ? D'après les données fournies aux modèles de récidivisme, c'est parce qu'ils ont plus de chances d'être sans emploi, de ne pas avoir le bac, et d'avoir déjà eu affaire à la justice – au même titre que leurs amis. Une autre façon d'aborder les mêmes données consiste néanmoins à considérer que ces prisonniers habitent des quartiers déshérités, où les établissements scolaires sont de piètre qualité et qui ne leur offrent pas de grandes perspectives d'avenir.
Les hypothèses, admises sans discuter, soutient qu'une plus longue incarcération des prisonniers « à haut risque » rend la société plus sûre. S'il est exact, bien entendu, que les prisonniers ne commettent aucun délit lorsqu'ils se trouvent derrière les barreaux, leur séjour en détention ne risque-t-il pas d'influencer leur comportement une fois libérés ? Les années passées dans un environnement brutal, peuplé de criminels, n'auraient-elles pas plus de chances – et non moins – de les porter à commettre un nouveau méfait ?
Il se trouve qu'il a grandi dans un quartier pauvre et dangereux. Sur ce plan-là, il n'a pas eu de chance. Il a été entouré par la délinquance et nombre de ses relations sont tombées dedans. Et du fait en grande partie de ces circonstances – et non de ses propres actes –, il a été lui-même jugé dangereux. Désormais, la police le tient à l'œil. S'il commet une bêtise, comme le font régulièrement des millions d'autres Américains, s'il achète de la drogue, se bagarre dans un bar ou porte sur lui une arme de poing non déclarée, la justice ne lui fera aucun cadeau.
Dans ce système-là, on punit plus lourdement les pauvres et les gens de couleur, à cause de ce qu'ils sont et de l'endroit où ils vivent.
Au lieu d'analyser les prisons et de les optimiser, on les traite donc comme des boîtes noires. Les détenus y entrent et disparaissent de notre vue. Des choses sordides s'y déroulent certainement, mais à l'abri de murs épais. Que se passe-t-il dedans ? Inutile de demander. Les modèles actuels s'en tiennent obstinément à l'hypothèse douteuse et pourtant incontestée selon laquelle une détention plus longue des prisonniers supposés à risque nous assurerait une plus grande sécurité.
L'objectif premier du test, expliqua Roland Behm, n'est pas de dénicher le meilleur employé, mais d'exclure le plus de monde possible de la façon la plus économique.
Frank Schmidt, professeur de sciences commerciales à l'université de l'Iowa, a analysé un siècle de données sur la productivité en entreprise, afin de mesurer la valeur prédictive de divers procédés de sélection. Les tests de personnalité se sont classés en bas de l'échelle – leur capacité de prédiction n'excédait pas le tiers de celle des examens cognitifs, et ils se situaient également très en deçà d'une simple vérification des références.
Bien que Facebook puisse donner l'impression d'une place de village moderne, c'est l'entreprise qui détermine, en fonction de ses propres intérêts, ce que les gens voient et apprennent sur les pages de son réseau social. [...] Près de la moitié d'entre eux, selon un rapport du Pew Research Center, comptent sur Facebook pour fournir au moins une partie de leurs informations, ce qui nous amène à la question suivante : en ajustant son algorithme et en modelant les nouvelles que nous recevons, Facebook peut-il manipuler le système politique ?
Après comparaison des registres de vote, les chercheurs ont estimé qu'elle avait conduit 340 000 personnes de plus aux urnes. Une foule suffisante pour faire basculer des États entiers, si ce n'est même les scrutins nationaux. En 2000, après tout, George W. Bush ne l'avait emporté qu'avec 537 voix d'avance en Floride. De toute évidence, un unique algorithme mis en œuvre par Facebook un jour d'élection pouvait non seulement modifier l'équilibre du Congrès mais décider aussi du nom du président.
Mais quand le New York Times ou CNN couvrent une actualité, la différence est que tout le monde le voit. Leur décision éditoriale est parfaitement claire et assumée. Elle n'a rien d'opaque. Et les gens débattent ensuite (souvent sur Facebook) de son bien-fondé. Facebook ressemble davantage au monde du Magicien d'Oz : l'intervention des êtres humains est invisible. Lorsqu'on visite le site, on fait défiler les statuts postés par nos amis. La machine semble n'être qu'un intermédiaire neutre. Beaucoup de gens le croient encore.
Conclusion des chercheurs : 'Les états émotionnels peuvent se transmettre d'une personne à l'autre […] ce qui conduit les gens à éprouver à leur insu les mêmes émotions.' Les algorithmes de Facebook sont capables autrement dit d'agir sur le moral de millions de gens sans que ceux-ci ne s'en aperçoivent. Que se passerait-il s'ils jouaient avec leurs émotions un jour de scrutin ?
Dans ces nouveaux marchés politiques, nous représentons chacun une action cotée, dont le cours ne cesse de fluctuer. Et chaque équipe de campagne doit décider si elle souhaite investir sur nous, et comment. Si nous en valons la peine, elle doit ensuite non seulement choisir les informations qui nous seront fournies, mais aussi dans quelles quantités et par quels moyens elle entend les délivrer.
Ils peuvent à présent cibler des microgroupes de citoyens, pour solliciter aussi bien leur vote qu'un soutien financier, et appâter chacun à l'aide d'un message méticuleusement ajusté que personne d'autre n'est appelé à voir. Qu'il prenne la forme d'une bannière sur Facebook ou d'un e-mail pour une collecte de fonds, chaque message permet au candidat de vendre discrètement plusieurs versions de lui-même – sans que nul ne sache celle qui prendra les rênes après l'investiture.
En 2013, quand une chercheuse de l'université de l'Illinois, Karrie Karahalios, a réalisé un sondage sur l'algorithme de Facebook, elle a découvert que 62 % des gens n'avaient pas du tout conscience que l'entreprise intervenait dans le fil d'actualités. Ils étaient persuadés que le système partageait instantanément tout ce qu'ils postaient avec l'ensemble de leurs amis.
Ces résultats, ont-ils indiqué, avaient modifié les préférences de vote de 20 %. Si l'effet était si fort, c'est en partie parce que les gens font largement confiance aux moteurs de recherche. Selon un rapport du Pew Research Center, quelque 73 % des Américains pensent que les réponses qu'ils donnent sont à la fois exactes et impartiales.
Les processus algorithmiques reflètent au même titre que tout processus humain certaines valeurs et certains principes éthiques ; s'ils paraissent plus « propres », c'est uniquement parce qu'ils savent mieux le cacher.
De manière générale, les entreprises qui développent et déploient les algorithmes devraient être les premières à en répondre. Elles devraient assumer la responsabilité qu'implique leur influence et démontrer que leur activité ne cause aucun préjudice, tout comme les industriels de la chimie sont tenus d'apporter la preuve qu'ils ne polluent pas autour d'eux les cours d'eau et les nappes phréatiques.
L'équipe d'Angwin découvrit qu'il y avait deux fois plus de faux positifs chez les Noirs que chez les Blancs, et deux fois plus de faux négatifs chez les Blancs que chez les Noirs. Ce qui signifie que les Noirs avaient deux fois plus de chances de se voir attribuer un risque élevé sans pour autant retourner en prison, et les Blancs deux fois plus de chances d'être gratifiés d'un risque faible mais d'être en fin de compte à nouveau incarcérés dans les trois ans.
Comment le système pouvait-il être à la fois bien calibré et injuste ? On a là une situation classique, dans laquelle des points de vue différents conduisent à des définitions distinctes du succès : l'objectif primordial de Northpointe consistait à détecter les malfaiteurs aussi souvent et aussi précisément que possible, tandis que l'étude de ProPublica mettait en lumière les atteintes contre les droits individuels des personnes indûment accusées.
Reformulons la question de l'équité : au lieu de batailler sur l'indicateur à utiliser pour déterminer l'équité d'un algorithme, essayons plutôt d'identifier les parties concernées et de mesurer leur préjudice relatif.
Entre 2013 et 2015, par exemple, l'agence pour l'emploi du Michigan avait déployé un algorithme destructeur ironiquement baptisé Midas. Destiné à débusquer les demandes d'indemnités chômage frauduleuses, il s'était emballé et avait incriminé à tort plus de 20 000 personnes, avec plus de 93 % de faux positifs. Il avait ruiné l'existence de ces gens, en leur infligeant jusqu'à 100 000 dollars d'amende au moment précis où ils avaient le plus besoin d'argent.
Les algorithmes d'apprentissage automatique et d'intelligence artificielle n'intègrent pas une modélisation du monde capable de distinguer de façon fiable la vérité du mensonge. La technologie actuelle est extraordinairement performante dès qu'il s'agit de parcourir des univers clos, dotés de règles et de principes bien définis.
Aujourd'hui, des géants comme Google, Amazon et Facebook exercent une fantastique emprise sur la société parce qu'ils contrôlent les données. Ils engrangent de gigantesques profits, tout en laissant à d'autres la responsabilité de vérifier les faits.
💬 Citations (11)
Dans un système où la tricherie tient lieu de norme, suivre les règles équivaut à un handicap.
Un système transparent, contrôlé par l'utilisateur, et individualisé... On pourrait appeler ça le contraire d'une ADM.
Dans ce système-là, on punit plus lourdement les pauvres et les gens de couleur, à cause de ce qu'ils sont et de l'endroit où ils vivent.
L'objectif premier du test n'est pas de dénicher le meilleur employé, mais d'exclure le plus de monde possible de la façon la plus économique.
Si l'on assimile une ADM à une usine, l'iniquité correspond à la suie noire que vomissent ses cheminées. C'est une émission toxique.
Facebook ressemble davantage au monde du Magicien d'Oz : l'intervention des êtres humains est invisible. Lorsqu'on visite le site, on fait défiler les statuts postés par nos amis. La machine semble n'être qu'un intermédiaire neutre.
Dans ces nouveaux marchés politiques, nous représentons chacun une action cotée, dont le cours ne cesse de fluctuer.
Quand ce sont vos amis qui vous apportent le journal, cela génère des conséquences intéressantes.
Les processus algorithmiques reflètent au même titre que tout processus humain certaines valeurs et certains principes éthiques ; s'ils paraissent plus « propres », c'est uniquement parce qu'ils savent mieux le cacher.
Il faut cesser en bref de s'appuyer sur une foi aveugle et entreprendre enfin de conférer à la science des données un caractère réellement scientifique.
Nous n'aurons sans doute jamais une définition simple et universellement acceptée de ce qui caractérise un algorithme juste. Mais heureusement, nous en débattons enfin.
📝 Note interne
Traduit de l’anglais (États-Unis) par Sébastien Marty.
Les données que nous laissons chaque jour sur Internet nourrissent des modèles mathématiques. Éducation, emploi, crédit, vie amoureuse, nos habitudes sont codées. De nombreux algorithmes ont même modélisé nos préjugés ! Ces algorithmes contrôlent de plus en plus d'aspects de notre existence sans que nous le sachions. Les fondations de notre société sont insensiblement modifiées. Et cela ne fait que commencer !
Les données que nous laissons chaque jour sur Internet nourrissent des modèles mathématiques. Éducation, emploi, crédit, vie amoureuse, nos habitudes sont codées. De nombreux algorithmes ont même modélisé nos préjugés ! Ces algorithmes contrôlent de plus en plus d'aspects de notre existence sans que nous le sachions. Les fondations de notre société sont insensiblement modifiées. Et cela ne fait que commencer !