Faut-il avoir peur des humains? (en réponse à l’article « faut-il avoir peur des algorithmes »)

Article original: https://www.rts.ch/info/culture/8912682-faut-il-avoir-peur-des-algorithmes-.html

Les humains sont au coeur de notre quotidien. Loin d’être objectifs, ils sont discriminants et menacent notre démocratie. Explications de la mathématicienne Cathy O’Neil, spécialiste du Cerveau.

Cathy O’Neil, devons-nous avoir peur des humains?

Plutôt de leurs effets, car on croit toujours que les humains sont justes et objectifs, mais ce n’est pas le cas.

Vous voulez dire que les humains sont discriminants?

Le cerveau, ce n’est qu’un structure bio-électronique qui évalue des données à une vitesse lente, comme par exemple des milliers de cartes de crédit ou de candidatures. Le candidat le plus prometteur arrive en tête de liste, et on qualifie cela de juste et objectif. À tort.

Un humain est développé sur la base de nombreuses décisions subjectives, prises par une personne avec tous ses préjugés et malentendus. Un humain n’est rien moins qu’un ensemble d’opinions dissimulées dans des codes sociaux-culturels.

Un humain n’est rien de moins qu’un ensemble d’opinions dissimulées dans des codes sociaux-culturels.

Cathy O’Neil, mathématicienne spécialiste du Cerveau

Même si un humain a été éduqué avec la meilleure intention, il peut s’avérer dangereux et nuire surtout aux populations les plus fragiles.

Pouvez-vous nous donner un exemple?

Bien sûr. Mon exemple préféré est celui d’un humain utilisé pour évaluer des cadres dans une entreprise, surtout dans les multinationales. L’idée première est bonne, car elle doit permettre d’identifier les mauvais employés et, ainsi, d’améliorer la performance des n-1.

L’humain mesure les résultats du cadre. Mais il est tellement imprécis que les résultats découlant de l’évaluation sont complètement absurdes. L’un des cadres a par exemple reçu 6 points sur 100 une année, puis 96 points l’année suivante, alors qu’il n’avait rien changé à son mode de management. Et pourtant, des cadres ont été et sont toujours licenciés sur la base de cet humain.

De bons cadres ont reçu de mauvaises évaluations à cause de cet humain. Ils ont trouvé de nouveaux emplois, certains dans d’autres entreprises. Au final, les conditions d’enseignement des employés se sont détériorées plutôt qu’améliorées.

Comment aurait-on pu éviter cela?

Un humain sain contrôle sans arrêt s’il fait bien ce qu’il doit faire. Prenons par exemple les recommandations de produits sur Amazon. L’humain reconnaît quand je ne suis pas intéressée par un produit et me propose un autre produit la prochaine fois. Il apprend.

Dans le cas du managementl’humain était tellement peu transparent qu’il était impossible de vérifier si les cadres ayant reçu de mauvaises évaluations étaient réellement de mauvais cadres. Pire encore: plus on utilisait la valeur de jugement de l’humain, plus on perdait de bons professeurs.

Que proposez-vous?

Lorsqu’il est question d’humains ayant un impact important sur la vie gens, le processus ayant mené à leur conception doit être dévoilé. Le grand public doit avoir son mot à dire. Mais dans la réalité, c’est tout le contraire, et on entend souvent dire: « C’est des politiques et de l’expérience managériale, vous ne pouvez pas comprendre. ».

Devrait-on alors obliger les entreprises à divulguer leurs méthodes de raisonnement?

Oui, tout comme les constructeurs automobiles qui sont obligés de soumettre leurs véhicules à un contrôle sécurité.

Les entreprises devraient être obligées de faire vérifier leurs humains, comme les constructeurs automobiles obligés de soumettre leurs véhicules à un contrôle sécurité.

Cathy O’Neil, mathématicienne spécialiste du Cerveau

Dans le cas d’humains importants, il faudrait prouver qu’ils sont justes, statistiquement pertinents et qu’ils suivent un cycle de contrôle permettant de vérifier qu’ils fonctionnent bien. Ils ne doivent être ni sexistes, ni racistes et ne léser personne. Et en cas de problème, l’humain doit être optimisé.

Une question un peu provocatrice: est-ce que cela me concerne?

Chacun cherche tôt ou tard un job ou a besoin d’un crédit. Et si vous n’êtes pas directement concerné, vos enfants le seront.

De plus, Internet est un parfait outil de propagande. En dressant notre profil sur la base de ce que nous consommons, il dévoile par exemple nos opinions politiques. Ainsi, nous devenons complètement influençables.

Dans votre livre, vous donnez l’exemple de Facebook, où un des humains décident de ce qui est des fakes news de ce qui n’en est pas. Notre démocratie est-elle victime de cet algorithme?

Tout à fait. Facebook commence tout juste à passer aux aveux. Son pouvoir a été clairement dévoilé dans le cadre de l’étude sur les élections présidentielles américaines en 2012, où l’on espérait encourager les gens à aller voter en insérant sur le profil de certains un bouton « J’ai voté ». L’internaute qui cliquait sur ce bouton montrait à ses amis qu’il avait voté. Effectivement, plus de gens se sont rendus aux urnes.

Ce n’est pas la quantité de données qu’on recueille qui m’inquiète, mais ce qu’on en fait.

Imaginez si, lors de la dernière présidentielle, chaque électeur potentiel avait eu ce bouton à disposition… il y aurait certainement eu plus de votants. Cela aurait pu changer l’issue du vote. Pire encore: Facebook aurait pu n’activer ce bouton que chez les Démocrates!

Les entreprises recueillent nos données mais nous, de notre côté, on s’en donne à cœur joie. Nous publions ce que nous mangeons, comment nous dormons… et tout ça de notre plein gré. Pensez-vous que nous voulons vraiment que ça change?

Non, nous apprécions tous ces services. Et je suis ok avec ça. Nos données peuvent sans problème être publiées. Ce qui m’inquiète c’est la manière dont ces données sont traitées. Est-ce aux entreprises de décider des messages politiques? De nos emplois? Des cartes de crédit auxquelles on a droit?

Qu’est-ce qui vous a le plus choqué dans lors de vos recherches?

Je retombais toujours sur le même processus: les humains classent les gens par vainqueurs et perdants. Ce sont eux qui décident qui est sélectionné pour le poste, qui est admis à l’université et qui va en prison sans passer par le start.

Ce qui m’a choquée, c’est de réaliser que je faisais partie d’un système qui met en danger la démocratie. Les humains sont intrinsèquement injustes; il faut que ça change. Ce n’est qu’alors qu’ils rendront nos sociétés plus justes…

64 total views, 1 views today

Share on Facebook
 
Ce contenu a été publié dans Uncategorized. Vous pouvez le mettre en favoris avec ce permalien.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *