Que s'est-il passé lorsque les humains ont arrêté de gérer le contenu des médias sociaux – POLITICO

Que s'est-il passé lorsque les humains ont arrêté de gérer le contenu des médias sociaux – POLITICO

21 octobre 2020 0 Par Village FSE

Cet article fait partie d'un rapport spécial, The Essential Tech Worker.

Personne n'a apprécié les modérateurs de contenu jusqu'à leur départ.

Alors que la pandémie de coronavirus balayait le monde, les géants des médias sociaux comme Facebook, Google et Twitter ont fait ce que d'autres entreprises ont fait. Ils ont renvoyé des travailleurs chez eux – y compris des dizaines de milliers de personnes chargées de fouiller dans des montagnes de matériel en ligne et d'éliminer les contenus haineux, illégaux et sexuellement explicites.

À leur place, les entreprises se sont tournées vers des algorithmes pour faire le travail. Cela ne s'est pas bien passé.

L'expérience COVID représentait un baptême du feu dans le monde réel pour quelque chose dont les entreprises de médias sociaux rêvaient depuis longtemps: utiliser des outils d'apprentissage automatique et de l'intelligence artificielle – pas des humains – pour contrôler les postes sur leurs plates-formes.

Lorsque les géants des réseaux sociaux ont annoncé les changements, ils ont reconnu que les algorithmes pourraient avoir du mal à faire la distinction entre le contenu légitime et illégitime. Et en effet, les effets ont été presque immédiats.

Bien que beaucoup plus de contenus aient été signalés et supprimés pour avoir prétendument enfreint les règles des entreprises sur ce qui pouvait être publié en ligne, dans certaines zones, du matériel dangereux et peut-être illégal était plus susceptible de passer devant les machines.

Facebook et Google ont environ doublé la quantité de matériel potentiellement dangereux qu'ils ont supprimé au deuxième trimestre de cette année par rapport aux trois mois jusqu'en mars, selon les derniers rapports de transparence des entreprises. Twitter n'a pas encore fourni de chiffres pour 2020.

En Syrie, où les militants et les journalistes s'appuient sur les médias sociaux pour documenter les crimes de guerre potentiels, des dizaines de comptes d'activistes ont été fermés du jour au lendemain – souvent sans droit de faire appel de ces décisions. D'autres contenus, y compris des articles de presse et des informations sur la santé liés au coronavirus, a été nettoyé de la même manière à partir d'Internet lorsque les machines ont commencé à fonctionner.

Et pourtant, de nombreux articles douteux sont restés intacts. En France, les militants qui luttent contre le racisme et l'antisémitisme ont remarqué une augmentation de plus de 40% des discours de haine sur Twitter. Moins de 12% de ces messages ont été supprimés, ont indiqué les groupes.

Dans d'autres domaines très médiatisés, comme l'exploitation des enfants et l'automutilation, le nombre de renvois a chuté d'au moins 40% au deuxième trimestre de 2020 en raison d'un manque d'humains pour faire des appels durs sur ce qui a enfreint les règles des plates-formes, selon le rapport de transparence de Facebook.

«Tout a changé avec COVID», a déclaré Jeff Deutch, chercheur aux archives syriennes, une organisation qui aide à documenter les atrocités dans les pays déchirés par la guerre du monde entier, souvent sur les réseaux sociaux. «C'était inquiétant. Nous pensions que nous revenions aux problèmes que nous avions vus auparavant en 2017, lorsque les plates-formes ont supprimé du contenu, par prudence, qu'elles croyaient glorifier le terrorisme.

Les résultats de cette expérience impromptue – menée à grande échelle, sans avertir les utilisateurs – soulèvent des questions profondes sur ce qu'il advient de la liberté d'expression lorsque des arbitres humains sont sortis de l'équation et que les algorithmes deviennent les juges finaux de ce qui est et n'est pas. approprié pour poster.

Cela renforce également une vérité très non numérique: même les algorithmes les plus sophistiqués et les outils d'apprentissage automatique ne peuvent toujours pas reproduire la puissance de calcul d'une armée de modérateurs de contenu humain.

«Il est très difficile d'automatiser certaines choses», a déclaré Joris von Hoboken, professeur de droit à la Vrije Universiteit Brussels qui a co-écrit une étude récente sur l'utilisation de l'intelligence artificielle pour contrôler le matériel en ligne. « Une grande partie de ce que nous voyons en ligne est basée sur le contexte. Il y a de sérieux problèmes de transparence et de responsabilité quand on compte sur les machines plutôt que sur les humains pour prendre ces décisions. »

L'impact du COVID-19

Avant que la pandémie mondiale n'oblige les géants de la technologie à renvoyer chez eux leurs modérateurs de contenu, plus de 30000 personnes – souvent des travailleurs mal payés dans des endroits comme Berlin et Austin, au Texas – ont passé des heures à regarder certains des pires contenus que l'on puisse trouver sur le plus grand réseau social du monde. réseaux.

Facebook, Google et Twitter, presque à l'unisson, ont annoncé leur passage à l'automatisation à la mi-mars.

Il y a eu une réaction douce-amère parmi beaucoup de ceux qui se sont retrouvés temporairement sans emploi, selon trois modérateurs de contenu actuels et anciens qui se sont entretenus avec POLITICO sous couvert d'anonymat parce qu'ils ne voulaient pas compromettre leurs positions actuelles ou avaient signé des accords non pour parler publiquement de leurs travaux antérieurs.

Les modérateurs de contenu sur les réseaux sociaux examinent des milliers de publications explicites chaque jour et reçoivent peu de soutien mental pour gérer les images graphiques qu'ils doivent contrôler. Selon Tarleton Gillespie, qui travaille chez Microsoft Research, une unité de recherche indépendante de la société de technologie, leurs décisions sont ensuite injectées dans les outils d'apprentissage automatique des entreprises, qui nécessitent de vastes ensembles de données sur les décisions de suppression.

Un modérateur de contenu a déclaré à POLITICO que la pause d'un mois était un soulagement bienvenu pour ce qu'il considérait comme un «travail éreintant».

Les géants de la technologie ont initialement déclaré que les modérateurs de contenu ne pouvaient pas travailler à domicile en raison des préoccupations concernant la manière dont les données des personnes pourraient être traitées – bien que Facebook permette désormais à certains modérateurs de consulter le matériel à distance, à l'exception du matériel le plus explicite. Google a déclaré qu'il ferait de même, mais n'a pas donné de détails sur la façon dont.

Le modérateur a déclaré que l'expérience non planifiée confirmait également quelque chose que de nombreux entrepreneurs soupçonnaient déjà – que les examinateurs de contenu humain ne faisaient pas que des appels sur un contenu douteux; ils formaient les machines qui devaient éventuellement les remplacer.

« Cela a simplement accéléré quelque chose que beaucoup d'entre nous ont vu venir », a déclaré le modérateur. «Nous ne sommes là que jusqu'à ce que les outils d'IA puissent rattraper leur retard.»

Pour l'instant, ces outils restent tout sauf parfaits.

YouTube de Google, par exemple, a supprimé 11,4 millions de vidéos au deuxième trimestre, contre 6 millions de vidéos au cours des trois mois jusqu'en mars, sur la base des derniers enregistrements de l'entreprise. Le nombre d'appels réussis – lorsque les créateurs de contenu pensaient que leurs vidéos avaient été supprimées de manière incorrecte – a également quadruplé, pour atteindre 160000 vidéos, au cours de la même période.

« L'examen humain est essentiel pour nous », a déclaré à POLITICO Marco Pancini, directeur des politiques publiques de YouTube pour l'Europe, le Moyen-Orient et l'Afrique.

Il est « non seulement nécessaire de former nos systèmes d'apprentissage automatique, mais cela sert également de contrôle fournissant des commentaires qui améliorent la précision de nos systèmes au fil du temps », a ajouté Pancini.

Facebook a rapporté des chiffres similaires, le nombre de suppressions signalées comme discours de haine sur sa plate-forme principale ayant plus que doublé pour atteindre 22,5 millions au deuxième trimestre 2020, selon les données du réseau social. L'augmentation est en partie due au fait que la société a étendu ses outils de modération de contenu aux publications en langue non anglaise. Pendant ce temps, le nombre d'appels de contenu réussis n'était que de 12 600, une baisse significative par rapport au chiffre de 2,3 millions pour les trois premiers mois de l'année.

Les appels pour annuler des décisions incorrectes ont également pris plus de temps ou, dans certains cas, n'ont pas été traités du tout en raison de l'absence de personnes pour les gérer, selon le dernier rapport de transparence de l'entreprise.

Cela représente un «recul» des droits des personnes qui publient du contenu en ligne, a déclaré Jillian York, directrice de la liberté d'expression internationale à l'Electronic Frontier Foundation, un groupe à but non lucratif.

«Avant la pandémie, les gens recevaient des avis sur les interdictions et les violations», a-t-elle ajouté. «Nous faisions plus de progrès. Je crains que nous ne soyons revenus à il y a 10 ans.»

Stephen Turner, directeur européen des politiques publiques chez Twitter, a déclaré dans un communiqué que la société avait élargi sa définition de ce qui constitue un contenu préjudiciable en réponse à la crise du COVID-19. La société publiera des chiffres sur la quantité de contenu que ses machines ont jusqu'à présent retirée plus tard cette année.

Les géants des médias sociaux sont de plus en plus conscients du fait qu'il ne sera peut-être jamais possible d'automatiser complètement les décisions sur des contenus douteux, en particulier lorsque il s'agit d'appels difficiles qui nécessitent des connaissances locales ou des indices culturels.

« L'application du contenu n'est pas une approche ni l'un ni l'autre, où nous utilisons soit des critiques humains, soit de l'intelligence artificielle », a déclaré Guy Rosen, vice-président de l'intégrité de Facebook, aux journalistes en août. « Les systèmes sophistiqués ont besoin à la fois de personnes et de technologie. »

Automatisez d'abord, puis légiférez

Les faux pas dans la modération du contenu au cours des six derniers mois ne sont pas passés inaperçus par les décideurs politiques à Bruxelles et à Washington, qui poussent les géants de la technologie à assumer une plus grande responsabilité pour les informations illégales, haineuses et fausses.

Depuis 2018, les responsables de l'Union européenne et des États-Unis ont commencé à poser des questions de plus en plus difficiles sur la manière dont les géants de la technologie gèrent le contenu en ligne. Certains dirigeants de la technologie, comme le directeur de Facebook, Mark Zuckerberg, ont doublé la technologie, promettant que des algorithmes sophistiqués et des outils d'apprentissage automatique non encore prouvés pourront mettre un terme aux contenus nuisibles, sexuellement explicites et faux.

Les entreprises de médias sociaux avaient déjà été critiquées pour avoir utilisé l'automatisation pour supprimer les publications et les vidéos qui enfreignaient les règles mondiales sur les droits d'auteur. Lors du lobbying acharné autour des récentes réformes du droit d'auteur de l'UE, les militants s'étaient opposés à ce qu'ils appelaient des «machines à censurer».

L'espoir était d'utiliser des tactiques similaires dans des domaines plus complexes de modération de contenu – un sujet particulièrement épineux alors que les responsables européens et américains poussent à de nouvelles règles pour forcer les entreprises à assumer plus de responsabilités pour ce qui est publié en ligne.

Les décideurs prennent déjà note de la manière dont les entreprises ont utilisé l'automatisation. Un document interne consulté par POLITICO – préparé pour la loi européenne sur les services numériques, une série de propositions attendues en décembre pour mettre à jour la manière dont le contenu en ligne est traité – a averti que l'utilisation de machines par les entreprises pourrait entraîner des erreurs dans la gestion des publications sur les réseaux sociaux.

Les responsables envisagent également d’accroître la transparence sur la manière dont les géants de la technologie prennent des décisions sur ce qui doit être supprimé de leurs plates-formes, y compris autour des algorithmes qui décident de ce qui apparaît dans les flux de médias sociaux des gens.

Les événements des six derniers mois ont seulement mis en évidence la nécessité d'une modération humaine et de règles claires – plutôt que d'algorithmes opaques – sur le type de contenu à supprimer, a déclaré Dia Kayyali, responsable du programme pour la technologie et le plaidoyer chez Witness, une organisation à but non lucratif. qui aide les gens à utiliser la vidéo et la technologie pour protéger et défendre les droits humains.

Le groupe de Kayyali, ainsi que des dizaines de groupes et d'universitaires, ont envoyé une lettre ouverte aux sociétés de médias sociaux en avril pour les implorer de conserver des informations détaillées sur la manière dont elles ont décidé de supprimer automatiquement le contenu.

« En 2020, avec l'état actuel de l'automatisation, il est très important que les humains fassent de la modération de contenu », a déclaré Kayyali. «Lorsqu'ils ne sont pas impliqués, comme nous l'avons vu au cours des six derniers mois, nous avons constaté une augmentation massive des retraits».

Cet article fait partie de POLITICOCouverture de la police premium Tech: Pro Technology. Notre journalisme spécialisé et notre suite d'outils de renseignement politique vous permettent de rechercher, suivre et comprendre en toute transparence les développements et les parties prenantes qui façonnent la politique technologique de l'UE et conduisent les décisions ayant un impact sur votre secteur. Email (email protégé) avec le code «TECH» pour un essai gratuit.