Un algorithme ne doit pas décider de l’avenir d’un élève – POLITICO

Un algorithme ne doit pas décider de l’avenir d’un élève – POLITICO

13 août 2020 0 Par Village FSE

Appuyez sur play pour écouter cet article

Hye Jung Han est chercheur sur les droits des enfants et défenseur de Human Rights Watch.

Passer à une pandémie mondiale n'allait jamais être facile.

Mais pour certains dans la classe de COVID-19 au lycée, leur avenir académique était encore plus compromis par un algorithme prédictif qui leur attribuait des notes finales sans explication ni moyen de réparation significative.

C’est le dernier exemple de la manière dont les décisions qui affectent la vie des gens sont dangereusement prises par des calculs impénétrables – et c’est un exemple qui soulève des questions sur les droits des enfants au regard de la loi sur la protection des données de l’Union européenne.

Les systèmes éducatifs européens ont eu du mal cette année à déterminer les notes finales les plus importantes des élèves. Mais un système, le Baccalauréat International («IB») – un programme de lycée très apprécié par les universités européennes et proposé par des écoles publiques et privées dans 152 pays – a fait quelque chose d'inhabituel.

Substituer une approche mathématique au jugement humain ne le rend pas automatiquement juste.

Après avoir annulé les examens finaux, qui représentent la majorité de la note d'un élève de l'IB, la fondation genevoise du même nom a construit à la hâte un algorithme qui utilisait les résultats des cours d'un élève, prédit les notes des enseignants et les résultats historiques de l'IB de leur école pour deviner quels élèves auraient pu obtenir un score s'ils avaient passé leurs examens au cours d'une année hypothétique sans pandémie. Le résultat de l’algorithme est devenu la note finale de l’élève.

Les résultats ont été catastrophiques. Peu de temps après la publication des notes, de graves disparités sont apparues entre les notes attendues en fonction des performances antérieures d'un élève et celles attribuées par l'algorithme. Les admissions des étudiants de l’IB à l’université étant subordonnées à leurs notes finales, les notes étonnamment faibles générées pour certains ont entraîné la révocation des bourses et des offres d’admission.

Des directeurs de Grande-Bretagne, de Hong Kong, d’Inde, de Finlande et de Norvège ont protesté contre les notes anormales de leurs élèves. Près de 25 000 parents, élèves et enseignants ont demandé à l'IB «d'adopter une approche différente avec leur algorithme de notation et de le rendre plus juste».

L'IB a justifié l'utilisation de l'algorithme comme «l'approche la plus juste que nous puissions adopter pour tous nos élèves». Mais substituer une approche mathématique au jugement humain ne le rend pas automatiquement juste. Les algorithmes, en fait, sont construits par des personnes, leurs résultats étant façonnés par les expériences vécues et les croyances de leurs créateurs.

En effet, d'autres commissions d'examen – y compris celles de l'Écosse et du Royaume-Uni – ont également été critiquées pour avoir déployé des systèmes statistiques qui pourraient être biaisés contre les enfants défavorisés et issus de minorités, ce qui a incité le premier ministre écossais Nicola Sturgeon à s'excuser officiellement. L'Écosse a fait marche arrière cette semaine, supprimant les rétrogradations de quelque 75 000 élèves.

Des milliers d'étudiants ont également été expulsés à tort et de force du Royaume-Uni l'année dernière sur la base d'une évaluation algorithmique erronée de leurs examens de maîtrise de l'anglais.

L'affirmation de l'IB et d'autres commissions d'examen selon laquelle l'avenir d'un enfant peut être déterminé à partir de larges schémas de notation historiques au lieu de ses réalisations individuelles est fondamentalement en contradiction avec le principe selon lequel l'éducation peut ouvrir des portes aux opportunités, sur la base d'une reconnaissance égale des mérites et du potentiel de chaque enfant. .

Les élèves qui ont eu du mal à surmonter de faibles attentes et un contexte difficile savent que leur vie ne peut pas être facilement capturée, quantifiée ou même identifiée par un algorithme. Pire encore, ils seraient probablement négligés par un algorithme au profit de la moyenne.

L’algorithme de l’IB a rendu son jugement en utilisant des données qui reposaient principalement sur des facteurs contextuels en dehors des performances des élèves. Sa dépendance aux données historiques des écoles – en utilisant les tendances des anciens élèves pour deviner comment un seul élève aurait pu réussir – risquait d’être injuste pour les élèves atypiques, comme les élèves très performants dans les écoles historiquement peu performantes.

Étant donné que 94 écoles nouvellement arrivées à l'IB ne disposaient pas de suffisamment de données, les notes de leurs élèves ont été ajustées pour correspondre aux performances passées des élèves de autre écoles, qui peuvent avoir connu des circonstances différentes. Et l’utilisation «active» par l’IB des notes prédites par les enseignants était déroutante, faute d’explication sur la manière dont elle atténuerait les inexactitudes systémiques reconnues.

Pour aggraver les choses, pour les étudiants qui cherchent à contester leurs résultats, il est difficile de le faire. L’IB a refusé d’expliquer ou de reproduire ses calculs pour les notes des élèves, ce qui les a empêchés de contester efficacement les notes qui leur avaient été attribuées.

C'est fondamentalement injuste – et contraire au droit européen.

L'IB avait des alternatives. Il aurait pu utiliser les résultats scolaires réels des élèves et être noté sur une courbe généreuse.

Lorsque des décisions importantes – comme les notes qui peuvent façonner les opportunités d’un enfant dans la vie – sont calculées au moyen de processus entièrement automatisés, il est essentiel d’expliquer clairement les résultats pour permettre aux élèves de contester ou de corriger des décisions incorrectes.

Le règlement général européen sur la protection des données (RGPD) protège ce droit à une explication; le gouvernement norvégien a déterminé que la procédure de l’IB était «injuste» en vertu de cette loi et a l’intention d’ordonner à l’IB de refaire les notes «inexactes».

L'IB était incontestablement confronté à une situation sans précédent, et toute alternative à l'attribution des notes finales aurait été une évaluation imparfaite. Mais en définissant étroitement son problème comme l'attribution de notes comme s'il s'agissait d'une année normale, il n'a pas reconnu l'iniquité inhérente à la notation des étudiants comme si leur vie n'avait pas été bouleversée par une pandémie mondiale.

Des lycéens attendent pendant l'examen du baccalauréat au lycée J. F. Kennedy de Rome | Tiziana Fabi / AFP via Getty Images

L'IB avait des alternatives. Au lieu de cela, il aurait pu utiliser les résultats scolaires réels des élèves et les noter sur une courbe généreuse. Il aurait pu intégrer les notes des tests pratiques, la modération par un tiers pour minimiser les biais de notation et les évaluations générales des enseignants sur les progrès des élèves.

Il aurait pu s’engager avec les universités sur la prise en compte flexible des notes finales dans les décisions d’admission de cette année, alors que les universités envisagent d’ouvrir leurs classes désormais virtuelles à davantage d’étudiants pour remplacer les revenus perdus.

Il semble de plus en plus que le plus grand potentiel de la puissance promise par les données prédictives réside dans le domaine de l'utilisation abusive.

Pour les finissants de cette année, qui ont déjà répondu avec grâce et résilience au cours de leur dernière année d’école, l’automatisation de leurs capacités et de leur potentiel est un aperçu injuste et indésirable du monde dans lequel ils sont diplômés.