Mme Cholka ignorait qu’un logiciel doté d’intelligence artificielle utilisé par le district scolaire de Neosho, au Missouri, suivait ce que Madi écrivait sur le portable fourni par l’école.
Durant la nuit, Madi avait texté une amie pour lui faire part de son intention de se suicider avec ses anxiolytiques. Une alerte avait sonné chez un responsable de l’école, qui avait appelé la police. Quand Mme Cholka et le policier ont trouvé Madi, elle avait déjà avalé une quinzaine de pilules. Ils l’ont tirée du lit et l’ont emmenée d’urgence à l’hôpital.
À 2100 km de là, vers minuit, le téléphone fixe a sonné dans une maison du comté de Fairfield, dans le Connecticut, mais les parents n’ont pas répondu à temps. Quinze minutes plus tard, trois policiers étaient à la porte : ils voulaient voir leur fille de 17 ans, car un logiciel de surveillance avait détecté un risque d’automutilation.
Ses parents l’ont réveillée et l’ont fait descendre au salon pour que les policiers puissent l’interroger sur une phrase qu’elle avait tapée sur son portable à l’école. Très vite, on a conclu que c’était une fausse alerte : c’était un extrait d’un poème qu’elle avait écrit des années auparavant. Mais la visite a ébranlé la jeune fille.
« Ç’a été une des pires expériences de sa vie », affirme sa mère, qui a demandé de ne pas être nommée pour pouvoir discuter de cet épisode « traumatisant » pour sa fille.
Parmi les technologies d’IA qui entrent dans les écoles américaines, peu soulèvent autant d’enjeux critiques que celles visant à prévenir l’automutilation et le suicide.
Ces logiciels se sont répandus durant la pandémie de COVID-19, après que beaucoup d’écoles ont fourni des ordinateurs portables aux élèves et basculé en virtuel.
Une loi américaine exige que ces ordinateurs soient munis de filtres pour bloquer certains contenus. Des entreprises de technologie éducative – GoGuardian, Gaggle, Lightspeed, Bark, Securly, entre autres – y ont vu l’occasion de s’attaquer aux comportements suicidaires et d’automutilation. Ils ont intégré des outils qui balaient ce que les élèves tapent et alertent l’école si ces derniers semblent envisager de se faire du mal.
Des millions d’élèves américains – près de la moitié, selon certaines estimations – font aujourd’hui l’objet d’une telle surveillance. Les détails sont divulgués aux parents une fois l’an, au moment de donner leur consentement.
La plupart des systèmes identifient des mots-clés ; des algorithmes ou un examen humain déterminent quels cas sont sérieux. Le jour, les élèves peuvent être retirés de la classe et soumis à un dépistage.
En dehors des heures de classe, si les parents ne peuvent être joints par téléphone, la police peut aller chez les élèves pour voir ce qui se passe.
On ne peut analyser la précision, les avantages et les désavantages de ces alertes : les données appartiennent aux entreprises technologiques ; les données sur chaque intervention qui suit et son résultat sont généralement conservées par les administrations scolaires.
Selon des parents et des membres du personnel scolaire, les alertes permettent parfois d’intervenir à des moments critiques. Le plus souvent, elles permettent d’offrir aux élèves en difficulté du soutien pour prévenir un passage à l’acte.
Cependant, les alertes peuvent avoir des conséquences imprévues, parfois néfastes. Les organismes de défense des droits estiment qu’il y a un risque pour la vie privée. On reproche aussi à ces systèmes de mettre inutilement les élèves en contact avec la police.
Quant aux bienfaits de cet outil pour la santé mentale, les avis sont partagés. Il y a beaucoup de faux positifs, ce qui fait perdre du temps au personnel et perturbe les élèves. Dans certains districts, les visites à domicile hors des heures scolaires ont suscité une telle controverse que les interventions se limitent désormais à la journée scolaire.
Mais dans certaines écoles, on souligne que ces logiciels aident dans une tâche très difficile : reconnaître à temps les enfants qui souffrent en silence. Talmage Clubbs, directeur des services d’orientation du district scolaire de Neosho, hésitait à éteindre le système, même pendant les vacances d’été, pour des raisons morales : « C’est difficile : si on l’éteint, quelqu’un peut mourir. »... Source