Cette affaire révèle une zone grise terrifiante : OpenAI avait identifié Jesse Van Rootselaar comme utilisateur à risque en juin 2025, soit 8 mois avant qu'il tue 8 personnes dans une école du Canada. Une douzaine d'employés de la firme ont débattu pour savoir s'il fallait alerter les autorités. La direction a décidé que non, estimant que l'usage de ChatGPT ne franchissait pas le seuil d'un "plan crédible et imminent".
"Nous avons identifié de manière proactive un compte associé à cet individu via nos efforts de détection et de répression des abus, qui incluent des outils automatisés et des enquêtes humaines pour identifier les mauvais usages de nos modèles dans la promotion d'activités violentes"
— Porte-parole, Représentant officiel, OpenAI
L'entreprise défend sa politique restrictive d'alerte, craignant les "conséquences involontaires" d'un signalement trop large. On découvre ici une asymétrie fondamentale : les plateformes disposent d'une capacité de détection prédictive qu'elles n'osent pas utiliser par peur de la responsabilité légale. Résultat : la prévention reste dans les limbes entre innovation technologique et paralysie juridique, pendant que les tragédies se préparent dans l'ombre des algorithmes.
Points de vigilance
Risque de surveillance généralisée si les seuils d'alerte deviennent trop bas. Équilibre délicat entre prévention et respect de la vie privée.
Et maintenant ?
- 🤘 Créer des comités d'éthique tech-justice avec obligation de transparence
Alliance magistrats, psychologues criminels, ingénieurs IA et associations victimes pour définir des seuils d'alerte communs. Chaque plateforme devrait publier ses critères de signalement et statistiques annuelles d'alertes transmises vs retenues. Mécanisme : audits croisés entre plateformes sur les cas limites.
→ On saura que ça marche quand les plateformes publieront leurs matrices de décision d'alerte et leurs taux de faux positifs/négatifs dans des rapports de transparence standardisés.
- 💪 Exiger des entreprises tech leur politique de signalement avant adoption
Avant d'utiliser un service IA, demander explicitement leur politique de détection de violence et seuils d'alerte aux autorités. Créer une base collaborative des réponses obtenues pour comparer les approches. Effet levier : pression commerciale sur la transparence des politiques internes.
→ On saura que ça marche quand les entreprises tech incluront leurs critères de signalement dans leurs conditions d'utilisation plutôt que de les garder opaques.
- ✊ Organiser un retrait coordonné des services OpenAI par les institutions publiques
Coalition écoles, universités, administrations pour suspendre leurs abonnements ChatGPT Enterprise tant qu'OpenAI ne publiera pas ses critères précis de signalement aux autorités. Cibler le pilier 'clients institutionnels' qui représente une part croissante du chiffre d'affaires et de la légitimité sociale.
→ On saura que ça marche quand OpenAI publiera un rapport détaillé sur ses procédures internes de détection et d'escalade des contenus violents, avec métriques de performance.
8/10 : Score sur l'échelle des "5 piliers de la liberté", inspiré de l'ouvrage de Timothy Snyder
Damien Van Achter
Ces pistes ne sont pas des recettes toutes faites, mais des points d'entrée pour repenser nos systèmes numériques selon une logique de liberté positive : non pas limiter, mais augmenter nos capacités collectives d'action.
Si tu connais des exemples réels qui vont dans ce sens — ou des contre-exemples qui méritent d'être documentés — partage-les en commentaires et discutons-en ensemble sur Discord !
