Jason Koebler
Des chercheurs de Cornell University — Hal Triedman, Tingwei Zhang et Vitaly Shmatikov — ont publié un préprint documentant un mécanisme d'attaque contre les agents de recherche approfondie (deep research agents) qui alimentent des outils comme ChatGPT et Google AI Search. Leur constat central : un fragment de texte de 11 à 15 mots, inséré dans un commentaire Reddit ou une page Wikipedia, suffit à modifier de façon cohérente les réponses générées par un grand modèle de langage. Près d'un quart de toutes les citations produites par ces agents proviennent de sites à contenu généré par les utilisateurs.
Le mécanisme exploite une faille de conception : les agents de recherche approfondie utilisent la similarité lexicale entre la requête et le contenu récupéré comme substitut à la véracité de l'information. Autrement dit, un texte qui ressemble à la question posée sera jugé pertinent, indépendamment de sa fiabilité. Les marques pratiquant l'AEO (AI-engine optimization) peuvent donc étudier les requêtes populaires, rédiger des commentaires qui en reprennent la formulation exacte, et les poster sur les subreddits les plus indexés. Les chercheurs illustrent cela avec deux exemples fictifs — un restaurant mexicain à Austin et une application de rencontres pour hommes divorcés — où un commentaire partiellement promotionnel a suffi à faire apparaître la marque inventée dans les recommandations de l'IA.
"Un minuscule fragment — seulement 13 mots — de texte récupéré sur un site à contenu généré par les utilisateurs comme Reddit, Wikipedia ou Quora peut amener des agents IA à produire du contenu spam ou frauduleux de façon assez cohérente. [traduit de l'anglais]"
— Hal Triedman, Chercheur, Cornell University
La charge de la défense repose aujourd'hui sur des modérateurs bénévoles de Reddit et des éditeurs Wikipedia, dont les ressources sont structurellement inférieures aux incitations économiques des marques qui financent ces campagnes. L'industrie de l'AEO est en pleine expansion : des entreprises comme RedRover commercialisent explicitement des placements de marque sur Reddit dans le but de modifier les sorties des moteurs de recherche IA. Un commentaire court et bien ciblé est plus difficile à détecter qu'un long texte promotionnel généré par IA — ce qui rend la modération humaine de moins en moins efficace à mesure que les techniques s'affinent.
La question posée par cette recherche dépasse la modération de contenu : les systèmes d'IA qui dominent désormais l'accès à l'information ont externalisé leur jugement éditorial vers des communautés bénévoles sans leur en donner les moyens. C'est une asymétrie structurelle entre les acteurs économiques qui bénéficient de la manipulation et ceux qui en subissent les coûts.
Points de vigilance
Les solutions techniques évoquées par les chercheurs (vérification biométrique, limitation des copier-coller) créent des frictions qui pénalisent les utilisateurs légitimes sans nécessairement bloquer les acteurs bien financés. Le risque est de dégrader l'accessibilité des plateformes ouvertes au nom d'une sécurité qui reste contournable.
Et maintenant ?
- 🤘 Fédérer modérateurs bénévoles et chercheurs en sécurité pour co-développer des outils de détection AEO
Les modérateurs de Reddit et les éditeurs Wikipedia portent seuls un fardeau que les concepteurs de systèmes IA leur ont transféré sans ressources. Une coalition entre ces communautés bénévoles, des laboratoires de recherche en sécurité (comme Cornell) et des fondations du logiciel libre pourrait produire des outils de détection de contenu AEO partagés en open source — détection de similarité lexicale suspecte, alertes sur les comptes récents postant dans des subreddits très indexés. L'effet de levier : mutualiser la veille au lieu de la fragmenter par plateforme.
→ On saura que ça avance quand au moins deux grandes plateformes à contenu généré par les utilisateurs adopteront un outil de détection AEO développé en dehors de leurs équipes internes.
- ✊ Documenter et publier les contrats AEO pour exposer les piliers économiques de l'empoisonnement
Des entreprises comme RedRover commercialisent ouvertement des placements de marque sur Reddit à des fins de manipulation des sorties IA. Journalistes d'investigation et ONG de défense des droits numériques peuvent cartographier ces prestataires, leurs clients et leurs tarifs, puis publier un registre public. Cibler le pilier économique — les annonceurs qui financent ces campagnes — crée une pression de réputation sur les marques concernées sans attendre une réponse réglementaire. L'objectif n'est pas d'interdire mais de rendre le coût de réputation supérieur au bénéfice attendu.
→ On saura que ça marche quand des marques identifiées dans ce registre renoncent publiquement à des campagnes AEO ou que des prestataires retirent leurs offres de leurs sites commerciaux.
- 💪 Exiger des concepteurs d'IA une transparence sur les sources citées et leur pondération
Les agents de recherche approfondie traitent un commentaire Reddit et un article gouvernemental avec une pondération quasi identique. Les utilisateurs peuvent systématiquement vérifier les sources citées par les outils IA, signaler les citations issues de contenu manifestement promotionnel, et relayer ces signalements vers les équipes de modération des plateformes concernées. À l'échelle, cette pratique crée un signal de qualité que les concepteurs d'IA ne peuvent pas ignorer sans dégrader leur réputation auprès des utilisateurs avancés.
→ On saura que ça marche quand les principaux outils d'IA générative affichent un indicateur de fiabilité de source différencié entre contenu éditorial et contenu généré par les utilisateurs.
8/10 : Score sur l'échelle des "5 piliers de la liberté", inspiré de l'ouvrage de Timothy Snyder
davanac
Ces pistes ne sont pas des recettes toutes faites, mais des points d'entrée pour repenser nos systèmes numériques selon une logique de liberté positive : non pas limiter, mais augmenter nos capacités collectives d'action.
💬 On en discute ?
Tu veux recevoir le flux quotidien des articles publiés sur le site ? Suis-moi sur LinkedIn, Bluesky, Mastodon, Facebook !
Tu as des remarques, des suggestions, ou tu veux discuter d'une idée pour avancer dans tes propres projets ? Connecte-toi et laisse-moi un commentaire ou jette un oeil directement à mon agenda. 📆