Ce qu’une intelligence artificielle voit réellement de votre site internet

Un commerçant nous contacte parce qu’il n’apparaît jamais dans les réponses de ChatGPT alors qu’il est bien placé sur Google. Son site est propre, récent, correctement balisé. Son fichier robots.txt est irréprochable : aucune ligne suspecte, aucun robot refusé. Il l’a vérifié lui-même avant de nous appeler.

Le blocage n’est pas dans le site. Il est devant. Son hébergement passe par un réseau de diffusion de contenu, un CDN, qui filtre le trafic avant qu’il n’atteigne le serveur. Une option de protection contre les robots d’IA y était active. Les crawlers d’OpenAI, d’Anthropic et de Perplexity recevaient une erreur 403 en périphérie de réseau, sans jamais voir une seule ligne du site.

C’est ce qui rend ce cas si difficile à repérer. Le propriétaire contrôle ce qu’il sait contrôler, son fichier robots.txt, et il est parfait. Le refus vient d’une couche qu’il n’a jamais paramétrée, souvent activée par défaut lors d’une mise à jour de l’offre, sans notification.

L’ampleur du phénomène est documentée. Sur les mille premiers sites mondiaux, environ un quart refuse explicitement le robot d’OpenAI dans son fichier robots.txt. Mais à l’échelle du réseau Cloudflare, qui protège une part considérable du web, la proportion de sites inaccessibles à ce même robot approche la moitié. L’écart entre ces deux chiffres, ce sont les sites bloqués sans le savoir. Une analyse publiée en 2026 estime qu’environ 27 % des sites e-commerce et B2B refusent des crawlers d’IA majeurs au niveau du CDN alors que leur robots.txt est correct.

Les conséquences se mesurent vite. Un site média français ayant activé sans le savoir une protection de ce type en janvier 2026 a vu ses citations dans ChatGPT et Perplexity tomber à zéro pendant six semaines, alors qu’il en obtenait trente à quarante par mois.

Une variante plus classique existe : certaines configurations de sécurité ajoutent directement des règles de refus dans le fichier robots.txt, avec les noms des robots d’IA. Elle est plus rare aujourd’hui, et surtout plus facile à détecter, puisqu’elle se lit à l’œil nu.

Dans les deux cas, le problème n’est pas la protection en elle-même. Refuser les robots d’IA est un choix parfaitement légitime, notamment pour un contenu payant ou très propriétaire. Chaque éditeur documente d’ailleurs publiquement son robot, comme GPTBot chez OpenAI ou Google-Extended chez Google. Le problème, c’est de subir ce choix sans l’avoir pris. Nous vérifions ce point sur les deux couches, réseau et fichier, dans chacun de nos audits de site web. Il ressort positif bien plus souvent qu’on ne l’imagine.

Un organisme de formation, site soigné, identité visuelle irréprochable. À l’écran, tout est là : le nom, la ville, les certifications, les coordonnées. Dans le code source, presque rien. Le nom de l’entreprise n’apparaît que dans le logo, un fichier image sans texte alternatif descriptif. La ville figure uniquement dans une capture Google Maps. Les certifications sont des pictogrammes alignés en pied de page. Le cas est fréquent sur les sites réalisés par un graphiste sans reprise éditoriale, et il touche aussi bien un site vitrine qu’une boutique en ligne.

Un modèle qui parcourt cette page apprend qu’il existe un organisme de formation quelque part en France. Il ne peut ni le nommer, ni le situer, ni vérifier ses agréments. Il ne le citera donc jamais, parce qu’une citation suppose de pouvoir écrire un nom.

C’est la différence de fond entre le référencement classique et la visibilité IA. Google indexe une page et la classe. Un moteur génératif doit nommer une entité. Si votre entreprise n’est pas une entité lisible, elle n’est pas citable, quelle que soit la qualité de vos contenus.

Remettre cette entreprise dans le champ de vision des modèles suppose de reconstruire son identité lisible : sortir chaque preuve du visuel, la formuler en texte, puis décrire l’organisation dans un balisage structuré cohérent sur l’ensemble du site. Ce n’est pas un réglage isolé, c’est un travail d’architecture qui touche le modèle de données du site. C’est le cœur de notre prestation de référencement IA, et la raison pour laquelle elle se traite à l’échelle du site et non page par page.

Une boutique en ligne, quatre-vingts avis clients affichés en page d’accueil, des fiches produits détaillées réparties dans des onglets, une FAQ complète en accordéon. La page est riche. Rechargez-la sans JavaScript : les avis disparaissent, les onglets ne gardent que le premier, la FAQ ne montre plus que les questions.

C’est exactement ce que reçoit une part importante des robots d’IA, qui récupèrent le HTML sans exécuter le JavaScript. La page paraît complète à l’écran et arrive presque vide à destination. Les éléments perdus sont précisément ceux qui font la preuve : les avis, les détails techniques, les réponses aux questions. Le comportement varie d’un moteur à l’autre, mais la règle prudente reste la même : ce qui n’est pas dans le HTML initial est considéré comme perdu.

Le cas des avis clients est le plus dommageable. Une entreprise avec un long historique d’avis dispose d’un actif que ses concurrents n’ont pas. Chargé côté client depuis un service tiers, cet actif est invisible pour les moteurs génératifs. Rendu côté serveur, il devient une matière que les modèles reprennent directement dans leurs réponses.

La correction ne consiste pas à supprimer les onglets ni les accordéons : bien construits, ils restent parfaitement compatibles. Elle consiste à changer le moment où le contenu arrive dans la page. C’est un chantier technique, qui dépend du thème, des extensions et de la source des avis, et qui se traite lors d’une refonte ou d’une intervention ciblée sur le site existant.