Accès des robots d’IA
Pour chaque robot connu (OAI-SearchBot, GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bingbot et une douzaine d’autres), l’outil lit robots.txt selon la norme RFC 9309 : permis ou bloqué. Il vérifie aussi les consignes noindex, nosnippet ou noai, puis si le serveur refuse les visites qui s’annoncent comme robot d’IA.