Documentation

User-agent: GPTBot
Disallow: /

User-agent: AnthropicAI
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: DeepMind
Disallow: /

User-agent: BingBot
Disallow: /ai-training/

User-agent: SemrushBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Sogou
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: FacebookExternalHit
Disallow: /

User-agent: Applebot
Disallow: /

User-agent: Twitterbot
Disallow: /

User-agent: *
Disallow: /private/
Disallow: /confidential/

Blocage des bots IA : Les principaux bots de TDM et IA générative sont interdits (Disallow: /).

Protection des fichiers sensibles : Empêche tous les bots (User-agent: *) d'accéder aux dossiers sensibles (/private/, /confidential/).

Large couverture : Inclut les bots d’analyse SEO et des grandes plateformes.

Attention ! Certains scrapers et crawlers peuvent ignorer le fichier robots.txt.

Pour une protection plus forte, envisage aussi d'ajouter des restrictions via les headers HTTP et de limiter l’accès aux API.