Kan man blokere AI-crawlere, og bør man?
Ja, I kan blokere dem i robots.txt, men vil I anbefales af AI i 2026, skal I tillade de crawlere, der henter indhold til svarene. Om I også vil lade jeres indhold bruge til træning af modeller, er et separat valg.
Crawlere til søgning og svar
Dem bør I tillade, hvis I vil nævnes i AI-svar:
- OAI-SearchBot (ChatGPTs søgning) og ChatGPT-User (når en bruger beder ChatGPT åbne en side).
- Claude-SearchBot (Claudes søgning) og Claude-User (når en bruger beder Claude åbne en side).
- PerplexityBot (Perplexity).
- Googlebot og Bingbot (Googles AI-svar, Gemini og Copilot bygger på deres indeks).
Crawlere til træning
- GPTBot (OpenAI), ClaudeBot (Anthropic) og Google-Extended (Gemini) styrer, om jeres indhold må bruges til at træne modeller.
- Blokerer I Google-Extended, påvirker det ikke Googles AI-svar i søgningen. De styres af Googlebot.
- For de fleste virksomheder, der gerne vil kendes og anbefales, er det en fordel at tillade dem.
Tjek jeres egen robots.txt
Åbn jeres-domæne.dk/robots.txt og se efter linjer med Disallow under de navne, der står her. Nogle hostingfirmaer og sikkerhedstjenester blokerer AI-crawlere som standard, så tjek også jeres firewall-indstillinger.
Vil I vide, hvor I står i dag?
Få et gratis AI-snapshot