AI crawlery (GPTBot, ClaudeBot, PerplexityBot)
Roboty AI firiem, ktoré sťahujú obsah webov pre tréning modelov a pre odpovede s webovým vyhľadávaním.
AI crawlery sú roboty, ktorými AI spoločnosti sťahujú webový obsah. Pre viditeľnosť v AI odpovediach sú kľúčové — ak ich zablokujete, AI váš obsah nevidí a nemôže vás citovať.
Najdôležitejšie AI crawlery:
- GPTBot (OpenAI) — tréning modelov GPT
- OAI-SearchBot (OpenAI) — ChatGPT Search odpovede
- ClaudeBot (Anthropic) — tréning modelov Claude
- PerplexityBot (Perplexity) — index pre Perplexity odpovede
- Google-Extended (Google) — tréning Gemini; blokovanie neovplyvní klasický Google index
- Bytespider, Amazonbot, cohere-ai a ďalšie
Ako ich riadiť: cez robots.txt — každý crawler má vlastný User-agent. Častá chyba SK/CZ e-shopov: plošné pravidlo Disallow, ktoré nechtiac blokuje aj AI crawlery, alebo hosting/CDN firewall, ktorý ich odmieta na sieťovej úrovni (robots.txt potom vôbec nerozhoduje).
Odporúčanie pre e-shopy: AI crawlery povoliť — obchodný prínos viditeľnosti v AI odpovediach pre e-commerce výrazne prevyšuje riziká. Či máte crawlery správne povolené, skontroluje náš bezplatný validátor.