AI crawlery (GPTBot, ClaudeBot, PerplexityBot)
Roboty AI firiem, ktoré sťahujú obsah webov pre tréning modelov a pre odpovede s webovým vyhľadávaním.
AI crawlery sú roboty, ktorými AI spoločnosti sťahujú webový obsah. Pre viditeľnosť v AI odpovediach sú kľúčové — ak ich zablokujete, AI váš obsah nevidí a nemôže vás citovať.
Najdôležitejšie AI crawlery:
- **GPTBot** (OpenAI) — tréning modelov GPT - **OAI-SearchBot** (OpenAI) — ChatGPT Search odpovede - **ClaudeBot** (Anthropic) — tréning modelov Claude - **PerplexityBot** (Perplexity) — index pre Perplexity odpovede - **Google-Extended** (Google) — tréning Gemini; blokovanie neovplyvní klasický Google index - **Bytespider, Amazonbot, cohere-ai** a ďalšie
Ako ich riadiť:
cez robots.txt — každý crawler má vlastný User-agent. Častá chyba SK/CZ e-shopov: plošné pravidlo Disallow, ktoré nechtiac blokuje aj AI crawlery, alebo hosting/CDN firewall, ktorý ich odmieta na sieťovej úrovni (robots.txt potom vôbec nerozhoduje).
Odporúčanie pre e-shopy:
AI crawlery povoliť — obchodný prínos viditeľnosti v AI odpovediach pre e-commerce výrazne prevyšuje riziká. Či máte crawlery správne povolené, skontroluje náš bezplatný validátor.