robots.txt pre AI crawlery: čo blokovať a čo povoliť v roku 2026

TL;DR

Váš robots.txt môže byť dôvod, prečo vás ChatGPT, Gemini a Perplexity nevidí. 34 % slovenských e-shopov má AI crawlery zablokované — buď zámerne (mylnou snahou ochrany pred scrapingom) alebo omylom (staré šablóny robotov z éry pred ChatGPT). Tento článok obsahuje kompletný zoznam AI crawlerov a hotový robots.txt template, ktorý môžete použiť priamo.

---

Prečo je robots.txt kľúčový pre AI viditeľnosť

Súbor robots.txt na adrese vaseshop.sk/robots.txt hovorí webovým crawlerom, ktoré časti webu smú indexovať. Pôvodne bol určený pre Google, Bing a iné klasické vyhľadávače. Od roku 2023 do toho vstúpili AI crawlery — GPTBot (OpenAI), Google-Extended (Gemini), PerplexityBot (Perplexity) a ďalší.

Ak váš robots.txt blokuje AI crawlery, výsledok je jednoznačný: AI vyhľadávač o vás nevie a nemôže vás odporučiť. Nezobrazíte sa v ChatGPT odpovediach, Google AI Overviews ani Perplexity — bez ohľadu na to, ako dobrý obsah alebo schema.org markup máte.

Kompletný zoznam AI crawlerov v roku 2026

Pre rok 2026 sú kritické prvé tri: GPTBot, Google-Extended a PerplexityBot. ClaudeBot a Facebook Bot sú rastúce, ale zatiaľ s menším dosahom na e-commerce.

Ako skontrolovať váš aktuálny robots.txt

1. Otvorte prehliadač a choďte na https://vaseshop.sk/robots.txt
2. Hľadajte sekcie začínajúce User-agent: GPTBot, User-agent: Google-Extended, User-agent: PerplexityBot
3. Ak tieto sekcie chýbajú — AI crawlery majú prístup (predvolené správanie, dobré)
4. Ak nájdete Disallow: / pod týmito User-agent hlavičkami — ste zablokovaní

Príklad problematického robots.txt:

# ❌ Toto blokuje ChatGPT (OpenAI):
User-agent: GPTBot
Disallow: /

# ❌ Toto blokuje Gemini + AI Overviews:
User-agent: Google-Extended
Disallow: /

# ❌ Toto blokuje Perplexity:
User-agent: PerplexityBot
Disallow: /

Odporúčaný robots.txt pre slovenský e-shop

Toto je template, ktorý odporúčame pre e-shopy, ktoré chcú maximálnu AI viditeľnosť:

# ===========================================
# robots.txt — VášEshop.sk
# Aktualizované: apríl 2026
# ===========================================

# --- Klasické vyhľadávače ---
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /checkout/
Disallow: /cart/
Disallow: /account/
Disallow: /search?

User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /checkout/
Disallow: /cart/
Disallow: /account/

# --- AI crawlery — POVOLENÉ ---
User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: Diffbot
Allow: /

User-agent: FacebookBot
Allow: /

# --- Neznáme / škodlivé crawlery ---
# (pridajte ak zaznamenávate nadmerné zaťaženie servera)
# User-agent: SemrushBot
# Crawl-delay: 10

# User-agent: AhrefsBot
# Crawl-delay: 10

# --- Sitemap ---
Sitemap: https://www.vaseshop.sk/sitemap.xml
Sitemap: https://www.vaseshop.sk/sitemap-products.xml
Sitemap: https://www.vaseshop.sk/sitemap-categories.xml

Čo blokovať — aj keď povolíte AI crawlery

Aj s otvoreným prístupom pre AI crawlery by ste mali blokovať tieto sekcie (platí pre všetky crawlery vrátane AI):

Disallow: /admin/          # Administračné rozhranie
Disallow: /checkout/       # Platobný proces
Disallow: /cart/           # Košík — dynamický obsah bez hodnoty
Disallow: /account/        # Zákaznícke konto
Disallow: /search?         # Vyhľadávacie výsledky (duplikátny obsah)
Disallow: /compare/        # Porovnávač produktov (dynamické URL)
Disallow: /wishlist/       # Zoznamy želaní
Disallow: /*.pdf$          # Interné PDF dokumenty (ak ich nechcete indexovať)

Granulárne riadenie AI crawlerov

Nechcete AI crawlery pustiť na celý web, ale len na produktové stránky? Toto je možné:

# GPTBot má prístup len na produkty a kategórie:
User-agent: GPTBot
Allow: /products/
Allow: /categories/
Allow: /blog/
Disallow: /

Táto konfigurácia povolí ChatGPT indexovať produkty a blog, ale nie napríklad FAQ stránky zamestnancov alebo interné dokumenty.

Mýtus: blokovanie AI crawlerov chráni obsah pred scrapingom

Najčastejší dôvod, prečo e-shopy blokujú AI crawlery: strach, že AI „ukradne" obsah a bude ho používať na trénovanie modelov.

Pravda je komplikovanejšia:

1. AI tréning vs. AI search sú rôzne veci. GPTBot primárne používa obsah pre ChatGPT Search (real-time vyhľadávanie), nie nevyhnutne pre tréning budúcich modelov.

2. OpenAI ponúka separátne opt-out pre tréning. Cez privacy.openai.com môžete požiadať o vylúčenie vášho obsahu z tréningových dát bez toho, aby ste blokovali ChatGPT Search.

3. Blokovanie vás poškodí viac ako scraping. Ak blokujete GPTBot, ChatGPT vás nebude odporúčať zákazníkom. To je oveľa väčšia obchodná škoda ako hypotetické použitie vášho obsahu v tréningu.

Po zmene robots.txt — čo ďalej

Po úprave robots.txt:

1. Počkajte 1–2 týždne — AI crawlery potrebujú čas na opätovné navštívenie webu
2. Skontrolujte Google Search Console — sekcia „Crawl stats" ukáže, či Googlebot (a Google-Extended) pravidelne navštevuje váš web
3. Sledujte AI viditeľnosť — cez Pozorio AI uvidíte, či sa vaša viditeľnosť v ChatGPT a Gemini po zmene zlepšila

Záver

robots.txt je päťminútová oprava, ktorá môže výrazne zmeniť vašu AI viditeľnosť. Skontrolujte ho teraz — je na vaseshop.sk/robots.txt. Ak tam nájdete zablokovaný GPTBot alebo Google-Extended, opravte to ešte dnes.

Chcete vedieť, či vás ChatGPT a Gemini vôbec vidia? Bezplatný audit na pozorio.sk to zistí za 60 sekúnd.