Kontrola súboru robots.txt online

Zistite, či sa váš web indexuje správne. Overíme dostupnosť súboru, direktívy Allow/Disallow, Sitemap, Host, Crawl-delay a odhalíme riziká.

„Kontrola prebieha na serveri a neukladáme vami zadané adresy.“

Čo presne kontrolujeme

• Dostupnosť robots.txt – HTTP stav, presmerovania, hlavičky, veľkosť.
• Parsovanie direktív – User-agent, Allow, Disallow, Crawl-delay, Sitemap, Host.
• Konflikty a riziká – úplný zákaz prechádzania, prázdne alebo podozrivé pravidlá, neštandardné cesty.
• Test konkrétneho URL – posúdenie „POVOLENÉ/ZAKÁZANÉ“ pre vybraný User-Agent.

Ako vyzerá správny robots.txt

User-agent: *
Disallow: /admin/
Allow: /admin/help/
Sitemap: https://example.com/sitemap.xml

Poznámky:

• Sitemap síce nie je povinná, ale odporúčaná – urýchľuje indexáciu.
• Pravidlá zapisujte ako cesty od koreňa (/cesta/...) a používajte * ako zástupný symbol, $ ako koniec reťazca.

Často kladené otázky

Ukladáte zadané adresy?
Nie. Adresa sa použije len na jednorazovú kontrolu na našom serveri.

Čo znamená „Zakázané všetko“ v reporte?
V robots.txt je Disallow: / bez kompenzačného Allow. Pre väčšinu robotov je to úplný zákaz prechádzania webu.

Je Sitemap v robots.txt povinná?
Nie je povinná, ale veľmi odporúčaná. Vyhľadávačom pomáha rýchlejšie nájsť stránky.

Prečo je súbor vyhodnotený ako prázdny?
Server vrátil prázdny obsah alebo nevhodný typ/HTTP chybu. Skontrolujte generovanie súboru, práva a konfiguráciu cache/CDN.

Ako otestujem konkrétnu stránku?
Vo formulári vyberte User-Agent (napr. Googlebot) a zadajte URL do poľa „Test URL“. Výsledok ukáže, či je povolená.

Potrebujete pomoc s úpravou robots.txt?

Pripravíme vám doporučenia na mieru podľa výsledku kontroly.

_{Kontrola prebieha na priamu žiadosť používateľa. Nerealizujeme hromadné skenovanie webov.}