Robots.txt
Pomocí robots.txt lze výrazně omezovat procházení robotů, neboli crawlerů. I když soubor robots.txt není povinný, osobně jej doporučuji mít, abyste mohli řídit procházení crawlerů.
V tomto mini toolu získate informace o souboru robots.txt, respektive direktivy, které v tomto souboru jsou.
Stačí zadat URL hlavní stránky a tento nástroj robots.txt sám vyhledá.
Nástroj zobrazí direktivy v souboru robots.txt a případně i vyhledá sitemapu.
Tento nástroj otestuje průchodnost webu na základě direktiv v souboru robots.txt a ukáže, zda je konkrétní URL indexovatelná (na základě <meta name=“robots“ content=“noindex“>). Nástroj pracuje s vyhledávači Google a Bing.
