Robots.txt
Z Wikipedie, otevřené encyklopedie
Robots.txt je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu.
Obsah |
[editovat] Příklady
Uvedením následujícího textu v souboru robots.txt lze zakázat indexování všech vyhledávačů:
User-agent: * Disallow: /
Následující příklad zakáže všem robotům, aby indexovali obsah složek /cgi-bin, /images, /tmp a /private:
User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /tmp/ Disallow: /private/
Zakázaní googlbotu indexovat vše v adresáři /en:
User-Agent: Googlebot Disallow: /en/
[editovat] Alternativy
[editovat] HTML tagy
Zakázat indexování lze i vložením následujícího HTML kódu mezi tzv. metatagy:
<meta name="robots" content="noindex,nofollow" />
