robots.txt
Материал из Википедии — свободной энциклопедии
robots.txt — файл ограничения доступа к содержимому роботам на http сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt).
Использование файла добровольно, стандарт был принят консенсусом 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.
Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.
Файл robots.txt может использоваться для указания расположения файла Sitemaps.
Содержание |
[править] Описание структуры
Файл состоит из записей. Записи разделяются одной или более пустых строк (признак конца строки символы CR,CR+LF, LF). Каждая запись содержит непустые строки следующего вида:
<field>:<optionalspace><value><optionalspace>
где field — это или User-agent или Disallow, а value — значение. optionalspace — необязательный пробел.
[править] Проверка синтаксиса
Для проверки синтаксиса и структуры файла robots.txt существует ряд специализированных on-line служб.
- Служба Яндекса (выполняет только проверку синтаксиса) (русск.)
- Google webmasters tools (позволяет проверить разрешения для каждой отдельной страницы) (русск.)
[править] Источники
- A Standard for Robot Exclusion (англ.)
- Как проверить файл robots.txt (русск.)
[править] Ссылки
- Robots.txt по-русски (русск.)
- Зачем нужен robots.txt (русск.)
- Спецификация robots.txt (русск.)
- Как правильно написать файл robots.txt? Советы и рекомендации. (русск.)
