Robots txt пример

Сам файл подлежит ручном доработке! Его стандартный вариант содержит директории со слешем в конце строки:


Disallow: / includes /
Disallow: / misc /
Disallow: / modules /

Иногда в индекс поисковиков попадают такие ссылки … / includes … / misc … / modules (без «/»), поэтому нужно забрать все слеши в конце названия каждой директории. В самом низу прописываем «host» с доменом без http:// и указываем «sitemap».

Примечание: User-agent * — это обращение к важнейшим ботов (YandexBot, Googlebot), которые заходят на эту страницу.

Что еще посмотреть

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Лимит времени истёк. Пожалуйста, перезагрузите CAPTCHA.