Как разместить Robots.txt на сайте

Дата публикации: 27-09-2018       1965

Robots.txt — это файл, который содержит ограничивающий действия поисковым системам. Он состоит из списка URL вашего сайта. После того, как вы разместите его на сайте, данные файла можно будет изменять вручную. Далее в видео вы можете увидеть подробную инструкцию о том, как создать файл robots.txt.

ВНИМАНИЕ! Файл robots необходим тем пользователям, которые хотели бы скрыть какую-либо информацию (тексты, картинки, видео и т. д.) от поисковых систем. Обычным пользователям ничего менять и прописывать не нужно!

Как разместить файл Robots.txt на своем сайте

Для тех, кто все-таки желает знать как разместить файл Robots.txt на своем сайте, мы описали очередность действий:

  1. Перейдите в раздел "Проекты", далее - "Настройки".
  2. Откройте раздел SEO и прокрутите страницу вниз.
  3. Найдите robots.txt и пропишите там необходимые инструкции, активируйте галочку "Заменить robots.txt" и сохраните настройки.

Директивы, которые используются в файлах robots.txt

User-agent: Обязательная директива, в группе таких может быть несколько. Определяет, к какому поисковому роботу должны применяться правила.

Disallow: Указывает на каталог или страницу относительно корневого домена, которые нельзя сканировать агенту пользователя, определенному выше. Если это страница, должен быть указан полный путь к ней, как в адресной строке браузера.

Allow: Указывает на каталог или страницу относительно корневого домена, которые можно сканировать агенту пользователя, определенному выше.

Пример файла robots.txt:

Блокировать доступ робота Googlebot к каталогам example.com/directory1/... и example.com/directory2/...

# но разрешить доступ к каталогу directory2/subdirectory1/...
# Доступ ко всем остальным каталогам разрешен по умолчанию.

User-agent: googlebot
Disallow: /directory1/
Disallow: /directory2/
Allow: /directory2/subdirectory1/

# Блокировать доступ ко всему сайту другой поисковой системе.

User-agent: anothercrawler
Disallow: /

Рассказать друзьям:

Cделайте первый шаг

Выберите готовый шаблон из более 1500+ бесплатных и премиум вариантов.

ШАБЛОНЫ САЙТОВ
Написать в техническую поддержку