Как разместить Robots.txt на сайте
Разделы
- Все
- Блог 11
- Начало работы 10
- Интернет магазин 19
- Домены 10
- Заявки и заказы 5
- Продвижение сайтов 9
- Интеграции 27
- Повышение конверсии 4
- Тарифы и оплата 5
- Редактор конструктора 24
- Технические вопросы и частые ошибки 121
- Другие вопросы 13
- Создание сайтов 90
- Копирайтинг 35
- Интернет маркетинг 309
- Бизнес обучение 114
- Заработок в интернете 70
Robots.txt — это файл, который содержит ограничивающий действия поисковым системам. Он состоит из списка URL вашего сайта. После того, как вы разместите его на сайте, данные файла можно будет изменять вручную. Далее в видео вы можете увидеть подробную инструкцию о том, как создать файл robots.txt.
Как разместить файл Robots.txt на своем сайте
Для тех, кто все-таки желает знать как разместить файл Robots.txt на своем сайте, мы описали очередность действий:
- Перейдите в раздел "Проекты", далее - "Настройки".
- Откройте раздел SEO и прокрутите страницу вниз.
- Найдите robots.txt и пропишите там необходимые инструкции, активируйте галочку "Заменить robots.txt" и сохраните настройки.
Директивы, которые используются в файлах robots.txt
User-agent: Обязательная директива, в группе таких может быть несколько. Определяет, к какому поисковому роботу должны применяться правила.
Disallow: Указывает на каталог или страницу относительно корневого домена, которые нельзя сканировать агенту пользователя, определенному выше. Если это страница, должен быть указан полный путь к ней, как в адресной строке браузера.
Allow: Указывает на каталог или страницу относительно корневого домена, которые можно сканировать агенту пользователя, определенному выше.
Пример файла robots.txt:
Блокировать доступ робота Googlebot к каталогам example.com/directory1/... и example.com/directory2/...
# но разрешить доступ к каталогу directory2/subdirectory1/...
# Доступ ко всем остальным каталогам разрешен по умолчанию.User-agent: googlebot
Disallow: /directory1/
Disallow: /directory2/
Allow: /directory2/subdirectory1/# Блокировать доступ ко всему сайту другой поисковой системе.
User-agent: anothercrawler
Disallow: /
Пользователи также ищут:
- По времени как долгоTXT-запись добавляется?
- Можно узнать дату, когда включили файл robot.txt? - Этот код добавляется автоматически при созаднии сайтьа. Если вы увидели, что код изменился, то изменить его мог только сам пользователь или тот, у кого есть доступ к сайту
Рассказать друзьям: