Как разместить Robots.txt на сайте
Разделы
- Все
- Блог 6
- Начало работы 9
- Интернет магазин 18
- Домены 12
- Заявки и заказы 6
- Продвижение сайтов 16
- Интеграции 27
- Повышение конверсии 3
- Тарифы и оплата 4
- Редактор конструктора 58
- Технические вопросы и частые ошибки 81
- Сервисы, приложения и технологии 873
- Создание сайтов 358
- Копирайтинг 107
- Маркетинг и реклама 548
- Продвижение и аналитика 169
- Социальные сети и мессенджеры 146
- Маркетплейсы и онлайн-продажи 116
- Нейросети и автоматизация 61
- Текстовые редакторы 253
- Бизнес, управление и обучение 640
- Дизайн, фото и визуальный контент 450
- Образование и карьера 98
- Заработок и финансы 232
- Общество и культура 91
- Продажи и клиенты 118
- Здоровье и тело 242
Robots.txt — это файл, который содержит ограничивающий действия поисковым системам. Он состоит из списка URL вашего сайта. После того, как вы разместите его на сайте, данные файла можно будет изменять вручную. Далее в видео вы можете увидеть подробную инструкцию о том, как создать файл robots.txt.
Как разместить файл Robots.txt на своем сайте
Для тех, кто все-таки желает знать как разместить файл Robots.txt на своем сайте, мы описали очередность действий:
- Перейдите в раздел "Проекты", далее - "Настройки".
- Откройте раздел "SEO, Robots, Sitemap" и прокрутите страницу вниз.
- Найдите robots.txt и пропишите там необходимые инструкции, активируйте кнопку "Заменить robots.txt" и сохраните настройки.

Директивы, которые используются в файлах robots.txt
User-agent: Обязательная директива, в группе таких может быть несколько. Определяет, к какому поисковому роботу должны применяться правила.
Disallow: Указывает на каталог или страницу относительно корневого домена, которые нельзя сканировать агенту пользователя, определенному выше. Если это страница, должен быть указан полный путь к ней, как в адресной строке браузера.
Allow: Указывает на каталог или страницу относительно корневого домена, которые можно сканировать агенту пользователя, определенному выше.
Пример файла robots.txt:
Блокировать доступ робота Googlebot к каталогам example.com/directory1/... и example.com/directory2/...
# но разрешить доступ к каталогу directory2/subdirectory1/...
# Доступ ко всем остальным каталогам разрешен по умолчанию.User-agent: googlebot
Disallow: /directory1/
Disallow: /directory2/
Allow: /directory2/subdirectory1/# Блокировать доступ ко всему сайту другой поисковой системе.
User-agent: anothercrawler
Disallow: /
Пользователи также ищут:
- По времени как долгоTXT-запись добавляется?
- Можно узнать дату, когда включили файл robot.txt? - Этот код добавляется автоматически при созаднии сайтьа. Если вы увидели, что код изменился, то изменить его мог только сам пользователь или тот, у кого есть доступ к сайту