Генерируйте файлы robots.txt визуально. Блокируйте ботов, задавайте правила обхода, добавляйте sitemap — с шаблонами для типичных настроек.
Tool UI component not found: dev/robots-txt
Об этом инструменте
Файл robots.txt указывает поисковым роботам, какие страницы сайта они могут и не могут индексировать. Он располагается в корневой директории сайта и проверяется любым добросовестным краулером перед индексацией контента.
Неправильно настроенный robots.txt может заблокировать Google от индексации всего сайта или случайно открыть доступ к админ-страницам. Этот генератор помогает создать корректный robots.txt с визуальным редактором — добавляйте правила для каждого бота, устанавливайте allow/disallow пути, указывайте URL sitemap и используйте готовые шаблоны.
Сгенерированный файл соответствует стандарту Robots Exclusion Protocol, поддерживаемому Google, Bing, Yandex и всеми основными поисковыми системами.
Как использовать
1. Начните с шаблона или создавайте с нуля
2. Добавьте группы user-agent — каждая группа для конкретного бота (или всех ботов со *)
3. Добавьте правила Allow и Disallow для каждой группы
4. Опционально установите Crawl-delay для ботов, которые его поддерживают
5. Добавьте URL вашего sitemap внизу
6. Скопируйте robots.txt и загрузите в корневую директорию сайта
Часто задаваемые вопросы
Куда положить файл robots.txt?
Файл robots.txt должен лежать в корневой директории сайта и быть доступен по адресу https://вашдомен.ru/robots.txt. В поддиректориях он работать не будет.
Блокирует ли robots.txt появление страниц в Google?
Не совсем. Robots.txt блокирует сканирование, а не индексацию. Если другие сайты ссылаются на заблокированную страницу, Google может показать её в результатах поиска (без сниппета). Для полной блокировки индексации используйте мета-тег 'noindex'.
Что означает 'User-agent: *'?
Звёздочка (*) — это маска, соответствующая всем краулерам. Правила под 'User-agent: *' применяются к каждому боту, для которого нет отдельной секции в файле.
Нужно ли блокировать AI-краулеры типа GPTBot?
Зависит от ваших предпочтений. Если не хотите, чтобы контент использовался для обучения AI, добавьте 'User-agent: GPTBot' с 'Disallow: /' для блокировки краулера OpenAI. Аналогичные правила есть для Google-Extended и CCBot.
Что такое Crawl-delay?
Crawl-delay указывает ботам ждать указанное количество секунд между запросами. Поддерживается Bing и Yandex, но игнорируется Google. Используйте, если агрессивный обход перегружает сервер.
Можно ли использовать wildcards в путях robots.txt?
Google и Bing поддерживают ограниченные маски: * соответствует любой последовательности символов, $ обозначает конец URL. Например, 'Disallow: /*.pdf$' блокирует все PDF-файлы. Не все боты поддерживают эти расширения.