Robots.txt
Tester
Введите содержимое вашего файла robots.txt, укажите поискового робота и проверьте список URL-адресов на доступность к индексированию.
Содержимое robots.txt
Результаты проверки
Как правильно использовать тестер robots.txt
Порядок правил
Поисковые системы парсят файл снизу вверх или сверху вниз, группируя правила по User-agent. Когда робот (например, Googlebot) заходит на ваш сайт, он ищет блок директив, созданный специально для него (например, User-agent: Googlebot). Если такого блока нет, он выполняет правила из глобального блока User-agent: *.
Специфичность директив
Если для одного URL совпадают несколько директив `Allow` и `Disallow`, приоритет отдается той директиве, у которой путь паттерна длиннее (содержит больше символов). Если длина правил совпадает, то Google обычно отдает приоритет директиве `Allow`.