Для чего нужен файл robots.txt

Доступный файл robots.txt еще не гарантирует, что Ваш сайт быстро и правильно будет проиндексирован поисковыми системами.

Во-первых, убедитесь, что Вы правильно назначили все правила и не запретили какой-либо важный контент для индексирования. Проверьте запрещенные для индексирования ресурсы.

Во-вторых, чтобы обеспечить быструю индексацию самых важных страниц, проверьте доступность файла xml.sitemap.

Файл Robots.txt автоматически сканируется роботами тогда, когда они заходят на Ваш сайт. Этот файл должен содержать команды роботам, например, какие страницы сайта нужно или не нужно индексировать. Он должен быть хорошо отформатирован для того, чтобы убедиться, что поисковые системы смогут его просканировать и прочесть.

Если Вы хотите закрыть от индексирования какое-то содержимое (например, станицы с личной или дублирующейся информацией), просто используйте соответствующее правило в файле robots.txt.


Помните, что команды, содержащиеся в файле robots.txt, являются больше рекомендациями, а не беспрекословными правилами для роботов. Нет никакой гарантии того, что непослушные роботы не станут проверять содержимое, которое Вы запретили. Поэтому, если на Вашем сайте есть какая-то секретная или конфиденциальная информация, то robots.txt не является гарантированным способом сокрытия её от общего доступа.

Возврат к списку