Robots.txt - это файл, в котором необходимо прописать рекомендации действий для роботов поисковых систем - это могут быть разрешения или запреты на определенные переходы по Вашему сайту
Правильная настройка robots.txt позволит закрыть от индексации, например, технические страницы, страницы фильтров и поиска.
После того, как сформируете этот файл, его необходимо будет проверить на ошибки. Сделать это можно с помощью инструментов поисковых систем:⠀
Google Search Console > Сканирование > Инструмент проверки файла robots.txt;
Яндекс.Вебмастер > Инструменты > Анализ robots.txt