Robots.txt

Robots.txt – файл, который используют для настройки индексации. С помощью него можно закрыть какую-то страницу от поисковых машин или наоборот ускорить ее индексацию.