а это файл, который первым читают боты начинающие индексировать ресурс. там можно запретить индексировать от отдельных файлов и дирректорий и даже весь сайт