список последних покупок гугла наводит на подозрения, что уже лет через десять поисковые боты гугла будут встречаться не только в интернете :-) И выкладыванием файла robots.txt от них уже не отделаешься
а это файл, который первым читают боты начинающие индексировать ресурс. там можно запретить индексировать от отдельных файлов и дирректорий и даже весь сайт
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
no subject
no subject
no subject