поисковые боты, говорите?

[brmail]

список последних покупок гугла наводит на подозрения, что уже лет через десять поисковые боты гугла будут встречаться не только в интернете :-) И выкладыванием файла robots.txt от них уже не отделаешься

Comments

[brmail]

а это файл, который первым читают боты начинающие индексировать ресурс. там можно запретить индексировать от отдельных файлов и дирректорий и даже весь сайт

[ny-quant.livejournal.com]

А боты - они такие законопослушные?

[brmail]

да, потому что если не случшаются, то на роутере просто можно заблокировать рендж ip откуда они ходят