поисковые боты, говорите?

[brmail]

список последних покупок гугла наводит на подозрения, что уже лет через десять поисковые боты гугла будут встречаться не только в интернете :-) И выкладыванием файла robots.txt от них уже не отделаешься

Comments

[ny-quant.livejournal.com]

Что за файл?

[brmail]

а это файл, который первым читают боты начинающие индексировать ресурс. там можно запретить индексировать от отдельных файлов и дирректорий и даже весь сайт

[ny-quant.livejournal.com]

А боты - они такие законопослушные?

[brmail]

да, потому что если не случшаются, то на роутере просто можно заблокировать рендж ip откуда они ходят

[Лев Горенштейн (from livejournal.com)]

Общество развивается по спирали: вместо robots.txt вернемся обратно к табличкам "No trespassing" и "No soliciting" и Смит-Вессону (the original point-and-click interface, да ;-)

[brmail]