Search by WMSN

Наверное надо банить бинга и прочих залетных ботов. Сервера напрягаются от индексации. Боты начали нагоняться только кросспостингом. Сначала думал надо гнать их еще, теперь думаю как ограничить )))

Answers:

robots.txt для белых ботов.... craw-delay: 10;

doorwaymoney, Я craw-delay сделал для *, для яндекса и гугла свои правила без ограничений. Бингу и Яху пох на это.

нужен белый список, а то там шалупони всякой ходит валом.
у меня китайский baidu на пару с бингом создают нагрузку, а трафа с них ноль)

glukon, ну самые злостные и ненужные забанены давно.

Баню всех ботов кроме яшки и гугла для рушных доров, для английских подключаю яхо и бинг. 10% поехавших доров, приносят копеечный траф с бинга, вполне хватает чтобы держать один серв на грани окупаемости.

бинг хорошо понимает crawl-delay кстати сказать. только он не сразу реагирует, а через сутки примерно