Mik Foxi

Наверное надо банить бинга и прочих залетных ботов. Сервера напрягаются от индексации. Боты начал...

Наверное надо банить бинга и прочих залетных ботов. Сервера напрягаются от индексации. Боты начали нагоняться только кросспостингом. Сначала думал надо гнать их еще, теперь думаю как ограничить )))

Ответы:
doorwaymoney doorwaymoney #61305 2016-08-19 12:52
robots.txt для белых ботов.... craw-delay: 10;

Mik Foxi Mik Foxi #61306 2016-08-19 13:10
doorwaymoney, Я craw-delay сделал для *, для яндекса и гугла свои правила без ограничений. Бингу и Яху пох на это.

glukon glukon #61309 2016-08-19 13:25
нужен белый список, а то там шалупони всякой ходит валом. у меня китайский baidu на пару с бингом создают нагрузку, а трафа с них ноль)

Mik Foxi Mik Foxi #61311 2016-08-19 13:39
glukon, ну самые злостные и ненужные забанены давно.

Ded Ded #61312 2016-08-19 13:42
Баню всех ботов кроме яшки и гугла для рушных доров, для английских подключаю яхо и бинг. 10% поехавших доров, приносят копеечный траф с бинга, вполне хватает чтобы держать один серв на грани окупаемости.

axxxl axxxl #61335 2016-08-19 19:47
бинг хорошо понимает crawl-delay кстати сказать. только он не сразу реагирует, а через сутки примерно