Search by WMSN

Googlebot напал на один из сайтов с лямом страниц и по логам уже третьи сутки фигачит по 6-7 страниц в секунду. Нагрузка проца на VDS-ке за 10$ под 90%. Crawl-Delay ни хера не помогает.

Answers:

Ну значит скоро даст много трафа и бабла.

Crawl-Delay - для Яндекса, для Гугла в WMT надо добавлять и там указывать. Так что, терпи. Жди денег. )))

one, в вебмастере тоже чуток уменьшил, но там через 1-2 дня изменения вступают в силу.

страницы кешировать нужно сразу.

Inspector, тогда нет эффекта естественности появления страниц.