Googlebot напал на один из сайтов с лямом страниц и по логам уже третьи сутки фигачит по 6-7 страниц в секунду. Нагрузка проца на VDS-ке за 10$ под 90%. Crawl-Delay ни хера не помогает.

Answers:
Комментарии доступны только авторизованным пользователям.
Войти на сайт.