Search by WMSN

Кто что знает про moreover.com? Что одно делает? Почему оно ползает по свежеиспеченным дорам? #дорвеи

Answers:

Херня. Но пусть ползает, кеш генерит.

Mik Foxi, да оно как чума бегает....

one, напишите ему Crawl-delay: 5 или 10, и пусть ползает

shurik0, в плане нагрузки проблем нет. Просто ползает по дорам как ужаленный.