roter

Платон Шукин интересуется: «Добрый день! Меня зовут Платон Щукин, я представляю компанию Яндекс ...

Платон Шукин интересуется:

«Добрый день!
Меня зовут Платон Щукин, я представляю компанию Яндекс (поисковая система http://www.yandex.ru ). Я обращался к Вам несколько дней назад, но, увы, не получил ответ.
Наш индексирующий робот ежедневно скачивает миллионы страниц сайтов для того, чтобы они находились в результатах поиска и были видны пользователями поисковой системы. Мы заметили, что на вашем сервере находится большое количество ресурсов, страницы которых наш робот не может индексировать должным образом при текущей частоте запросов.
Нам бы хотелось увеличить количество обращений к вашим серверам, это позволит страницам сайтов быстрее индексироваться и появляться в результатах поиска.
Подскажите, возможно ли это? Если да, какая частота запросов (в секунду) была бы приемлема для вас и не вызывала проблем с доступностью серверов?
Заранее спасибо за Ваш ответ!»

Ответы:
roter roter #120683 2018-05-17 13:14
Яндекс запрашивает: можно ли поднять частоту сканирования Вашего сервера.
Сейчас он делает 9 запросов в секунду, но хотели бы добавить ещё 25 rps.

sidorka sidorka #120686 2018-05-17 13:20
120683 roter, я бы забанил его вообще.

Mik Foxi Mik Foxi #120689 2018-05-17 13:24
120683 roter, он хочет твои доры?

roter roter #120696 2018-05-17 14:03
120689 Mik Foxi, спрашиваешь разрешения быстрее индексить

handrila handrila #120707 2018-05-17 16:03
120696 roter, и на каком движке доры?