interweb interweb 2015-11-06 12:23
Никак не могу отследить, насколько сильно автодор грузит сервер во время генерации кеша. Иногда парсю 5 доров сразу - и норм. А иногда два дора вместе уже не дают серверу работать - выдает Internal Server Error. Хочется максимально быстро доры делать, а фиг...

Ответы:
Роман Питерский Роман Питерский #40505 2015-11-06 12:32
сколько в среднем у тебя занимает генерация новой страницы?

interweb interweb #40507 2015-11-06 12:37
Роман Питерский, не знаю. Страницы генерятся по 20 штук же, у меня примерно за 20 секунд все фреймы прогружаются. Но при этом сразу штук 10 загружаются, а потом постепенно остальные.

Mik Foxi Mik Foxi #40509 2015-11-06 12:50
я не кеширую вручную. мне и так норм. тогда и нагрузка распределена по времени не не заметна и дор наполняется типа постепенно. создавая видимость жизни и наполнения.

interweb interweb #40510 2015-11-06 12:56
Mik Foxi, то есть ты на поисковых ботов перекладываешь тяготы генерации кеша?) меня просто пугает немного стартовая страничка со списком ключей - и все)

Mik Foxi Mik Foxi #40517 2015-11-06 13:18
interweb, не пугайся )) да я кеи залил, в кросспостинг на пару часов rss ленту подключил или просто 10-15 ссылок в кросспостинг добавил вручную. Потом отключил и забыл. Боты сами все сделают. В основном первые приходят несколько разновидностей Бинга (собственно бинг и какаято херь msn с его же сетей) и Яхо. Они начинают первыми ходить все кешировать.

interweb interweb #40522 2015-11-06 13:44
Mik Foxi, удобно!) пусть роботы работают на людей, а не люди на роботов

Nostrum Nostrum #40531 2015-11-06 15:08
Mik Foxi, я их побанил, яхо-хренахо, и все еже сними. яхо вобще отмороженный какой-то бот , сервер валит. На мой взгляд банить всех нахер кроме гугла и яши ну майл еще хотя тоже оголтелый. если уметь их загонять, то от гугла и яши сервер виснит . Я не прав?

Mik Foxi Mik Foxi #40533 2015-11-06 15:52
Nostrum, ну лучше чтоб когда приходит более привередливый яндекс или гугл - чтоб часть страниц всетаки была закеширована и работала быстрее. Потому я перебанил многих, но яхо и бинга (и хз че за бесполезность msn) оставил, чтоб они подготавливали почву для яндекса и гугла.