Search by WMSN

Никак не могу отследить, насколько сильно автодор грузит сервер во время генерации кеша. Иногда парсю 5 доров сразу - и норм. А иногда два дора вместе уже не дают серверу работать - выдает Internal Server Error. Хочется максимально быстро доры делать, а фиг...

Answers:

сколько в среднем у тебя занимает генерация новой страницы?

Роман Питерский, не знаю. Страницы генерятся по 20 штук же, у меня примерно за 20 секунд все фреймы прогружаются. Но при этом сразу штук 10 загружаются, а потом постепенно остальные.

я не кеширую вручную. мне и так норм. тогда и нагрузка распределена по времени не не заметна и дор наполняется типа постепенно. создавая видимость жизни и наполнения.

Mik Foxi, то есть ты на поисковых ботов перекладываешь тяготы генерации кеша?) меня просто пугает немного стартовая страничка со списком ключей - и все)

interweb, не пугайся )) да я кеи залил, в кросспостинг на пару часов rss ленту подключил или просто 10-15 ссылок в кросспостинг добавил вручную. Потом отключил и забыл. Боты сами все сделают. В основном первые приходят несколько разновидностей Бинга (собственно бинг и какаято херь msn с его же сетей) и Яхо. Они начинают первыми ходить все кешировать.

Mik Foxi, удобно!) пусть роботы работают на людей, а не люди на роботов

Mik Foxi, я их побанил, яхо-хренахо, и все еже сними. яхо вобще отмороженный какой-то бот , сервер валит. На мой взгляд банить всех нахер кроме гугла и яши ну майл еще хотя тоже оголтелый. если уметь их загонять, то от гугла и яши сервер виснит . Я не прав?

Nostrum, ну лучше чтоб когда приходит более привередливый яндекс или гугл - чтоб часть страниц всетаки была закеширована и работала быстрее. Потому я перебанил многих, но яхо и бинга (и хз че за бесполезность msn) оставил, чтоб они подготавливали почву для яндекса и гугла.