Search by WMSN

Идея генерации доров по крону (парсинг гугла) оказалась провальной - гоша на раз вычисляет мои гениальные творения. Новые доры на засвеченных IP не лезут в индекс/не дают траф Если есть идеи, как рандомизировать периодичность запросов - делитесь.

Answers:

На каком доргене и что конкретно имелось ввиду ? Я делаю ограничение на парсинг в автодоре новых кеев по времени, во избежание быстрого роста и рандомное добавление ключей с заданным интервалом.

Vladimir, Thunder mod. Новые страницы генерируются по крону. Пробовал назначать задание каждому дору, пробовал генерить рандомно из списка (опять-же, по крону). Результат одинаково печален. Повторю - парсинг Гугла

SenSS, ну поменяй поисковик)) раз он палит))

Vladimir, гениально! Как я сам не додумался? Спасибо, бро!!!

Ты парсишь снипеты гугла?

Mik Foxi, да

SenSS, с таким же успехом можно парсить снипеты бинга, он хоть не банит за активный парсинг.

Mik Foxi, это почти так, но не так. По некоторым причинам предпочтителен именно гугл. Есть нормальные идеи, как рандомизировать паузу между запросами? А то мне на ум приходит такое, что самому смешно

SenSS, если ты будешь парсить гугла с другого ip - ситуация не улучшится. Он тебе капчу при парсинге не выдает?

Mik Foxi, нет, конечно! Не парсил-бы гугл, если б он мне загадки загадывал))