SenSS

Идея генерации доров по крону (парсинг гугла) оказалась провальной - гоша на раз вычисляет мои ге...

Идея генерации доров по крону (парсинг гугла) оказалась провальной - гоша на раз вычисляет мои гениальные творения. Новые доры на засвеченных IP не лезут в индекс/не дают траф
Если есть идеи, как рандомизировать периодичность запросов - делитесь.

Ответы:
Vladimir Vladimir #57905 2016-07-08 23:19
На каком доргене и что конкретно имелось ввиду ? Я делаю ограничение на парсинг в автодоре новых кеев по времени, во избежание быстрого роста и рандомное добавление ключей с заданным интервалом.

SenSS SenSS #57907 2016-07-08 23:29
Vladimir, Thunder mod. Новые страницы генерируются по крону. Пробовал назначать задание каждому дору, пробовал генерить рандомно из списка (опять-же, по крону). Результат одинаково печален. Повторю - парсинг Гугла

Vladimir Vladimir #57908 2016-07-08 23:31
SenSS, ну поменяй поисковик)) раз он палит))

SenSS SenSS #57909 2016-07-08 23:32
Vladimir, гениально! Как я сам не додумался? Спасибо, бро!!!

Mik Foxi Mik Foxi #57918 2016-07-09 07:35
Ты парсишь снипеты гугла?

SenSS SenSS #57920 2016-07-09 09:29
Mik Foxi, да

Mik Foxi Mik Foxi #57921 2016-07-09 09:34
SenSS, с таким же успехом можно парсить снипеты бинга, он хоть не банит за активный парсинг.

SenSS SenSS #57922 2016-07-09 09:50
Mik Foxi, это почти так, но не так. По некоторым причинам предпочтителен именно гугл. Есть нормальные идеи, как рандомизировать паузу между запросами? А то мне на ум приходит такое, что самому смешно

Mik Foxi Mik Foxi #57923 2016-07-09 09:58
SenSS, если ты будешь парсить гугла с другого ip - ситуация не улучшится. Он тебе капчу при парсинге не выдает?

SenSS SenSS #57924 2016-07-09 10:10
Mik Foxi, нет, конечно! Не парсил-бы гугл, если б он мне загадки загадывал))