Search by WMSN

Кэшируете ли Вы дорвеи? Дело в том, что столкнулся с такой темой - 5-7к доменов в сутки делаю и понимаю, что нереально закэшировать такое количество.

Answers:

Боты приходят и кэшируют )

Антон Клонов, но не в таком количестве же))

помиДОР, в смысле, не в таком количестве? ботов на всех хватит... короче, не кешируй. постепенно оно само все закешируется. домены фрином?

Ничего не надо кешировать. Линкуй доры и все само боты сделают.

interweb, домены, да фрином. Просто смотрю в день по 5-7 страниц оявляется, где-то по 100 страниц. Маловато)

Mik Foxi, Доры линкуются)) все делается в каждой пачке по 900-1000 доменов)

Сколько же у тебя серверов с таким кол-вом доменов?)

Rjok, 1 сервак(

помиДОР, супермощный сервер? сколько страниц на доре делаешь?

После заливки пачки пускаю xenu по всей пачке на полчаса-час. Генерирует 100-150к страниц, на этом всё.

Vellomaster, заливка пачки настроенной с кеями без генерации кэша, и после по урлам запускаешь это polezno.com ?

помиДОР, ты их вообще никак не спамиш?, только линкуешь между собой и все ?

spell, оно да. Там можно сразу пачку урлов в неё загрузить, чтоб он по ним ходил.

Inspector, Максимальное допустимое значение 50-10к

Vellomaster, xenu долго вспоминал)))

roter, хрумером на 3 дня)

Vellomaster, а пачки какие по размерам?

помиДОР, 150-200 доров :)

Vellomaster, за несколько часов у тебя 100-150к генерится? - это суммарное количество дорвейных страниц?

помиДОР, не, доры по 30-50к страниц, это так, для затравки ботам, за 60 минут где-то.

Vellomaster, понял

Vellomaster, диск sata большой?

Написал на мультикурле CLI скрипт, который в несколько потоков кеширует пачки доров. В сутки больше 1к кешируется влет.