помиДОР

Кэшируете ли Вы дорвеи? Дело в том, что столкнулся с такой темой - 5-7к доменов в сутки делаю и п...

Кэшируете ли Вы дорвеи? Дело в том, что столкнулся с такой темой - 5-7к доменов в сутки делаю и понимаю, что нереально закэшировать такое количество.

Ответы:
Антон Клонов Антон Клонов #42983 2015-12-06 21:32
Боты приходят и кэшируют )

помиДОР помиДОР #42984 2015-12-06 21:32
Антон Клонов, но не в таком количестве же))

interweb interweb #42986 2015-12-06 21:48
помиДОР, в смысле, не в таком количестве? ботов на всех хватит... короче, не кешируй. постепенно оно само все закешируется. домены фрином?

Mik Foxi Mik Foxi #42987 2015-12-06 21:53
Ничего не надо кешировать. Линкуй доры и все само боты сделают.

помиДОР помиДОР #42988 2015-12-06 22:05
interweb, домены, да фрином. Просто смотрю в день по 5-7 страниц оявляется, где-то по 100 страниц. Маловато)

помиДОР помиДОР #42989 2015-12-06 22:05
Mik Foxi, Доры линкуются)) все делается в каждой пачке по 900-1000 доменов)

Rjok Rjok #42990 2015-12-06 22:12
Сколько же у тебя серверов с таким кол-вом доменов?)

помиДОР помиДОР #42996 2015-12-06 22:57
Rjok, 1 сервак(

Inspector Inspector #43003 2015-12-07 01:40
помиДОР, супермощный сервер? сколько страниц на доре делаешь?

Vellomaster Vellomaster #43004 2015-12-07 04:55
После заливки пачки пускаю xenu по всей пачке на полчаса-час. Генерирует 100-150к страниц, на этом всё.

spell spell #43010 2015-12-07 10:09
Vellomaster, заливка пачки настроенной с кеями без генерации кэша, и после по урлам запускаешь это http://www.polezno.com/soft/xenu ?

roter roter #43016 2015-12-07 10:21
помиДОР, ты их вообще никак не спамиш?, только линкуешь между собой и все ?

Vellomaster Vellomaster #43022 2015-12-07 10:43
spell, оно да. Там можно сразу пачку урлов в неё загрузить, чтоб он по ним ходил.

помиДОР помиДОР #43029 2015-12-07 11:29
Inspector, Максимальное допустимое значение 50-10к

помиДОР помиДОР #43030 2015-12-07 11:29
Vellomaster, xenu долго вспоминал)))

помиДОР помиДОР #43031 2015-12-07 11:29
roter, хрумером на 3 дня)

помиДОР помиДОР #43032 2015-12-07 11:31
Vellomaster, а пачки какие по размерам?

Vellomaster Vellomaster #43033 2015-12-07 11:39
помиДОР, 150-200 доров :)

помиДОР помиДОР #43034 2015-12-07 11:48
Vellomaster, за несколько часов у тебя 100-150к генерится? - это суммарное количество дорвейных страниц?

Vellomaster Vellomaster #43035 2015-12-07 11:53
помиДОР, не, доры по 30-50к страниц, это так, для затравки ботам, за 60 минут где-то.

помиДОР помиДОР #43036 2015-12-07 11:57
Vellomaster, понял

spell spell #43038 2015-12-07 12:15
Vellomaster, диск sata большой?

Gabriel Gabriel #43653 2015-12-17 12:25
Написал на мультикурле CLI скрипт, который в несколько потоков кеширует пачки доров. В сутки больше 1к кешируется влет.