WebMaster's Social Network

Сообщество русскоязычных вебмастеров и дорвейщиков в формате блогов - дорвеи, доргены, партнерские программы, заработок в интернете.


bra1n

Мик, твой дорген быстрее сеодора? К примеру конфигурация Xeon Intel Xeon E3-1270v2, 4 x 3.5 GHz, ...

Мик, твой дорген быстрее сеодора?
К примеру конфигурация Xeon Intel Xeon E3-1270v2, 4 x 3.5 GHz, 8 Gb Ram, 500Gb
Выдерживает порядка 200 доров по 50к страниц ( парсинг снипетов и картинок ), кешированние которых растянуто было конечно же на неск.месяцев а не разом..
Т.е при таком количестве нагрузка сервера 10% и сайты открываются достаточно быстро.

Каких показателей я могу достичь с wmsn доргеном?

Ответы:
Mik Foxi Mik Foxi #94774 2017-09-13 19:45
Понятия не имею, я не юзал сеодора и я уже не помню как там в нем все устроено и какая база данных используется. HDD вместо SSD - это уже плохая практика в целом. С вмсн доргеном хуже быть не должно. Истину ты познаешь только попробовав, но если есть сомнений - не пробуй, но тогда и истины ты не познаешь. В общем все как Будда завещал.

bra1n bra1n #94776 2017-09-13 19:51
Mik Foxi, ну должны же быть какие то ориентиру по твоему доргену. Приведи пример своего серва и количества доров, сколько лежат закешированные, сколько в активном кешировании, что настроенно парсится, количество страниц. Сеодор довольно тяжёл, но он так же на SqLite работает. Попробовать то можно, только на то чтоб разобратся в новом доргене и переделке шаболонов уйдёт не один вечер.

Максим Максим #94785 2017-09-13 20:13
Mik Foxi, ну снипеты VS парсинг контента с кучи сайтов это явно медленнее.

Mik Foxi Mik Foxi #94787 2017-09-13 20:15
bra1n, я не делаю доры по 50к страниц, я вообще не помню даже чтоб такие для теста делал. Я делаю много доров но по малу страниц, в папку content я давно зайти не могу, она не открывается уже ничем. Нюансов кроме этого куча, от того что ты не кешируешь насильно - придет бешенный бот парсер и за 2 часа изнасилует твой сервер на 200к запросов к динамике + попутно качая стили и прочие файлы и наверное у тебя ниче не выдержит, но ты то при этом ниче не нагружал. Еще у меня лайти настроеный, а не как у всех апачи и панели, это тоже разница в разы. В общем если отбросить философию, то по моей схеме скорее бы кончился диск, чем кончились бы остальные ресурсы, при условии что диск ssd конечно.

Mik Foxi Mik Foxi #94789 2017-09-13 20:17
Максим, но парсинг всех сайтов идет в мультикурле, параллельно, и ресурсы высвобождаются достаточно быстро.

Максим Максим #94790 2017-09-13 20:19
Mik Foxi, один хер, спарсить снипеты это один запрос. Спарсить снипеты и пойти по их урлам парсить сайты, это уже совсем не один запрос, хоть мульти хоть хуюльти это всё равно дольше.

Mik Foxi Mik Foxi #94793 2017-09-13 20:23
Максим, дольше, на время самого долгого парсинга сайта, но в курле ограничение по времени есть.

Максим Максим #94795 2017-09-13 20:29
Mik Foxi, ну что ты мне доказываешь. Мне то всё равно. Дает трафик - ок, остальное не важно. Я говорю что парсинг снипетов в любом случае быстрее чем парсинг снипетов + контент с сайтов. Вот и всё. А на сколько дольше это уже детали.

sidorka sidorka #94809 2017-09-13 22:26
Забыли хэштэг #Померяемся пиписьками