Mik Foxi Mik Foxi 2015-11-12 10:33
За ночь запарковалось около 150 доменов (рушки, субдомены com и фриномовские) на #товарный фид, все это как начинало работать с сервера - сразу перелинковывалось между собой и с старых доров/фидов ссылки проставлялись. В итоге на новых фидах за 7 часов накешировалось 50к страниц и база 300 мб. Что там за боты ходили хз, сегодня логи посмотрю. Логи надо смотреть, говноботов левых много, их надо банить по юзер агенту, могут многократно увеличивать нагрузку на сервер.

Ответы:
chervechok chervechok #41022 2015-11-12 10:40
как ты их и чем ты их линкуешь???

Mik Foxi Mik Foxi #41023 2015-11-12 10:59
poolk, php скриптом. таким же как и в доргене, только скрипт список доменов смотрит не в папке db а в папке ping. Ссылки идут только на морды фидов. Контент там постоянно обновляемый, на индексацию норм влияет.

Inspector Inspector #41024 2015-11-12 11:10
Mik Foxi, а на обычных дорах линкуешь скриптом, который в доргене или какое-то другое решение используешь?

Mik Foxi Mik Foxi #41025 2015-11-12 11:13
Inspector, линкую таким же, ссылки ведут на морды. Раньше ставил на результат поиска по другому дору, но это слишком дофига нагрузки ненужной. На морде дора ссылки ротируются, так что можно всегда ссылаться на морду.

Mik Foxi Mik Foxi #41026 2015-11-12 11:21
Из 220к строк access.log: 88к запросов было от Googlebot, 72к от YandexBot, 15к Baiduspider (забаню его), 8к bingbot, 3к Yahoo, 800 Mail.RU_Bot.

Артем Артем #41027 2015-11-12 11:29
Mik Foxi, а в индекс-то попало что-нить?

Mik Foxi Mik Foxi #41028 2015-11-12 11:35
Артем, хз. пока лень смотреть. Да и смысл, прошло пол суток всего. Через неделю посмотрю, может быть. Индекс - ничто, трафик - все )))

chervechok chervechok #41035 2015-11-12 12:16
Mik Foxi, cскриптик не арспространяеться?)

Mik Foxi Mik Foxi #41038 2015-11-12 12:24
poolk, какой?

Nostrum Nostrum #41045 2015-11-12 12:32
можно сказать даже положить сервер могут (говноботы) ....так ты фиды перелинковываешь тоже между собой?

Mik Foxi Mik Foxi #41048 2015-11-12 12:36
Nostrum, да и между собой тоже. И со старых отживших доров ссылки на новые доры и фиды.

chervechok chervechok #41077 2015-11-12 14:43
Mik Foxi, по перелинковке

Nostrum Nostrum #41084 2015-11-12 15:19
Mik Foxi, сколько по времени они у тебя целиком залазят в индекс? если не секрет конечно :)

Mik Foxi Mik Foxi #41091 2015-11-12 15:53
poolk, в файле info.txt дорген примерно он есть. Под фид пару мелочей исправить и будет работать.

Mik Foxi Mik Foxi #41092 2015-11-12 15:56
Nostrum, я смотрю индекс только выборочно и в основном только когда начинает идти много трафа, чтоб посмотреть откуда он. Потому что индекс что в G что в Y ниочем не говорит. В гугле не редко бывает что вообще фиды некоторые изначально не индексятся, а некоторые индексятся бесконечно много. В Яндексе в основном индексация хорошо идет. Ну и у фида в отличии от доргена предела нету, он будет расти и индексится пока это не надоест поисковикам.

chervechok chervechok #41123 2015-11-12 17:50
ничего не видел...((((( что исправить нужно?

Mik Foxi Mik Foxi #41125 2015-11-12 18:02
poolk, в list.php исправить папку db/ на ping/ и .db на .ping код вывода ссылок из info.txt взять из доргена.

Mik Foxi Mik Foxi #41132 2015-11-12 20:27
За 12 часов 116к страниц закешировалось... 840 мб база. Под базу кстати выделил 100 гб, места хватает, через пару недель будет меньше дергать api слона.

chervechok chervechok #41134 2015-11-12 21:03
Mik Foxi, я видать совсем тупарь, но в доргене ведь нет файлика лист.пхп