Search by WMSN

За ночь запарковалось около 150 доменов (рушки, субдомены com и фриномовские) на #товарный фид, все это как начинало работать с сервера - сразу перелинковывалось между собой и с старых доров/фидов ссылки проставлялись. В итоге на новых фидах за 7 часов накешировалось 50к страниц и база 300 мб. Что там за боты ходили хз, сегодня логи посмотрю. Логи надо смотреть, говноботов левых много, их надо банить по юзер агенту, могут многократно увеличивать нагрузку на сервер.

Answers:

как ты их и чем ты их линкуешь???

poolk, php скриптом. таким же как и в доргене, только скрипт список доменов смотрит не в папке db а в папке ping. Ссылки идут только на морды фидов. Контент там постоянно обновляемый, на индексацию норм влияет.

Mik Foxi, а на обычных дорах линкуешь скриптом, который в доргене или какое-то другое решение используешь?

Inspector, линкую таким же, ссылки ведут на морды. Раньше ставил на результат поиска по другому дору, но это слишком дофига нагрузки ненужной. На морде дора ссылки ротируются, так что можно всегда ссылаться на морду.

Из 220к строк access.log: 88к запросов было от Googlebot, 72к от YandexBot, 15к Baiduspider (забаню его), 8к bingbot, 3к Yahoo, 800 Mail.RU_Bot.

Mik Foxi, а в индекс-то попало что-нить?

Артем, хз. пока лень смотреть. Да и смысл, прошло пол суток всего. Через неделю посмотрю, может быть. Индекс - ничто, трафик - все )))

Mik Foxi, cскриптик не арспространяеться?)

poolk, какой?

можно сказать даже положить сервер могут (говноботы) ....так ты фиды перелинковываешь тоже между собой?

Nostrum, да и между собой тоже. И со старых отживших доров ссылки на новые доры и фиды.

Mik Foxi, по перелинковке

Mik Foxi, сколько по времени они у тебя целиком залазят в индекс? если не секрет конечно :)

poolk, в файле info.txt дорген примерно он есть. Под фид пару мелочей исправить и будет работать.

Nostrum, я смотрю индекс только выборочно и в основном только когда начинает идти много трафа, чтоб посмотреть откуда он. Потому что индекс что в G что в Y ниочем не говорит. В гугле не редко бывает что вообще фиды некоторые изначально не индексятся, а некоторые индексятся бесконечно много. В Яндексе в основном индексация хорошо идет. Ну и у фида в отличии от доргена предела нету, он будет расти и индексится пока это не надоест поисковикам.

ничего не видел...((((( что исправить нужно?

poolk, в list.php исправить папку db/ на ping/ и .db на .ping код вывода ссылок из info.txt взять из доргена.

За 12 часов 116к страниц закешировалось... 840 мб база. Под базу кстати выделил 100 гб, места хватает, через пару недель будет меньше дергать api слона.

Mik Foxi, я видать совсем тупарь, но в доргене ведь нет файлика лист.пхп