NoHate NoHate 2017-12-07 06:13
Составил небольшой список юзерагентов хитроботов. Линк под катом.

Ответы:

Можете пулреквестить новые. Эти проверены, и точно принадлежат всяким хитроботам.

NoHate, А у простых юзеров таких не бывает?

Danilka, хз, возможно бывают. Но эти UA 100% используют хитроботы, поэтому есть смысл их блочить.


хитроботы обычно ставят юа хрома и не палятся)

NoHate, по каким признакам вычисляешь х/б?

jekson, переходят из поиска яндекса, приходят пачками по 3-4шт за раз. Реферер очень похожий. В общем визуально видно что боты в логах.

jekson, например которые с «NET CLR» в UA - не загружают скрипты и стили. Другие же загружают весь контент страницы, но не отображаются в статистике LI.

Проверьте у себя в логах наличие этих UA, отпишите если найдете.

NoHate, Народ, да сделайте же скрипт серверный для отслежиания ботов и продавайте!

Кстати, может у кого есть команды по которым можно както можно сортировать боты не боты .. Вот я например нашел пока tail -f /var/www/httpd-logs/*.access.log cut -d ’ ’ -f 1 logtop показывает айпи и сколько запросов с них. Сейчас в данное время вылавливаю(пытаюсь) ботов

Danilka, там скриптом не выйдет. Я отслеживаю пересечение UA на нескольких серверах. Скрипт пилить долго и бессмысленно.

Danilka, по IP не отследишь. У них IP московские обычных провайдеров.

NoHate, Тогда вопрос! Как банить? В тдске гдето их прописать? Или в htaccess?

Danilka, в Ztds можно в настройках потока указать фильтровать ботов из файла с юзер-агентами.

Danilka, суть в том, чтобы не показывать рекламу хитроботам.