Search by WMSN

Autodor.SQLite.Wmsn v.1.2: После парсинга контент выводится сразу, а не после следующего захота. Оптимизация базы (транзакции) и кода для снижения нагрузки и увеличения скорости работы. Доработка скрипта ручного кеширования (меньше потребляет трафа). Увеличена стабильность парсинга, если с первого раза не получилось спарсить - делает это в следующий раз. Добавлены макросы разбивки контента и поштучных фото. Добавлена возможость удаления отдельных страниц. #autodor sqlite wmsn

Answers:

Спасибо!

классненько. обнова пока не рассылалась?

Протестировал обновления проблема с текстом не пропала , пройдись по категориям и возле силок ни везде есть текст , методом ген

и наверное стоит для новых дополнений все делать через пароль тот что для удаления ,особенно feed=gen в BB CODE формате: index.php?feed=bb в HTML формате: index.php?feed=html в TXT формате: index.php?feed=txt

Раиса Казакова, рассылалась.

Олег Гришин, то что в категориях нету описания к ссылкам - значит ссылка еще не кешировалась. кешируется она только тогда, когда именно на нее кто-то зайдет.

Mik Foxi, новую версию можно прямо на предыдущую сверху залить?

Раиса Казакова, да index.php заменить на старых дорах и все.

Mik Foxi, да, спасибо. уже попробовала. все ОК. генерация радует своей скоростью. :)

Быстрее бы решился глюк с первинным отображением результатов парсинга. Текстовку показывает только после второго захода на страницу.

Vili, в последнем обновлении же всё исправлено уже.

Vili, все уже решено в этом апе. Если один фиг не срабатывает, то или глюки сервера или бинг банит.

Беглый взляд. SQL работает да быстрее, он компактней намного, НО файловый работает точнее. Напр, в sql-версии стоп слова пропускает как будто и нет black_key.txt - .com, .by, израиле.... Урлы в sql радуют, качество парса-генерации нет.

boa, стоп лист в utf-8 кодировке? Пропускать не должно. Добавляемые из .txt ключевики не проверяются.

Mik Foxi, sitemap не выводится в этой версии

Привет я не программист могу ошибаться но проблема с этой строкой $content = @unserialize($content); к ней массив приходит дальше глухо и как то через рас срабатывает , я думаю с твоим умом ты быстро найдешь решения ) массив приходит постоянно

Олег Гришин, не понял Вы кому ответили, мне?

Nostrum, что значит не выводится? ?feed=sitemap он там.

Олег Гришин, это ты про то, что иногда не сразу контент выводится при парсинге?

Mik Foxi, в sqlite версии, в 254 строке есть массив с символами которые нужно удалять из сниппетов, добавь туда удаление одинарной ковычки - ' . Потому как если при первом парсинге она попадается в сниппетах, то текстовка не выводится на страницу.

Mik Foxi, роботсе косяк

в том смысле что выводится site.rusitemap в site.ru/robots.txt

Nostrum, в файловой версии в конфиге $dir должно слэшем заканчиваться.

stik.name, большее спасибо за помощь

Mik Foxi, SQL речь, в той теме и пишу, я то вопрос решил , ,думал кому интересно будет.... и еще частенько вылазит Файл ключевиков хххххх.ru.txt пуст или не существует. Пропишите туда хотя бы один ключевик. причем в ручную создаешь и все

Сделал несколько доров на autodor.sqlite.wmsn. Работает, но не возможно зайти на главную страницу, сразу идет переадресация на index.php?page=1. Как убрать переадресацию, что надо изменить в скрипте?

rb5afj, директорию правильно написать в конфиге как я понимаю по умолчанию она /

Nostrum, А где в конфиге директорию вписывать в какой строке

rb5afj, ни где не напишешь ты. в sqlite версии нет такой настройки. Тебя так и будет перекидывать на index.php?page=1 - это просто редирект на первую запись дорвея, это можно убрать, чтоб при обращении к главной не перекидывало никуда, но нужно переписывать сам код доргена. А Nostrum вообще не понимает о чем речь.

stik.name, Тепер все понятно

использую свою базу ключей. по некоторым ключам скрипт не парсит ни картинок, ни видео. как быть в таком случае?

Inspector, значит ключь плохой. Хотя вообще странно, не должно такого быть. Скопируй ключ вручную и вбей в поисковики. Если кей из всяких паблик говнобаз - там могут быть некоторые символы заменены на другой язык. Ну или глюк хостинга при парсинге.

Inspector, так ты примеры кеев покажи

stik.name, ну вот такой например: кепки камуфляжные купить украина