parser

Написать ответ на текущее сообщение

 

 
   команды управления поиском

Мониторинг сайтов

G_Z 07.02.2018 16:05

Коллеги, пятиминутка рекламы.
Надеюсь, полезной.

Работая над сайтами и их оптимизацией не первый десяток лет, неизменно сталкиваюсь с необходимостью их мониторинга и регрессионного тестирования.
Инструментов немало, но большинство из них — громоздкие универсальные решения, требующие хостинга, тонкой настройки, администрирования и обслуживания.
Пользоваться ими тем же маркетологам без навыков программирования сложно.

Как известно, не ошибается тот, кто ничего не делает.
Неоднократно допускал ошибки сам, не менее часто сталкивался с чужими.
Совершеннейшая мелочь может привести к очень серьёзным последствиям, на устранение которых уйдут недели и месяцы.

Опечатка в шаблоне страницы при формировании канонической ссылки — и тысячи страниц из-за «склейки» выброшены из поиска.
Забытый разработчиком robots.txt с «Disallow: /» с тестового поддомена при переезде сайта — и индексация всего сайта запрещена.
Ошибка в шаблоне — и заголовки большинства страниц испорчены.
Забытое условие — и на половине страниц сайта пропадают счётчики систем аналитики.
Ошибка верстальщика в разметке микроданных — и постепенно, но неумолимо у страниц в поиске перестают отображаться расширенные сниппеты.

Заметить такое можно только спустя некоторое время, когда последствия уже наступили.
Затем следует спешное исправление, переиндексация, медленное восстановление позиций и трафика.

Если работа над сайтом идёт постоянно, то масса совершенно удивительных поломок случается ежедневно.
Тестирование отдельных частей не спасает. Штатные тестировщики могут вовсе не понимать, что необходимо проверять для мониторинга поисковой оптимизации.

О проблемах могут уведомить инструменты для вебмастеров поисковых систем, но когда эти проблемы обнаружены ими — это сигнал того, что ситуация уже зашла слишком далеко.
Масса сервисов предлагает лишь простой мониторинг аптайма, максимум — с возможностью поиска на страницах заданной фразы.
Либо банальную проверку «было—стало», чего недостаточно.

Устав искать подходящий инструмент и разводить зоопарк наколенных решений, решил такой инструмент создать.
Так появился сервис мониторинга «Wesimo».

Конечно, сервис не решает всех на свете проблем, но он может сильно упростить разработчику, тестеру, оптимизатору или маркетологу жизнь.
Лично меня даже самые простые проверки работающих сайтов не раз спасали от досадных ошибок.

Зачастую владельцы сайтов хотят проверять тысячи и миллионы страниц, но необходимости в этом нет.
Если всё разнообразие страниц сайта формируется десятком шаблонов — достаточно мониторить по одной странице каждого типа и обходиться минимумом проверок.

Wesimo не будет создавать нагрузку на сайт, непрерывно скачивая его.
По расписанию загружаются только нужные документы, которые проходят заданные тесты.

Ведётся архив скачанных документов, что позволяет вернуться к нужной версии или выявить изменения.

Оповещения о тестировании по почте и в Телеграме.

На данный момент реализованы базовые, наиболее востребованные тесты.
Планов много, пока закончено самое основное.

Сервис платный, но цена зависит только от количества и частоты проверок — никаких избыточных «пакетов услуг» выкупать не нужно.
Две недели все проверки сайта бесплатны.


Парсер широко используется внутри — краулер, демоны, очередь задач.
Большое спасибо Sumo за pf2 и помощь, moko за нововведения в Парсере!


Специально для парсеристов есть подарок, в виде ребуса.
Решившие его получат 500 рублей на счёт в дополнение к двум бесплатным неделям.

Нужно запустить код ниже, исправив в нём несколько ошибок.
Результатом будет ссылка с промокодом.
@main[]
$bonus[^bonus::create[Wesimo — удобный мониторинг для вашего сайта]]
^bonus.link[]



@CLASS
bonus


@OPTIONS
locals


@auto[]
$self.url[https://wesimo.com/]
$self.param[promocode]


@create[title]
$self.title[^title.replace[^#20;^#5F]]


@code[]
$result[^math:crypt[MD5;$self.title][
	$.hmac[$self.url|^self.rand.trim[48]]
]]

$result[^result.left(4;16)]
$result[^result.replace[5;^self.url.mid(8;1)]]


@link[]
$result[$self.url?$self.param=^self._code[]]


@GET_rand[]
$rand((2 << 15) >> 4.9 \ (3.1 + ^math:random(8686) / 10000))

$result[$rand]
После регистрации каждому пользователю выдаётся своя промоссылка, по которой можно пригласить друзей.
Пригласивший и приглашённый получают по 500 рублей на счёт.


Есть предложение или отзыв, требуется консультация по тестам — обращайтесь.

  • Мониторинг сайтов, G_Z [M] 07.02.2018 16:05