Защита сайта от ботов, парсеров и грабберов

На сайт могут заходить не только реальные посетители и поисковые роботы. Значительную часть обращений способны создавать автоматические программы: поведенческие боты, парсеры, грабберы, сканеры и другие роботы.

Одни собирают информацию с сайта, другие копируют тексты, цены и каталог, третьи имитируют действия реальных посетителей. В результате статистика становится менее достоверной, сервер получает лишнюю нагрузку, а данные сайта могут автоматически собираться и использоваться на сторонних ресурсах.

Для борьбы с такими посещениями мы разработали ANTIBOT MIWIX — собственную систему защиты сайта от нежелательного автоматического трафика.

Что защищает ANTIBOT MIWIX

Система помогает выявлять и ограничивать доступ программ, которые автоматически обращаются к страницам сайта.

ANTIBOT MIWIX может использоваться для защиты от:

поведенческих ботов;
парсеров и грабберов контента;
автоматического сбора цен и информации о товарах;
массового обхода страниц программами;
подозрительного автоматического трафика;
некоторых типов сканеров и специализированных роботов.

При этом задача системы — не закрыть сайт от всего подряд. Обычный посетитель должен продолжать пользоваться сайтом без лишних препятствий, а полезные поисковые роботы — получать необходимый доступ к страницам.

Как работает защита

ANTIBOT MIWIX анализирует информацию о посетителе и его обращениях к сайту. На основании заданных параметров система определяет подозрительную активность и может ограничить дальнейший доступ.

Для дополнительной проверки может использоваться CAPTCHA (защита от ботов) — задание, которое не создаёт серьёзной проблемы для человека, но позволяет отсечь часть автоматических программ.

Система также ведёт статистику посещений, благодаря чему можно видеть подозрительную активность и оценивать результат работы защиты.

Защита от грабберов и парсеров

Отдельная проблема — автоматическое копирование информации.

Грабберы и парсеры способны регулярно обходить сайт и собирать:

тексты;
характеристики товаров;
цены;
структуру каталога;
контактные данные;
другую открытую информацию.

Полностью запретить копирование информации, которая доступна обычному посетителю в интернете, невозможно. Но можно значительно усложнить её автоматический массовый сбор.

ANTIBOT MIWIX позволяет ограничивать обращения подозрительных программ и сокращать количество автоматических запросов к защищаемому сайту.

Зачем защищать сайт от ботов

Большое количество автоматических посещений может создавать вполне реальные проблемы.

Например, в Яндекс Метрике растёт посещаемость, пользователи переходят по страницам, нажимают кнопки и совершают другие действия. Но количество звонков и заявок при этом не меняется.

Причина может быть в ботах, которые имитируют действия человека.

Из-за этого становится сложнее оценивать реальную эффективность SEO (оптимизация для поисковых систем), рекламы и самого сайта.

Парсеры создают другую проблему: автоматически собирают информацию, на создание которой компания потратила время и деньги.

Поэтому защита от ботов — это не просто блокировка подозрительных IP (уникальный сетевой адрес)-адресов. Это способ сделать трафик сайта чище и ограничить нежелательный автоматический доступ к его содержимому.

Собственная разработка MiWix

ANTIBOT MIWIX — не сторонний сервис, который мы перепродаём клиентам.

Это собственная программная разработка MiWix.

Мы разработали систему для отслеживания и ограничения доступа к страницам интернет-сайтов пользователей и программ с заданными параметрами.

Основные возможности ANTIBOT MIWIX:

Анализ посетителей
Система собирает и анализирует техническую информацию о посещениях сайта.

Фильтрация подозрительного трафика
Для посетителей, соответствующих заданным признакам, могут применяться дополнительные проверки или ограничения.

Проверка человека
При необходимости система использует CAPTCHA (защита от ботов).

Статистика
Информация о посещениях помогает контролировать работу защиты и видеть подозрительную активность.

Настройка под конкретный сайт
Защиту можно настраивать с учётом особенностей проекта и характера его трафика.

Кому нужна эта услуга

В первую очередь ANTIBOT MIWIX будет полезен интернет-магазинам, сайтам с большими каталогами, компаниям с активным SEO (оптимизация для поисковых систем)-продвижением и проектам, где регулярно появляются необычные всплески посещаемости.

Также защита имеет смысл, если вы заметили, что сайт активно обходят программы, конкуренты регулярно копируют цены и каталог или статистика посещений явно не соответствует реальному количеству обращений.

Установка ANTIBOT MIWIX

Перед подключением мы можем проанализировать сайт и определить, какой автоматический трафик необходимо ограничить.

После этого настраиваем ANTIBOT MIWIX, проверяем его работу и контролируем, чтобы защита не мешала реальным пользователям и нормальной индексации сайта поисковыми системами.

Не нужно блокировать весь интернет. Нужно отделить реального посетителя от программы.

Если вы подозреваете, что ваш сайт посещают поведенческие боты, парсеры или грабберы, специалисты MiWix помогут проверить трафик и подобрать подходящий вариант защиты.