Как бороться с реф-спамом?

Аналитика

8

Реферер-спам (или, как принято говорить в среде веб-мастеров, «реф-спам») приносит массу неудобств. Для людей, столкнувшихся с этим термином впервые, поясню: реф-спам — это подделка заголовка HTTP referer при запросе какой-нибудь страницы вашего сайта. Этот трюк нужен для одной-единственной цели — чтобы адрес домена, с которого на ваш сайт якобы пришел трафик, появился в вашей статистике.

С помощью такого трюка реф-спамеры получают либо живой трафик, когда веб-мастера кликают на адреса их сайтов у себя в статистике, либо получают обратные ссылки, если заспамленные ими страницы статистики индексируются поисковиками.

Что такое реф-спам

Почему реф-спам представляет проблему?

Во-первых, это испорченная статистика сайта. Из-за реф-спама логи вашего сервера оказываются забиты бесполезной информацией. Во-вторых, это потеря времени. Если бы вы только знали, сколько раз мне приходилось слышать от коллег-сеошников, как они устали объяснять своим клиентам, что такое «semalt» и почему на него не стоит обращать внимание.

В Google Analytics можно создать фильтр, который будет исключать реф-спаммеров наподобие того же semalt, но это не решает проблему на 100%. Поэтому, вместо того, чтобы просто отфильтровывать реф-спамеров из статистики гугл аналитикс или яндекс метрики, я расскажу вам, как блокировать их на уровне сервера.

Блокировка реферального спама

Останавливаем реф-спам

Ключевой момент в борьбе с реф-спамом — успеть заблокировать запрос спамера к вашему серверу еще до того, как он зарегистрируется в логах со своим поддельным реферером. Самый простой способ заключается в использовании файла .htaccess:

1
2
3
4
5
## SITE REFERRER BANNING
RewriteCond %{HTTP_REFERER} semalt.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website.com [NC,OR]
RewriteCond %{HTTP_REFERER} seoanalyses.com [NC]
RewriteRule .* - [F]

Перенаправление

Другой метод борьбы с реф-спамом состоит в использовании редиректа, который перенаправляет трафик туда, откуда он пришел. Надо  создать специальный файл deflector.map, содержимое которого выглядит вот так:

1
2
3
4
5
6
7
#
## deflector.map
##
##referer --> redirect target
http://semalt.com http://semalt.com
http://seoanalyses.com http://seoanalysis.com
http://buttons-for-website.com http://buttons-for-website.com

Затем добавляет в .htaccess следующий код:

1
2
3
4
RewriteMap deflector txt:/path/to/deflector.map
RewriteCond %{HTTP_REFERER} !=""
RewriteCond ${deflector:%{HTTP_REFERER}} =-
RewriteRule ^ %{HTTP_REFERER} [R,L]

 

Плагин для WordPress

Тем, у кого нет доступа к .htaccess (или нет желания редактировать этот файл), можно посоветовать плагин, который называется Semalt Blocker for WordPress. Пока он, как следует из своего названия, может блокировать лишь самого известного реф-спамера — semalt. Создатель плагина, обещает, что выпустит новую версию, в которой можно будет добавлять новых реф-спамеров для блокировки.

Эффективная блокировка на уровне .htaccess

Еще один способ, позволяющий использовать блокирующий реф-спам файл .htaccess сразу для всех своих сайтов. Надо поместить этот файл в самую верхнюю директорию, в которой хранятся папки с сайтами. Сервер отдает этому файлу приоритет по сравнению с файлами .htaccess, расположенными более глубоко. Поэтому боты реф-спамеров блокируются сразу для всех сайтов, лежащих в директории.

Напоследок, вот актуальный список доменов, которые были замечены в реф-спаме:

[lock]Ссылка на файл(Скачать)[/lock]

 

8 комментариев

по хронологии
по рейтингу сначала новые по хронологии

У меня партнерский магазин на моем домене и эти спамеры надоели. Статистика, Ливеинтернет их в большинстве не фиксирует, а вот в статистике партнерки их море. Недавно обратил внимание на запрос: домен магазина/хвост от другого моего сайта. Но на сайте магазина система все неправильные запросы отправляет на главную, такая редакция 404 ошибки.

Альберт

Проблема актуальная. Я рад что нашел как с ней бороться.

Галя

Мне кажется что с такой проблемой сталкивался каждый. Но не каждый знал как с ней бороться. Я тоже не знал до недавнего времени. Но с вашей помощью мне теперь эта проблема не страшна.

Ника

У меня тоже есть такая проблема. Надеюсь мне удастся ее решить.

Не совсем понял чем такой спам мешает сайту? Первый раз слышу об этом

Yaroslav

Из-за реф-спама вы увидете в статистике сайта непонятные источники трафика и много бесполезной информации.

Самая большая проблема рефспама в том, что он сильно понижает поведенческие факторы сайта. У таких липовых посетителей всегда будет 100% отказов и 0 времени на сайте. Плохие поведенческие факторы через какое-то время приведут к заметному понижению позиций сайта по всем запросам.

ОЧень интересно. Об этом прочел впервые. нужно будет что предпринять.

Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Извините, для комментирования необходимо войти.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Более 6 лет опыта работы

Отвечу в течении 24 часов

Минимальная сумма заказа 1000Р

Ваше сообщения отправлено
Ваше сообщения отправлено успешно