Как бороться с реф-спамом?

Аналитика 8

Реферер-спам (или, как принято говорить в среде веб-мастеров, «реф-спам») приносит массу неудобств. Для людей, столкнувшихся с этим термином впервые, поясню: реф-спам — это подделка заголовка HTTP referer при запросе какой-нибудь страницы вашего сайта. Этот трюк нужен для одной-единственной цели — чтобы адрес домена, с которого на ваш сайт якобы пришел трафик, появился в вашей статистике.

С помощью такого трюка реф-спамеры получают либо живой трафик, когда веб-мастера кликают на адреса их сайтов у себя в статистике, либо получают обратные ссылки, если заспамленные ими страницы статистики индексируются поисковиками.

Что такое реф-спам

Почему реф-спам представляет проблему?

Во-первых, это испорченная статистика сайта. Из-за реф-спама логи вашего сервера оказываются забиты бесполезной информацией. Во-вторых, это потеря времени. Если бы вы только знали, сколько раз мне приходилось слышать от коллег-сеошников, как они устали объяснять своим клиентам, что такое «semalt» и почему на него не стоит обращать внимание.

В Google Analytics можно создать фильтр, который будет исключать реф-спаммеров наподобие того же semalt, но это не решает проблему на 100%. Поэтому, вместо того, чтобы просто отфильтровывать реф-спамеров из статистики гугл аналитикс или яндекс метрики, я расскажу вам, как блокировать их на уровне сервера.

Блокировка реферального спама

Останавливаем реф-спам

Ключевой момент в борьбе с реф-спамом — успеть заблокировать запрос спамера к вашему серверу еще до того, как он зарегистрируется в логах со своим поддельным реферером. Самый простой способ заключается в использовании файла .htaccess:

1
2
3
4
5
## SITE REFERRER BANNING
RewriteCond %{HTTP_REFERER} semalt.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website.com [NC,OR]
RewriteCond %{HTTP_REFERER} seoanalyses.com [NC]
RewriteRule .* - [F]

Перенаправление

Другой метод борьбы с реф-спамом состоит в использовании редиректа, который перенаправляет трафик туда, откуда он пришел. Надо  создать специальный файл deflector.map, содержимое которого выглядит вот так:

1
2
3
4
5
6
7
#
## deflector.map
##
##referer --> redirect target
http://semalt.com http://semalt.com
http://seoanalyses.com http://seoanalysis.com
http://buttons-for-website.com http://buttons-for-website.com

Затем добавляет в .htaccess следующий код:

1
2
3
4
RewriteMap deflector txt:/path/to/deflector.map
RewriteCond %{HTTP_REFERER} !=""
RewriteCond ${deflector:%{HTTP_REFERER}} =-
RewriteRule ^ %{HTTP_REFERER} [R,L]

 

Плагин для WordPress

Тем, у кого нет доступа к .htaccess (или нет желания редактировать этот файл), можно посоветовать плагин, который называется Semalt Blocker for WordPress. Пока он, как следует из своего названия, может блокировать лишь самого известного реф-спамера — semalt. Создатель плагина, обещает, что выпустит новую версию, в которой можно будет добавлять новых реф-спамеров для блокировки.

Эффективная блокировка на уровне .htaccess

Еще один способ, позволяющий использовать блокирующий реф-спам файл .htaccess сразу для всех своих сайтов. Надо поместить этот файл в самую верхнюю директорию, в которой хранятся папки с сайтами. Сервер отдает этому файлу приоритет по сравнению с файлами .htaccess, расположенными более глубоко. Поэтому боты реф-спамеров блокируются сразу для всех сайтов, лежащих в директории.

Напоследок, вот актуальный список доменов, которые были замечены в реф-спаме:

[lock]Ссылка на файл(Скачать)[/lock]

 

8 комментариев

сначала новые
по рейтингу сначала новые по хронологии

ОЧень интересно. Об этом прочел впервые. нужно будет что предпринять.

Не совсем понял чем такой спам мешает сайту? Первый раз слышу об этом

Из-за реф-спама вы увидете в статистике сайта непонятные источники трафика и много бесполезной информации.

Самая большая проблема рефспама в том, что он сильно понижает поведенческие факторы сайта. У таких липовых посетителей всегда будет 100% отказов и 0 времени на сайте. Плохие поведенческие факторы через какое-то время приведут к заметному понижению позиций сайта по всем запросам.

У меня тоже есть такая проблема. Надеюсь мне удастся ее решить.

Мне кажется что с такой проблемой сталкивался каждый. Но не каждый знал как с ней бороться. Я тоже не знал до недавнего времени. Но с вашей помощью мне теперь эта проблема не страшна.

Альберт

Проблема актуальная. Я рад что нашел как с ней бороться.

У меня партнерский магазин на моем домене и эти спамеры надоели. Статистика, Ливеинтернет их в большинстве не фиксирует, а вот в статистике партнерки их море. Недавно обратил внимание на запрос: домен магазина/хвост от другого моего сайта. Но на сайте магазина система все неправильные запросы отправляет на главную, такая редакция 404 ошибки.

Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Извините, для комментирования необходимо войти.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Более 6 лет опыта работы

Отвечу в течении 24 часов

Минимальная сумма заказа 1000Р

Ваше сообщения отправлено
Ваше сообщения отправлено успешно