Как бороться с реф-спамом?

Реферер-спам (или, как принято говорить в среде веб-мастеров, "реф-спам") приносит массу неудобств. Для людей, столкнувшихся с этим термином впервые, поясню: реф-спам - это подделка заголовка HTTP referer при запросе какой-нибудь страницы вашего сайта. Этот трюк нужен для одной-единственной цели - чтобы адрес домена, с которого на ваш сайт якобы пришел трафик, появился в вашей статистике. С помощью такого трюка реф-спамеры получают либо живой трафик, когда веб-мастера кликают на адреса их сайтов у себя в статистике, либо получают обратные ссылки, если заспамленные ими страницы статистики индексируются поисковиками.

Почему реф-спам представляет проблему?

Во-первых, это испорченная статистика сайта. Из-за реф-спама логи вашего сервера оказываются забиты бесполезной информацией. Во-вторых, это потеря времени. Если бы вы только знали, сколько раз мне приходилось слышать от коллег-сеошников, как они устали объяснять своим клиентам, что такое "semalt" и почему на него не стоит обращать внимание. В Google Analytics можно создать фильтр, который будет исключать реф-спаммеров наподобие того же semalt, но это не решает проблему на 100%. Поэтому, вместо того, чтобы просто отфильтровывать реф-спамеров из статистики гугл аналитикс или яндекс метрики, я расскажу вам, как блокировать их на уровне сервера.

Останавливаем реф-спам

Ключевой момент в борьбе с реф-спамом - успеть заблокировать запрос спамера к вашему серверу еще до того, как он зарегистрируется в логах со своим поддельным реферером. Самый простой способ заключается в использовании файла .htaccess:

 
## SITE REFERRER BANNING
RewriteCond %{HTTP_REFERER} semalt.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website.com [NC,OR]
RewriteCond %{HTTP_REFERER} seoanalyses.com [NC]
RewriteRule .* - [F]

Перенаправление

Другой метод борьбы с реф-спамом состоит в использовании редиректа, который перенаправляет трафик туда, откуда он пришел. Надо  создать специальный файл deflector.map, содержимое которого выглядит вот так:

 
#
## deflector.map
##
##referer --> redirect target
http://semalt.com http://semalt.com
http://seoanalyses.com http://seoanalysis.com
http://buttons-for-website.com http://buttons-for-website.com

Затем добавляет в .htaccess следующий код:

 
RewriteMap deflector txt:/path/to/deflector.map
RewriteCond %{HTTP_REFERER} !=""
RewriteCond ${deflector:%{HTTP_REFERER}} =-
RewriteRule ^ %{HTTP_REFERER} [R,L]

 

Плагин для WordPress

Тем, у кого нет доступа к .htaccess (или нет желания редактировать этот файл), можно посоветовать плагин, который называется Semalt Blocker for WordPress. Пока он, как следует из своего названия, может блокировать лишь самого известного реф-спамера — semalt. Создатель плагина, обещает, что выпустит новую версию, в которой можно будет добавлять новых реф-спамеров для блокировки.

Эффективная блокировка на уровне .htaccess

Еще один способ, позволяющий использовать блокирующий реф-спам файл .htaccess сразу для всех своих сайтов. Надо поместить этот файл в самую верхнюю директорию, в которой хранятся папки с сайтами. Сервер отдает этому файлу приоритет по сравнению с файлами .htaccess, расположенными более глубоко. Поэтому боты реф-спамеров блокируются сразу для всех сайтов, лежащих в директории. Напоследок, вот актуальный список доменов, которые были замечены в реф-спаме: [lock]Ссылка на файл(Скачать)[/lock]