Недели две назад обнаружил в статистике Liveinternet, в «Посетители с сайтов», сайт semalt.com. И каждый день посещаемость с этого сайта росла. Естественно, я последовал на этот сайт, чтоб узнать, что это и для чего. На Главной ничего, кроме предложения зарегиться или войти в аккаунт. В меню What is Semalt: Semalt является инструментом аналитики для веб-мастеров , что открывает двери для новых возможностей по мониторингу рынка, отслеживанию ваших позиций и позиций ваших конкурентов.
В меню About Company: Semalt ООО Европа-компания создана в сентябре 2013 года. Корпоративная штаб-квартира находится в Киеве, Украина. Semalt ООО является веб-сервисом и разработчиком программного обеспечения, направленного на создание высококачественного ультрасовременного и доступного инструмент SEO и маркетинговой аналитики.
Значит получается, сайт по оказанию SEO услуг. Тогда вопрос, зачем идут постоянные переходы с этого сайта на мой URL, причем из Бразилии? Почему, тот же Google analitics не шарится нигде, а они да? Ведь это наоборот искажает мою статистику, плюс растет число отказов, ведь бот заходит на сайт, на считанные секунды. В общем, блокировать semalt.com, надо обязательно. Это можно сделать, вставив вот такой код в свой файл htaccess:
# Блокировка посетителей, перешедших с semalt.com
RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC]
RewriteRule .* — [F]
Этот код я добавил в конце файла, начиная с новой строки после ‘# END WordPress ».
Всё, трафик с semalt.com исчез.
Добавлю, что впоследствии, нашествие спам ботов продолжилось, и они также были блокированы добавлением записей в htaccess:
RewriteCond %{HTTP_REFERER} best-seo-solution\.com [NC]
RewriteCond %{HTTP_REFERER} buttons-for-website\.com [NC]
RewriteCond %{HTTP_REFERER} buttons-for-your-website\.com [NC]
RewriteCond %{HTTP_REFERER} best-seo-offer\.com [NC]
Посмотрел статистику, все исчезли, кроме best-seo-offer.com. Решил попробовать другой способ избавиться от непрошенных посетителей — удаление своего сайта из их базы сайтов. По адресу http://semalt.com/project_crawler.php.
Будем мониторить дальше.
Да, видимо придется и мне побанить его. Они видимо грабят какую-то инфу себе, попросту тырят, из-за этого и нагрузка идет.
Можно ли тоже самое сделать для сайта на joomla добавив запись в файл htaccess?
С Joomlой не знаком, но наверняка и там в htaccess, можно блокировать сайты. Может вам спросить об этом на joomlaforum.ru?
Спасибо за статью. Тожа сволочи захаживают ))
А как сделать также как у Вас на сайте при нажатии «читать далее» чтоб разворачивалось без перезагрузки страницы. Может поделитесь? Очень порадоволо.
Поставьте плагин «Read More Right Here».
Трафик вначале начинал подыматься 2-3 дня ,а теперь упал.МОЙ САЙТ ВПРИНЦИПЕ ЕСЧЕ НЕ РАСКРУЧЕН.вОПРОС ЧТО ИМ НАДО НА САЙТЕ? и какие последствия могут быть от таких посищений?мой сайт стоит на платформе sellbe.
Вред от их посещений в том, что у Вас растет процент отказов, а это может плохо сказаться на поисковой выдаче поисковиками.
С этим сервисом все понятно, они таким образом привлекают к себе клиентов и это на самом деле обходится им дешевле, чем любая реклама. Ничего уникального в их платном сервисе нет, парсят сайт на наличие ошибок, собирают данные о социальных метриках, отслеживают позиции сайта только в гугле. Англоязычный сервис с украинским руководством)
Прописал в файле как вы и советовали … Пропал этот странный посетитель на пару дней . теперь снова захаживает и скрипт прописанный в htaccess. непомагает. Есть-ли еще какие идеи как избавится от него ?
Да и у меня на двух сайтах появился этот semalt , подозрительный сервис, но настройка в .htaccess увы не помогла , видимо он ее обходит
Я попробовала удалиться с их базы здесь — http://semalt.com/project_crawler.php
посмотрим…
Ну и как результаты, Ирина?
Забанила их по IP, чести им много тратить время удаляться из их базы…
А забанить по IP это как? у меня стабильно таких «гостей» 3 штуки , buttons-for-website.com, maps.ilovevitaly.com/places/, semalt.semalt.com , фильтр пробовала ставить в Яндекс метрику , все равно появляются. Причем, на всех моих 3 сайтах, в разные дни , в среднем 1-2 раза в неделю…
По IP можете забанить редактированием файла htaccess или при помощи плагина Ban User By IP.
Так а в чем проблема, Пусть заходят, посещаемость лишняя не помешает. Или они как то вредят?
Они показывают яндексу, как будто бы сайт неинтересный, как будто посетитель пришел и тут же ушел…случайно так может быть, но когда постоянно и одни и те же, значит, это делается целенаправленно. Скорее всего для того, чтобы мы из любопытства заглянули к ним, что увеличит их посещаемость 🙂 В итоге, у нас увеличивается % отказов, а у них посещаемость 🙂
Кстати, обратила внимание, «молодые» сайты они посещают чаще….
На всякий случай поставила фильтр в метрике и пока наблюдаю, раньше не обращала внимания за частотой их «посещений» , теперь специально анализирую, что дальше будет…
Все банально — просто неправильно написанный анализатор сайтов-конкурентов.
Кроме htaccess еще можно исключить сайт изменением кода google analytics https://support.google.com/analytics/answer/2795830?hl=ru
Можно еще добавить сайт в фильтр Google Analytics, но это повлияет только на то, как показывать отчет именно вам
А если их в гугле в инструментах для вебмастеров в исключения добавить — это поможет?
Не знаю. А где в инструментах для вебмастеров исключения?
Я добавил в .htacces следующие строки:
RewriteEngine on
RewriteCond %{HTTP_REFERER} blackhatworth\.com [NC,OR]
RewriteCond %{HTTP_REFERER} blackhatworth\.com [NC,OR]
RewriteCond %{HTTP_REFERER} hulfingtonpost\.com [NC,OR]
RewriteCond %{HTTP_REFERER} forum.topic50329470.darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.co [NC,OR]
RewriteCond %{HTTP_REFERER} econom\.co [NC,OR]
RewriteCond %{HTTP_REFERER} shopping.ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} priceg\.com
RewriteRule .* — [F]
Мне помголо, по всем аналитакам и метрикам вопрос снят, теперь слежу за новыми, появляются сразу добавляю в бан
У меня такая же ерунда. Воспользовалась вашим советом и заблокировала их. Буду ждать результатов. Спасибо за помощь.
Поправлю по поводу вреда от semalta.
1.Яндекс анализирует поведенческий фактор только по отношению к поисковой выдаче. Вот если бы семалт с выдачи к вам заходил и тут же бы уходил — тогда вред.
2.У яндекса все подобные товарищи тут же встают «на учет», можете не сомневаться — их деятельность поисковику известна получше чем нам, а потому на выдачу яндекса она и не повлияет.
3.А вот контент сайта воровать они действительно могут, ибо сейчас это ценится. Потому гадов лучше выключить.
ЗАКЛЮЧЕНИЕ. «Яндекс оригинальные тексты» — добавляйте туда сразу же как выложили на сайте.
Блокировка кодом указанным выше помогла на пару дней, по IP тоже дня три
Сейчас пробую такой код:
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?semalt.semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?crawler.semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]
А в какой .htacces добавлять код на dle ?
На dle не знаю куда.
Скажите пожалуйста, чем отличается [NC] от [NC,OR] ??
Во многих инструкциях нахожу разную реализацию — где то предлагают просто [NC] в конце команды RewriteCond прописывать, а где то [NC,OR]. Перелопатил интернет так и не нашел ответа.
Спасибо хорошая статья всё получилось.