Ловушка для спам-бота


Оглавление (нажмите, чтобы открыть):

Ловушки для ботов: простая защита от HTTP DDoS

admin

Администратор

Как это работает

Бот запрашивает страницу, например habrahabr.ru/search. Бот не умеет загружать вместе со страницей картинки, скрипты, css и пр. Значит в логе будет отображен запрос к /search/ и всё.
Если на habrahabr.ru/search заходит живой человек через браузер, то вместе с /search/ в лог попадет множество картинок, скриптов, css и пр.
sysctl.conf подробно с комментариями (linux)

Ram drive нужен для ускорения работы с логами nginx-а.
Добавляем в файл /etc/fstab
tmpfs /var/log/ram_disk tmpfs size=1024m 0 0

Затем
mkdir /var/log/ram_disk
mount -t tmpfs -o size=1024m tmpfs /var/log/ram_disk

Берем на сайте любой статичный и ничем не приметный файл (картинка, css, js и пр.), загружаемый при вызове любой страницы динамики, например habrahabr.ru/styles/fontello/css/habr.css
Этот файл нужно сделать некэшируемым, т.е. добавить рандомный параметр, например .
Для справки, по умолчанию opera кладет в локальный кэш картинки на 1 час, css/js на 5 минут.

2. Правим конфиг nginx

4. Главный скрипт

Для простоты понимания написано на php, т.к. этот язык знают почти все. И обработка ошибок убрана также — для простоты понимания.

Запускаем:
php ddoshook.php /var/log/ram_disk/dynamic_access.log /var/log/ram_disk/hook_access.log 5 300 3

Помещаем в крон
* * * * * /usr/bin/php unban.php 86400

Вот и всё, боты банятся, люди пропускаются.

Бой с тенью: как не допустить появления спам-ловушек в базе

Май 27, 2020 2 810 Прочтите за 4 мин.

Бой с тенью: как не допустить появления спам-ловушек в базе

Можно составить идеальный продающий сценарий. Можно написать информативный текст рассылки и снабдить его убедительным призывом к действию. Можно создать цепкий дизайн, остающийся в памяти, и мастерстки сверстать письмо. Но какой в этом смысл, если сообщение не дойдёт до адресата, канув в Лету нежеланной почты?

Доставляемость – наше всё. С неё начинается коммуникация, которая в идеале ведёт к лояльности и конверсиям. Поэтому все факторы, способные повлиять на фильтрацию ваших сообщений, нужно держать под контролем. И среди возможных провинностей, ведущих к попаданию в спам, самая серьёзная – это обнаруженные в базе спам-ловушки. Именно им мы решили посвятить очередную статью, которая поможет вам знать врага в лицо и не пускать его на свою территорию. ��

Что такое спам-ловушка?

Основная задача любого почтового провайдера – защитить своих пользователей от спама и доставить им важные письма от надёжных отправителей. Для этого разработаны специальные алгоритмы фильтрации, которые постоянно совершенствуются и сегодня умеют не просто сортировать сообщения по подозрительному контенту или отсутствию цифровой подписи, но и реагировать на заинтересованность человека теми или иными емейлами.
Фильтры – это, разумеется, не единственный способ борьбы с непорядочными рассыльщиками. Для этого же, например, существуют чёрные списки доменов и отправителей, а также спам-ловушки, которые, как незримые бойцы ниндзя, внедряются в базы спамеров и сигнализируют о незаконных методах работы.

Спам-ловушка – это волк в овечьей шкуре: она выглядит как реальный емейл, и вы никогда не сможете определить её самостоятельно. Это адрес, используемый провайдером с единственной целью – выследить спамера. Если ваше письмо отправлено на спам-ловушку, которая никак не могла попасть в базу при сборе легальными методами, значит, вы не следите за качеством своих листов и рассылаете нежелательные емейлы. Проблем с доставляемостью не избежать – как правило, это блокировка отправляющих IP-адресов и доменов, причём восстановление репутации может затянуться на несколько месяцев.

Типы спам-ловушек

Существует два типа широко используемых спам-ловушек.
1. Чистые спам-ловушки (англ. Pristine Spam Traps) – фейковые адреса, созданные почтовыми провайдерами и никогда не принадлежавшие реальным людям. Их оставляют на различных сайтах как приманку, чтобы спамеры, собрав эти емейлы парсерами, отправили на них сообщения и тем самым обнаружили себя.
2. Преобразованные спам-ловушки (англ. англ. Recycled Spam Traps) – это адреса, когда-то зарегистрированные реальными пользователями, но больше не используемые ими. Прежде чем преобразовать такой емейл в инструмент борьбы со спамом, почтовые провайдеры возвращают ошибку «несуществующий пользователь» при попытке отправки примерно в течение года. Затем адрес может быть преобразован в ловушку: доставка почты на него возобновляется, но сигнализирует о низком качестве базы рассыльщика.

Кроме этого, в последнее время появились сервисы, которые предлагают собственные списки «псевдо-ловушек». Такие компании покупают неиспользуемые домены и настраивают на них различные емейл-адреса (например, почта 12345@itsatrap.com на неиспользуемом домене «itsatrap.com»). Эти ящики, так же, как и традиционные спам-ловушки, не используются для подписки на рассылку, и поэтому почта, пришедшая на них, считается спамом. Крупные сервисы, такие, как, например, Spamhaus, не используют подобные адреса для выявления спама. Поэтому обнаружение «псевдо-ловушки» в целом не будет критичным для вашей доставляемости, а просто укажет на то, что пора проверить состояние базы подписчиков.

Чем опасны спам-ловушки для доставляемости?

Отправка вашего письма на спам-ловушку – это сигнал для почтовых провайдеров о том, что как отправитель вы не заслуживаете доверия. Если сообщение попало на «чистую» ловушку первого типа, то провайдер в 95% случаев сделает вывод, что рассылка является спамом, и предпримет следующие действия:
— поместит всю рассылку для всех адресов в папку «Спам»;
— внесет в чёрный список From Email рассыльщика;
— внесет в чёрный список IP-адрес сервера рассыльщика.
Как уже говорилось, процесс восстановления репутации в этом случае окажется длительным, болезненным и трудоёмким.

Наказание за отправку письма на преобразованную ловушку будет не столь серьёзным, но всё равно негативно скажется на репутации, так как свидетельствует о том, что вы абсолютно не следите за базой рассылок, если допускали отправку писем на несуществующие ящики, возвращавшие ошибку доставки.


Способы попадания спам-ловушек в базу подписчиков

Адреса-ловушки подобны шпионам – найти информацию о них крайне сложно. Ничего удивительного – если списки спам-ловушек окажутся в свободном доступе, то потеряется сам смысл их создания. �� Как в таком случае предотвратить добавление ловушек в базу подписчиков?

Есть несколько типичных способов попадания спам-ловушек в лист:
— покупка базы или использование емейл-парсеров для поиска адресов;
— случайное или специальное добавление посторонним человеком адреса ловушки в ваш список рассылки;
— отсутствие гигиены листов, наличие в базе устаревших и неактивных адресов.

Найти спам-ловушку в листе практически невозможно, и единственный способ предотвратить отправку на такой емейл – это тщательно следить за качеством списков рассылки. Как правило, ловушки скрываются среди недавно добавленных подписчиков или наоборот – давно неактивных. Поэтому убедитесь, что вы уделяете пристальное внимание и тем, и другим. Изучайте отклик на ваши сообщения. Спам-ловушки не принадлежат реальным людям, поэтому они не будут открывать ваши письма или кликать в них.

Итак, если вы:
— собираете базу только легальными способами;
— используете double opt-in;
— работаете с активной аудиторией;
— удаляете несуществующие ящики из листа после каждой отправки;
— своевременно чистите базу от неактуальных адресов,

у нас хорошая новость – спам-ловушки вам не страшны! ��

Не уверены в каком-либо из перечисленных пунктов? Самое время задуматься о сегментации подписчиков и внедрении практики подтверждения подписки!

Какую защиту использовать от спам ботов?

Поделитесь, пожалуйста, опытом, что использовать лучше: стандартную и столь нелюбимую всеми символьную капчу, дополнительное скрытое поле, капчу по типу «собери картинку», защиту подобного типа, неудобную привязку к телефонному номеру или же что-либо еще?

  • Вопрос задан более трёх лет назад
  • 15275 просмотров

Повторяю способы защиты, выбирайте любой, который нравится:

Начнем со случая, когад у вас маленький (меньше 100 тыс юников в день/1 млн зарегистрированных юзеров) сайт.

1) Сделать невидимое поле с именем email. 98% ботов-дебилов его заполнят, дальше вы понимаете, что с ними делать и куда вносить их IP. Чтобы не палиться, не пишите style=display:none, а скройте его чуть хитрее.

Этот способ у меня отсеивает практически всех ботов на одном сайте. Правда, там боты, не заточенные под сайт, а просто, которые ходят и заполняют все формы подряд своей рекламой. Типа Хрумера наверно.

2) Заполняемое яваскриптом поле типа hidden. Куча ботов не выполняют яваскрипт. Куки, кстати, наоборот, большинство ботов исправно присылают. Реферер и юзер-агент тоже обычно у них правильный.

3) Более радикальный подход — убрать кнопку submit, заменив ее на div, который по событию onclick собирает значения полей формы и отправляет их аяксом. Аттрибут action тега form сделать указывающим на скрипт-ловушку. Если бот не написан специально под ваш сайт, он тупо не сможет отправить такую форму.

Ок, допустим, вам не повезло, и ваш сайт с миллионами пользователей атакуют спамеры специально написанными скриптами. Что мы можем вам предложить?

4) Добавлять вычисляемые/расшифровываемые яваскриптом поля. Внезапная смена алгоритма шифрования в 2 часа ночи скорее всего сдаст тех ботов, которые смогли через нее пробиться, но не успели переписать алгоритм.

5) Проверять поддержку клиентом Flash (загружать флешку и через нее подписывать форму кодом).

6) Проверять соответствие User-Agent и уровня поддержки технологий HTML5/CSS3 (например, определенные версии браузеров не поддерживают border-radius, другие поддерживают, и тд.)

Более серьезные возможности дают методы статистического анализа. Например, можно вычленять из сообщений несловарные слова (это будут ссылки например) и анализировать источники их отправки. Например, если 1000 пользователей начинает за час отправлять по 100 сообщений не-друзьям с одним и тем же словом super-shop — это явный признак спам-рассылки. Для таких систем надо собирать статистику и писать белые/черные правила, вводить негласные лимиты подозрительных действий, в общем. серьезная работа.

Можно, как вконтакте, привязывать аккаунты к телефонам. это работает.

Еще немного рассуждений на эту тему тут: habrahabr.ru/qa/16920/#answer_70019

А использование капчи в формах говорит о лени/низкой квалификации/урезанном бюджете или непрофессионализме и причиняет неудобства пользователям.

Спам-ловушки: что это и почему так важно


В этой статье мы с вами познакомимся с тем, что же такое спам-ловушки, откуда они берутся и как создаются, как можно их найти и вычистить из своей базы рассылок и как предотвратить их дальнейшее попадание в списки подписчиков.

В этой статье из цикла о доставляемости расскажем, что такое спам-ловушки, откуда они берутся и как их избежать.

Оглавление

Логика работы спам‑ловушек

Спам-ловушки — это один из наиболее широко применяемых способов борьбы почтовых провайдеров (ISP) с фродом, спамом и мошенническими письмами. Благодаря спам‑ловушкам ISP могут следить за спамерами, находить их и блокировать отправляющие IP‑адреса и домены.

Так как адреса-ловушки никак не могут быть подписанными на рассылки, если вы следуете рекомендованным практикам управления подписчиками, то попадание вашего письма на такой адрес является очень серьёзным сигналом для почтовых провайдеров, говорящим о том, что вы потенциально являетесь спамером и ваши письма следует блокировать.

Существует достаточно много вариантов отношения к использованию спам‑ловушек, но в рамках этого гайда мы будем смотреть на это как на способ ISP и антиспам‑сервисов отравлять списки подписчиков тех рассыльщиков, кто занимается сбором некачественных баз, покупкой листов или парсингом сайтов для сбора емейлов — что по своей сути является противозаконным в США или Канаде (законы CAN‑SPAM и CASL) и крайне нерекомендуемым в России.

Типы ловушек

Не все спам-ловушки одинаково болезненны и равны между собой по причиняемому ущербу для отправителя — это значит, что не каждое попадание на спам‑ловушку будет критичным для вашей доставляемости. Существует два основных типа спам‑ловушек, которые используются почтовыми провайдерами и антиспам‑сервисами — чистые (pure/pristine spamtraps) и преобразованные (recycled spamtraps) спам‑ловушки.

Чистые спам‑ловушки оказывают крайне негативное влияние на вашу репутацию и, как следствие, доставляемость писем на ящики основных почтовых провайдеров. Наказание за отправку письма на чистую спам-ловушку будет очень серьёзным, ведь такие ящики были созданы только с одной целью — быть ловушкой, ловить спамеров и вычищать их рассылки из ящиков обычных пользователей.

Чистые спам-ловушки — это емейл‑адреса, созданные почтовыми провайдерами и затем «раскиданные» по разным сайтам в интернете (по форумам, сайтам знакомств, страницам контактов, где‑то ещё) только с одной целью — чтобы спамеры собрали этот адрес своими парсерами сайтов и затем отправили на него письмо. Соответственно, такой емейл по определению никогда не может подписаться на какую‑либо рассылку самостоятельно, а может быть только добавлен в лист подписчиков недобросовестным отправителем. Любое письмо, отправленное на чистую спам‑ловушку, автоматически характеризуется как спам, и нет никакого значимого обоснования или оправдания, почему ваше письмо оказалось во «Входящих» спам‑ловушки.

Второй тип ловушки — это преобразованные спам-ловушки, которые появляются в результате процесса «отмирания» емейл‑адресов. Преобразованные ловушки — это емейлы, которые были созданы обычными пользователями, но затем были заброшены и больше не используются ими. По истечении определённого срока неактивности аккаунта (в зависимости от почтового провайдера) такой адрес замораживается или отключается почтовым провайдером и начинает возвращать ошибку доставки при попытке отправить на него письмо — например, ошибку «550 — Unknown User». Далее емейл находится в таком статусе и отдаёт ошибку доставки ещё какой‑то срок, например, в Mail.ru этот период занимает не менее года, и после этого часть адресов может быть восстановлена и начнёт снова принимать входящие сообщения, но уже будет преобразованной спам‑ловушкой, а не живым ящиком.

Мастер Йода рекомендует:  Создание эффекта наезда фотокамеры

Попадание в такую преобразованную спам‑ловушку несёт меньше негативного влияния, чем попадание в чистую ловушку, но всё равно засчитывается за «хит» и отрицательно влияет на вашу репутацию в целом, так как говорит почтовому провайдеру, что вы абсолютно не следите за качеством вашей базы рассылок, раз в течение года допускали отправку писем на несуществующие ящики, возвращающие ошибку доставки.

Ещё одним типом ловушек, который иногда выделяют, являются так называемые функциональные адреса — емейлы, которые имеют общепринятое значение в мире, например, ящики abuse@, postmaster@, webmaster@, support@ — но для таких адресов степень влияния будет определяться только политиками администратора домена и может быть как очень серьёзной (вплоть до полной блокировки ваших писем), так и не иметь практически никакого влияния. Но в любом случае стоит избавиться от таких адресов в вашей базе подписчиков ☺

Способы попадания в списки подписчиков

Спам-ловушки потому и называются ловушками, что никто, кроме их владельца (ISP или антиспам‑сервиса), не знает фактического адреса емейла, поэтому очень часто осознание факта, что у вас в базе вдруг оказались ловушки, может быть внезапным, особенно если это происходит вместе со штрафными санкциями, наложенными на доставляемость рассылок со стороны почтовых провайдеров. Ниже указаны несколько типичных способов попадания ловушек в базу подписчиков.

2. Второй отличный способ получить спам-ловушки в базе — это использовать старые списки адресов, собранные годы назад. За то время, пока эта база лежит без использования, адреса могут умирать и становиться преобразованными ловушками. Так что относитесь очень внимательно к кампаниям реактивации — вы рискуете получить не новые продажи, а блокировку почтовиками, если попадёте на спам‑ловушки.3. Следующий способ получения ловушек — это опечатки в адресах или именах доменов. Время от времени почтовые провайдеры закрываются, сливаются друг с другом, меняют имена доменов — иногда в подобных ситуациях все адреса на каком‑то конкретном домене могут превратиться в ловушки.

Риски, связанные с ловушками

Спам-ловушки оказывают крайне сильное негативное влияние на вашу репутацию рассыльщика и доставляемость ваших писем. При этом чистые ловушки имеют большее влияние, чем преобразованные. Попадание на чистую ловушку в 95 % случаев приведёт к немедленной блокировке вашего IP‑адреса и, в зависимости от почтового сервиса, имени домена. Процесс восстановления репутации в этом случае окажется длительным и болезненным — готовы ли вы в течение нескольких месяцев терять огромную часть выручки канала емейл‑маркетинга из‑за отправки письма на спам‑ловушку?

Процесс решения проблемы со спам‑ловушками может занимать от недели до полугода — в зависимости от типа ловушки, почтового провайдера, ваших действий — и часто будет требовать глобальной очистки вашей базы, например, удаления всех, кто не совершал хотя бы несколько кликов в последние три месяца — а такая чистка может «убить» до 70‑80 % всей вашей базы.

Как избавиться от ловушек в базе

Самым простым способом не попадать на спам‑ловушки является следование рекомендуемым практикам работы с подписчиками: иметь подписку с подтверждением, вовремя чистить базу от неактивных и несуществующих адресов. Но, если вы уже всё же попали на ловушку, то этот раздел для вас.

Перед тем как вы обратитесь в специализированные сервисы, которые предоставляют очистку базы от спам‑ловушек, вам следует вспомнить, что фактические адреса емейла, являющегося ловушкой, знает только владелец этой ловушки, а все остальные специализированные сервисы, и вы в том числе, могут вычислить ловушку только по внешним и второстепенным признакам.

Первоначальной задачей для решения проблемы является вычисление источника ловушки — например, вы начали работу с новым партнёром или же включили отдельную посадочную страницу для сбора адресов. При этом не спрашивайте ISP о конкретном адресе емейла — вам никогда не дадут эту информацию, ведь этот адрес используется для отлова спамеров и его работа и настройка стоит определённых ресурсов, которые тратятся в том числе на сохранение емейла неизвестным для спамеров.

Следующие комплексные тактики помогут вам избавиться от спам‑ловушек в базе:

1. Повторное подтверждение подписки для всех ваших подписчиков. Это крайне затратный способ, который может стоить вам потери 75 % базы пользователей, а также большой доли маркетингового бюджета. При этом, если использовать правильную сегментацию, можно попробовать уменьшить потери при переподписке на рассылки всего до 50 % базы ☺ Такая практика является стандартной и рекомендуется к использованию во всех случаях появления ловушки в списках подписчиков.

2. Если в недавнее время вы покупали списки рассылок — то, вне зависимости от стоимости их покупки, вам нужно удалить все эти емейлы из вашей базы. Тут нужно просто понимать, что потери от блокировки рассылок будут куда более существенными, чем то, что вы потенциально сможете заработать на этом листе.

3. Может быть, в недавнее время у вас был резкий скачок в количестве новых подписчиков? Если так, то, опять же, стоит сделать кампанию переподписки для этих емейлов либо вообще отказаться от их использования. При этом вы можете вычислить источник появления такого большого количества адресов у вас в базе и просто прекратить отношения с этим партнёром, чтобы избежать повторения проблемы в будущем.


Да, все эти способы достаточно кардинальны и существенно уменьшают базу подписчиков, а также требуют серьёзных денежных затрат, но наличие ловушки в базе может сказаться на доставляемости рассылок ещё более серьёзно и причинить куда большие потери в выручке.

Предотвращаем попадание ловушки в листы подписчиков

Основным правилом по избеганию ловушек является соблюдение рекомендаций почтовых провайдеров по работе с базами подписчиков:

  • Использовать double opt‑in (подписку с подтверждением) — ящик‑ловушка, будучи роботом, просто никогда не подтвердит подписку на ваши рассылки и не попадёт в листы.
  • Вовремя удалять ошибки доставки — так вы сможете избежать преобразованных ловушек.
  • Не покупать листы. Никогда не покупать листы. Ни при каких обстоятельствах не покупать листы!
  • Не делать рассылки по старым базам пользователей.

Но, кроме этого, есть ещё несколько дополнительных способов снизить вероятность попадания ловушек в ваши базы пользователей:

1. Использовать умные формы подписки — вы предотвратите таким образом трафик из ботов, который могут отправить к вам недобросовестные веб-мастера. Кроме этого, можно настроить дополнительные правила проверки доменов и емейлов, например, исключить умершие домены. Или же вы можете просто запретить ввод в ваших формах подписки любых емейлов на корпоративных доменах, разрешив только публичные домены типа mail.ru/yandex.ru — конечно, собрав предварительно максимально полный их список.

2. Использовать стоп-листы (supression lists) — списки емейлов, по которым нельзя отправлять письма. Разумеется, такой список обязательно нужно переносить с собой при переезде на новую платформу рассылок. Сам по себе список может включать как несуществующие емейлы, которые вы вычислили самостоятельно, так и домены временных ящиков, адреса жалобщиков на спам, список мёртвых доменов, список служебных имен (типа abuse@ или postmaster@), список доменов государственных структур.

3. Настроить обработку мягких ошибок доставки (soft bounce). Если после получения жёсткой ошибки доставки (несуществующий емейл) стоит сразу удалять емейл, то для мягких ошибок доставки (переполненный почтовый ящик, автоответчики) стоит самостоятельно установить какой-то предел, например, четыре мягкие ошибки за месяц — и после этого удалять такие адреса из базы. Это нужно делать просто потому, что если подписчик за месяц не смог почистить свою почту, то вряд ли он вообще когда‑либо ещё будет пользоваться этим ящиком.

Заключение

Попадание на спам-ловушку — это не конец жизни и вашего емейл‑маркетинга. Но при этом даже одна спам-ловушка в базе требует очень большой работы, которую лучше поручить подкованному консультанту, чтобы, с одной стороны, ускорить сроки решения проблемы, а с другой — минимально потерять в базе подписчиков во время очистки базы от потенциальных ловушек. Кроме этого, вы можете воспользоваться сервисами очистки баз, например, Mailvalidator, Briteverify или TowerData.

Самое главное — помнить, что наличие ловушек напрямую влияет на доставляемость и, следовательно, прибыльность канала, а предотвратить их появление намного проще, чем затем вычищать их из базы. Так что отправляйте качественно, следуйте best practives и не попадайте на ловушки!

Как защитить форму от спам-ботов: подробное руководство

07 февраля 2020 – 00:30

Если вы замечаете стихийный рост базы данных сайта или подозреваете, что его взломали, — значит защита от спам-ботов не работает. Они добавляют в базу чужие адреса, ломают аналитику и портят рейтинг. Сайт виснет, пользователи жалуются, вы боитесь, что боты доберутся и до сервера. Нужно дать им бой!

Какой метод использовать и как отличить робота от человека? Какая защита уже не эффективна, а какая — самая надёжная? Об этом читайте в нашей статье.

Для чего нужно защищать форму от ботов

Однажды вы можете зайти в админку и увидеть такую же картину, какую мы увидели на сайте одного из наших проектов:

Всё это — роботы, которые регистрировались через форму на сайте и к тому же иногда возвращались обратно. Чего они добивались — мы до конца не знаем, потому что вовремя приняли меры.

Наш пример показывает, что от атаки спам-ботов не застрахован никто. Чем она обернётся, зависит от спамеров, которые на вас вышли. Вот некоторые последствия атаки спам-бота на сайт:

  • на почтовый ящик, который получает данные из формы, приходят письма со спамом;
  • качество базы подписчиков снижается: бывают случаи, когда подписчиков-ботов становится больше, чем подписчиков-людей, и это грозит ухудшением репутации;
  • портится статистика на сайте: новые пользователи появляются, а толку от них никакого;
  • большое количество запросов от ботов загружает сервер, из-за этого страницы открываются медленно;
  • боты ищут уязвимые места в коде и могут получить доступ к серверу;
  • на сайте появляются комментарии наподобие таких:

Такие комментарии отпугивают реальную аудиторию на сайте, и постепенно он умирает.

В худшем случае боты заражают сайт, внедряя скрипты, например, чтобы использовать его для спам-рассылок от имени техподдержки. Бывает, что при атаке они запускают спам-сценарии. Схема такая: они регистрируются в форме от имени другого пользователя, адрес которого взяли в открытом доступе. В поле с именем или в поле комментариев пишут рекламный текст со ссылкой на мошеннический сайт. Дальше тот самый пользователь получает от вас письмо с просьбой подтвердить подписку, открывает его и, возможно, кликает по ссылке ради интереса.

Так боты используют вашу хорошую репутацию. После такой атаки вполне реально попасть в чёрный список.

Нужна ли капча?

Капча (captcha) — типичный пример теста Тьюринга, который помогает отличить искусственный интеллект от человеческого.


Форматов много: можно заставить пользователей вводить странные сочетания букв, расшифровывать аудиосообщения, решать примеры или искать на фотографиях машины или дорожные знаки. Безопасно для владельца сайта, но очень раздражает пользователей, которые могут бросить форму на полпути.

Можно ли защитить форму без капчи? Конечно, можно.

Методы защиты формы от спама без капчи

У всех способов борьбы со спам-атаками есть общий недостаток: они устаревают. Как только вы придумываете новый метод защиты, разработчики ботов стараются найти в них лазейки, поэтому важно быть начеку. Ниже мы расскажем, какие способы ещё рабочие, а какие — уже ненадёжные.

Задать рамки на время заполнения формы

Роботы вводят данные моментально, в то время как человеку нужен какой-то отрезок времени, чтобы напечатать имя и email. По этой логике вы сможете отсекать ботов ещё на этапе заполнения полей.

Но не всё так просто: во многих браузерах есть функция автозаполнения форм. Пользователь не тратит время на ввод email, а значит, скрипт может посчитать его ботом. Вдобавок большинство ботов уже умеет заполнять формы с такой же скоростью, как это делает человек. Так что этот метод можно использовать как дополнение к остальным, но не рассчитывайте, что он отсечёт всех роботов в одиночку.

Добавить скрытое поле

Логика такая: человек видит на сайте два поля для ввода (имя и email). Хотя на самом деле есть третье поле, скрытое в коде.

Робот сканирует код сайта, а не внешнюю оболочку, поэтому видит это поле и заполняет его. И тем самым даёт скрипту на сайте знать, что данные от этого пользователя принимать не стоит.

Казалось бы, безотказный метод защиты. Но бот будет пытаться отправить данные через форму во всех возможных комбинациях: заполнять одни поля и оставлять другие пустыми, чередовать их содержимое и так далее. Так или иначе, он подберёт способ отправки данных и сломает вашу защиту, так что метод ненадёжный.

Блокировать user-agent

Спамеры используют специфические заголовки user-agent (идентификатор конкретного пользователя). В сети вы даже можете найти списки user-agent спам-ботов и заблокировать их заранее в файле htaccess. Но имейте ввиду, что полностью это вас не защитит. Боты умеют подделывать user-agent и успешно обходят эту блокировку.

Расставить «ловушки»

К примеру, приём скрытой ссылки. Человек её не видит, но в коде она есть. Бот проходит по этой ссылке, и тут-то вы блокируете его IP. Но имейте в виду, что если вы используете код ловушки, который нашли в интернете в открытом доступе, то она, скорее всего, работать не будет.

В идеале напишите уникальную ловушку своими силами, но для этого нужен ресурс. Если у вас есть толковый специалист, который сможет создать такую ловушку, считайте, вам повезло.

Пользоваться сервисами reCAPTCHA

Сервисы, созданные специально для борьбы со спам-ботами, — лучший вид защиты, при условии, что его создатели регулярно обновляют алгоритмы, которые блокируют нежелательных посетителей. Поэтому если вы захотите пользоваться сервисами — выберите самые популярные от надёжных разработчиков.

Например, существуют сервисы reCaptcha и invisible reCaptcha, которые поддерживает Google. А по запросу «recaptcha analog» можно найти множество платных и бесплатных аналогов в разном дизайне и функционале.

reCaptcha

Пользователю предлагают совершить минимальное действие: нужно только поставить галочку «Я не робот». Пример Disqus:

Когда пользователь нажимает на галочку, сайт проверяет репутацию его IP. Если с ней всё в порядке — данные, которые он ввёл в форму, отправляются в базу. Если репутация под сомнением — ему предлагают ввести капчу. И только после того, как человек ввёл правильные символы, он может отправить данные.

Invisible reCaptcha

Действует по такому же принципу, что и reCaptcha, с тем отличием, что пользователю не нужно нажимать «Я не робот». Его проверка на «человечность» начинается, когда он нажимает на кнопку отправки данных. То, что на сайте работает invisible reCaptcha, можно заметить по небольшой плитке с лого где-нибудь в углу страницы. Например, вот так она выглядит на «Авито».

Мастер Йода рекомендует:  Обучение программированию с нуля с чего начать изучение в домашних условиях

Пользоваться LeadPlan

Подавляющее большинство сервисов защиты от спам-ботов обороняет уже отображённые на странице формы. Чтобы робот заполнил поля и нажал «Отправить», форма должна быть на странице. Если её нет — то и нечего отправлять, значит, бот уйдёт с сайта в поисках новой жертвы.

LeadPlan ещё при открытии страницы путём проверки IP и скрипта, о котором расскажем ниже, определяет, что клиент — бот, и просто не загружает ему форму. А если клиент — человек, то она загружается в обычном режиме.

Когда пользователь открывает сайт, запускается проверка на:


  • активность вкладки (у большинства ботов нет понятия «активная вкладка»);
  • user-agent (так отфильтровывается ещё часть сомнительных посетителей);
  • активности на странице (скролл, свайп, передвижение курсора).

Если активности нет, то скрипт не продолжает работать. Но как только фиксируются признаки «человечности», скрипт возобновляется. Без капчей, формул, пазлов, регистрации и смс.

Заключение

Как видите, не все популярные методы хороши. Самый надёжный щит от спам-ботов — это многоэтапная проверка на «человечность». В то же время большинство эффективных средств защиты всё-таки навязывают взаимодействие с пользователем: нужно что-то ввести или передвинуть.

В погоне за новыми способами защиты не забывайте о людях. Многих раздражает, когда их просят распознавать текст на смазанных картинках. Поэтому пускай проверка для человека проходит незаметно, например, через сервисы reCaptcha или LeadPlan.

Спам-боты: вскрытие и борьба

Злобные программисты не спят ночами и не отдыхают днями, пытаясь засадить очередного спам-бота в компьютер честного пользователя. Они зарабатывают деньги на нашем трафике, засвечивая нас в блеклистах и выставляя в дурном свете перед начальством. В этой статье мы взглянем на спам-боты с позиции защитника добра и справедливости, проведем вскрытие и научимся их убивать.

Капля истории

Исторически методики рассылки спама пережили три базовых этапа:

  1. Рассылка вручную. Этот метод до сих пор применятся, но эффективность его невелика, и с таким спамом очень просто бороться путем внесения почтового и ip-адреса отправителя спама в черный список.
  2. Программы автоматической рассылки спама. Могут быть выполнены в виде утилиты под Windows или скрипта для размещения на web-сайте. В сущности, это автоматизированная разновидность метода 1, и иногда она работает по принципу лохотрона — пользователю обещаются золотые горы, если он примет участие в рассылке спама при помощи указанной программы. Доверчивые пользователи ловятся на это, принимают участие – в результате они и денег не получат, и их ip попадает в черные списки.
  3. Рассылка спама при помощи сети троянских прокси и спам-ботов. Этот метод наиболее популярен и актуален в настоящее время и поэтому заслуживает детального рассмотрения.

Схема работы типового спам-бота

Во-первых, для построения сети троянских прокси или ботов необходимо каким-либо образом заразить множество компьютеров этим самым ботом. Достигнуть этого можно при помощи эксплойтов, Trojan-Downloader, почтовых или сетевых червей. Наиболее простая схема – это Trojan-Downloader, который после запуска доверчивым пользователем затаскивает на пораженный компьютер все остальные компоненты.

Далее, после установки и запуска, спам-бот связывается с сервером владельцев. Несложно догадаться, что для работы ему необходим список email-адресов, по которым следует рассылать спам, параметры рассылки и шаблоны самих писем. Чаще всего получение этой информации ведется по многоступенчатой схеме – на первом этапе спам-бот посылает своим хозяевам информацию о том, что он запущен (с указанием IP-адреса пораженной машины, ее характеристиками и неким уникальным идентификатором – шаг 1 на схеме), в ответ получает конфигурацию (шаг 2), содержащую, в частности, URL серверов, с которых ему следует загружать списки адресов и шаблоны спама. Далее спам-бот загружает базу адресов (шаг 3) и шаблоны (шаг
4), после чего приступает к рассылке. Важной особенностью является то, что спам-бот вместо тупой рассылки заданной текстовки по списку адресов может модифицировать текст, дополнять его картинками или представлять в виде графики в соответствии с заданным алгоритмом и шаблоном. После завершения рассылки порции писем многие спам-боты посылают отчет о проделанной работе (шаг 5). Отчет может содержать статистические данные (количество успешных рассылок и ошибок) и список адресов, по которым не удалось разослать спам.

Для пользователя появление на компьютере спам-бота является крайне неприятным событием. Во-первых, он накрутит ему десятки мегабайт трафика. А во-вторых, IP пораженной машины с высокой степенью вероятности попадет в черные списки, и в дальнейшем возникнут проблемы с отправкой нормальной почты. Это особенно важно для фирм, имеющих свой почтовый сервер и статический IP-адрес – всего один юзер со спам-ботом может причинить массу головной боли админам.

Построение сетей из спам-ботов является прибыльным бизнесом – объектом торгов может быть сам спам-бот, готовая сеть из таких ботов или платная рассылка спама, осуществляемая ботами. Бороться с рассылаемым при помощи ботов спамом намного сложнее – фильтрация по IP не эффективна, а модификация писем затрудняет отсев по контексту при помощи байесовских фильтров или сигнатурных анализаторов.

Помимо спам-ботов существует еще одна методика рассылки спама, основанная на применении так называемых троянских прокси (Trojan-Proxy), которые позволяют злоумышленнику работать в сети от имени пораженной машины. Типовой алгоритм работы троянского прокси состоит в открытии на прослушивание некоторого TCP-порта (иногда номер порта статический, но чаще произвольный – для затруднения обнаружения путем сканированием портов), после чего он связывается с владельцами и передает им IP и порт. Далее он работает как обычный прокси-сервер. Многие троянские прокси умеют размножаться по принципу сетевых червей или при помощи уязвимостей.

Важно отметить, что существует множество гибридов – например, спам-бот может обладать функцией Trojan-Downloader для загрузки своих обновлений или установки дополнительных компонентов.

Найти и вскрыть!

Рассмотрим реальный пример – зловреда Trojan.Win32.Spabot.ai. Его установка начинается с загрузки из интернета дроппера размером около 29 Кб. Запустившись, дроппер создает на диске файл C:\WINDOWS\system32\rpcc.dll и регистрирует себя в автозапуск в качестве расширения Winlogon (ключик HKLM\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Winlogon\Notify\rpcc). Далее он внедряет троянский код в процесс winlogon.exe и запускает его через CreateRemoteThread – в результате деятельности троянского кода происходит подгрузка библиотеки rpcc.dll (это классическая методика инжекта библиотек в процесс «по Рихтеру»). Работает библиотека по описанному выше алгоритму – получает задание и начинает методичную
рассылку спама. В качестве лирического отступления следует заметить, что среди троянских прокси и спам-ботов метод автозапуска в качестве расширения Winlogon весьма популярен. Его плюс в том, что работа идет из контекста winlogon.exe, отдельного процесса у зловреда нет, а библиотеку с «системным» именем типа rpcc.dll не всякий юзер решится удалить. Если еще добавить руткит-маскировку, восстановление ключей реестра и монопольное открытие файла, то получим труднообнаруживаемого и трудноудаляемого зловреда.

Теперь посмотрим на спам-бота с точки зрения защиты. Конечно, для борьбы с ними можно посоветовать антивирусы, Firewall и проактивную защиту. Но на самом деле детектировать наличие спам-бота очень несложно и без них. Дело в том, что даже в случае идеальной руткит-маскировки, спам-бота выдает рассылка спама – достаточно вооружиться сниффером и посмотреть, что твориться в сети. Выбор сниффера в данном случае не важен, но желательно, чтобы он умел реконструировать TCP-сессии и накапливать статистику. Мне для таких опытов нравится использовать CommView, очень неплох Ethereal. Обнаружив в сети зараженную спам-ботом машину, мы увидим примерно такую статистику (на рисунке 2 показан трафик
сегмента сети из двух компьютеров: на одном сниффер, на втором – спам-бот).

Статистика обмена с сетью зараженного спам-ботом ПК за 30 секунд

Как видно, весь трафик — это SMTP + DNS, что очень характерно для спам-бота. Далее можно отфильтровать обмен по порту 25 TCP и посмотреть содержимое пакетов. Протокол SMTP — текстовый, поэтому рассылка спама засвечивается по содержимому писем.

Фрагмент обмена с SMTP-сервером

Аналогичным способом, кстати, можно ловить почтовых червей – разница с точки зрения трафика лишь в том, что червь рассылает свои копии вместо спама.

Однако у сниффера есть один большой минус – он слишком громоздкий для оперативной проверки компьютера и требует инсталляции. Для исследования локального компьютера выходом из положения является утилита TDIMon, которая поможет не только обнаружить «нездоровую» сетевую активность, но и вычислить порождающее ее приложение.

Кроме того, не сложно изготовить собственный детектор спам-ботов при помощи C на основе анализа сетевого трафика. Рассмотрим его исходник:


#include
#include
#include

// Буфер для приема данных
#define MAX_PACKET_SIZE 65535
static BYTE Buffer[MAX_PACKET_SIZE];

int _tmain(int argc, _TCHAR* argv[])
<
WSADATA wsadata; // Инициализация WinSock
SOCKET RawSocket; // Слушающий сокет
int res = 0;

// Инициализация WS2_32
WSAStartup(MAKEWORD(2,2), &wsadata);
// Создание RAW-сокета
RawSocket = socket( AF_INET, SOCK_RAW, IPPROTO_IP );

// Определение имени хоста для нашего ПК
char HostName[256] =»localhost»;
gethostname(HostName, sizeof(HostName));
printf(«HostName = %s \n», HostName);

// Определение информации по имени хоста
PHOSTENT pLocalHostEnt;
pLocalHostEnt = gethostbyname(HostName);

// П Подготовка структуры SockAddr с адресом нашего хоста
SOCKADDR_IN SockAddr;
ZeroMemory(&SockAddr, sizeof(SockAddr));
SockAddr.sin_family = AF_INET;
SockAddr.sin_addr.s_addr = ((in_addr *)pLocalHostEnt->h_addr_list[0])->s_addr;
/*
// Если на ПК несколько сетевых карт, то вместо определения IP его нужно задать вручную
SockAddr.sin_addr.s_addr = inet_addr(«x.x.x.x»);
*/
printf(«Host IP = %s \n», inet_ntoa(SockAddr.sin_addr));

// Переключение сетевой карты в «promiscuous mode» для захвата всех пакетов
unsigned long flag = 1;
res = ioctlsocket(RawSocket, SIO_RCVALL, &flag);

Принцип действия данного детектора крайне прост – в его основе лежит сниффер на базе RAW-сокетов. Приведенный выше код инициализирует библиотеку WS2_32, затем определяет имя хоста и его IP (в реальной утилите стоит предусмотреть возможность указания IP через командную строку – пригодится для запуска на компьютере с несколькими сетевыми картами). Далее сетевая карта переключается в promiscuous mode для приема всех пакетов. Данную фичу тоже можно сделать опциональной – тогда появится возможность анализировать трафик только того компьютера, на котором запущена утилита. Прием и анализ пакетов организован в цикле: ожидаем приема очередного пакета и анализируем его заголовки. Для каждого принятого
пакета мы определяем тип по его заголовку – нас интересуют только пакеты TCP/IP v4. Если это так, то далее проверяем номер порта – для отлова спам-бота нам интересен порт 25, соответствующий SMTP-протоколу. При обнаружении таких пакетов на экран выводятся IP-адреса источника и получателя пакета. Для уменьшения протокола в данном исходнике предусмотрен еще один уровень фильтрации – утилита реагирует только на пакеты с установленными флагами SYN + ACK. Если запустить такую утилиту на зараженном спам-ботом компьютере (или такой компьютер будет в одном сегменте сети с тем, на котором запущена утилита), то зафиксируется бурный обмен по порту 25.

Подобная утилита, конечно, не панацея, но в ряде случаев она может весьма пригодиться сисадмину, тем более что программа очень простая, и ее несложно модифицировать для других видов оперативного анализа трафика. Если дополнить этот пример статистическим анализатором, то несложно построить собственную IDS-систему – тут поле деятельности не ограниченно :). Естественно, что при применении такой утилиты или сниффера следует помнить, что невозможно анализировать трафик компьютеров в сети, построенной на базе свитчей – в этом случае анализ трафика следует вести на маршрутизаторе, отвечающем за обмен локальной сети с внешним миром. В UNIX-системах для такого мониторинга удобно применять tcpdump –
он является штатным средством, и полученный в результате его работы текстовый протокол несложно проанализировать. Простейший пример запуска этого сниффера – «tcpdump -I tcp port 25 > smtp.log».

Полную версию статьи ты можешь
прочитать в январском
номере
«Спеца»

Простая ловушка для ботов

Приветствую! С вами Денис Герасимов сайт rek9.ru и мы поговорим о том, как установить на ваш лендинг простую ловушку для ботов.

Зачем ставить ловушку для ботов на лендинг? Чтобы ответить на этот вопрос, нужно понять природу возникновения ботов. Например, если вы рекламируетесь в тизерных сетях, либо в рекламной сети Яндекса, либо в контекстно-медийной сети Гугл. В эти сети принимают различные сайты, владельцы которых могут быть недобросовестными. Они могут либо покупать этих ботов, либо создавать их для того, чтобы на их сайте боты кликали по рекламе. В итоге, если будет много кликов, они заработают больше денег. Для того, чтобы выявить эти недобросовестные сайты и их владельцев устанавливается ловушка для ботов.

В данном случае мы сделаем простую ловушку, которая выявляет ботов только по одному параметру — если они перешли на определенную страницу. И как результат — мы можем составить блек лист (пример блек листа для Google AdWords) для этих площадок, по которым мы не хотим рекламироваться и эти площадки уже добавить к себе в рекламную сеть, чтобы запретить на них показ рекламы. В результате мы будем экономить бюджет.

Как сделать ловушку для ботов?

  1. Создать отдельную страницу-ловушку
  2. Поставить Я.Метрику на страницу-ловушку
  3. Сделать ссылку на страницу ловушку с лендинга
  4. Замаскировать ссылку ловушку
  5. Создать цель в Яндекс.Метрике

Создание ловушки для Ботов

У меня есть доступ к хостингу и на нем мы будем создавать страницу-ловушку. Для этого нажмем СОЗДАТЬ НОВЫЙ ФАЙЛ с названием, например, Order.html. Можно назвать ее Bot, но это опасно, так как боты сейчас уже умнее и если в названии присутствует слово Бот, то они не желают по ней переходить. Затем нажмите на этот файл РЕДАКТИРОВАТЬ и пишем простой код

Сохраните файл. Посмотрите, как эта страница выглядит в браузере.

Теперь на эту страницу мы поставим ссылку с нашего лендинга. Открываем наш лендинг в браузере. Важно, что ссылку для ботов нужно поставить на сайте в том тексте, где содержаться такие слова как КУПИТЬ, ЗАКАЗАТЬ, ОПЛАТА и т.п. Если на вашем лендинге нет таких слов, то можно их создать. Я, например, добавлю в текст с преимуществами заказа на нашем сайте, одно из преимуществ


. Сохраните изменения. Перейдите на страницу лендинга и обновите. Вы увидите, что появилась новая ссылка «Заказ», попробуйте перейти по ней, должна открыться страница ловушка.

Теперь нужно эту ссылку скрыть, чтобы ее не видели обычные посетители сайта. Для этого нужно взять цвет основного текста страницы. Нажмите на странице в браузере Google Chrome правой кнопкой мыши и выберите ПРОСМОТР КОДА ЭЛЕМЕНТА. В правом окне находим цвет текста color и копируем это значение. Затем открываем код нашего лендинга и прописываем нашей ссылке «Заказ» стиль style =’color: #333;’и пропишем, что у нашей ссылки нет нижнего подчеркивания text-decorations: none;. Сохраните изменения, обновите страницу лендинга в браузере. Наша ссылка стала незаметной и слилась с общим текстом в одном стиле. Меняется только значок мышки при наведении на ссылку. Это тоже можно изменить, но не обязательно. (Чтобы изменить, нужно прописать в стилях cursor: default;)

Мастер Йода рекомендует:  Предновогодняя почта была полна троянов

Далее необходимо установить код счетчика на нашу ловушку. Для этого перейдите в свой аккаунт Яндекс.Метрики и возьмем КОД СЧЕТЧИКА. При этом должен быть включен ВЕБВИЗОР, а ИНФОРМЕР отключен. Скопируйте код счетчика. Затем на хостинге откройте код лендинга и после тега вставьте код счетчика. И сделайте тоже самое на странице ловушке.

Теперь внутри аккаунта Яндекс.Метрики необходимо создать цель. Нажимаем ДОБАВИТЬ ЦЕЛЬ, назовем ее БОТЫ и в графе URL СТРАНИЦЫ СОДЕРЖИТ вставляем адрес нашей страницы ловушки. Нажмите ДОБАВИТЬ и СОХРАНИТЬ. Теперь переходим в МЕТРИКУ.

Для того, чтобы проверить работает ли схема, кликните на вашем лендинге на скрытую ссылку. Через некоторое время, обновите МЕТРИКУ.

Что еще необходимо сделать, для того, чтобы отлавливать ботов? Одной ловушки может быть недостаточно, поэтому нужно использовать utm метки. Зайдите на www.tools.yaroshenko.by ГЕНЕРАТОР UTM МЕТОК (или воспользуйтесь моим генератором), в АДРЕС ЦЕЛЕВОЙ СТРАНИЦЫ вставьте адрес вашего лендинга, ИСТОЧНИК ТРАФИКА выберите Яндекс.Директ, если планируете рекламироваться в Директ. И чтобы нам видеть внутри нашей UTM метки ресурсы, то есть домены с которых перешел посетитель в графе ИДЕНТИФИКАТОР ОБЪЯВЛЕНИЯ необходимо прописать следующий макрос. Сгенерируйте ссылку. Скопируйте и подставьте в адресную строку лендинга. Затем нажмите по скрытой ссылке. Вместо слова source будет видно адрес страницы, с которой перешли по ссылке.

Чтобы проверить как это сработало переходим в МЕТРИКУ Яндекс и видим, что количество БОТЫ увеличилось. И уже в КОНСТРУКТОРЕ ОТЧЕТОВ мы можем построить по UTM меткам UTM source. После нажатия СОЗДАТЬ ОТЧЕТ вы увидите список доменов, из которых боты перешли на ваш лендинг. И уже потом добавляем эти сайты в черный список.

Таким образом настраивается отлов ботов на лендинге.

Как защититься от спам-ботов

Время чтения: 6 минут Нет времени читать? Нет времени?

Представьте ситуацию: вы открываете отчеты Google Analytics и видите рост реферального трафика. Отлично, думаете вы, появились какие-то жирные внешние ссылки, по которым народ приходит на сайт табунами. Однако анализ показывает, что 90 % реферального трафика идет с какого-то сомнительного ресурса. Более того, под вашими публикациями ежедневно появляются невнятные комментарии в стиле «классная тема, а я вот тут недавно скачал что-то классное и бесплатное». Естественно, комментаторы ссылаются на это самое классное и бесплатное. Похоже, на ваш сайт приходят спам-боты. Как от них защититься и зачем это делать?

Зачем блокировать и фильтровать спамеров

Столкнувшись со спам-ботами, многие веб-мастера ограничиваются премодерацией комментариев. Этого мало по трем причинам. Во-первых, если спамеры активно посещают ваш сайт, это искажает аналитические данные. Несколько сотен или даже десятков визитов спам-ботов в месяц делают некорректной статистику о реферальных переходах, а также поведенческие метрики.

Во-вторых, массовые нашествия ботов создают лишнюю нагрузку на сервер. Если речь идет об одном-двух визитах в сутки, скорее всего, вы не заметите проблем. А если визиты исчисляются десятками в день, ваши реальные посетители могут заметить падение скорости загрузки страниц. Как вы знаете, это большая проблема. Наконец, боты могут не просто оставлять комментарии. Некоторые программы ищут уязвимости в вашем движке или пытаются получить доступ к серверу.

Как защититься от спам-ботов

Вы можете воспользоваться тремя способами защиты от спамеров. Первый можно считать самым радикальным и опасным. Второй и третий — это мягкие способы защиты. Для повышения эффективности их можно использовать одновременно.

1. Заблокируйте спам-ботов с помощью файла .htaccess

Как отмечалось выше, это самый радикальный способ борьбы со спамерами и любыми другими нежелательными посетителями. Настроив файл .htaccess, вы запрещаете вход на сайт пользователям, приходящим с указанных вами IP-адресов. Главное достоинство этого метода — вы защищаете сайт от попыток взлома, сервер от ненужной нагрузки, пользователей от спама, а статистические данные от искажения.

Однако блокировка с помощью файла .htaccess имеет и недостатки. Во-первых, спамеры могут легко менять IP-адреса. Во-вторых, вы можете закрыть сайт для нормальных посетителей, которые имеют одинаковый со спамерами «айпишник». Если это вас не пугает, тогда приступайте:

  • Найдите в корневой директории сайта файл .htaccess. Доступ к корневому каталогу обычно осуществляется через FTP в кабинете настроек хостинга.
  • Если соответствующий файл отсутствует, создайте его самостоятельно. Для этого откройте блокнот, создайте файл htaccess.txt, загрузите его в корневую директорию и переименуйте в .htaccess.
  • Чтобы заблокировать спамеров, сделайте в файле следующую запись:

Вместо звездочек поставьте IP-адреса, которые вы хотите заблокировать. Скорее всего вам придется постоянно добавлять в список запрещенных новые «айпишники».

2. Настройте фильтры Google Analytics

Этот способ решает единственную задачу: защищает статистические данные от искажения. При этом спам-боты продолжают ходить на ваш сайт, оставляют комментарии, создают нагрузку на сервер и, возможно, пытаются получить доступ к управлению ресурсом.

Чтобы исключить данные о действиях ботов на сайте, вам необходимо создать новый фильтр. Придерживайтесь следующего алгоритма действий:

  • Выберите опцию «Администратор» в горизонтальном меню.

  • В правой колонке выберите меню «Фильтры» и нажмите кнопку «Новый фильтр».
  • Воспользуйтесь встроенным фильтром, чтобы заблокировать нежелательные IP-адреса. Для этого в меню «Выберите тип фильтра» укажите «Исключить», в меню «Выберите источник или цель» укажите опцию «Трафик с IP-адресов», в меню «Выберите выражения» укажите опцию «Идентичные». В поле «IP-адрес» укажите адреса, которые необходимо заблокировать. Сохраните настройки.

Также вы можете исключить данные о посещениях из определенных стран, регионов и городов. Для этого выберите соответствующую опцию с помощью выпадающего меню «Поле фильтра».

Также в меню «Настройки представления» подтвердите опцию «Фильтрация роботов». Дефолтный фильтр Google Analytics может исключить посещения некоторых роботов из отчетов.

3. Используйте возможности CMS и дополнительные плагины

Этот метод защищает пользователей от спам-комментариев, а ваш сайт от попыток взлома. Выбирайте конкретные инструменты в зависимости от движка, на котором работает ваш ресурс. В число универсальных инструментов входят следующие:

  • Ручная премодерация комментариев.
  • Капча.
  • Защита админпанели сайта от брутфорсинга. Если ваш сайт работает на WordPress, эта задача решается с помощью плагина Limit Login Attempts.
  • Блокировка спам-комментаторов по IP, использованию спам-слов, электронным адресам. Рекомендации для ресурса на WordPress: в админпанели выберите меню «Настройки — обсуждения». В поле «Черный список» внесите нежелательные «айпишники», электронные адреса, спам-слова. Эту задачу также можно решить с помощью плагина WP-Ban.
  • Антиспам-плагины. Эти программы определяют спамеров алгоритмически. В число наиболее популярных плагинов для WordPress входят Akismet, Anti-Spam, Invisible Captcha, Antispam Bee.

Обратите внимание, антиспам-плагины и премодерация комментариев ухудшают пользовательский опыт. Поэтому используйте их, если спамеры действительно оставляют много комментариев на вашем сайте.

Какую тактику защиты от спам-ботов выбрать

Если спамеры досаждают вам дурацкой рекламой волшебных пилюль или файлообменников, боритесь с ними с помощью плагинов и программ. Так вы заблокируете большинство автоматических сообщений. Для борьбы с ручным спам-комментированием придется использовать премодерацию. Чтобы очистить статистические данные, настройте фильтры в Google Analytics. А если вы подозреваете, что к вашему сайту целенаправленно пытаются получить доступ злоумышленники, блокируйте подозрительные IP с помощью файла .htaccess. Также вы можете использовать программные средства защиты от взлома. Не забудьте сообщить о попытках несанкционированного доступа к сайту хостинг-провайдеру.

Правильная защита от спам-ботов

Содержание

Оптимизаторы сайтов и их владельцы в своем большинстве уже поняли ценность уникального качественного контента, дополнительной ценности имеющейся на ресурсе информации. Использование «белых» методов продвижения верно ведет к увеличению трафика. Вчерашние «новые» пользователи «сегодня» приводят на сайт еще больше посетителей, рассказывая об уровне информационного содержимого сайта.

Месяцы усилий по продвижению в таком ключе могут враз перечеркнуть спам-боты, «пришедшие» на сайт.

Что такое спам-боты

Спам-боты являются компьютерными программами, имеющими своей целью рассылку сообщений спамового характера либо рекламных сообщений, не согласованных с руководством сайта и/или по чужеродной сайту тематике.

Эти сообщения мешают воспринимать оригинальную информацию сайта, снижают удовлетворенность пользователей сайтом и, в конечном итоге, приводят к понижению количества посетителей сайта.

Спам-боты «работают» не только с сайтами, но и с соц.группами, адресами электронной почты, ресурсами быстрого обмена сообщениями. Адреса для рассылок спам-боты находят на форумах, бесплатных сайтах объявлений, чатах. Также боты используют автоматический подбор адресов.

Зачем блокировать и фильтровать ботов

Премодерация комментариев после «посещения» ресурса спам-ботами, используемая многими вебмастерами, не является высокоэффективным способом по 2 причинам:

  • боты создают нагрузку на сервер, что вызывает снижение скорости загрузки страниц. Некоторые боты ищут доступ непосредственно к серверу, а этого допускать нельзя;
  • искажение аналитики после спам-ботов сводит к минимуму возможность правильного анализа поведенческих метрик.


Методы защиты от спам ботов

В зависимости от желаемой «жесткости» уровня защиты, различают 3 способа противодействия спам-ботам, среди которых первый является самым радикальным, второй и третий —помягче:

1. Использование файла .htaccess

Это самый серьезный способ борьбы с ненужными посетителями сайта. Вход на сайт запрещается пользователям, пришедшим с указанных вебмастером адресов.

Недостатками этого метода являются:

  • возможность блокирования IP-адресов посетителей, схожие с адресами спам-ботов;
  • частая смена адресов спам-ботами, что сложно контролировать.

Метод использования файла .htaccess заключается в следующем:

  1. Данный файл находится в основной директории сайта. Доступ к каталогу осуществляется через настройки хостинга.
  2. При отсутствии файла в системе нужно создать его самостоятельно. В блокноте с этой целью создается файл htaccess.txt, который переименовывается в .htaccess в корневой директории.

Для блокировки используется следующий код:

Уважаемые посетители, сохраните эту статью в социальных сетях. Мы публикуем очень полезные статьи, которые помогут Вам в вашем деле. Поделитесь! Жмите!

где вместо звездочек указываются те адреса, которые необходимо заблокировать. Этот список время от времени необходимо будет пополнять.

2. Настройка фильтра Google Analytics

Этот способ создает защиту статистическим данным, они не искажаются вследствие воздействия спам-ботов. При этом ничего более не меняется, спам-боты посещают сайт, нагрузка на сервер повышается, повышен риск получения доступа к управлению ресурсом.

Создание фильтра происходит по следующему алгоритму:

  • в меню выбирается опция «Администратор»;
  • справа выбирается меню «Фильтр»-«Новый фильтр»;
  • встроенный фильтр поможет заблокировать адреса, которые не являются желаемыми. Для этого необходимо нажать «Исключить» в меню «Выберите тип фильтра», в меню «Выберите источник или цель» выбрать «Трафик с IP-адресов», в меню «Выберите выражения» указать Идентичные». В IP-адресе указываются адреса для блокировки.

Необходимо также включить функцию «Фильтрации роботов» в «Настройках», включить штатный бот-фильтр.

3. Использование возможностей CMS и дополнительных плагинов.

Метод позволяет защитить сайт от взлома, а тексты — от комментариев спамного характера. Инструменты подбираются в соответствии с операционной системой, на которой работает ресурс.

К основным используемым инструментам относятся:

  1. Защита административной панели от брутфорсинга посредством установки соответствующего системе плагина.
  2. Ручная премодерация комментариев.
  3. Капча.
  4. Антиспам-плагины — определение спамеров с помощью алгоритма. Здесь необходимо отметить, что плагины и премодерация существенно снижают поведенческий фактор, поэтому злоупотреблять ими не стоит.

Выбор тактики защиты от спам-ботов

Первым делом при обнаружении «атаки» спам-ботов необходимо сообщить хостинг-провайдеру о попытках несанкционированного доступа к ресурсу.

Последующие меры будут зависеть от способа воздействия ботов на сайт:

  1. Ручное комментирование-спам ликвидируется посредством премодерации.
  2. Для очистки статистических данных настраиваются фильтры Google Analytics.
  3. Файл .htaccess поможет блокировать подозрительные IP-адреса, тем самым не позволяя получить доступ к сайту злоумышленникам.

Работа по выявлению и ликвидации последствий деятельности спам-ботов позволит поддерживать статус качественного ресурса, что очень важно для его дальнейшего продвижения.

711 миллионов адресов электронной почты попали в ловушку спам-бота

Исследователь из Парижа, известный под псевдонимом Benkow, обнаружил открытый и доступный извне веб-сервер, размещенный в Нидерландах, в котором хранится множество текстовых файлов, содержащих огромную партию адресов электронной почты, паролей и почтовых серверов, используемых для отправки спама. В общей сложности было обнаружено 711 миллионов учетных записей электронной почты.

Эти учетные данные имеют решающее значение для крупномасштабной работы спамера, они позволяют обойти фильтры спама, отправляя электронную почту через законные почтовые серверы.

Спамбот, получивший название Onliner, используется для доставки вредоносной программы Ursnif в почтовые ящики по всему миру. По словам Benkow, на сегодняшний день это привело к более чем 100 000 уникальных инфекций по всему миру.

Трой Хант (Troy Hunt), запустивший сайт, уведомляющий взломах «Have I Been Pwned», заявил, что это «ошеломляющий объем данных».

Benkow, опубликовавший свои выводы в блоге, провел месяцы, исследуя вредоносную программу Ursnif. Ursnif представляет собой троян, персональные данные, например, данные для авторизации, пароли и данные кредитных карт. При распространении этого трояна спамер отправлял дроппер в качестве якобы легитимного вложения в электронном письме. Если пользователь запускал этот файл, с сервера загружалась вредоносная программа.

Учитывая популярность использования электронной почты для распространения вредоносных программ, фильтры электронной почты становятся более умными, и многие домены, уличенные в отправке спама, были внесены в черный список. Однако спам-кампания Onliner использует сложную настройку для обхода этих спам-фильтров.

«Для того, чтобы начать рассылать спам, злоумышленнику нужен огромный список учетных данных SMTP. Эти учетные данные аутентифицируют спамера, позволяя отправить то, что кажется абсолютно безобидным электронным письмом. Чем больше SMTP-серверов он найдет, тем больше он сможет распространять кампанию» — пишет в своем блоге Benkow.

Учетные данные были получены злоумышленником благодаря множеству утечек, происходивших в разное время: взлом LinkedIn, взлом Badoo и других известных компаний. По словам исследователя, в списке насчитывается около 80 миллионов учетных записей, каждая строка содержит адрес электронной почты и пароль, а также SMTP-сервер и порт, используемый для отправки электронной почты.

Спамер проверяет каждую запись, подключаясь к серверу, чтобы убедиться, что учетные данные действительны. Неработающие учетные записи игнорируются.

Письма, рассылаемые в этой конкретной кампании, выглядят достаточно безобидно, но они содержат скрытое изображение размером с пиксель. После открытия такого письма на адрес злоумышленника отправляется IP-адрес жертвы, информация о ее user-agent и другая информация об устройстве. Это помогает злоумышленнику узнать, кого он атакует, так как хакеру нужно выбирать Windows-пользователей. Для пользователей iPhone или Android вредонос Ursnif не представляет никакой опасности.

Benkow отметил, что такие таргетированные атаки позволяют злоумышленнику оставаться до определенной степени незаметным, не привлекать к себе излишнего внимания очень масштабными рассылками.

Добавить комментарий