Применение скрытой переадресации карается исключением из поисковой выдачи Google


Оглавление (нажмите, чтобы открыть):

Применение скрытой переадресации карается исключением из поисковой выдачи Google

Представители поисковой системы Google напоминают владельцам сайтов о том, что использовать скрытую переадресацию мобильных пользователей недопустимо и чревато санкциями.

В отчёте Google за 2015 год, касающемся борьбы с веб-спамом, отмечается, что сообщения пользователей, в которых они сигнализируют о спаме, достаточно важны. Благодаря подобным сообщениям, выявляются проблемы, которые больше всего беспокоят пользователей. Одна из них – переадресация на домены спамного характера пользователей, заходящих на сайты через мобильные устройства. Для предотвращения

развития этой проблемы, сайты, которые используют такие редиректы, строго наказываются.

С методами обнаружения и устранения скрытой переадресации можно ознакомиться в справочной системе Google.

О применении поисковиком ручных санкций (вплоть до исключения сайта из индексации), к ресурсам, которые осуществляют скрытую переадресацию пользователей мобильных устройств, известно с октября прошлого года.

В начале 2014 года в Google была обновлена справочная информация, которая адресовалась веб-мастерам и касалась скрытых перенаправлений. При этом, отмечалось, что пользователи десктопов попадают на обычную страницу нужного им ресурса, а тех, кто заходит на сайт с мобильного устройства, хакеры перенаправляют на спамный домен.

Наиболее важные правила скрытой переадресации на сайте

Скрытая переадресация – это перенаправление посетителей на URL-адрес отличный от первоначального. Перенаправление одного URL на другой часто оправдано, например, при переносе сайта на новый адрес или при объединении нескольких страниц в одну.

Однако, целью некоторых перенаправлений является обман поисковых систем или клоагинг контента. Использование языка JavaScript, тега meta refresh или других технологий, чтобы перенаправить пользователя на другую страницу с целью показа контента отличного от предоставляемого поисковым системам, нарушает советы Google для веб-мастеров и может привести к удалению вашего сайта из поисковой выдачи.

Когда перенаправление выполняется таким образом, поисковая система не может проиндексировать целевую страницу, в то время как пользователи попадают на целевую страницу. Такая маскировка является мошеннической практикой, так как это может привести к отображению различного контента для пользователей и поисковых роботов. Она может вызвать перемещение пользователей на неожиданные страницы.

Перенаправление пользователей с помощью JavaScript может быть оправдано. Однако, обязательно анализируйте сценарии и другие перенаправления на своем сайте на предмет совместимости с правилами поисковых систем, учитывайте намерения сопровождающие создание таких перенаправлений.

Помните, что перенаправление 301 лучше всего работает при переносе сайта, но вы можете использовать JavaScript, если не имеете доступа к серверу сайта.

Санкции Google: скрытое перенаправление мобильных пользователей

Google беспощадно пессимизирует ушлые веб-сайты, уличенные в обмане мобильных пользователей. Теперь скрытая переадресация на спамные домены, а также скрытное перенаправление или «невидимый» редирект, входят в список нарушений официальных рекомендаций для веб-мастеров.

Поисковая система Google ведёт беспощадную борьбу с веб-спамом во всех его проявлениях и любых вариациях. Например, распространённый Sneaky Mobile Redirect или скрытая переадресация мобильных пользователей (сотовые телефоны, смартфоны, планшетные компьютеры) считается явным нарушением правил Google.

Что такое скрытая переадресация?

Под этим мудрёным термином кроется банальное перенаправление (редирект) мобильных пользователей на контент и (или) другие веб-ресурсы, которые закрыты для посещений поисковым роботом GoogleBot. Команда Google различными способами выявляет подобные нарушения, в том числе и с помощью сообщений от неравнодушных людей. Наказание сайта за редирект (скрытую переадресацию) – удаление спамного URL-адреса из индекса Google. В справочной информации для веб-мастеров содержится уточнение мобильного редиректа, когда десктопным пользователям показывается целевая веб-страница, а пользователи смартфонов скрытным образом перенаправляются на совершенно другую интернет-страницу спамного домена.

В отдельных случаях переадресация не запрещается и даже рекомендована для удобства владельцев смартфонов и других мобильных гаджетов. Например, при адаптации текстового, графического и медийного контента под возможности конкретных устройств, когда пользователям смартфонов предлагается мобильная версия сайта одной и той же страницы. Но скрытое перенаправление на другие URL-адреса вводит пользователей сотовых телефонов в заблуждение и однозначно расценивает как нарушение рекомендаций для веб-мастеров.

На некоторых сайтах скрытый редирект действует без ведома владельцев этих ресурсов. Типичные причины появления Sneaky Mobile Redirect:

  • Неправильный код веб-страницы нарушает правила переадресации.
  • На странице размещён специальный скрипт (элемент) для демонстрации мобильной рекламы или монетизации веб-сайта.
  • На странице размещен хакерский скрипт для перенаправления посетителей сайта на спамные веб-ресурсы с вредоносным контентом и опасными приложениями.

Скрытая переадресация: как обнаружить признаки Sneaky Mobile Redirect

Наличие на сайте скрытного редиректа (переадресации) мобильных пользователей определяется несколькими способами:

  • Личный опыт . Посетите сайт с помощью смартфона или планшетного компьютера, перейдя как по прямой ссылке, так и через органическую выдачу Google.
  • Проверка через веб-браузер . Выполните эмуляцию действий мобильных пользователей через десктопный браузер (в настройках браузера включите режим эмуляции мобильных устройств).
  • Отзывы посетителей . Найдите пользовательские отзывы в сети. Это надёжная информация о состоянии сайта. Критические замечания посетителей веб-ресурса помогут своевременно обнаружить проблемы с редиректом.
  • Веб-аналитика . Обследуйте сайт с помощью аналитических систем, например Google Analytics. Профессиональный анализ статистики сайта и поведенческие факторы могут рассказать о многом. Резкое уменьшение посещаемости или среднего времени, проведенного мобильными пользователям на сайте, может свидетельствовать о перенаправлении посетителей на другой домен.

Скрытая переадресация: как опознать и удалить Sneaky Mobile Redirect

  1. Взломанный сайт . Зайдите под собственным аккаунтом в Search Console и откройте раздел «Проблемы безопасности». При наличии обнаруженных проблем в этом разделе будете специальное оповещение.
  2. Проверка кода сайта . Убедитесь в отсутствии на сайте подозрительных скриптов и сторонних элементов, которые вызывают (могут вызвать) переадресацию.
  3. Обнаружен посторонний код . В случае обнаружения постороннего кода следует удалить по одному сторонние скрипты и элементы с тех страниц, где выявлено перенаправление. После удаления очередного скрипта (элемента) каждый раз проверяете наличие (отсутствие) скрытой переадресации. Для этого используйте мобильное устройство или запустите веб-браузер в режиме эмуляции.
  4. Помощь со стороны . В некоторых случаях скрытое перенаправление выполняется легальными скриптами или элементам сторонних поставщиков программного обеспечения. Удалите или локализуйте подозрительные скрипты (элементы) с сайта и обратитесь поставщику для решения проблемы с отладкой.

Как исключить скрытую переадресацию мобильных пользователей

  • Серьёзный подход к рекламе . Выбирайте добросовестных рекламодателей, которые избегают спамные методы рекламы для мобильных устройств.
  • Рекомендации профессионалов . Доверие клиентов и заказчиков – солидный нематериальный актив. Чтобы сохранить собственный имидж и репутацию изучите рекомендации профессионалов по работе с рекламными сетями. Например, правила IAB (Interactive Advertising Bureau) по обеспечению качества интерактивной рекламы
  • Правильная монетизация контента . Для коммерческих сайтов разработаны действенные технологии монетизации контента. Они обеспечивают комфортный просмотра контента сайта с мобильных устройств.

Применение скрытой переадресации карается исключением из поисковой выдачи Google

Serpstat использует файлы cookie для обеспечения работоспособности сервиса, улучшения навигации, предоставления возможности связаться с командой поддержки, а также маркетинговых активностей Serpstat.

Нажав кнопку «Принять и продолжить», вы соглашаетесь с Политики конфиденциальности

Мы запустили рейтинг зарплат интернет-маркетологов! Прими участие в анонимном опросе.

How-to – Читать 7 минут – 1 февраля 2020

Для ответа на этот вопрос сначала нужно разобраться, что такое переадресация — автоматическое перенаправление посетителя на другую страницу или сайт.

Скрытый редирект сайта представляет собой перенаправление пользователя мобильного устройства на контент, который недоступен краулеру, например, WAP-click партнерки. Такое перенаправление нарушает рекомендации Google. К ресурсам, использующим такую переадресацию, могут быть применены санкции поисковой системы — удаление страниц из индекса.

В данном случае речь не идет о переадресации пользователей мобильных девайсов на адаптированную облегченную версию сайта, размещенную на субдомене. Проблемным является редирект мобильного трафика на другие URL-адреса, что мешает нормальному доступу к искомому ресурсу.

Для поисковых систем удобство ресурса для посетителей имеет высокий приоритет, поэтому проекты с недобросовестной рекламой банятся на определенный период времени. Если затем владелец сайта удаляет все рекламные скрипты с переадресацией, ресурс возвращают в индекс поисковиков.

Такая переадресация может возникать как по осознанному желанию владельцев сайтов, так и появиться без их ведома по таким причинам:

Google резко повысила фильтрацию запрещенного в России контента

Глава Роскомнадзора Александр Жаров объявил о том, что Google увеличила уровень фильтрации запрещенного в России контента в своей поисковой выдаче, доведя эти цифры до 80%. Об этом сообщает ТАСС.

Кроме того, Жаров высказал надежду, что когда-нибудь IT-гигант сможет установить уровень фильтрации на 100%, иначе его снова будут ждать крупные штрафы.

«Надеюсь, этого не произойдет», — заявил руководитель надзорного органа.

При этом он заявил о том, что Роскомнадзор «умеет ждать», поэтому в ближайшем будущем новых санкций в отношении Google ждать не стоит.

«Газета.Ru» направила запрос в пресс-службу Google, но не смогла получить оперативный комментарий.

В сентябре Александр Жаров на форуме «Спектр-2020» в Сочи рассказал журналистам, что Google «принимает технические действия для того, чтобы улучшить выдачу» после того, как компания была оштрафована на 700 тыс. рублей.

Речь идет о штрафе, наложенном на Google в середине июля текущего года. Тогда Роскомнадзор заявил о том, что компания нарушила закон «Об информации», обязывающий поисковые системы убирать из выдачи ссылки на интернет-ресурсы, содержащие в себе информацию, запрещенную на территории Российской Федерации.

«Контрольным мероприятием зафиксировано, что Google производит выборочную фильтрацию поисковой выдачи — более трети ссылок из единого реестра запрещенной информации сохраняются в поиске», — заявили в пресс-службе Роскомнадзора.

Ведомство подчеркнуло, что представителям компании Google неоднократно разъяснялись данные требования закона.

Впервые о том, что надзорная служба готовится оштрафовать Google, сообщалось в конце октября 2020 года. В соответствии со ст. 15.8 федерального закона «Об информации, информационных технологиях и о защите информации» действующие на территории РФ операторы поисковых систем обязаны исключить из поисковой выдачи заблокированные в России интернет-ресурсы. Для того необходимо подключиться к ФГИС (Федеральная государственная информационная система, содержащая реестр запрещенных интернет-ресурсов).

За неисполнение этого закона для юридических лиц предусмотрена административная ответственность — штраф в размере от 500 до 700 тыс. руб. В итоге Google был оштрафован на обе эти суммы.

Как ранее заявлял заместитель руководителя Роскомнадзора Вадим Субботин, не исключено, что в будущем этот закон может быть ужесточен, чтобы виновным компаниям, многократно игнорирующим требования регулятора, могла грозить блокировка, а не только денежные штрафы.

«Действующий закон сейчас не предполагает блокировку, он предполагает административный штраф. Но вы понимаете, что если мы зайдем в тупик, то на законодательном уровне у нас есть все возможности, чтобы этот вопрос урегулировать. Если государство видит, что какая-то иностранная компания не соблюдает российское законодательство последовательно и системно, то государство вносит изменения в закон, и за неисполнение российских законов возможно более суровое наказание — такое как блокировка», — заявил Субботин.

«Мы же ведем речь о детской порнографии, суицидах, наркотиках, азартных играх, продаже алкоголя. Мы говорим об экстремизме и терроризме. Именно эта информация у нас запрещена. И именно ее мы хотим, чтобы Google фильтровал», — добавил замглавы Роскомнадзора.

Стоит отметить, что претензии Роскомнадзора к Google не ограничиваются фильтрацией запрещенного контента. В начале сентября надзорный орган обвинил компанию в распространении политической рекламы во время выборов, что запрещено законодательством РФ.

«В ходе мониторинга средств массовой коммуникации в единый день голосования установлены факты распространения в поисковой системе Google, в социальной сети Facebook и на видеохостинге Youtube политической рекламы. Данные действия можно рассматривать как вмешательство в суверенные дела России и воспрепятствование проведению демократических выборов в Российской Федерации», — говорится в пресс-релизе Роскомнадзора, поступившем в «Газету.Ru».

Как отметил пресс-секретарь Роскомнадзора Вадим Ампелонский, факты нарушений со стороны Google и Facebook будут переданы в комиссию Государственной думы по расследованию иностранного вмешательства в дела России.

Google предупреждает-2: скрытое перенаправление пользователей будет наказываться

Речь идет о сайтах, которые Google используют (намеренно или даже без осознанных намерений) скрытую переадресацию пользователей мобильных устройств: по заявлению представителей Google объявил, по данному нарушению предусмотрено применение ручных санкций вплоть до исключения ресурса из индекса.

По определению, под «скрытой переадресацией» понимается переадресация, используемая для обмана поисковика, а также для направления посетителей на страницы, отличных от проанализированных сканером (поисковый робот в такой ситуации, скорее всего, индексирует содержание исходной страницы а пользователи — страницу переадресации).

Такие действия рассматриваются как мошеннические (наравне с маскировкой). При этом представитель Google пояснил, что перенаправление мобильных пользователей, преследующее цель улучшения их опыта нарушением рекомендаций не является.

Отдельно рассматриваются случаи скрытой переадресации, о которой не знают и сами вебмастера (как правило, это результат работы некоторых рекламных схем или результат взлома). Для выявления скрытой мобильной переадресации вебмастерам рекомендуется проверять мобильные версии сайта на наличие перенаправления, отслеживать поведение пользователей с помощью аналитических данных, оперативно реагировать на жалобы мобильных пользователей.

Санкции Google: скрытое перенаправление мобильных пользователей

Google беспощадно пессимизирует ушлые веб-сайты, уличенные в обмане мобильных пользователей. Теперь скрытая переадресация на спамные домены, а также скрытное перенаправление или «невидимый» редирект, входят в список нарушений официальных рекомендаций для веб-мастеров.

Поисковая система Google ведёт беспощадную борьбу с веб-спамом во всех его проявлениях и любых вариациях. Например, распространённый Sneaky Mobile Redirect или скрытая переадресация мобильных пользователей (сотовые телефоны, смартфоны, планшетные компьютеры) считается явным нарушением правил Google.

Что такое скрытая переадресация?

Под этим мудрёным термином кроется банальное перенаправление (редирект) мобильных пользователей на контент и (или) другие веб-ресурсы, которые закрыты для посещений поисковым роботом GoogleBot. Команда Google различными способами выявляет подобные нарушения, в том числе и с помощью сообщений от неравнодушных людей. Наказание сайта за редирект (скрытую переадресацию) – удаление спамного URL-адреса из индекса Google. В справочной информации для веб-мастеров содержится уточнение мобильного редиректа, когда десктопным пользователям показывается целевая веб-страница, а пользователи смартфонов скрытным образом перенаправляются на совершенно другую интернет-страницу спамного домена.

Мастер Йода рекомендует:  Майнер WannaMine стал приемником вируса WannaCry

В отдельных случаях переадресация не запрещается и даже рекомендована для удобства владельцев смартфонов и других мобильных гаджетов. Например, при адаптации текстового, графического и медийного контента под возможности конкретных устройств, когда пользователям смартфонов предлагается мобильная версия сайта одной и той же страницы. Но скрытое перенаправление на другие URL-адреса вводит пользователей сотовых телефонов в заблуждение и однозначно расценивает как нарушение рекомендаций для веб-мастеров.

На некоторых сайтах скрытый редирект действует без ведома владельцев этих ресурсов. Типичные причины появления Sneaky Mobile Redirect:

  • Неправильный код веб-страницы нарушает правила переадресации.
  • На странице размещён специальный скрипт (элемент) для демонстрации мобильной рекламы или монетизации веб-сайта.
  • На странице размещен хакерский скрипт для перенаправления посетителей сайта на спамные веб-ресурсы с вредоносным контентом и опасными приложениями.

Скрытая переадресация: как обнаружить признаки Sneaky Mobile Redirect

Наличие на сайте скрытного редиректа (переадресации) мобильных пользователей определяется несколькими способами:

  • Личный опыт . Посетите сайт с помощью смартфона или планшетного компьютера, перейдя как по прямой ссылке, так и через органическую выдачу Google.
  • Проверка через веб-браузер . Выполните эмуляцию действий мобильных пользователей через десктопный браузер (в настройках браузера включите режим эмуляции мобильных устройств).
  • Отзывы посетителей . Найдите пользовательские отзывы в сети. Это надёжная информация о состоянии сайта. Критические замечания посетителей веб-ресурса помогут своевременно обнаружить проблемы с редиректом.
  • Веб-аналитика . Обследуйте сайт с помощью аналитических систем, например Google Analytics. Профессиональный анализ статистики сайта и поведенческие факторы могут рассказать о многом. Резкое уменьшение посещаемости или среднего времени, проведенного мобильными пользователям на сайте, может свидетельствовать о перенаправлении посетителей на другой домен.

Скрытая переадресация: как опознать и удалить Sneaky Mobile Redirect

  1. Взломанный сайт . Зайдите под собственным аккаунтом в Search Console и откройте раздел «Проблемы безопасности». При наличии обнаруженных проблем в этом разделе будете специальное оповещение.
  2. Проверка кода сайта . Убедитесь в отсутствии на сайте подозрительных скриптов и сторонних элементов, которые вызывают (могут вызвать) переадресацию.
  3. Обнаружен посторонний код . В случае обнаружения постороннего кода следует удалить по одному сторонние скрипты и элементы с тех страниц, где выявлено перенаправление. После удаления очередного скрипта (элемента) каждый раз проверяете наличие (отсутствие) скрытой переадресации. Для этого используйте мобильное устройство или запустите веб-браузер в режиме эмуляции.
  4. Помощь со стороны . В некоторых случаях скрытое перенаправление выполняется легальными скриптами или элементам сторонних поставщиков программного обеспечения. Удалите или локализуйте подозрительные скрипты (элементы) с сайта и обратитесь поставщику для решения проблемы с отладкой.

Как исключить скрытую переадресацию мобильных пользователей

  • Серьёзный подход к рекламе . Выбирайте добросовестных рекламодателей, которые избегают спамные методы рекламы для мобильных устройств.
  • Рекомендации профессионалов . Доверие клиентов и заказчиков – солидный нематериальный актив. Чтобы сохранить собственный имидж и репутацию изучите рекомендации профессионалов по работе с рекламными сетями. Например, правила IAB (Interactive Advertising Bureau) по обеспечению качества интерактивной рекламы
  • Правильная монетизация контента . Для коммерческих сайтов разработаны действенные технологии монетизации контента. Они обеспечивают комфортный просмотра контента сайта с мобильных устройств.


Исключение из поисковой выдачи

Проектом закона предлагаются новые редакции ряда статей ГПК РФ, планируется ввести термин «производный сайт в сети Интернет» и определить порядок ограничения доступа к таким сайтам на основании обращений правообладателей в Московский городской суд.

Как следует из документa, изменения предлагается внести на основе анализа практики применения мер по ограничению доступа к интернет-сайтам, на которых неоднократно и неправомерно размещалась информация, содержащая объекты авторских и (или) смежных прав. Указывается, что законодательство не содержит инструментов для борьбы с автоматически создаваемыми «зеркалами» сайтов. Кроме того, существует возможность получения информации о сайтах в сети «Интернет», доступ к которым ограничен на основании судебных решений, через поисковые системы.

Проект закона устанавливает обязанность для операторов поисковых систем удалять из поисковой выдачи сведения о сайтах или производных от них, на которых неоднократно и неправомерно размещалась информация, содержащая объекты авторских прав, и доступ к которым был ограничен на основании судебного решения.

На стадии публичного обсуждения законопроекта экспертами отмечалось, что вопросы нивелирования воздействия предлагаемого регулирования, в том числе обходы блокировки производного сайта, можно решить посредством использования набора общедоступных технических и программных средств, а с учетом экстерриториального характера сети «Интернет» принятие проекта может привести только к усилению изоляции его российского сегмента.

В отзывах также указывалось, что необходимость исключения из результатов поиска сайтов, доступ к которым ограничен на основании судебных решений, остается неочевидной, так как пользователь просто не сможет на него перейти уже по причине ограничения доступа к сайту оператором связи. Одновременно предлагаемое регулирование может привести к необоснованным издержкам хозяйствующих субъектов, владеющих поисковыми службами, а также возлагает на них несвойственные обязанности, сообщается в анализе Минэкономразвития.

Адвокат Виктор Наумов согласился с тем, что предложенный законопроект вызывает сомнения. «Введение понятия “производный сайт в сети Интернет” направлено на борьбу с зеркальными сайтами, на которые перенаправляют информацию и пользователей в случае блокировки исходного ресурса. Однако такая мера не сможет сильно повлиять на незаконное распространение аудиовизуального контента в интернете, так как сейчас пользователи чаще прибегают к другим способам обхода блокировок», – пояснил он.

Вызывает у эксперта вопросы и введение обязанности операторов поисковых систем по удалению поисковой выдачи сведения об указателях сайтов, на которых неоднократно и неправомерно размещалась информация, содержащая объекты авторских прав, так как под это определение подпадает огромное количество ресурсов.

Концептуально поддерживая принятие мер по борьбе с пиратскими сайтами, юрист практики по интеллектуальной собственности / информационным технологиям АБ «Качкин и Партнеры» Максим Али указал на то, что есть вопросы к механизму упрощенной блокировки «зеркал», который планируется реализовать через приказное производство с сохранением подсудности Мосгорсуда.

Во-первых, для получения судебного приказа на блокировку ресурса необходимо представить суду заключение Роскомнадзора (порядок выдачи такого заключения еще будет определен Правительством РФ). Значит, подчеркивает юрист, удобство упрощенной блокировки «зеркала» будет сильно зависеть от такого порядка. Кроме того, возникает вопрос, почему именно Роскомнадзор наделен квазисудебной функцией определять, какой сайт является «зеркалом», а какой – нет. По словам Максима Али, проблема в том, что понятие производного сайта дано в законопроекте достаточно размыто, и если оно не будет конкретизировано постановлением Правительства РФ о порядке выдачи заключений, то возникнет серьезный риск неправомерной блокировки сайтов, частично копирующих информацию с пиратского ресурса, даже если она не является объектом авторских (смежных) прав, права на который были нарушены.

Во-вторых, продолжает эксперт, предусмотрен своеобразный механизм извещения о судебном приказе. «Соответствующее уведомление направляется Роскомнадзором, однако последний может известить не только владельца сайта, но и вместо этого провайдера хостинга или даже иное лицо, обеспечивающее размещение производного сайта», – уточнил он.

Максим Али подчеркнул, что формулировка закона несовершенна, так как использование госорганом подобной альтернативы по извещению лишь одного из перечисленных выше лиц должно быть связано с невозможностью уведомления владельца сайта или в крайнем случае его хостинга, а не просто с предоставлением определенной дискреции Роскомнадзору.

Санкции поисковых систем — проявление, диагностика, снятие

Верно следуя открытому Ньютоном закону природы — любому действию всегда есть равное и противоположное противодействие — сотрудники антиспам отделов Яндекса и Google формулируют в своих алгоритмах множество фильтров направленных на противодействие различным приёмам оптимизации и поискового спама.

Безусловно разделяя эти два зачастую граничащих понятия, остановимся на фильтрах, направленных на различные методы оптимизации, оставив несколько в стороне санкции, нацеленные на откровенный поисковый спам.

1. Основные типы санкций

Все типы санкций можно разделить на группы и ассоциировать их с причинами, повлекшими их наложение. Следуя данной классификации можно разделить фильтры на типы, с которыми сталкиваются SEO-специалисты. В таблице 1 указаны: наименование фильтра, ключевая причина применения (названия ячеек) и краткая сводка по каждому из них.

Считается, что фильтр одновременно встречается в поисковых системах Яндекс и Google — если обратное не указано явно.

За текстовое содержимое и микроразметку

За ссылочную составляющую

За поведенческую информацию

1. «Переспам» — уменьшает значение релевантности документа по заданному поисковому запросу в Яндексе.

2. «Переоптимизация» — уменьшает итоговое значение релевантности документа в Яндексе. Фильтр «Переоптимизации» применяется также и вручную по усмотрению антиспам-аналитиков Яндекса.

3. «Текстовый антиспам» или «Новый» — существенно дисконтирует значение релевантности документа по запросу, что приводит к полной потери позиций по нему в Яндексе.

4. За спам в микроразметке — ручной тип санкций поисковой системы Google за спам в разметке структурированных данных / микроразметке.

5. «Баден-Баден» — запросозависимый алгоритм Яндекса, направленный на понижение в выдаче переоптимизированных страниц. Оценивается весь контент документа: plain text, прочее текстовое содержимое. Имеется и вторая (отдельная) часть алгоритма — хостовый фильтр.

6. «Повторяющийся контент» — резкое (Google) или более плавное (Яндекс) проседание позиций сайта в результате использования повторяющегося текста на страницах. Может применяться из-за наличия поддоменов (Google), гео-папок (Яндекс), сквозных блоков текста и других элементов.

7. «Ссылочный взрыв» — штрафует акцепторов при наличии неестественно высокого темпа наращивания ссылочной массы. Доноры, участвующие во «взрыве» — также помечаются как неблагонадежные.

8. «Пингвин (версии 1.0–4.0)» — существенно понижает позиции по запросам в выдаче Google за спам в анкорах текстов входящих ссылок.

9. «Ссылочный спам / Пессимизация» — различные типы санкций, применяемые к сайтам при манипулировании ссылочной массой (ссылочные кольца, прогоны и другие).

10. «Внутренний/Внешний Непот» — не учёт внутренних/внешних ссылочных связей при наличии избыточной (спамной) перелинковки внутри/вне сайта.

11. «Минусинск» — сильное понижение сайта в выдаче по всем поисковым запросам за избыточное число и долю SEO-ссылок в ссылочном профиле сайта.

12. «Накрутка ПФ» — штрафует сайт за искусственное улучшение кликовых поведенческих факторов с применением мотивированного трафика или эмуляций действий пользователей в поисковой системе Яндекс. Ресурс продолжает нормально ранжироваться только по витальным и запросам с явным указанием URL-адресов с сайта.

13. «Кликджекинг/Clickjacking» — понижает в ранжировании сайты, которые используют технологию кликджекинга (размещают на странице невидимые элементы с которыми взаимодействует пользователь не подозревая этого). С помощью данной технологии владельцы сайтов обманным путём могут получить номер телефона пользователя из социальной сети и прочую персональную и неперсонифицированную информацию.

14. «Криптоджекинг/Cryptojacking» — помечает как «Сайт может быть опасен» и ниже ранжирует страницы, которые содержат скрипты, предназначенные для майнинга криптовалют с использованием вычислительных мощностей устройств посетителей проекта.

15. «Содействие имитации действий пользователей» — понижение позиций проекта в выдаче Яндекса за использованием КАПЧИ, которая заставляет рядовых пользователей выполнять действия по накрутке кликовых поведенческих факторов. Санкция направлена на сайты, которые вовлекают посетителей в накрутку, так как действия таких пользователей сложней отследить и отфильтровать.

Ассоциированность сайтов в группу

За рекламную составляющую

За «взрослое» содержимое

16. «Аффилированность» — группирует сайты на выдаче так, чтобы в зоне видимости остался только один из сайтов группы.

17. «На одинаковые сниппеты» — группирует сайты на выдаче в случае существенного пересечения текстовой информации используемой для сниппета в Яндексе.

18. «Назойливая реклама» — понижает в ранжировании сайты с избыточным рекламным содержимым (popunder, clickunder, pop-up и аналоги).

19. Обманная и избыточная реклама — понижает в ранжировании сайты с обманным содержимым во всплывающих окнах, уведомлениях и сайты с избыточным объемом рекламы.

В случае с Google используется алгоритм Page Layout, который оценивает наличие уникального контента в видимой части первого экрана на документе (которая доступна после перехода из поиска).

20. «За обман мобильных пользователей» — снижение общего уровня трафика проектов, которые отображают для мобильных пользователей агрессивную рекламу (подписка, кликандер, скачка и т.д.) и/или используют автоматические редиректы для посетителей с мобильных устройств.

21. «За рекламу, вводящую в заблуждение» — пессимизация проектов на которых размещена реклама или CPA-офферы, которая вводит пользователей в заблуждение по оценке алгоритма Яндекса (оформлена как элементы навигации, не помечена как реклама и так далее). Запущен в апреле 2020 года.

22. «За навязчивые оповещения» — понижение в результатах поиска сайтов, которые вынуждают пользователя подписаться на рекламные оповещения (push). Запущен в январе 2020 года.

23. «Adult-фильтр» — исключает из зоны видимости сайт по «не взрослым» запросам. Сайт фигурирует в выдаче только по запросам с явным adult-интентом.

За общее качество содержимого

За направленность ресурса

За обман поисковой системы

24. «АГС» — различные версии алгоритма в Яндексе, направленные на ограничение в ранжировании и индексации сайтов созданным не для пользователей и/или размещающих с себя избыточное число исходящих SEO-ссылок.

25. «Supplementary Results» — отображение документов с сайта в дополнительных (изначально скрытых) результатах выдачи Google.

26. «Панда» — понижает в результатах выдачи Google сайты с низким качеством информации.

27. «Партнёрки» — ранжирует ниже сайты-партнерки не дающие дополнительной ценности пользователям.

28. «Псевдосайты» — ранжирует ниже или полностью исключает из индекса сайты без ценности для пользователей (по различным причинам).

29. «Бан» — исключает из индексации спам-сайты, направленные исключительно на привлечение трафика обманными техниками, среди них могут быть:

  • «Дорвеи»
  • «Списки поисковых запросов»
  • Сайты использующие «Клоакинг»
  • «Сайты-клоны»
  • Прочие

30. Различные типы ручных санкций «Manual Actions» в Google [15] — существенно сказываются на занимаемых сайтом позициях. Применяются в случае нарушения поисковой лицензии. Несмотря на то, что большинство санкций применяется алгоритмически, антиспам-аналитики не лишают себя возможности принять санкции вручную, если по тем или иным причинам, алгоритм обрабатывает ситуацию не до конца корректно.

За нарушение законодательства

31. Удаление из результатов поиска ссылок на сайты, которые нарушают законодательство (по решению суда), а также ссылок на копии таких сайтов (список копий, в России — предоставляет Минкомсвязи). В Российской Федерации — федеральные законы № 149 и № 156. В случае скрытия ряда доменов — поисковая система выводит оповещение об этом.

Таблица 1. Сводка со всеми типами фильтров, которые использую поисковые системы, их кратким описанием и указанием ключевой причины применения санкции.

А. Санкции за текстовое содержимое и микроразметку

Данную группу фильтров можно отнести к одной из наиболее «популярных» при продвижении сайта в поисковой системе Яндекс. Подробно фильтры «Переспам» и «Переоптимизация» были рассмотрены в статье [1], остановимся на «Новом» фильтре Яндекса с которым оптимизаторы начали часто соприкасаться в середине 2014 года и алгоритме «Баден-Баден», запущенном в 2020 году.

Мастер Йода рекомендует:  Почему браузер может стать универсальной ОС 10 причин

Проявление фильтра

Во 2-3 квартале 2014 года SEO-специалисты столкнулись с резким негативным изменением занимаемых сайтом позиций по запросам различной частоты и направленности. Более детальный анализ позволил выявить следующие закономерности в поведении:

  • Сайт резко теряет позиции по запросам, выпадения составляют вплоть до 1 000 позиций, когда продвигаемый документ пропадает из зоны видимости.
  • Сайт продолжает нормально ранжироваться по запросам, к которым фильтр не был применен.
  • Небольшая модификация запроса не возвращает сайт на изначальную позицию в ТОПе, как в случае с текстовым пост-фильтром «Переспам» [1].

Диагностика

Возможно два различных подхода к диагностированию проблемы:

Отслеживание динамики позиции сайта и соизмерение данной динамики с общим изменением выдачи по запросу. В данном случае — совокупно выдача Яндекса не претерпевает существенных изменений, в то время как анализируемый сайт резко исчезает из зоны видимости (часто выдаваясь на 100-400 позициях).

Использование расширенного языка поисковых запросов. При использовании данного подхода выполняется следующая последовательность действий (проверка автоматизирована в бесплатном сервисе «Пиксель Тулс»):

Задается исходный поисковый запрос.

Проверяется текущая позиция анализируемого сайта.

Текущая позиция соотносится с позицией, которая была до вероятного случая применения санкций, если она известна, в противном случае за позицию «До» принимается текущая позиция сайта.

Выбирается 2-3 контрольных сайта, которые были ниже анализируемого до вероятного применения санкций, но на текущий момент находятся значительно выше него. Если позиция «До» вероятного случая наложения санкций неизвестна, то выбираются сайты, которые находятся выше продвигаемого ресурса на 1-3 позиции на текущий момент.

В Яндекс задается поисковый запрос с использованием операторов расширенного поиска «site:» и «|», где выдача сужается до двух сайтов — «analyse.ru» — анализируемый сайт и «control.ru» — один из контрольной группы.

Если позиции анализируемого сайта при данном запросе оказываются лучше сайта из контрольной группы — весьма вероятен факт наложения санкций.

Для повышения уверенности процедура повторяется и с другими сайтами из контрольной группы.

Данная последовательность действий полностью аналогична той, которая предложена для диагностики фильтра «Переоптимизация» [1]. Отличить данные санкции друг от друга можно по абсолютному числу потерянных позиций, в случае с фильтром «Переоптимизация» это от 5 до 30 пунктов, в случае с «Новым» оно оказывается значительно выше (от 50-60 позиций и более).

Важно заметить, что перед проведением данной диагностики рекомендуется исключить из рассмотрения прочие возможные причины данного поведения сайта (глава 2) и [2, 17].

Снятие


Для снятия «Нового» текстового фильтра Яндекса рекомендуется:

  • Уменьшить длину (в словах) и спамность заголовка окна браузера Title.
  • Уменьшить число чистых вхождений продвигаемого запроса в текст документа (изначально — двукратно).
  • Пересмотреть проценты вхождений слов из данных продвигаемых запросов в сторону уменьшения (изначально — двукратного).
  • Отправить текст на корректорскую проверку, то есть — устранить все несогласованные словосочетания, трудночитаемые предложения, орфографические и пунктуационные ошибки.
  • Уменьшить объем текста (изначально — на 20-30 процентов).
  • Устранить избыточное использование html-тегов логического выделения — , , , , ,

.
  • Добиться равномерного распределения ключевых фраз в контенте страницы.
  • В случае если действия, описанные выше, после переиндексации документа и нескольких текстовых апдейтов поисковой выдачи Яндекса [3] не принесли ожидаемого результата — рекомендуется полностью переписать текст.

    Пример

    На рисунке 1 показана характерная динамика позиции сайта в Яндексе по продвигаемому запросу в период с 30 сентября 2014 года по 31 октября 2014 года. Красными прямыми указаны периоды выпадения сайта ниже 100 места выдачи, синими — появление сайта на 2 позиции в выдаче по высокочастотному запросу по Московскому региону.

    Рисунок 1. Динамика позиции сайта в Яндексе по продвигаемому запросу в Московском регионе с указанием периодов наложения «Нового» фильтра (красные прямые) и периодов снятия санкций (синие прямые).

    Предполагается, что периодическое применение и снятие санкций может быть связано с пересмотром порогов наложения фильтра и активной работой с текстовой составляющей наблюдаемого документа на протяжении всего периода наблюдений.

    Спам в разметке структурированных данных

    Поисковая система Google вручную применяет санкции за спам в микроразметке / структурированных данных [18]. Данный тип санкций отражается в панели Search Console. Для снятия фильтра требуется: устранить замечания, после чего — направить запрос на повторную проверку.

    Баден-Баден от Яндекса

    Алгоритм, запущенный в марте 2020 года [19], направленный на понижение в результатах выдачи переоптимизированных документов. Основные сведения:

    Схожесть алгоритма «Баден-Баден» с предыдущим фильтром «Переспам» по проявлению, размеру штрафа и запросозависимому характеру.

    Размер просадки для фразы — 10-40 позиций, в зависимости от конкуренции в заданном регионе.

    Возможна диагностика путём модификации задаваемого в поисковую строку запроса.

    Б. Санкции за ссылочную составляющую

    Длительное время в истории поисковой индустрии ссылочные факторы являлись доминирующими в формулах ранжирования Яндекса и Google. Данное доминирование привело к активному развитию ссылочных бирж и в дальнейшем ссылочных агрегаторов, процесс линкбилдинга стал одним из основных в работах SEO-специалиста.

    Описанные процессы не могли не повлечь за собой развития алгоритмов антиспама уменьшающих эффективность линкбилдинга и штрафующих сайты за:

    • Чрезмерно высокие темпы наращивания ссылочной массы — «Ссылочный взрыв».
    • Неестественный вид анкор-листа документа и сайта — «Пингвин» в Google.
    • Низкое качество ссылочной массы и создание «искусственных» сайтов — «Ссылочный спам».

    Остановимся подробней на фильтре «Пингвин» от поисковой системы Google, как наиболее часто встречающемся при проведении стандартных работ по ссылочной оптимизации.

    Пример

    На рисунке 2 представлен интересный процесс многократного применения и снятия фильтра «Пингвин» для одного из продвигаемых сайтов.

    Рисунок 2. Динамика изменения трафика на исследуемый сайт из поисковых систем. Жёлтая кривая — трафик из поисковой системы Google, красная — из поисковой системы Яндекс (для сравнения и понимания сезонности спроса в тематике). Стрелками с подписями указаны как периоды активного продвижения и роста трафика (слева), так и даты применения фильтра (справа).

    Данный пример, свидетельствует о том, что обновление и факт применения или снятия санкций во многих случаях происходит автоматически и не всегда синхронизирован с датами крупных алгоритмов «Пингвина». Для сравнения приведем ниже даты и номер версии согласно официальным заявлениям компании Google [4]:

    • 1.0 — запуск алгоритма, 24 апреля 2012.
    • 1.1 — обновление алгоритма (по ряду наименований версия 2), 26 мая 2012.
    • 1.2 — обновление алгоритма (по ряду наименований версия 3), 5 октября 2012.
    • 2.0 — новая версия (по ряду наименований версия 4), 22 мая 2013.
    • 2.1 — обновление алгоритма (по ряду наименований версия 5), 4 октября 2013.
    • 3.0 — новая версия (по ряду наименований версия 6), 21 октября 2014.
    • 4.0 — новая версия, 23 сентября 2020. Основные изменения: автоматическое/алгоритмическое снятие/применения санкций, фильтрация спама, а не только санкции.

    Алгоритм по снятию санкций

    К одной из основных причин применения фильтра относится неправильная (искусственная) работа с входящими на сайт ссылками и текстами этих ссылок (анкорами). Ниже мы приведем последовательность действий, применяемую для целой группы сайтов, которая в большом проценте случаев приводит к снятию фильтра «Пингвин».

    Выгрузка полного списка ссылок ведущих на сайт. Здесь рекомендуется использовать все доступные источники внешних ссылок на сайт, от панели вебмастера Google [5] и Яндекс [6], до используемых ссылочных бирж и сторонних сервисов [7].

    Проверка всех выявленных ссылочных доноров по ряду ключевых показателей:

    • Положение ссылки на странице-доноре.
    • PR главной страницы и PR страницы-донора.
    • Число уникальных исходящих ссылок на сторонние сайты, деленное на общее число страниц в индексе Google (без учёта страниц с поддоменов в поиске).
    • Посещаемость донора в месяц (уникальных посетителей) и данные сервисов Alexa и SimilarWeb.
    • Наличие в контенте страницы-донора стоп-слов из взрослой лексики.
    • Число уникальных получателей ссылок (акцепторов) с данной страницы-донора.

    Выделение по фильтрам с применением логики оператора ИЛИ (то есть, если выполняется любое из условий) и вынесение в отдельный файл доноров удовлетворяющих условиям:

    • Положение кода со ссылкой на странице ниже 90% всего кода документа.
    • PR главной страницы менее PR страницы-донора.
    • Число уникальных исходящих ссылок на сторонние сайты, деленное на число страниц в индексе более 1.
    • Посещаемость в месяц менее или равно 900 уникальных посетителей. Если данные о посещаемости недоступны в открытом виде, то следует произвести расчёт посещаемости с помощью вспомогательных сервисов — Alexa и SimilarWeb, предварительно произведя настройку процесса оценки посещаемости сайта по базе ресурсов с открытой статистикой.
    • На странице-доноре встречаются слова из списка стоп-слов.
    • На странице-доноре более семи внешних исходящих ссылок на уникальные сайты.

    Приведение всех выявленных доноров к виду — domain:site.ru и формирование txt-файла, где каждый донор указан с новой строки.

    Проверить, что процент чистых вхождений продвигаемых фраз в новом анкоре-листе не превышает 3-4% или 12-20 вхождений в абсолютном количестве. В случае если данные пороги превышены, дополнительно произвести смену анкоров или расширить список отклоняемых сайтов.

    Отклонение полученного списка доноров посредством инструмента Disavow Links [8].

    В качестве получения дополнительной уверенности учёта данного инструмента в алгоритмах ранжирования Google предложена простая процедура проверки.

    • Выбирается уникальный анкор ссылки, такой, что он встречается только на одной странице-доноре, а сама страница проиндексирована.
    • Донор отклоняется с помощью инструмента Disavow Links.
    • Проверяется число найденных документов по запросу вида: [«уникальный анкор»] с ограничением списка сайтов для поиска до продвигаемого сайта и сайта-донора.
    • Если число найденных документов равно одному, то считается, анкор перестал учитываться при ранжировании (рисунок 3).
    • Если число найденных документов равно двум, то анкор по-прежнему учитывается при ранжировании.

    Данная проверка показывает, что анкоры отклоненные с помощью инструмента Disavow Links должны перестать учитываться при ранжировании в Google.

    Рисунок 3. Демонстрация факта исключения анкоров входящих ссылок из ранжирования с доноров, отклоненных с помощью инструмента Disavow Links через панель вебмастера Google.

    Алгоритм «Минусинск»

    В ночь с 15 на 16 мая 2015 года, Яндексом была запущена первая волна санкций за избыточное число и долю SEO-ссылок в ссылочном профиле проекта. Было понижено 488 сайтов.

    Среднее число просадки позиций по запросам — оказывается около 20. Падение происходит по всем запросам, в том числе и витальным для проекта (доменное имя, название компании).

    C подробным анализом фильтра можно ознакомиться в источнике [16], где раскрываются методы диагностики и сводки по базовым показателям пострадавших сайтов.

    В. Санкции за накрутку поведенческих факторов

    Поведенческие факторы являются ключевыми в ранжировании сайтов по средне- и высокочастотным запросам. И хотя их число исчисляется десятками [9] под пристальным прицелом оптимизаторов оказались наиболее значимые, а именно, так называемые кликовые факторы на страницах результатов выдачи:

    • Число посетителей документа из выдачи по запросу.
    • CTR сайта в выдаче по запросу.
    • Региональные срезы данных показателей.

    Именно на искусственное улучшение данной группы факторов, направлено большинство сервисов по накрутке. В чём же кроется причина данного явления?

    Историческая справка

    На рисунке 4 представлена динамика позиций одного из сайтов, который оптимизаторы, продвигавшие его, накручивали с помощью привлечения мотивированного трафика из выдачи Яндекса по запросу [вывоз мусора]. Выгрузка с историей по позициям сделана с помощью общедоступного сервиса [10] так чтобы каждый из читателей мог воспроизвести результаты.

    Видно, что в 2011 году даже по конкурентным запросам имелась возможность вывести сайт на лидирующие позиции с помощью искусственного улучшения кликовых факторов (сайт попал сразу на 2 место после апдейта поведенческих факторов, показав рост 92 пункта).

    Рисунок 4. Стремительный рост одного из накручиваемых сайтов с помощью искусственного улучшения кликовых поведенческих факторов в Яндексе в 2011 году, запрос [вывоз мусора].

    Примеров данной динамики набралось достаточно для решительной ответной реакции со стороны антиспам отдела Яндекса. В июле 2011 года была произведена существенная чистка выдачи от накрученных данным методом сайтов [11]. Изучение динамики сайтов попавших под санкции позволяет утверждать, что добиться снятия санкций удалось лишь по истечению периода от 6 до 12 месяцев после остановки процесса накрутки.

    Текущая ситуация

    Представители поисковой системы Яндекс неоднократно делали официальные заявления относительно своего отношения к накруткам поведенческих факторов [12]. Коротко — данные искусственные действия однозначно воспринимаются как спам и относятся к черным методам оптимизации.

    На текущий момент, можно утверждать, что фильтр за накрутку кликовых поведенческих факторов функционирует в Яндексе наравне с прочими санкциям и применение данной технологии оптимизации подвергает сайт существенному риску потери позиций в срок от 6 месяцев и более.

    Факты накрутки и не учёта действий пользователей могут фиксироваться с помощью большого числа алгоритмических и статистических методов. Мы остановимся на одном из изящных алгоритмов, который уже применяется в антиспаме для функционирования санкции «Ссылочный взрыв».

    Назначается некоторое пороговое значение роста посещаемости сайта из выдачи по коммерческим запросам, после которого сайт считается участвующим в «накрутке». Это может быть, скажем, более чем 30-50% увеличение поискового трафика при неизменном числе показов сайта и сниппетах.

    Список всех пользователей (IP-адресов), которые посетили заданный ресурс из выдачи за отчетный период, помечается звёздочкой.

    Выбирается совокупность всех сайтов, которые считаются «накрученными» за отчетный период.

    Формируется множество пользователей (IP-адресов), которые принимали участие в 2 и/или большем числе фактов накруток (порог может быть выбран путём перебора.

    Все действия данных пользователей (IP-адресов) игнорируются при расчётах кликовых поведенческих факторов.

    На рисунке 5 схематично изображено применение данного алгоритма, и выявление пользователя принимающего участие в накрутке и сайта указанного сверху N1 (красные стрелки и прямоугольник) и сайта указанного снизу N2 (зеленые стрелки и прямоугольник). См. также подпись к рисунку 5.

    Рисунок 5. Вероятный алгоритм обнаружения мотивированных пользователей, которые принимают активное участие в раскрутке сайтов с помощью улучшения кликовых поведенческих факторов. Красным цветом указаны пользователи принимавшие участие в накрутке сайта N1 (сверху), зеленым цветом — пользователи принимавшие участие в накрутке сайта N2. Один из пользователей, принимавший участие в обоих актах накрутки помечен двумя звёздочками и действия с его IP-адреса могут не учитываться.

    Имеются основания полагать, что составление списков «плохих» IP-адресов и их детектирование в актах накрутки поведенческих факторов и/или поисковых подсказок используются в Яндексе и позволяют улучшить алгоритмы антиспама и антикликфрода.

    Применение санкций

    Анализ текущего списка сайтов подвергшихся санкциям со стороны поисковой системы Яндекс, позволяет утверждать, что штрафуются в первую очередь сайты, которые:

    1. Являются последними в поисковой сессии пользователя осуществляющего накрутку.
    2. Имеют повышенные показатели таких метрик как (относительно других сайтов в сессии, см. рисунок 6):
      • Число просмотренных страниц на сайте.
      • Время, проведенное пользователем на сайте после захода из выдачи.

    Таким образом, учитываются стандартные паттерны поведения, лежащие в основе всех популярных сервисов накрутки, что ставит целесообразность использования данных сервисов под большой вопрос. Совместно с описанным выше методом маркировки подозрительных пользователей (IP), сайты являющимся последними в поисковой сессии — могут попадать под санкции.

    Рисунок 6. Сравнение двух паттернов поведения мотивированных пользователей, на случайных сайтах, посещенных до попадания на целевой ресурс (верхняя часть) и на раскручиваемом ресурсе, где надо проявить повышенную активность (нижняя часть). После посещения целевого сайта — поисковая сессия обычно заканчивается.

    Диагностика и снятие

    На текущий момент, оптимальным способом диагностики факта наложения фильтра за «Накрутку ПФ» следует признать — обращение в службу поддержки поисковой системы Яндекс через панель вебмастера [6].

    Сотрудники службы поддержки прямо сообщают о факте применения данных санкций к сайту, что можно воспринимать как достоверное подтверждение и способ диагностики.

    Рекомендуется, особенно в случае непричастности к актам искусственного улучшения поведенческих факторов, вступить в честный и аргументированный диалог, в котором открыто изложить свою позицию. В ряде случаев, данные действия могут ускорить процесс снятия фильтра.


    Г. Санкции за рекламное содержимое

    Одним из трендов в развитии технологий поисковой системы Яндекс — является курс намеченный на очищение Рунета от нелицеприятной, эротической и агрессивной рекламы.

    Данной проблеме был посвящен ряд официальных заявлений [13], что, по заверениям сотрудников Яндекса привело к снижению числа страниц с шокирующей рекламой — в 6 раз и с pop-up рекламой — в 10 раз. Такая активная позиция разработчиков положительно сказывается на развитии отрасли интернет-рекламы и способствует становлению вдумчивого подхода к монетизации информационных ресурсов.

    Снятие фильтра

    Для снятия фильтра за некорректное рекламное содержимое требуется произвести смену размещаемых рекламных материалов или подключенной партнерской программы и дождаться полноценной переиндексации ресурса.

    Для ускорения процесса рекомендуется после внесения существенных изменений на сайте сообщить об этом в службу поддержки поисковой системы через панель вебмастера [6].

    Д. Фильтр на одинаковые сниппеты

    Фильтр на одинаковые сниппеты наиболее характерен для товарных запросов и сайтов интернет-магазинов. Его проявление заключается в том, что с целью повышения разнообразия результатов выдачи Яндекса, скрывается ряд похожих результатов. Предпочтение отдается тем документам, у которых сниппет (Title и текст описания) существенно отличается от уже представленных результатов (см. также рисунок 7).

    Рисунок 7. Добавление в браузерную строку GET-параметра &rd=0 позволяет отображать сайты без группировки по схожести сниппетов и диагностировать фильтр.

    Для диагностики фильтра достаточно после формирования выдачи добавить в браузерную строку GET-параметр &rd=0, который сообщает поисковой системе, что требуется отображать сайты без группировки по одинаковым (или очень схожим) сниппетам.

    Далее, сверяя позицию анализируемого сайта до и после добавления параметра, в случае его резкого роста в результатах выдачи, можно диагностировать фильтр на одинаковые сниппеты.

    Снятие фильтра

    Для снятия фильтра на одинаковые сниппеты требуется:

    • Полностью переписать текстовое содержимое, используемое поисковой системой в качестве аннотации на выдаче (description или текст со страницы).
    • Скорректировать Title документа, уделив особое внимание пересекающимся с другими результатами фрагментам из 3 и большего числа слов.
    • Дождаться переиндексации документа и процесса обновления сниппетов (специализированный апдейт).

    Е. Группы аффилиатов

    При обсуждении проблемы аффилированности сайтов в группу часто звучит мнение, что это однозначно негативный фильтр или даже «смерть» одного из ресурсов. Но данное мнение не является до конца взвешенным, так как аффилированность сайтов не является отягощающим фактором при продвижении сайтов:

    1. По непересекающимся спискам поисковых запросов.
    2. По различным регионам России.

    Тем не менее, требуется уметь производить диагностику аффилированности сайтов в группы, а также понимать факторы, которые используются поисковой системой при анализе сайтов.

    Факторы

    Работа с большим числом проектов позволяет выявить следующие группы факторов, которые анализируются поисковой системой Яндекс при ассоциировании сайтов:

    1. Пересекающиеся контактные данные на сайтах и справочниках (вида Яндекс.Справочник).
    2. Дублирование каталога, услуг и цен на продукцию (массового).
    3. Схожая структура каталога товаров.
    4. Расположение сайта на одном IP-адресе или одной подсети класса C.
    5. Наличие сайтов из потенциальной группы в общих аккаунтах Яндекса.
    6. Схожесть доменных имён и названий компании.
    7. Перенаправление трафика с одного сайта на другой.
    8. Наличие перекрестных ссылок.
    9. Схожесть HTML-вёрстки и общая CMS.
    10. Пересечение внешней входящей ссылочной массы (большое число общих доноров).
    11. Ручные проверки сайтов в случае наличия жалоб в службу поддержки.

    Диагностика

    Для проверки гипотезы аффилированности двух сайтов требуется проделать следующую последовательность действий:

    Проверить, что на сайты по запросам не наложены фильтры на одинаковые сниппеты (см. раздел Д), если фильтр на одинаковые сниппеты диагностируется, исключить данные фразы из дальнейшего рассмотрения.

    Зафиксировать позиции двух сайтов по всем запросам из семантического ядра.

    Если найдена группа (из двух и большего числа запросов), по которой оба сайта одновременно находятся в ТОП-30 выдачи Яндекса — аффилированности нет.

    Если подобных фраз нет, то последовательно выбираются запросы, по которым один из сайтов находится на хороших позициях и путём исключения данного сайта из выдачи проверяется факт резкого роста занимаемых вторым сайтом позиций. Поисковый запрос при этом выглядит как [анализируемый запрос

    site:pixelplus.ru], где pixelplus.ru — сайт находящейся на хороших позициях (см. также рисунок 8 и подпись к нему).

    Если второй сайт резко появляется в выдаче, то устанавливается фильтр аффилированности.

    Рисунок 8. Диагностирование фильтра аффилированности сайтов методом исключения одного из сайтов из ранжирования с применением документированного оператора «

    ». Ситуация 1 — на 9 месте находится сайт N1, при его исключении (ситуация 2) — в выдаче резко появляется аффилированный с ним ресурс (два выделены рамкой в выдаче).

    Типы фильтра и его снятие

    Абсолютное большинство аффилированных сайтов соотносятся в группу автоматически (алгоритмом), но встречаются и случаи ручного наложения санкций. Действия для снятия фильтра ручного и автоматического типа — несколько различаются.

    Для снятия автоматического фильтра аффилированности требуется устранить пересечение двух сайтов по всем факторам, указанным в данной главе выше. Особое внимание следует уделять пунктам: 1, 2, 4, 6, 8. Для снятия автоматической аффилированности обращаться в службу поддержки не рекомендуется. После проработки ресурсов по указанным выше факторам, их переиндексации и обновления базы произойдет расклейка ресурсов.

    Для снятия ручного фильтра аффилированности требуется:

    • Устранить пересечение по факторам указанным выше.
    • Вступить в переписку со службой поддержки Яндекса через панель вебмастера [6], где привести аргументы в пользу расклейки сайтов. В качестве аргументов могут рассматриваться различные реквизиты юридических лиц, различные договоры аренды помещений и прочие значимые для бизнеса сведения.

    2. Алгоритм автоматической диагностики сайта

    Большое число фильтров (глава 1 и [2]) и их разнообразное проявление вызывает большие трудности при диагностике сайта у начинающих и даже опытных SEO-специалистов. В связи с этим, предложен вспомогательный алгоритм последовательного исключения (или определения) фильтра для заданной тройки:

    • продвигаемый запрос
    • документ
    • регион продвижения

    Имеется возможность автоматизировать диагностику сайта по списку поисковых запросов, используя заданный алгоритм действий.

    Входные данные

    На вход алгоритма подается:

    • список поисковых запросов с привязкой каждого запроса к продвигаемому на сайте документу;
    • регион продвижения сайта.

    Далее, данные переформатируются к тройкам: запрос-документ-регион и проверка производится для каждого запроса отдельно. Далее выполняется цикл диагностики для каждого запроса из списка.

    Последовательное исключение фильтров

    Ниже представлена блок-схема последовательного исключения факта наложения заданной санкции для тройки: запрос-документ-регион и выявления возможных проблем при продвижении запроса.

    Все проверки выстроены в порядке оптимальном для автоматизации процесса. Переход к следующему шагу осуществляется строго после выполнения предыдущего шага и отсутствия проблем на нём.

    Проверка разбита на 10 последовательных шагов и способна выявить: проблемы с индексацией или технические ошибки, прохождение документов кворума, наличие adult-фильтра, наличие дублей документа в индексе, фильтр на одинаковые сниппеты, аффилированность, «Переспам», «Переоптимизацию» и «Новый» текстовые фильтры, а также соответствие документа основным требованиям оптимизации [14].

    Инструмент комплексной диагностики и описанный выше алгоритм действий проверки на фильтры в Яндексе реализован в рамках экспертного, автоматизированного инструмента в «Пиксель Тулс».

    3. Заключение

    Нам удалось систематизировать всё многообразие санкций в поисковых системах и описать общие тенденции развития антиспам алгоритмов в поисковых системах Яндекс и Google. По списку перечисленных фильтров в каждой поисковой системе, можно выявить различные взгляды на существующие проблемы в информационном поиске у двух лидеров Рунета.

    Яндекс в 2013-2014 годах — в большей степени нацелен на пресечение попыток манипулирования поведенческими факторами, а также активно прорабатывает вопросы агрессивной рекламы на информационных сайтах. Под пристальным вниманием также остаются вопросы качества текстовой информации («Новый» или «Текстовый антиспам» фильтр).

    Google — видит большую проблему в манипулировании оптимизаторами ссылочными факторами ранжирования.

    Кроме того, разработчики обоих поисковых систем также решают проблему низкого качества сайтов. В Яндексе за проблему ответствен усовершенствованный фильтр «АГС», в Google — обновленная «Панда».

    Желаем читателю всегда оставаться вне поля действия указанных выше антиспам фильтров и добиваться успехов в поставленных задачах оптимизации исключительно белыми методами.

    Как удалить нежелательную информацию из результатов поиска Google

    Если Вы, уважаемый читатель, всерьёз оберегаете доброе имя своего бренда в социальных сетях ― попробуйте ради интереса «погуглить» свою компанию. Обратите внимание не только на общую выдачу, но и на раздел «Картинки».

    Если всё идёт хорошо ― первые 30 результатов будут о Вашем проекте, причём все как один ― положительные и укрепляющие Ваши позиции.

    Но, к сожалению, довольно часто в выдачу пролезают результаты, которые хотелось бы удалить. Обычно это что-то отрицательное или не имеющее отношения к Вашему бренду или информация, о которой вы не хотели бы сообщать (например, сведения о крупных сделках или о взаимодействии с политическими движениями). Такие результаты поиска совершенно не работают на укрепление позиций Вашего бренда.

    Как избавиться от нежелательной позиции в выдаче? Можно миллион раз кликнуть по ссылке, которая идёт следующей ― и, возможно, Google поймёт свою ошибку, снизив рейтинг того URL, который вы не хотите видеть. Но это малоэффективный и сильно трудозатратный способ. Вы также можете выложить побольше свежего и актуального контента в социальных сетях, но придётся очень потрудиться, чтобы снизить рейтинг «вредной» страницы. К тому же это займёт много времени. Можете нанять хорошего маркетолога, чтобы он создавал нужный контент, но будьте готовы раскошелиться. Так как же без лишних затрат удалить негативную для вашего имиджа страницу из кэша поисковой системы Google?

    Есть несколько других ― более простых ― способов избавиться от нежелательных результатов выдачи Google.

    1. Как удалить кэшированную копию страницы

    Google позволяет любому пользователю сделать запрос на удаление копии страницы, сохранённой в кэше. Допустим, Вы обновили какую-либо информацию на сайте ― добавили отзыв клиента или заменили картинку, ― но старая страница так и «висит» в результатах поиска. Удалить ненужную копию очень легко, нужно только следовать инструкции. Обратите внимание, что эта процедура применима только к HTML-страницам. Другие файлы (в формате DOC или PDF) в случае изменений нужно полностью удалять с веб-сайта.

    Шаг 1. Зайдите на страницу Google «Инструменты для веб-мастеров. Удаление содержания».
    Шаг 2. Нажмите «Создать новый запрос на удаление».
    Шаг 3. Введите URL страницы, которая была изменена (не ссылку на страницу выдачи и не ссылку на кэшированную страницу!) Кроме того, URL чувствителен к регистру, поэтому используйте в точности те же символы, что и на сайте.
    Шаг 4. Нажмите «Продолжить».
    Шаг 5. Выберите причину «Содержание страницы изменилось, поэтому версия, сохранённая в кэше Google, является устаревшей».
    Шаг 6. Введите слово, которое присутствует на кэшированной странице и которого нет в текущей версии. Это нужно для того, чтобы Google понял, что страница была изменена. Лучше написать одно слово, а не фразу. Не нужно описывать удалённый контент или объяснять сделанные изменения: просто дайте одно слово, которое было в устаревшей версии страницы. Например, если на странице было указано ваше имя, а затем оно было удалено, не нужно писать «убрали моё имя». Просто введите его («Василий»), поскольку оно содержится в кэшированной копии.
    Шаг 7. Нажмите «Удалить версию страницы, сохранённую в кэше».

    2. Как удалить контент с чужого сайта из результатов поиска Google

    Google позволяет удалять контент в трёх случаях: если этого требует закон, либо если дело касается личной информации или устаревших данных.

    ● Если вы хотите сообщить, что какой-либо контент должен быть удалён из Google из-за нарушения закона, зайдите на страницу «Удаление содержания из Google». Выберите продукт (например, «Веб-поиск») и тему вашего запроса (нарушение авторских прав, незаконное использование товарного знака и др.)

    ● Если вы обеспокоены появлением ваших личных данных в результатах поиска Google, откройте страницу «Проблемы с веб-поиском» и выберите подходящие варианты. Вам будут даны рекомендации по решению Ваших вопросов.

    ● Если какие-либо картинки, страницы или сайты были удалены, но всё ещё появляются в поисковой выдаче, это может означать, что Google ещё не проиндексировал сайт и не узнал об изменениях. В ожидании обновления баз Google можно воспользоваться «инструментом для веб-мастеров «Удаление содержания»». Механизм запроса тот же, что и при удалении кэшированной копии (как в пункте 1), только в качестве причины выбирайте «Страница была удалена из поисковых систем или доступ поисковых роботов к ней был заблокирован».

    3. Как удалить картинку из результатов поиска Google

    Чтобы запросить удаление изображения из результатов поиска, вам понадобится точный URL картинки, которую вы хотите удалить.

    Шаг 1. Кликните по картинке на странице результатов поиска.
    Шаг 2. Кликните «Открыть в полном размере» и скопируйте адрес ссылки.
    Шаг 3. Вставьте ссылку в текстовый файл, чтобы она была у вас под рукой, когда будете использовать какой-либо инструмент для удаления.

    «Google.Картинки» ― это не источник изображений как таковой, а система их поиска. Поэтому лучший способ исключить картинку из выдачи ― это удалить её с сайта, на котором она размещена. Если вы владелец сайта, то можете самостоятельно удалить изображения или использовать файл robots.txt, чтобы заблокировать индексацию поисковыми роботами Google. Если изображение размещено на чужом сайте, вы можете связаться с его веб-мастерами и попросить об удалении контента. Когда изменения будут произведены, при следующей индексации картинка исчезнет из результатов поиска.

    В отдельных случаях, к примеру, если использование изображения нарушает ваши авторские права, вы можете отправить запрос на удаление контента в «проблемах с веб-поиском» и «инструментом для веб-мастеров», описанных выше.

    P.S. Чтобы обезопасить себя от воровства текстов, воспользуйтесь нашими советами по защите контента ― страховкой от лишних разбирательств с недобросовестными сайтами.

    Текст подготовлен по мотивам публикации: «Your Brand: How To Get Rid Of Unwanted Search Engine Results» (англ.)

    Добавить комментарий