Почему Google не индексирует страницы с результатами внутреннего поиска


Оглавление (нажмите, чтобы открыть):

Внутренний поиск по сайту: как и почему

Автор: Эдуард Бунаков · Опубликовано 3 мая 2020 · Обновлено 7 мая 2020

Внутренний поиск по сайту – это поисковая функция на вашем ресурсе. Например, он может представлять собой виджет для поиска в WordPress или производить поиск продукта в плагине WooCommerce. Если у вас сайт больше чем на пару десятков страниц, вам определенно нужна такая функция внутреннего поиска. Вот несколько проверенных приемов для того, чтобы внутренний поиск на вашем сайте был полезен посетителям.

Внутренний поиск на информационных сайтах

Неважно, о чем ваш сайт — энциклопедия о золотистых ретриверах или блог о любимой собаке. Если он наполнен информационным контентом, вам обязательно захочется добавить функцию внутреннего поиска. Когда кто-то попадает на ресурс из поиска Google, то ищет конкретную информацию по конкретной теме.

Если пользователи не находят эту информацию сразу же после перехода по ссылке со страницы поисковой выдачи, есть несколько способов удержать их от немедленного возвращения в Google. Вам нужно предотвратить этот возврат, так как он покажет поисковику, что конкретная страница не соответствует запросу, по которому продвигается. Да, это произойдет не с первого раза, но регулярные отказы приведут именно к такому результату.

Если ваш сайт предлагает простой способ найти нужную информацию, приложив чуть больше усилий, вы сразу же повышаете вероятность того, что люди останутся у вас. Функция внутреннего поиска – отличный способ добиться этого.

Показатели хорошего внутреннего поиска

Постарайтесь думать о функции внутреннего поиска как пользователь, а не как владелец или разработчик веб-сайта. Каким требованиям должна отвечать эта функция, чтобы работать на вас?

Есть несколько показателей, важных для посетителя сайта:

  • Это должно быть заметно. Если вы хотите, чтобы люди использовали функцию внутреннего поиска, не прячьте её в подвал сайта. Добавление её в верхнюю часть боковой панели или в шапку будет гораздо лучшим решением;
  • Должно быть ясно, что это функция поиска. Очень важно. Голого поля ввода без заголовка, кнопки запуска или поясняющей надписи будет недостаточно.

Внутренний поиск по сайту можно выделить, например, так:

В данном примере форма поиска имеет название и фоновый цвет, что выделяет ее на сайте. Можно пойти дальше и разместить строку поиска в шапке сайта рядом с корзиной, это также повлияет на видимость функции.

Страницы результатов поиска для информационных веб-сайтов

Поле для ввода поискового запроса – только первый шаг на пути к созданию функции внутреннего поиска. Шаг номер два – сама страница с результатами поиска. Прежде всего, нужно проверить несколько свойств:

  1. Ключевое слово должно выделяться на странице с результатами поиска. Если бы вы захотели решить, по какому результату кликнуть, то просмотрели бы выдачу и быстро перешли по какой-то одной ссылке. Ваша собственная страница с результатами поиска – инструмент, а не конечное место назначения. Выделение ключевого слова, используемого в поиске (как у Google) намного облегчает просмотр результатов.
  2. Страницы с результатами поиска содержат отрывки из текста с ключевыми словами. На самом деле сложно выбрать результат, если на странице с результатами внутреннего поиска показывают только заголовки. Вот почему Google иногда игнорирует подготовленные мета-описания, показывая вместо этого текстовый отрывок со страницы с ключевым словом. Это помогает вашим посетителям. Для внутреннего поиска по сайту это тоже подходит.
  3. Результаты поиска ранжируются по релевантности. Для всех пользователей WordPress важно знать: с версии 3.7 платформа сортирует результаты поиска по релевантности. Однако плагины вроде SearchWP или сервисы вроде Algolia по-прежнему намного усиливают функцию внутреннего поиска и обеспечивают управление релевантностью. Раньше сортировка результатов шла по дате (самая свежая информация выдавалась первой), что было совершенно бессмысленно. Подавайте самые подходящие результаты первыми.
  4. Результаты внутреннего поиска не индексируются Google. Представьте поисковую машину, нацеленную на максимально быстрое предоставление своим пользователям нужной информации. Google Knowledge Graph (Граф знаний. Wikipedia) вставляет ответ прямо в вашу страницу с результатами поиска.

Думаете, поисковая машина будет работать как связь с другими подобными страницам? Конечно, нет. Кроме того, Google считает страницы с результатами внутреннего поиска менее качественными, чем актуальные информационные страницы.

Не было бы никакого смысла, если бы ваши страницы с результатами внутреннего поиска ранжировались выше, чем страницы категорий по той же теме. Ваши страницы с информационным контентом – вот что на самом деле имеет значение. Вот они и должны быть проиндексированы.

Ценные данные для оптимизации веб-сайта

Есть еще одно преимущество хорошей функции внутреннего поиска по сайту. Она помогает при анализе ключевых слов. В Google Analytics в «Поведение» > «Поиск по сайту» > «Условия поиска» вы найдете все ключевые слова, которые вводили люди при использовании функции внутреннего поиска на вашем сайте.

Проверьте свои страницы на наличие этих ключевых слов. Первой появляется правильная страница? Быстрая проверка просто сравнивает результаты вашего внутреннего поиска с поиском по сайту в Google. Используйте эту возможность, ведь так сами посетители подсказывают вам, какой контент они ожидают найти на вашем сайте.

Пользовательская поисковая машина

Google предлагает функцию использования своей поисковой машины для пользовательского веб-сайта. Она называется Пользовательская Поисковая Машина (Custom Search Engine — CSE). С её помощью вы можете легко добавить функцию внутреннего поиска на сайт. Эта функция показывает результаты так, как их выводил бы Google для запросов site:yoursite.com.

Эту функцию поиска можно ограничить конкретной частью вашего веб-сайта, или даже конкретной страницей. Хороший вариант для онлайн-магазинов – ограничить результаты поиска, используя тип данных Продукт. Если вы добавляете определенный тип, все его потомки автоматически включаются в условия поиска (подробнее о типах данных – на schema.org).

Вы заполняете простую форму и просто получаете кусок JavaScript-кода, который можете добавить в свой шаблон. После создания кода можно добавить больше деталей. Например, включать или исключать картинки.

Также есть функция добавления рекламных объявлений Adsense. Но не стоит использовать её на сайте онлайн-магазина, ведь так вы просто перенаправите посетителей на другие сайты или, что еще хуже, заплатите за переходы по своим объявлениям на собственный сайт.

Как сделать внутренний поиск по сайту от google

Гугл предоставляет возможность создать свой собственный внутренний поиск по сайту, с применением технологий google. Все делается достаточно просто. Если есть аккаунт в этом поисковике, то просто открыть страницу по адресу https://cse.google.com/cse/all и создать поиск со своими настройками и внешним видом.

После этого скопировать полученный код и внедрить в свой проект. В каждой cms-системе есть свои возможности внедрения кода, но в основном используется модуль, виджет и прочие названия для вставки html-кода.

Используете ли вы внутренний поиск по сайту в своем варианте? Как вы улучшили свои внутренние страницы результатов поиска? Было бы неплохо узнать ваш опыт в этом деле и дополнительные советы в комментариях.

Страницы с результатами внутреннего поиска в индексе Google не задерживаются

LightWood

Moderator

Об этом рассказал официальный представитель «Корпорации добра» Гари Илш. По словам специалиста, Google делает все возможное, чтобы очистить свою выдачу от результатов внутреннего поиска по сайту, которые не несут никакой полезной информации.

В руководстве для веб-мастеров от Google отмечено, что страницы с результатами внутреннего поиска по сайту индексироваться не должны. Однако некоторые владельцы веб-ресурсов убеждены, что такие страницы представляют определенную ценность, потому делают все, чтобы они попали в индекс Google.

Однако поисковик не дремлет и вряд ли такие попытки в итоге увенчаются успехом. Вот, что сказал по этому поводу Гари Илш:

«Мы не хотим видеть страницы с результатами внутреннего поиска по сайту в SERP. Такой контент не может похвалиться особой полезностью для пользователя. Вот почему Google располагает набором специфических алгоритмов, которые призваны блокировать такие страницы. По большому счету наши роботы их просто не должны сканировать.
Но иной раз упомянутые алгоритмы дают сбой. В этом случае вместо автоматической зачистки мы вынуждены вручную бороться с такими страницами».
Таким образом, правы те эксперты, которые утверждают, что не нужно даже пытаться впихнуть эти страницы в индекс Google. Даже если это вдруг и получится, то спустя время американский поисковик все равно исключит их из SERP.

Почему Google не индексирует страницы?

Здравствуйте. Консоль гугла показывает следующее:

Т.е. там все страницы моего сайта (или почти все). Что это значит? Там указана ссылка aaa.html, может это из-за того, что в .htacceess у меня стоит редирект, который убирает .html c конца? Я обеспокоен этим. Подскажите, в чём проблема. Мой .htaccess:

Выполняет переадресации на https и убирает html.

  • Вопрос задан 07 апр.
  • 100 просмотров

значит что бот не любит когда переадресаций много или они неверно настроены

12 причин, почему Google и Яндекс не индексирует ваш сайт

Больше полезных статей, кейсов и мануалов. Подпишись на обновления!

Без нормальной индексации сайта – поисковое продвижение в принципе невозможно.

Первое, что нужно сделать – это проиндексировать сайт и сделать так, чтобы новый контент на нем быстро индексировался поисковиками.

В данной статье мы рассмотрим 12 причин, по которым у вашего сайта могут быть проблемы с индексацией в поисковых системах Google и Яндекс .

Переходим к причинам:

1. Google и Яндекс пока не нашел ваш сайт

Такое случается в том случае, если вы только что выложили свой сайт и ничего не делали для того, чтобы поисковые системы его заметили.

В таком случае не стоит ожидать быстрой индексации. Но это легко можно поправить.

Для этого нужно сделать:

  • Добавить сайт в поисковые системы (Add url)
  • Добавить сайт в Google и Яндекс вебмастер

Статьи в тему:

После чего, нужно немного подождать и ваш сайт должен проиндесироваться. Обычно это занимает от пару часов, до пару дней и более.

2. Сайт или страницы закрыты в robots.txt

Это часто бывает причиной, которую не учитывают разработчики и выкатывают сайт закрытым от индексации в файле robots.txt. Но такое легко можно поправить.

Если у вас не много технических разделов, то можно обойтись и таким robots.txt:

Но если на сайте нужно много чего закрывать, то:

  • читаем статью по ссылке выше
  • закрываем только те разделы, что не нужно индексировать
  • оставляем для индексации все остальное

Тогда все с вашим сайтом должно быть нормально.

3. Включены приватные настройки

Если вы используете систему управления сайта WordPress, то по умолчанию могут стоять приватные настройки. Это действительно может быть причиной того, что сайт до сих пор не проиндексирован.

Для этого нужно зайти в:

  • Настройки
  • Чтение
  • Видимость для поисковых систем
  • Убрать галочку

Многие забывают убрать эту галочку и потом не могут понять, в чем же причина не индексации сайта.

4. Сайт закрыт от индексации в noindex в мета тегах

Индексацию контента или страницы так же можно закрыть с помощью мета тега. Выглядит он так:

Все что нужно:

  • проверить код на наличие такого тега и что в нем прописано
  • убрать строку кода
  • или просто сделать follow и index

Пример:

Из нашей практики встречались и такие сайты, на которых это было причиной индексации.

5. Ошибки сканирования

Если возникает много ошибок при сканировании, то поисковый бот просто может не дойти до нужных страниц.

Чтобы это проверить:

  • Заходим в Google Webmaster Tools
  • Сканирование
  • Ошибки сканирования

Если есть какие-то критические ошибки. Просто нужно их исправить и все будет хорошо.

6. Сайт заблокирован в .htaccess

В этом файле обычно прописывается 301 редирект. Но в нем, так же можно закрыть от индексации поисковыми системами.

Для того, чтобы это проверить:

  • находим на сервере файл .htaccess
  • в коде смотрим, чтобы не был закрыт сайт

Это может быть причиной, но многие даже не думаю в этом направлении. А как вариант не стоит исключать.

7. Хостинг или сервер работает не стабильно

Если в момент, когда поисковый бот пришел на сайт индексировать страницы, сайт не доступен, то это может быть причиной не индексации.


Как минимум стоит позаботиться о том, чтобы up time у вашего сервера был хорошим и хостинг стабильным.

Сервисов, которые позволяет это проконтролировать множество. Если нужно бесплатно, то Яндекс Метрика оповещает о том, когда сайт не доступен.

Как я сказал, сервисов множество, вводим в поиск uptime checker и получаем множество результатов сервисов. А дальше выбираем на вкус и цвет.

8. Проблемы с AJAX/JavaScript

Не секрет, что Google индексирует AJAX и JavaScript. Вот ссылка для разработчиков с инструкцией: https://support.google.com/webmasters/answer/174992

Но на данный момент поисковая система индексирует эти языки не так легко и просто как HTML.

В случае, если вы не правильно настроили все для поиска в AJAX и JavaScript, то Google не проиндексирует ваш сайт и страницы.

Вот полезная информация из справки Гугла на этот счет: https://support.google.com/webmasters/answer/174993

9. У вас на сайте много дублированного контента

Если на сайте много дублированного контента, как:

То во первых можно получить санкции от Google Панды. Во вторых это может быть причиной того, что сайт не индексируется.

Статьи в тему:

На эту причину стоит обращать внимание. Так как сейчас это № 1 причина, за которые можно получить санкции и сложности в дальнейшей раскрутке сайта.

10. Очень медленная скорость загрузки сайта

Скорость загрузки сайта влияет на позиции и это один из факторов ранжирования. Поэтому если ваш сайт грузиться очень долго, то вполне вероятно, что он не будет нормально индексироваться.

После чего, нужно учесть все моменты со скоростью загрузки и сделать ее очень быстрой.

11. Ваш домен ранее был забанен

Такое часто случается. Когда:

  • регистрируешь хороший и звучный домен
  • по обратным ссылкам все нормально
  • делаешь хороший сайт с нормальным дизайном
  • наполняешь уникальным и толковым контентом
  • а он не хочет никак индексироваться

В таком случае дела не очень хороши. Но все равно это можно поправить. А именно:

  • написать запрос на пересмотр (если Яндекс, узнать в чем причина)
  • написать на форуме Google (постараться узнать в чем причина)
  • развивать проект

Но по опыту скажу. Если домен не лезет в течении 3-4 месяцев нормально. То лучше развивать проект на другом домене. Как минимум это будет быстрее и на порядок проще.

12. У вас нет sitemap на сайте

Это очень редко может быть причиной. Но все же может быть. Поэтому нужно сделать карту сайта и добавить ее как Google вебмастер, так и в Яндекс вебмастер.

В заключение

Индексация сайта важнейший момент для поискового продвижения сайта. Поэтому сначала нужно найти причину, понимать следствия. В итоге не допускать того, чтобы с индексацией сайта были проблемы.

Хорошие статьи по индексации сайта в помощь:

А что вы думаете про причины не индексации или плохой индексации сайта?

PS: если вы перепробовали все причины и сайт не индексируется, то однозначно стоит писать в поддержку поисковых систем и узнавать причину у них.

Почему сайт плохо ранжируется в Google (кодекс)

Я потратил значительное количество времени, разбирая заявки на форуме по индексированию и ранжированию Google. В целом общая причина их появления — один и тот же вопрос: “сайт пропал или понизился в выдаче”. Надо ответить, что, как и сами вопросы, так и ответы достаточно типовые, поэтому я решил соединить их в единый документ, некоторую инструкцию по разбору подобных ситуаций, а так же для ответов на некоторые другие вопросы. Нижеизложенное — мое личное мнение, сформированное в ходе собственных исследований, чтения различных материалов и справки Google. Для удобства все абзацы имеют сквозную нумерацию.

1. Итак, первое, что Вы должны себе уяснить — результаты выдачи меняются, причем постоянно. Если вы были в первых рядах (топе) поисковой выдачи, то никто не гарантирует защиты от того, что изменится алгоритм ранжирования или появится сайт-конкурент, произойдут какие-то другие события, что Вас утопит. Но такие события в большей своей части сопровождаются плавным переходом трафика, т.е. он будет постепенно исчезать по мере перехода пользователей от вас на другой сайт. Бороться с этим можно только увеличением интереса пользователей к сайту, его удобством и общей популярностью. Точную причину колебания позиций сайта в выдаче не назовет никто, в том числе работники Google. Выдача формируется массой алгоритмов, учитывается масса параметров. Соединить это в целое, учесть все параметры ранжирования и оценки Вашего сайта и всех сайтов, которые Вас обошли, нереально. Выход только один — работать над качеством сайта, его удобством (в том числе мобильной версии) и популярностью.

2. Особо выделяются вопросы вида “я вчера сделал сайт, а гугл его еще не видит”. Или “у меня есть сайт и с ним что-то не так”. Обратите внимание, что гугл — гигантский поисковик, содержащий в себе актуальные данные о миллиардах страниц. Для того, чтобы сайт был просканирован, необходимо зарегистрировать его в Search Console (↴, SC, бывшая WMT, Webmaster tools), подготовить карту сайта, отправить ее в соответствующем разделе SC, после чего ждать. Сайт будет просканирован, проиндексирован и подвергнут ранжированию. Процедура занимает в лучшем случае не один день, т.е. до двух-трех месяцев можно не волноваться. Терпеливо ждите и контролируйте ошибки сканирования в SC. Обратил внимание на общую статистику, что молодые сайты сначала попадают на “испытательный срок”, а потом, даже если не были подвергнуты каким-либо изменениям, падают в выдаче. Это связано с тем, что Google не сразу использует все метрики по отношению к новому сайту, дает ему время поплавать по основным параметрам, после чего механизм ранжирования работает на полную.

3. Но, часто бывает, что график количества посетителей ныряет “в пол” и это не на день-два (что может быть случайностью), а более. При этом, в первую очередь, необходимо посмотреть наличие ручных мер по ссылке: ↴. Меры могут быть самого различного рода, как связанные с качеством содержания, так и с агрессивным спамом и прочими неуспешными попытками раскрутки. Вебмастера, поддерживающие сайты, как-то связанные с распространением авторского содержания, обязательно должны проверить свой сайт на предмет предъявленных претензий в Lumen (Lumen Database, база DMCA, бывшая Chilling Effects)
В случае предъявления достаточного количества жалоб, домен может быть заблокирован в Google навсегда и безвозвратно. Для того, чтобы жалобы убрать, необходимо уговорить сделать это тех, кто их направил. Сами понимаете, какое это трудное дело… Встречное уведомление DMCA можно подать здесь: ↴. Интересная и печальная особенность в том, что Google не проверяет жалобы, особенно по Рунету, при ее получении просто банит сайт и ждет развития событий. С учетом территориальных особенностей и отсутствия прямых контактов ждать отзыва жалобы можно вечность.

Мастер Йода рекомендует:  Представлена официальная версия VK Messenger

4. Обратите внимание, что поисковик не является экспертом по авторскому праву и лишь отражает содержимое, доступное пользователям в интернете. Т.е. не отвечает за хранение и доступность ресурсов для других пользователей. Если Вас огорчает, что кто-то разместил копию Вашего сайта или другое авторское содержимое в интернете, то претензию следует предъявлять в первую очередь хостингу и по контактам, опубликованным на сайте, а не поисковику. Однако, Google предлагает ряд вариантов отправки жалобы: ↴, более подробную справку можно прочитать здесь: ↴

5. При возникновении каких-то неясностей, как в индексировании, так и в ранжировании сайта, рекомендуется обратить внимание на ошибки сканирования в соответствующем разделе SC. Ошибки необходимо разбирать самостоятельно или задавая конкретные вопросы с указанием конкретной ошибки на форуме.
Нестабильная работа сайта может сказаться ранжировании его в результатах поиска. Никому не нужны периодически и странно работающие сайты. Обратите внимание, что ошибки подключения обозначают доступность сайта в принципе, т.е. возможность подключиться к веб-серверу. Перечисляемые ошибки с цифровым кодом — причины, по которым поисковик не может получить требуемые ему страницы, уже после успешного разрешения имени сайта в службе DNS и подключения. Необходимо разделять эти ошибки, поскольку отвечать за них могут разные поставщики. Во всплывающем окне, при нажатии на сообщение об ошибке, Вы можете увидеть ссылающиеся на эту страницу свои ресурсы, утверждающие о ее существовании.

6. Предполагается, что существует sitemap, т.е. карта сайта (я бы назвал это обязательным атрибутом сайта, которого интересуют позиции в поисковике). Обратите внимание на то, что количество отправленных и количество проиндексированных страниц должно совпадать или незначительно отличаться. Если количество страниц в индексе минимальное, то сайт понижается по проблеме индексирования. О ней есть смысл говорить, если нет ошибок сканирования, о которых я писал выше. Неправильная генерация карты сайта (sitemap) приводит к тому, что сайт либо неполностью индексируется, либо не индексируется вообще. Верх изощренности — дать sitemap на закрытые в robots.txt страницы. Обратите внимание, что файлом sitemap могут быть RSS или Atom фиды, а так же XML-файлы определенного формата, он не может быть текстовой или HTML-страницей. Файл sitemap имеет лимиты на размер и количество включенных в него ссылок, поэтому лучше для больших ресурсов создавать индексную карту сайта, т.е. sitemap со ссылками на другие sitemap. После создания файла sitemap ссылку на него необходимо поместить в директиву Sitemap файла robots.txt, а так же разместить в SC. Для ускорения индексирования собственного сайта я автоматизировал информирование Google о появлении новой карты запросом следующего URL: ↴, где XXX — путь к sitemap в формате urlencode. Авторизация не требуется.
Не раз попадались спам-плагины для WordPress, которые не только создавали карту сайта, но и ставили ссылки на сайты их авторов. Будьте внимательны.

Разберем ряд наиболее частых проблем сканирования и индексирования.

7. Вы недавно кардинально меняли дизайн или содержимое сайта. Закрывали что-то в robots.txt или удаляли страницы в соответствующем разделе SC. Возможно, что изменяли домен или перемещали с сайта. Как правило, это сопровождается букетом ошибок 404 при повторном обходе роботом сайта, но если менялось содержимое сайта, то ошибок не будет, однако сайт в выдаче все равно понизится. Любые серьезные изменения сайта ведут к потере позиций. Выплывет ли сайт обратно и как быстро зависит от того, насколько успешными были эти изменения. Не спешите паниковать. Могут пройти недели до возвращения позиций. Структуру сайта лучше без веских причин не менять. Убедитесь, что не испортили robots.txt и не удалили что-то лишнее (инструмент удаления страниц лучше не использовать без четкого понимания того, что Вы делаете, т.е. в большинстве случаев не надо использовать совсем). Имейте ввиду, что в разделе «Файлы sitemap» перечисляются отправленные и индексируемые страницы именно этого sitemap, при смене содержимого карты сайта или ее имени, некоторые вебмастера впадают в панику, видя крайне малое количество страниц в индексе. Но это страницы новой, только что загруженной карты. Даже если URL совпадают с таковыми в предыдущей карты, они не увеличат счетчик, пока бот их не проверит. Общее количество страниц в индексе в данном случае надо смотреть в «Статусе индексирования», оператор site: поиска точной картины так же не дает.

8. Изменение каких-то настроек привело к тому, что в шапке страниц появились meta noindex. Такое иногда встречается при недостаточно вдумчивом изменении настроек CMS или хостинга. Например, широко распространенные WordPress и Blogger содержат в себе настройки скрытия информации от поисковиков. Достаточно одной неудачно поставленной галочки, чтобы потерять посетителей из поисковиков вообще. К сожалению, в практике попадались случаи, когда подобные заголовки добавляли сотрудники хостинга. Ошибочно или нарочно — история умалчивает.

9. Сайт заражен вирусом. Как и большинство других поисковых систем, Google пытается оградить пользователей от вирусов и предотвратить развитие эпидемии. Как правило, в SC, в разделе по безопасности о заражении сайта сообщается. Но при наличии каких-то подозрений и для профилактики, рекомендую проверять пропадающие (не только главную) страницы на вирусы здесь: ↴. Обратите внимание, что надо переключить проверку на проверку URL, а не загружать какие-то файлы. Можно еще подставить сюда свой домен, чтобы посмотреть, что думает о вредоносности Google.
На сайт так же может быть внедрен какой-то сторонний код, перенаправляющий пользователей (всех или часть) на другие ресурсы. Очень часто этим страдают социальные кнопки с других ресурсов, загружаемые рекламные баннеры и т.п. Настоятельно рекомендую не использовать на своем сайте код, загружаемый с других источников.
Многие жалуются на то, что Google не сообщает о том, какие именно страницы или файлы заражены вирусом. Однако Google — поисковик, а не антивирус. Если он нашел две страницы с вирусом, это не значит, что на сайте их только две. Вебмастеру дается сигнал о том, что его сайт заражен. А в качестве подтверждения выполнения работ по удалению вируса будет принято его полное отсутствие на ресурсе. Существует достаточно большое количество антивирусов, включая тот же Manul. Дерзайте, ищите…

10. На хостинге ограничения доступа, например, региональное ограничение или ограничения по UserAgent. Категорически не рекомендуется использовать подобное для веб-сайтов, поскольку ложные срабатывания (а стандартов и официальной базы для таких ограничений не существует) приведут к видимости нестабильной работы хостинга. В эту же категорию можно отнести и, собственно, дествительную нестабильность хостинга, DNS-сервера или каналов связи. Для проверки можно воспользоваться одним из следующих сервисов. Я предпочитаю ↴, можно использовать ↴ или ↴ Не забывайте, что различные бесплатные хостинги или хостинги с дешевым тарифом могут молча отказывать в части запросов робота, создающего дополнительную нагрузку. Не рекомендую использовать директиву Crawl-delay, которой Вы расписываетесь в некачественности хостинга.

11. Избыточное наполнение robots.txt. Начинающие вебмастера впечатляются статьями, где сказано, что все ненужное необходимо закрыть в robots.txt и начинают закрывать вообще все, кроме текста на строго определенных страницах. Это, мягко говоря, неверно. Во-первых, существует рекомендация Google не закрывать скрипты, CSS и прочее, что может помешать боту увидеть сайт так же, как видит его пользователь. Во-вторых, очень большое количество ошибок связано с тем, что закрывая одно, пользователь закрывает другое тоже. Безусловно, можно и нужно проверять доступность страницы и ее элементов здесь: ↴, но вряд ли Вы сможете все страницы своего ресурса проверить через этот инструмент после каждого изменения. Как вариант ошибки — путаница с последовательностью Allow и Disallow. Моя личная рекомендация — закрывать в robots.txt только очевидно ненужные боту вещи, вроде формы регистрации, страницы перенаправления ссылок и т.п., а от дубликатов избавляться с помощью canonical. Обратите внимание, что то, что Вы поправили robots.txt совсем не обозначает, что Google-bot его сразу перечитает. Для ускорения этого процесса достаточно посмотреть на robots.txt, как Google-bot в соответствующем разделе.

Далее рассмотрю ряд параметров, влияющих на ранжирование, как страниц, так и всего сайта в целом.

12. Неестественная ссылочная масса, входящие ссылки. Многие вебмастера по старинке полагают, что прогон по каталогам или закупка ссылок на биржах приведет к неизбежному взлету сайта в поисковой выдаче. На самом деле все совсем не так радужно. С одной стороны, сайт без ссылок для поисковика авторитетным не будет. С другой — ссылки с биржи или других мест, где они покупаются, сайт не только не будут повышать, а будут понижать, вплоть до ручных мер. Оценить ссылочный профиль можно здесь: ↴ или на ↴, которым я пользуюсь для проверки ссылок “на вскидку”. Для более подробного анализа существуют полубесплатные и платные анализаторы, например, Ahrefs, SEMRush и.т.п. Все они разной степени точности и качества, многие вебмастера ботов этих анализаторов банят, поэтому рекомендую использовать разные и в комбинациях. Известен термин “ссылочный взрыв”, когда появление множества однотипных ссылок с одинаковым анкором не только не поднимает, а топит сайт. Общий вывод этого раздела: если Вы покупаете ссылки, то рано или поздно это плохо кончится. В лучшем случае Вам после этого поможет кропотливое ручное отклонение ссылок здесь: ↴ Если Вы не только не пользуетесь покупкой ссылок, но и категорически против подобных технологий, то можете пожаловаться на замеченные нарушения здесь: ↴

13. После того, как я достаточно запугал Вас влиянием плохих ссылок, подчеркну, что отсутствие ссылок на сайт — тоже повод для его плохого продвижения в результатах поиска. По логике создателей Google пользователи стремятся поделиться интересным сайтом, поэтому ссылок на хороший, интересный сайт должно быть много. Ссылки должны появляться сообразно возрасту сайта и, крайне желательно, на тематических площадках, т.е. совпадающих по тематике с вашим сайтом.

14. Сильное дублирование информации на разных страницах так же сказывается на отображении сайта в результатах поиска. Особо удачливым веб-мастерам удается добиться по этому пункту и ручных мер. Тут уже можно предложить творчески переработать сайт, соединив информацию на наиболее популярных страницах и поработать над внедрением canonical. С помощью canonical рекомендуется бороться и с присутствием в URL различных служебных параметров, а так же с появлением непонятно откуда взявшихся URL с различными суффиксами, игнорируемыми вашим сайтом. Не рекомендуется отдавать поисковику результаты поиска по сайту в различных их вариантах. Если Вы жалуетесь, что часть страниц сайта не индексируется, то попробуйте найти неиндексируемую страницу, введите ее заголовок в поиск Google по сайту (с суффиксом site:ваш сайт), результатом будут страницы из-за которых не индексируется та, которую Вы нашли сначала.

15. Отсутствие мобильной версии сайта так же сказывается и еще больше будет сказываться на выдаче в ближайшее время. Google все сильнее пытается разделить пользователей компьютеров и мобильных устройств. С некоторой точки зрения убрать от человека с мобильником сайт, который приходится скроллить в четыре стороны на маленьком экране — правильно. А количество таких пользователей становится все больше. Оценивать такой шаг в свете наличия других проблем поиска не буду, но есть инструмент ↴ и игнорировать его нельзя. Обратите внимание, что не следует делать две версии сайта, основной и для мобильных устройств. Слишком велика вероятность промаха, если редирект происходит по UserAgent, например. И в целом велик шанс получить кучу дублей. Изучите тему адаптивного дизайна, т.е. изменения верстки в зависимости от характеристик устройства. Смешно, но достатовно часто для удовлетворения требованиям адаптивного дизайна достаточно добавить в заголовок.

16. Расположение больших картинок в верхней части страницы. Долгое время ломал голову, что же не нравится поисковикам. Попадались и другие пострадавшие пользователи. А недостаток один общий — в верхней части сайта болталась какая-то лопатообразная картинка или, что во много раз хуже — баннер. За баннер можно и запрет поймать где-то в Adwords. Очень плохо ранжируется сайт с картинкой во весь экран, страница которого открывается дальше скроллингом.

17. Обратите внимание, что медленный, тяжело открывающийся сайт, так же будет понижен в результатах поиска. Самая распространенная ошибка в данном случае — недостаток ресурсов хостинга, но часто можно исправить ситуацию и с помощью организации графики, т.е. сжатия картинок и приведения их размера в соответствие с показываемым. Общий инструмент, с которого можно начать: ↴, обратите внимание, что этот же сервис предлагает автоматизировать решение части проблем, установив соответствующий модуль веб-сервера, более подробно можно почитать об этом здесь: ↴

18. Синтаксические ошибки в HTML-коде вредят сайту, поскольку сайт начинает тормозить при отображении, выглядеть по разному в разных браузерах и т.п. Не стоит пренебрегать анализом страниц в валидаторах. Мне очень понравился ↴, но можно воспользоваться общепризнанным ↴. Еще неплохой инструмент для поиска ошибок: ↴ Обратите внимание, кодировка, отличная от UTF-8, сильно вредит ранжированию. Об этом, кстати, валидатор предупреждает.

19. Переспам ссылками или ключевыми словами был актуален в начале столетия. Вебмастера убедились, что если набить страницу многократным повторением одного и того же словосочетания, да еще его поместить в

или жирным выделить, то поисковики радостно выделяют этот сайт в случае поиска этих слов. Даже сейчас попадаются зубодробительные тексты, читать которые невозможно и основная цель которых — обмануть поискового бота, либо страницы, набитые рекламой во всеможных видах. Поисковики давно фильтруют подобное. То же относится и к гигантскому количеству ссылок на странице. Еще совсем недавно каждый второй вешал у себя облако тегов. Сейчас этого делать не следует, можно схлопотать переспам-фильтр. Не могу вспомнить, где именно попадалось правило, что суммарное количество ссылок на странице (не только внешних) не должно превышать сотню. Обратите внимание, что сайт может спамить ссылками не только по желанию веб-мастера, очень часто внедряется спам-код в шаблоны WordPress и подключаемые модули различных CMS. Одновременно лучше убедиться, что ваша CMS оснащена средствами для предотвращения размещения ссылок только что зарегистрированными пользователями. Будьте аккуратны.

20. Игнорирование ошибок разметки структурированных данных чревато ровно тем же, что и игнорирование ошибок в принципе. Удивительно, но штатные шаблоны WordPress страдают этими ошибками прямо с момента установки. Лучше их все же поправить, воспользовавшись инструментом ↴ Подчеркну ответ на вопрос одного из пользователей, разметка нужна не только для мобильных устройств, а для всех сайтов в принципе.

21. Неправильная проверка позиций сайта тоже часто сбивает с толку вебмастеров. Дело в том, что выдача зависит от того, из какого региона Вы делаете запрос, и какие запросы к поисковику делали ранее (персонализированный поиск). Поэтому, если Вы сели за чужую машину, то с высокой долей вероятности результаты поиска будут не такими, как за вашим компьютером, особенно, если сферы интересов владельцев учетных записей различаются.

22. Текст картинками на сегодняшний день не индексируется поисковиками. Не забывайте об этом, когда будете удивляться, почему Ваш интернет-магазин проваливается в текстовом поиске. Как минимум — alt у картинок должен быть заполнен, а названия файлов картинок соответствовать их содержанию. Определитесь, какого типа поиск Вас интересует и продвигайте сайт в нем.

23. Мнение о ЧПУ (ЧеловекоПонятные Урлы) таково, что не надо там кодировать русские слова именно на русском языке. Споры продолжаются на тему того, понимает ли Google транслит или нет, но русские буквы по стандартам подлежат перекодированию, а длинные URL в итоге неудобно передавать пользователям. Мое мнение — либо транслит, либо вообще сосредоточиться на более важных и полезных вещах. Если транслит, то не забудьте о еще одном важном нюансе — слова в URL надо разделять с помощью дефиса, а не знака подчеркивания, т.е. “slovo-i-slovo”, а не “slovo_i_slovo”.

24. Куча дублей разных поддоменов, например, с URL с приставкой www и без нее указывают на один и тот же сайт. Это, в итоге, путает механизм ранжирования и оценки связей страниц и приводит к проваливанию сайта в результатах выдачи. Несколько раз попадался случай, когда хостинг принимал любые поддомены, перенаправляя на основной сайт, что приводит к разрастанию гигантского количества дублей и пессимизации сайта в целом. В этих случаях необходимо поступить, как если бы Вы находились посредине процедуры переезда с домена на домен. Выделяете все попавшие в индекс домены (счастье, если это всего лишь www и основной), выбираете тот домен, который Вы будете использовать (я рекомендую домен второго уровня, т.е. без www) и настраиваете редирект всех страниц с дополнительных доменов на соответствующие страницы выбранного. Подчеркну, что необходимо перенаправлять каждую страницу на соответствующую страницу, а не корень сайта. Не перенаправляйте robots.txt, это помешает пересканированию редиректов!

25. Путаница с языками ясности в общую картину не добавляет. Ознакомьтесь с hreflang и случаями его использования. Не следует открывать для поиска страницы текста с машинным переводом.

26. Частый вопрос “сколько времени потребуется боту, чтобы все исправить”. Общего ответа быть не может, поскольку все зависит от активности бота на вашем сайте до этого и того, насколько далеко зашло сканирование ошибочных страниц, если речь об их исправлении. Официально заявлен срок в 180 дней, например, на склейку доменов. Обещать что-то и называть какие-то точные сроки никто не будет, бессмысленное занятие при существующем наборе факторов, которые на это влияют. Если речь идет о снятии мер, принятых вручную, то это занимает несколько недель с момента отправки заявки на пересмотр. Обратите внимание, что сайты, к которым были применены ручные меры, редко возвращаются на те же позиции, что и раньше без кардинальных изменений в подходе к структуре и наполнению.

27. Общее стремление угодить поисковой машине, а не пользователю, приводит к плачевному результату. Рано или поздно поисковик учтет Вашу хитрость, если она мешает пользователям сайта или поисковой системы. Обратите внимание на то, что Google ценит удобные сайты с уникальным и интересным текстом. Не следует ориентироваться на сиюминутную выгоду и разовый результат. Если Вы проводите день в периодическом обновлении каких-то пузомерок с надеждой, что вырастут какие-то виртуальные баллы, то КПД вашей работы близок к нулю. Регулярно отслеживайте ошибки в SC во всех разделах, просматривайте замечания к коду здесь: ↴, продвигайте сайт в соцсетях Facebook и Google+, а так же везде, где есть соответствующая тематика. Избегайте спама вообще везде и внедрения в свой сайт страниц, способствующих его популярности, но не соответствующих тематике. Если привлечете большое количество пользователей, то и в результатах поиска будете подниматься. Никому не интересные страницы в поиске тоже будут тонуть.

28. Когда Вы собираетесь пожаловаться на плохое ранжирование/индексирование сайта, начните с чтения всех вышеприведенных пунктов, после чего осознайте: а) Как сайт индексируется б) Есть ли ручные меры, принятые к сайту в настоящий момент (по имени сайта с www и без www) в) История снижения показателей посещаемости, после чего все произошло и насколько быстро г) Отправили ли Вы sitemap, как давно и не менялась ли его структура? д) Есть ли ошибки сканирования? е) Если какие-то страницы не в индексе, то как они выглядят в «Посмотреть, как GoogleBot»? ж) Нет ли в их коде noindex? з) Не закрыли ли Вы лишнее в robots.txt? к) Чем сайт выделяется среди других этой же тематики? л) Нет ли запросов на удаление страниц в соответствующем разделе (опять надо проверить сайт с www и без). м) По каким запросам ищете? н) Покупали или продавали ли ссылки? о) Используете ли скрипты внешней рекламы и чьи? Не надо писать свои выводы — обязательно покажите скриншоты соответствующих разделов по каждому пункту тому, кому Вы собираетесь жаловаться или предоставьте какую-то еще информацию, на основании которой можно сделать тот или иной вывод по пунктам. Ну и обязательно надо указать проблемные URL. И обязательно цитируйте пункты, по которым отвечаете, на память буквы пунктов никто не помнит, даже я сам, а листать туда-сюда некогда.

29. Часто спрашивают, «я все сломал, но теперь исправил, как все пересканировать?«. Ответ очень простой — перепошлите sitemap, причем, желательно, с указанием более новых дат изменения страниц, исправьте выдачу If-Modified-Since, если изменения касались страниц, посмотрите на robots.txt и главную страницу, «как GoogleBot» и отправьте главную страницу в индекс вместе со связанными страницами (увидите соответствующую кнопку). После этого — сидеть и ждать, контролируя появление ошибок сканирования в соответствующем разделе… Можно воспользоваться инструментом удаления устаревших страниц тут: ↴

30. Забавный вопрос, «почему у меня в Яндексе все хорошо, а в Google все плохо?«. Стоит задуматься перед тем, как задать его и Интернет лишится еще некоторого количества бессмысленных байтов. Google — не Яндекс. Это совершенно другой комплекс программ, систем и алгоритмов. Сравнить теплое с мягким еще никому не удавалось, поэтому взывать, чтобы Google посмотрел на Яндекс и сделал так же — глупо и бессмысленно. Лучше сосредоточиться на поиске реальных проблем, которые мешают Вашему сайту. Помните, что ошибки Google, как правило, массовые, т.е. заметные миллионам вебмастеров. Ищите ошибку самостоятельную, без сравнения с Яндексом, если думаете, что таковая ошибка вообще есть.

31. А вот мои конкуренты в топе, хотя у них такие же замечания. Да, конкуренты могут закупать ссылки, воровать контент и мозолить глаза пользователям переспамом, находясь при этом в выдаче выше Вас. Увы, то, что они — Ваши конкуренты, никого не интересует, особенно Google. Мир пошатнется от осознания несправедливости и скорбности понижения вашего сайта в выдаче, но бот об этом не узнает. Если конкурент с большим количеством ссылок и более популярный, ему могут прощаться некоторые другие минусы. В конце концов, какие-то нарушения бот может не видеть, каких-то DMCA-жалоб конкуренты могут недополучить и т.п. Не сравнивайте в общем «почему?», только по какой-то конкретной ошибке сканирования можно приводить сайт конкурента в пример. В остальных случаях пустые жалобы на несправедливость никого не заинтересуют.

Мастер Йода рекомендует:  Создание объектов JavaScript Шаблоны и практические рекомендации Javascript

32. Что сделать, чтобы сайт был в топе? Ответ простой — сделайте интересный и популярный сайт. Парадокс в том, что многие рассматривают популярность сайта, как следствие первых позиций в Google. В то время, как первые позиции в Google — следствие популярности сайта и наличия в нем уникальных сервисов или информации. Google поддерживает, а не создает популярность. Если у Вас никому не известный сайт о кошечках, то всплыть среди миллионов других сайтов о кошечках просто нереально, если что-то не выделяет Ваш сайт среди других. А если это что-то есть в наличии, то именно по нему и следует выдвигаться в поисковых системах. И работайте над сайтом для людей. В противном случае будете втянуты в войну с поисковым ботом, что в сухом остатке не даст Вам создать что-то дельное. Если создание дельного Вам претит и нужен чисто механический сгон табуна пользователей, то и на это есть ответ. Во-первых, на ваш сайт должно вести очень много проиндексированных ссылок. Во-вторых, все правила, описанные в этом кодексе, должны быть соблюдены. Т.е. с миллионом ссылок сайт можно умудриться загнать под Пингвина или Панду. Суть ранжирования Google, как я его вижу — сбор количества ссылок, как первоначальный капитал и дальнейшее вычитание за вирусность, попадание под биржевые ссылки, в том числе торговля ими, авторедиректы и прочий слив траффика и т.п. Если у Вас идеальный честный сайт и сто ведущих на него ссылок, то Ваш сайт будет ниже ГС с 100000+ ссылок, даже если две трети этих ссылок будут перекрыты явными признаками ГС. Исключением будут совсем зарвавшиеся сайты, которые боту вообще не отвечают, с горой закупленных ссылок или завирусованы. Ссылки и еще раз ссылки рулят вашим ранжированием. В Яндексе еще как-то, вроде используются поведенческие факторы, т.е. если по какой-то радости к Вам на сайт занесет миллион посетителей и они там периодически будут появляться, то в Яше Вы всплывете, на Google это не действует.

33. Неинформативное содержание может обозначать не только пустой и бессмысленный сайт, но и проблемы с авторским правом. Первым делом следует провериться здесь. Ответ на вопрос «Почему Google меня так обозвал, хотя дело в другом?» очевидный и простой — поисковик отвергает звание эксперта по авторскому праву и не хочет связываться с толпой исков за называние авторов сайтов ворами, независимо от того, правомерные эти звания или нет. С одной стороны игнорировать жалобы правообладателей не получается, с другой — сайтостроители тоже могут потянуться в суд стройными рядами. Простой выход — выдать оценочное суждение «не нравится».

34. Почему в выдаче не тот заголовок, который Вы хотите? Достаточно частый вопрос с простым ответом. Большинство вебмастеров ставят в заголовок ключевые слова. Неудивительно, что в случае запроса «Пластиковые окна» и выдаче исключительно заголовков, в результатах поиска был бы длинный перечень абсолютно одинаковых заголовков, только ссылки бы различались. Чтобы такого не получилось, поисковик самостоятельно формирует заголовок ссылки на Ваш сайт, собирая информацию, которая бы могла пояснить пользователю, о чем же именно идет речь на найденной странице. В результате, если вебмастер не удосужился самостоятельно выделить отличительные черты своего сайта в заголовке, сократил, либо переспамил или как-то еще изуродовал заголовок, то получить в выдаче можно совсем неожиданные результаты, порой даже куски сайтов-предков вклеиваются.

35. Серьезные проблемы появляются у любителей тизерной рекламы, продавцов траффика и т.п. вебмастеров, которые по каким-то причинам доверяют чужому коду, подгружающему еще сторонний код или переадресовывающему посетителей куда-то еще. В последнее время, в отчаянной попытке увеличить доход от рекламы, в нее часто стали добавлять автоматическую переадресацию пользователей, что расценивается поисковиком, как клоакинг. Иными словами, если пользователь пришел на ваш сайт за плюшевыми мишками, а его автоматом перебрасывает на сайт по кактусам, то это не нравится не только пользователю, но и поисковой системе. Наиболее частый результат — ручные меры.

36. Баннеры с предложением установки приложения крайне негативно оцениваются поисковиками, если они загораживают основной контент. Т.е. если пользователь пришел к вам за фотографиями кактусов, а вы ему в ответ лопату с предложением установить приложение, пусть даже по тем же кактусам, это будет крайне негативно оценено поисковиком.

37. Не используйте оператор site при оценке сайта. Совсем.

39. Если страница ВК или какого-то другого бесплатного хостинга (Юкоз, ЖЖ и прочие Фейсбуки, например) не видна в результатах. То она там и не должна быть. Большое количество народу пытается разобраться в том, почему плохо ранжируется чужой сайт. Но он чужой, Вам ничего не принадлежит. Захотят — закроют завтра, вообще не будет в выдаче. И ничего сделать или посмотреть в данный момент нельзя, поскольку все «смотрелки» у администрации ВК или про что там пойдет речь. Кроме того, бесплатные хостинги используются не только для выкладывания никому ненужных кошечек и прочей мерзости, но и для вполне осознанных вредительских целей. А варятся-то все сайты на одном домене. Вот и тонут вместе с вредителями одновременно. Решение: заводите отдельный, собственный сайт на нормальном хостинге. Его и продвигайте. Не хотите — попробуйте пробиться в поддержку хостинга, только там уже давно не отвечают на такие вопросы.

40. Иногда пользователи переживают по поводу заблокированных ресурсов, список которых растет в соответствующем разделе Консоли. Однако, если эти ресурсы относятся к другим, сторонним сайтам, то единственное, что Вы можете сделать — убрать их со своих страниц или, если они являются неотъемлемой частью сайта — перестать волноваться. Бот предполагает, что закрытые, недоступные ресурсы могут повлиять на его способность правильно увидеть страницу, однако, катастрофическими подобные сообщения не являются. Но не следует особо переживать по поводу временно недоступных ресурсов, в большинстве случаев эта надпись обозначает, что сервис «Просмотра, как Googlebot» перегружен и не может обработать ваш ресурс полностью. Подождите, попробуйте в другое время, более пристальное внимание обратите на настройки. Как правило, рано или поздно бот эти ресурсы начинает видеть. На качестве сканирования это никак не сказывается. Оно работает с других серверов.

41. Появились странные пользователи, полагающие, что я продвигаю что-то этим вот кодексом. Во-первых, я его публикую в основном на форуме Google, откуда ссылочное не учитывается, судя по всему. Во-вторых, повторюсь, кодекс имеет собой цель иметь возможность получить свод каких-то правил, которые просто необходимо прочитать тем, кто пишет «у меня сайт и с ним проблема, быстренько помогите мне». Любая волонтерская помощь подразумевает уважительное отношение к тем, кто Вам пытается помочь. Анализ сайта — труд. Если Вы пальцем о палец не ударили, чтобы предоставить информацию для анализа, то не ждите, что кто-то ее из Вас будет выдавливать, либо собирать ее самостоятельно. Получите кодекс — прочтите его от первого пункта до ссылок в конце, возможно, что все эти нюансы Вы знаете, возможно, что нет. Соотношение рисков первого ко второму таково, что прочитать все же следует. Плакать, что Вам дали слишком много букв тоже глупо. За каждым из пунктов не один повтор вопроса-ответа на форуме, лучше будет, если Вы сбережете свое и мое время для того, чтобы вылечить того, кому это время действительно нужно. Ваша проблема в том, что Вы чего-то не знаете, а тут информация. Бесплатно. Не смогли информацией воспользоваться самостоятельно — сообщите подробно информацию по больному. В кодексе есть перечень, что требуется. Подумаем вместе. Варианты с тем, чтобы позвать сюда на ковер самого главного, чтобы он отчитался ничтожны. Если что-то не нравится в решении вопросов — покажите всем, как оно должно быть. Какой Вы внимательный и отзывчивый гуру вебмастеринга, как помогаете пользователям отвечать на самые странные вопросы… И без кодекса набираете одни и те же ответы на одни и те же вопросы. Если Вы не готовы что-либо делать, то Вы можете принять решение отказаться от пользования Google. Это избавит Вас от затрат нервов, денег, времени и сил.

42. Часто спрашивают, как посмотреть PR сайта. Общий ответ — никак. Дело в том, что тулбарный PR, который был доступен пользователям, уже несколько лет не обновляется (c 6 декабря 2013 года) и официально закрыт. Безусловно, сам PR страниц на техническом уровне остался, но является внутренним инструментом ранжирования и снаружи в настоящий момент не виден никак и нигде. То, что какие-то сторонние пузомерки до сих пор пытаются показывать изменения PR — исключительно инициатива этих самых пузомерок и ничего реального они не показывают.

43. Вопрос «Как связаться с техподдержкой Google?» очень частый и бессмысленный. Дело в том, что такой техподдержки нет. По крайней мере, что касается тех продуктов, за которые Вы не платите. Т.е., поиск, вебмастера и т.п., в противоположность AdWords и Google Domains for business, например. Единственный способ решить какой-то технический вопрос — это написать его либо на форуме Google, либо на этом форуме. Увы, решать, передавать вопрос именно в Google на рассмотрение или оставить на форуме, будут эксперты в обоих случаях. Зато, если вопрос действительно масштабный, глобальный и интересный, то его передадут непосредственно команде, отвечающей за поиск и выдачу по России или даже по всему миру.

44. Что такое ручные меры и как с ними бороться. Эти меры выдаются человеком, которому машина выдала подозрительные сигналы с вашего сайта. Вы получаете уведомление с сообщением, что и как здесь не так. По массе причин уведомление может быть с достаточно расплывчатой формулировкой, да, Google не стремится к тому, чтобы его затаскали по судам. Можно стучать головой об пол и обращаться в лигу сексуальных реформ, но в данном случае важно, что Вы остаетесь один на один с тем, что ваш сайт Google не нравится. Да, бывают ошибки, но я за все время лично с ними не сталкивался. Первое, что нужно уяснить, меры сайт уже получил. «Быстро-быстро» не получится. Внимательно оцените причину попадания под меры и нарисуйте план действий. Даже если Вы уверены в том, что именно послужило причиной ручных мер, не спешите посылать на пересмотр до того, как трижды все не перепроверите, в том числе какие-то смежные моменты. Каждая отправка на пересмотр увеличивает время этого самого пересмотра. И не надо умолять никого, что больше так не будете, плакать, что это не Вы виноваты, а злой рок или предыдущий вебмастер. Поверьте, не Вы первый, быстрее не будет. Что касается сроков пересмотра, то они могут быть самыми разнообразными, как правило, от недели до трех месяцев, в зависимости от загруженности команды качества поиска, злостности вашего нарушения и количества повторных проверок, например.

45. Если не приходит ответ на пересмотр ручных мер или пересмотр проблем безопасности, то одной из частых причин является осел. Не тот, что за компьютером сидит, а тот, что IE, т.е. Internet Explorer. С ним же может быть связана куча других проблем. Продукты гугла использовать через недобраузеры — моветон. Пользуйтесь Google Chrome.

46. Обратите внимание, что во всех загружаемых роботом или отправляемых Вами в Google текстовиках (например: Disavow Links, Robots.txt, Sitemap) не должно быть BOM (Byte Order Mark), если они сохраняются в UTF. В противном случае гарантирована ошибка их обработки или просто файл будет проигнорирован.

47. Часто спрашивают, почему робот настойчиво индексирует HTTPS, хотя «мы давно от него отказались». Так вот, если Вы от него отказались, то с HTTPS-страниц должен быть редирект на соответствующие HTTP-страницы. В противном случае робот при наличии двух протоколов будет предпочитать HTTPS, несмотря на то, что Вы его давно забросили и там кривой сертификат, пугающий посетителей. Еще один вариант, похуже, вообще отключить ответ на 443 порту. Имеет право на жизнь, однако значительно увеличивает срок переиндексации страниц в пользу HTTP. Должен заметить, что в целом не стал бы рекомендовать откатываться с HTTPS, если на нем уже большая часть страниц проиндексирована.

50. Если сайт на WordPress, то, возможно, вас взломали. Аудит безопасности для таких сайтов.

Обратите внимание и на советы самого Google: ↴ или вот эти: ↴ и его же FAQ: ↴
А тут можно и пожаловаться на вредные сайты: ↴ или почитать статьи Google и рекомендации вебмастерам (↴).
Если увидели в выдаче результаты поиска, можно пожаловаться на них здесь: ↴
Проверка сайта на безопасность: ↴ и ↴
Интересный график траффика с наложением предположительных дат ключевых изменений алгоритмов: ↴, ↴ и ↴
Помощник по созданию микроразметки: ↴
Форма запроса на забвение: ↴
Для переиндексации чужой страницы можно заполнить форму здесь: ↴
Если со сканированием бота проблемы или необходимо выполнить массовую операцию по сканированию, форма запроса тут: ↴
А тут комплексный квест по исправлению неполадок: ↴

Почему сайт не индексируется поисковыми роботами: 16 причин

Многие вебмастера сталкиваются с проблемами индексации сайта, которые негативно влияют на его SEO-продвижение, трафик. Они постоянно совершенствуют сайт, оптимизируют, добавляют новый контент, а число страниц в индексе не растет, либо и вовсе весь ресурса там отсутствует.

Чтобы предпринять соответствующие меры по предотвращению данной проблемы, нужно выяснить, почему сайт не индексируется поисковыми роботами. Сегодня мы и поговорим об основных причинах, которые приводят к тому, что материалы с ресурса не вносятся в базу данных поисковиков.

1. Яндекс и Google еще не заметили ваш ресурс

Это одна из самых возможных причин. Вы недавно создали свой сайт и выложили его в интернет, но не предприняли никаких мер, чтобы поисковики побыстрее нашли его. Тогда индексацию и вправду можно ждать очень долго.

Чтобы этого не допустить, обязательно добавьте проект в Addurl (Аддурилку), а также в панель вебмастера Google и Яндекс. Проделав эти несложные шаги, можно ожидать попадания сайта в индекс уже через пару часов, но бывает, что приходится ждать и несколько дней.

2. Настройки приватности в WordPress

Если вы используете готовую CMS, обязательно проверьте приватные настройки, которые нередко установлены по умолчанию, и именно из-за них сайт может не индексироваться.

Например, если у вас WordPress зайдите в «Настройки», а затем в «Чтение». Там вы найдете опцию «Видимость для поисковиков», напротив которого нужно убрать галочку возле «Попросить поисковые машины не индексировать сайт».

Если вы используете другую CMS, то обязательно проверьте стоит ли у вас в настройках подобная опция. Как ни странно, но ситуации, когда сайтостроители элементарно забывают снять эту галочку, случаются довольно регулярно.

3. Веб-ресурс или отдельные его файлы заблокированы в robots.txt

Еще одна распространенная причина, которая остается без внимания вебмастеров. Но и эту проблему легко исправить. Если на сайте нет мусорных страниц и технических разделов, то достаточно создать файл robots с таким правилом, которое разрешает индексировать весь ваш сайт:


Что такое robots.txt и как правильно его настроить читайте в этой статье.

4. На сайте много повторяющихся материалов

Как правило, зачастую дублируются страницы и мета-теги. Это грозит не только непопаданием вашего сайта в индекс, но и применением по отношению к нему санкций от Google Panda (алгоритм, который борется с некачественным контентом). Узнать, какие основные проблемы существенно снижают качество и эффективность проекта, вы можете в разделе «Вид в поиске» –> «Оптимизация HTML» в Google Вебмастере.

Сегодня это одна из распространенных причин, по которой сайты попадают под санкции, и разработчикам становится сложнее их продвигать.

5. Мета-тег name, content

Скрыть веб-ресурс от поисковиков можно и мета-тегом:

Иногда это правило может быть прописано и для определенных роботов:

Чтобы проверить его наличие, откройте исходный код сайта и проверьте содержимое. Если найдете вышеупомянутую строку, просто удалите ее, или «nofollow» и «noindex» замените на «follow» и «index» соответственно.

Да, бывали и такие случаи, когда данный мета-тег присутствовал в коде, а вебмастера даже не догадывались об этом и искали совершенно другие проблемы.

6. Мета-тег noindex

Заодно проверьте в коде тег , не обрамлен ли им ваш контент. Этот тег служит для поисковой системы Яндекс, который указывает, что этот контент не следует индексировать. То есть если у вас часть текста закрыта этим тегом, то у вас страница будет индексироваться, а сам контент который им обрамлен не будет.

7. Использование HTTP-заголовка X-Robots-Tag

Этот способ закрывает от индексации страницы только для Google. В коде этот метатег не найти, так как он работает на уровне заголовков сервера. Проверить его можно с помощью плагина для браузера Web Developer: Chrome, FireFox

8. Перебои в работе хостинга или сервера

Если робот посетил ваш сайт, чтобы проиндексировать его содержимое, а в это время он оказался недоступным, то страницы так и не будут внесены в базу данных поисковых систем. Поэтому очень важно выбрать надежный хостинг и сервер с хорошим up time.

Чтобы всегда быть в курсе доступности ресурса, созданы самые разные сервисы. Найти их можно, введя в поиск запрос «uptime checker». Рекомендуем Яндекс.Метрика – он совершенно бесплатный.

9. Ошибки при сканировании

Если их возникает в изобилии, то боты не имеют возможности полноценно обойти сайт и добраться до необходимых страниц. Проверить наличие ошибок можно в Google Webmaster Tools. Зайдите в раздел «Сканирование» и выберите «Ошибки сканирования». Если они будут обнаружены, сервис предложит их исправить.

10. Ранее используемый домен

Если вы зарегистрировали сайт на старое доменное имя, потому что оно легко читается и хорошо звучит, будьте готовы к тому, что его предыдущий владелец занимался черными методами SEO-продвижения, и теперь вам придется «разгребать» все те проблемы, к которым привела его деятельность.

Поправить ситуацию можно:

  1. Отправив в Яндекс и Google запрос на пересмотр и узнав, почему страницы не индексируются.
  2. Продолжая продвигать проект и работать над его качеством.

На заметку. Если домен спустя 3 или чуть более месяцев все равно нормально не индексируется, лучше сменить доменное имя. Или написать в поддержку поисковых систем и узнать насчет санкций на этот домен.

11. Медленная скорость загрузки сайта

Данный показатель является одним из основных факторов ранжирования ресурса и оказывает существенное влияние на его позиции в поисковых системах. Разумеется, если ваш портал загружается дольше положенного, с большой долей вероятности и его индексация будет проходить очень медленно. Самое оптимальное время загрузки составляет 2 секунды. Более 3-х секунд – это уже долго. На загрузку сайта влияет хостинг на котором он расположен.

12. Ресурс заблокирован в файле htaccess

Зачастую данный файл используется для настройки 301 редиректа, однако здесь также можно осуществить закрытие поисковым ботам доступ к сайту. Чтобы проверить содержимое .htaccess, найдите его на сервере, после чего проверьте код, чтобы там не было команды, блокирующей ресурс.

13. Наличие AJAX и JavaScript

Поисковик Google индексирует их, но гораздо сложнее, чем тот же HTML. Неправильно настроив страницы AJAX и JavaScript, ваш сайт не будет проиндексирован.

14. Попадание под фильтры поисковиков

Получить Deindexed, пожалуй, страшнее всего. Это наказание за то, что вебмастер выбрал нелегальную политику продвижения своего сайта: размещал запрещенные материалы или нерелевантный запросам контент, спамил ключевыми словами, использовал дорвеи и пр. Это очень и очень плохо, и если вас разоблачили, то вернуть сайт в поиск и заслужить доверие поисковых машин будет сложно.

15. Индексация сайта с www и без www

По сути, www – это поддомен. Поэтому https://webmasterie.ru и https://www.webmasterie.ru – это разные адреса сайта. Перепроверьте, указали вы 301 редирект с одного домена на другой. Также не забудьте указать основное доменное имя, и при этом подтвердить, что вы являетесь владельцем обеих доменов, чтобы поисковая система не считала эти домены разными сайтами.

16. Отсутствие карты сайта

В редких случаях, но отсутствие Sitemap на сайте может стать причиной того, что он остается незамеченным поисковыми ботами. Эту страницу тоже не забудьте добавить в панель вебмастера Яндекс и Google.

Заключение

Без индексации веб-сайта его существование просто бессмысленно, только если вы не ведете его чисто для себя. Если желаете продвигать сайт, найдите причину, из-за которой он не заносится в индекс. Это важно, чтобы поскорее предотвратить проблему и в дальнейшем не допускать ее снова.

Если же вы исправили все вышеуказанные причины и ресурс все-равно не попадает в поиск, незамедлительно обращайтесь в поддержку Google и Яндекс. Там вам с большой вероятностью объяснят, в чем дело.

Пожалуйста, оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!

Причины, по которым Google не хочет индексировать страницы результатов поиска

Еще 10 лет назад, в 2007 году Google опубликовал официальный отчет, в котором рекомендовал вебмастерам заблокировать страницы результатов поиска по сайту от индексации Google.

Сейчас Джон Мюллер, специалист Google, отвечая на вопрос вебмастера, назвал 3 причины, почему Google не любит индексировать и показывать страницы результатов поиска:

  • Эти страницы создают бесконечные пространства сканирования.
  • Это некачественные страницы.
  • Часто они приводят к пустым страницам результатов поиска / soft 404
Мастер Йода рекомендует:  Свежие jQuery-плагины

На этом список причин не заканчивается, но Джон Мюллер решил выделить именно их в своем твите.

Few things: they make infinite spaces (crawling), they’re often low-quality pages, often lead to empty search results/soft-404s.

Как быстро проверить индексацию сайта в Google и Яндекс

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

Хотите, чтобы все страницы вашего сайта заходили в индекс быстро? Мы проконсультируем по поводу оптимальной стратегии SEO-продвижения:

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать 🙂

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

Выводы

Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

  1. В панелях вебмастеров Google и Яндекс.
  2. С помощью поискового оператора «site:».
  3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
  4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

  1. Сделать копию.
  2. Выбрать доменную зону.
  3. Загрузить в столбец А список URL-адресов.
  4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

  1. Выбрать доменную зону.
  2. Выбрать регион.
  3. Ввести запрос (адрес сайта).
  4. Поставить «1», если хотите получить адрес и заголовок.
  5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

Как Google индексирует ваши сайты?

На первый взгляд кажется, что индексация сайта поисковым роботом Google — вещь рядовая, ничем не примечательная и не вызовет трудностей даже у новичков.


Однако на деле и у этого процесса имеется немало подводных камней и нюансов, о которых вы даже можете не знать, но которые необходимо учесть, чтобы получить достойный результат. Индексация — процесс весьма любопытный, и его качество зависит не от воли случая или прихоти поискового робота, но от вас самих, а именно — тех действий, которые вы совершите.

Также индексация — это необходимое условие для реализации маркетинговой программы в интернете. Конечно, это не самое важное звено, но, без сомнения, одно из первых. Без индексации своих лендингов или пройдя ее кое-как — вы обречены на провал.

Какими путями можно добиться более качественной индексации сайта — в статье ниже.

Особенности индексации в системе Google

Для начала определим, что же такое индексация, в чем суть этого процесса.
Поскольку Google является крупнейшей в мире поисковой системой, сосредоточимся прежде всего на его индексе.

Что такое веб-индекс?

Вы же знаете, что такое индекс, верно? Это перечень сведений, своего рода инструкция к тому, как найти ту или иную информацию. Один из простейших примеров индекса — алфавитно-предметный указатель в конце любого учебника.

Веб-индекс имеет немного отличий. Это база данных, то есть список всех материалов, размещенных в интернете, с указанием расположения каждого документа. Это свойство индекса и позволяет вам быстро получать те или иные материалы в сети.

Объем размещенных в интернете материалов невообразимо велик. Поэтому информация о каждом материале размещена в большой базе данных.

Представьте, что интернет — это гигантская библиотека, в которой размещены миллионы и миллиарды всевозможных книг (сайтов). Поисковая система Google и является индексом для этой библиотеки. К счастью, чтобы пользоваться этим индексом, вам не нужно знать, что такое десятичная классификация Дьюи и как ею пользоваться; достаточно лишь умения печатать.

При наборе запроса в поисковую строку системы и нажатии на кнопку «Поиск» вы осуществляете поиск именно по индексу. Страница с результатами — это страница индекса.

Как Google индексирует интернет?

Для того, чтобы суметь проиндексировать такую большую библиотеку, какой является интернет, вам нужно обладать мощнейшими инструментами. Эти инструменты называются «пауками» (от англ. — spider) или поисковыми роботами.

Почему именно пауки? Потому что они ползают с сайта на сайт, создавая, по сути, веб-информацию. Этот процесс называется выборкой (от англ. fetching). Пауки отбирают информацию, которая затем хранится в индексе Google.

Веб-спайдер заползает на один сайт, индексирует все доступные там страницы, переползает на следующий, индексирует его, и продолжает двигаться в том направлении, куда его направит цепочка из размещенных в сети ссылок.

Так и формируется всемогущий индекс.

Какого рода информацию сохраняет паук?

Спайдер пытается обозреть большую часть той информации, которая размещена на сайте, но он не в состоянии увидеть абсолютно все. В первую очередь он индексирует наиболее важную информацию.

Красная градиентная шкала — важность для поисковой машины; синяя градиентная шкала — важность для пользователя.
Сверху вниз: адреса страниц, тег Title, метаданные, теги изображений, заголовки, ссылки, контент.

Какую информацию можно считать самой важной?

1. Адреса страниц — URL (uniform resource locator — единый указатель ресурса).
2. Тег Title. Title — это название лендинга.
3. Метаданные. Описание сайта с набором ключевых слов.

Это тот самый набор главной информации, которую поисковый робот пересылает в индекс Google. И это именно та информация, которую вы видите на странице результатов поиска.

В этом заключается базовая идея. Очевидно, что больше трудностей возникает с поиском информации по индексу, ее грамотной организации и выдаче результатов.

Нас как веб-мастеров должны волновать другие проблемы, а именно — какие шаги нужно предпринять, чтобы поисковый робот Google как можно скорее заглянул к вам на сайт и занес информацию о нем в общую базу.

Что сделать, чтобы Google проиндексировал ваш сайт как можно быстрее?

Следует сказать, что независимо от того, сделаете ли вы что-либо из перечисленного ниже, Google, вероятно, и так проиндексирует ваш сайт, если только вы намеренно не закроете его от индексации (через файл robots.txt).

Но если вы оставите этот процесс на самотек, то попасть в индекс вы сможете через неопределенно долгое время. У кого-то сайт проиндексируется через 2 недели, а у кого — через 2 месяца. В ваших интересах, чтобы индексация лендинга произошла как можно раньше, а для этого и нужно предпринять некоторые специальные действия. Что именно нужно делать — читайте ниже.

Шаг №1: создайте карту сайта (sitemap)

Карта — это документ в XML-формате, который должен лежать в корневой папке вашего сайта. Поисковый робот обращается к этому документу, чтобы обозреть ваш сайт целиком, понять, какие страницы/разделы на нем самые главные и где расположен самый свежий контент. Карта сайта — это незаменимый и один из важнейших элементов успешной индексации.

Поисковый робот умен, но сайтмап ему необходим. Зачем? Без карты сайта индексация лендинга или нового материала может занять до 24 часов. Это слишком долго. С помощью карты сайта вы можете свести продолжительность этого процесса до нескольких минут. Согласитесь: существенная разница.

Чтобы доказать состоятельность этого положения, был проведен эксперимент, в ходе которого была замерена скорость, с которой индексируется сайт без sitemap и сайт с картой. Результаты более чем удивительные:

Индексация сайтов без sitemap. По вертикали: затраченное время в минутах, по горизонтали: число проиндексированных страниц.

Индексация сайтов при помощи sitemap. По вертикали: затраченное время в минутах, по горизонтали: число проиндексированных страниц.

После того, как вы создали файл sitemap, вы можете загрузить его в Google Search Console. Чтобы это сделать, выполните следующее:

  • на главной странице Google Search Console выберите свой сайт;
  • на панели в левой части экрана нажмите «Конфигурация сайта», а затем «Файлы Sitemap»;
  • в правом верхнем углу кликните по кнопке «Добавить/Протестировать карту сайта»;
  • введите /system/feeds/sitemap в появившемся текстовом окне;
  • нажмите «Отправить файл Sitemap».

Шаг №2: создайте файл Robots.txt

Robots.txt — это обычный файл вашего сайта, в котором содержатся инструкции для поискового робота: там указано, что индексировать, а что — нет. Это самая первая остановка, которую делает паук на вашем веб-ресурсе. Если ваш robots.txt как бы говорит «не индексируй меня», поисковый робот не станет ничего индексировать и поползет дальше. Поэтому очень важно, чтобы ваш robots.txt давал роботу Google неограниченное разрешение на обзор сайта.

Разумеется, если вы хотите, чтобы какие-то страницы сайта не появлялись в результатах поиска, вы можете ограничить к ним доступ.

Вот что говорит о robots.txt поисковая система Google:

«Большинство сайтов не имеет необходимости скрывать от поискового робота те или иные страницы, поэтому они будут появляться в поисковой выдаче без каких-либо дополнительных усилий. Robots.txt, наряду с другими инструментами веб-мастера, предоставляет владельцам веб-ресурсов неограниченные возможности в управлении индексацией сайта, поведением поискового робота на сайте. С помощью этого файла собственники интернет-ресурсов могут закрыть сайт от индексации роботом Google (иди других поисковых систем), дать какие-то специальные указания для индексации определенных страниц».

Вывод один: чем больше страниц вашего сайта открыты к индексации, тем лучше.

Шаг №3: Регистрация сайта в поисковых системах

Ранее считалось, для того, чтобы поисковая система проиндексировала сайт, веб-мастеру непременно нужно подать заявку, зарегистрировать ресурс в системе. Однако в настоящее время появляются такие умельцы поисковой оптимизации, которые и без регистрации могут выдвинуть сайты на первые страницы поисковой выдачи. Если вы таким умением пока еще похвалиться не можете, советуем вам все же зарегистрировать свой сайт во всех популярных поисковых системах. В Google вы можете сделать это через Google Search Console.

Шаг №4: сделайте внутреннюю перелинковку

Самый эффективный способ ускорить индексацию сайта — сделать внутреннюю перелинковку страниц сайта.

Маршрут, по которому поисковый робот перемещается в глобальной паутине, формируется посредством ссылок. Когда одна страница связана с другой, паук автоматически переходит и на нее. Ваша задача — убедиться, что все основные страницы сайта связаны друг с другом ссылками.

Если ваш сайт хорошо организован, внутренняя перелинковка произойдет естественным путем. Взгляните на этот пример стандартной архитектуры сайта ресторана: все основные страницы связаны друг с другом.

Чем больше страниц вы свяжете друг с другом, тем лучше. Как только вы публикуете на своем сайте новый материал, тут же добавляйте в него ссылки на другие страницы.

Шаг №5: повышайте свой индекс цитирования

Одно дело, когда вы создаете и размещаете ссылки на свой сайт внутри самого сайта, но другое — когда на вас ссылаются извне. Разумеется, чтобы попасть на страницы других сайтов, нужно выделиться чем-то необычным и полезным. Чем чаще о вас будут говорить другие, тем быстрее проиндексируется ваш сайт и тем выше он будет стоять в поисковой выдаче.

Шаг №6: поощряйте социальный обмен

Социальный обмен — это весомая часть эффективной индексации, поэтому щедро размещайте ссылки на свои материалы в социальных сетях. Так как Google и Twitter заключили партнерское соглашение, чтобы беспрепятственно делиться данными, Google может получить доступ к информации такого рода очень быстро, а вы улучшите индексацию своего сайта.

Шаг №7: заведите блог

Блог заставит вас создавать тонны интересного и полезного контента, а это крайне необходимо для высоких позиций в поисковой выдаче. Запомните: чем больше контента вы разместите в сети, тем качественнее будет индексация.

Шаг №8: создайте RSS-канал

RSS-канал не обязателен, но и он не будет лишним. RSS (от англ. Rich Site Summary — обогащенная сводка сайта) — семейство XML-форматов, предназначенных для описания лент новостей, анонсов статей, изменений в блогах и т.п. Пожалуй, это один из самых простых способов оповещения об обновлениях сайта, блога и т.д., но на сегодняшний момент отчасти устаревший. Но даже так RSS-канал может быть эффективным способом донести до Google информацию о своем новом материале, как только он появился на вашем сайте.

Шаг №9: отслеживайте ошибки индексации

Ошибки и некоторые неточности в индексации сайта неминуемы. Обычно это происходит, когда вы вносите значительные изменения на сайт: добавляете, удаляете или перемещаете страницы.

Отследить все ошибки можно в уже знакомой вам Google Search Console.

Заключение

Помните, что индексация сайта поисковой системой Google — это лишь первый шаг в развитии ресурса. Помимо этого вам потребуется придерживаться базовых правил поисковой оптимизации и создавать качественный и полезный для ваших читателей контент.

Высоких вам конверсий!

Прочитать статью целиком
Ваш e-mail адрес на 100% защищен от спама

Если вы уже являетесь подписчиком блога LPgenerator,
просто введите ваш email

Почему не индексируется сайт: 5 основных причин невидимости вашего сайта для Google и Яндекса

08.10.2020 Время прочтения: 5 минут

Как проверить, индексируется ли сайт

Прежде, чем впадать в панику, нужно ее обосновать. Поэтому сначала нужно узнать, действительно ли есть проблемы с индексацией сайта. Чтобы это сделать, можно использовать следующие способы:

  1. Проверить данные о сканировании в Яндекс.Вебмастер и Google Search Console.

В Яндекс.Вебмастере нужно перейти в раздел «Индексирование», далее — на «Страницы в поиске»:

В Google Search Console нужно открыть вкладку «Покрытие» в разделе «Индекс»:

Здесь вы найдете последние изменения относительно удаления и добавления страниц в индекс, просмотрите историю и сможете оценить, приходит ли поисковой робот индексировать веб-ресурс. Если перечень добавленных страниц давно не пополнялся, это значит, что «паук» потерял дорогу к вашей площадке.

В строке поиска можно использовать оператор site: с URL вашей интернет-площадки. Например, в Google это выглядит так:

Google нашел 763 результата, Яндекс — 816. Это некритичная разница (возможно, Гугл не индексирует определенные системные категории), значит, краулинговые боты обеих поисковых систем находят сайт и сканируют его.

Если же при поиске с этим оператором страниц вашего ресурса не будет в выдаче или в одном поисковике их будет значительно больше, чем в другом, то это повод задуматься и проверить, почему сайт перестал индексироваться.

Причина №1: сайт закрыт для индексирования

Самая непроницаемая мантия-невидимка — это вот такой текст в файле robots.txt:

С таким прикрытием ни одна поисковая система не найдет путь к вашей площадке. Директиву Disallow: / нужно удалить.

Почему еще сайт может быть спрятан от поисковых роботов:

  • неделегированный домен (особое внимание на это следует уделять тем, кто размещает покупает домены с историей);
  • некорректная работа тега noindex: вместе с ненужными страницами от индексации закрылись и нужные;
  • приватные настройки в CMS;
  • сканирование заблокировано в файле .htaccess.

Причина №2: поисковой робот не знает о существовании сайта или страницы

В первую очередь это характерно для молодых площадок: если это про вас, то неудивительно, что сайт плохо индексируется Гуглом и Яндексом. Особенно, если регистрация сайта в поиске затянулась и его даже в очереди на сканирование нет. Дайте поисковым системам время на его обнаружение, минимум 2 недели.

Еще робот может не знать о вашей площадке потому, что обновляется она редко и ссылок на нее нет. Поэтому, когда добавляете новые страницы, не забывайте про перелинковку и ссылки на авторитетных внешних ресурсах.

Причина №3: сайт забанен

Google и Яндекс накладывают санкции за разные «поисковые правонарушения»: такие веб-ресурсы попадают в черной список ботов, и никто не приходит их индексировать.

Проблема в том, что это не всегда очевидно для владельцев и веб-мастеров площадок. Если в Яндекс.Вебмастере вы еще можете найти уведомление о том, что ваш сайт находится под фильтром и это надо срочно исправлять, то в случае с Google определить санкции как причины плохой индексации сайта без SEO-специалиста будет нелегко.

Что обычно приводит к наложению фильтров:

  • нереленвантный и некачественный контент;
  • назойливые рекламные блоки;
  • продажа ссылок или ссылочный спам;
  • заспамленное семантическое ядро;
  • накрутка поведенческих факторов;
  • вредоносный код;
  • признание аффилиатом.

Причина №4: технические ошибки

Некоторые технические параметры настолько элементарны и критичны одновременно, что их исправление сразу нейтрализует плохую индексацию сайта. Например:

  • некорректные HTTP-заголовки;
  • некорректные редиректы (использование 302 вместо 301, rel=”canonical” с одной и той же канонической страницей для всего);
  • неверно указанная кодировка, которую робот отображает набором нечитаемых символов;
  • ошибки сканирования, на которые указывают сами поисковики в своих панелях для веб-мастеров (Google Search Console и Яндекс.Вебмастер);
  • нестабильная работа хостинга;
  • отсутствие или некорректная настройка файла sitemap.xml.

Причина №5: низкое качество страниц

В каких-то случаях низкое качество, например, контента, будет настолько вопиющим, что Google или Яндекс поставят санкционный крест на сканировании площадки — и все, сайт не индексируется, потому что бан.

Но чаще плохое качество страниц, из-за который Гугл и Яндекс плохо индексируют сайт, означает только то, у ваших конкурентов веб-площадки получше. То есть ваш ресурс теряет позиции в выдаче не как отдельно взятый, а в сравнении.

Какие основания есть у поисковиков для пессимизации:

  • неуникальный контент (страницы с тем же содержимым, что уже есть в выдаче, нет смысла снова добавлять в нее снова);
  • одинаковая структура заголовков, одинаковые метатеги;
  • много 404 ошибок;
  • медленная скорость загрузки из-за тяжелых изображений и в целом неоптимизированного контента.

Перечисленные причины чаще всего объясняют, почему плохо индексируется сайт. Если в этом перечне не нашлось того, что обусловило пессимизацию вашего интернет-ресурса, то лучше обратиться к SEO-специалисту: видимо, придется копать значительно глубже.

Добавить комментарий