Как проверить индексацию сайта – просто о важном


Оглавление (нажмите, чтобы открыть):

Что такое индексация сайта

11 декабря 2020 года. Опубликовано в разделах: Азбука терминов. 17973

Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

Индексация сайта значит, что робот поисковой системы посещает ресурс и его страницы, изучает контент и заносит его в базу данных.Впоследствии эта информация выдается по ключевым запросам. То есть, пользователи сети вводят в строку поиска запрос и получают на него ответ в виде списка проиндексированных страниц.

Если говорить простым языком, получится приблизительно так: весь интернет — это огромная библиотека. В любой уважающей себя библиотеке есть каталог, который облегчает поиск нужной информации. В середине 90-х годов прошлого века, вся индексация сводилась к такой каталогизации. Роботы находили на сайтах ключевые слова и формировали из них базу данных.

Сегодня боты собирают и анализируют информацию по нескольким параметрам (ошибки, уникальность, полезность, доступность и проч.) прежде, чем внести ее в индекс поисковой системы.

Алгоритмы работы поисковых роботов постоянно обновляются и становятся все сложнее. Базы данных содержат огромное количество информации, несмотря на это поиск нужных сведений не занимает много времени. Это и есть пример качественной индексации.

Если сайт не прошел индексацию, то информация до пользователей может и не дойти.

Как индексирует сайты Гугл и Яндекс

Яндекс и Гугл, пожалуй, самые популярные поисковики в России. Чтобы поисковые системы проиндексировали сайт, о нем нужно сообщить. Сделать это можно двумя способами:

  1. Добавить сайт на индексацию при помощи ссылок на других ресурсах в интернете — этот способ считается оптимальным, так как страницы, найденные таким путем, робот считает полезными и их индексирование проходит быстрее, от 12 часов до двух недель.
  2. Отправить сайт на индексацию путем заполнения специальной формы поисковой системы вручную с использованием сервисов Яндекс.Вебмастер, Google Webmaster Tools, Bing Webmaster Tools и др.

Второй способ медленнее, сайт встает в очередь и индексируется в течение двух недель или больше.

В среднем, новые сайты и страницы проходят индексацию за 1–2 недели.

Считается, что Гугл индексирует сайты быстрее. Это происходит потому, что поисковая система Google индексирует все страницы — и полезные, и неполезные. Однако в ранжирование попадает только качественный контент.

Яндекс работает медленнее, но индексирует полезные материалы и сразу исключает из поиска все мусорные страницы.

Индексирование сайта происходит так:

  • поисковый робот находит портал и изучает его содержимое;
  • полученная информация заносится в базу данных;
  • примерно через две недели материал, успешно прошедший индексацию, появится в выдаче по запросу.

Есть 3 способа проверки индексации сайта и его страниц в Гугл и Яндексе:

  1. при помощи инструментов для вебмастеров — google.com/webmasters или webmaster.yandex.ru;
  2. при помощи ввода специальных команд в поисковую строку, команда для Яндекс будет выглядеть так: host: имя сайта+домен первого уровня; а для Гугл — site: имя сайта+домен;
  3. с помощью специальных автоматических сервисов.

Проверяем индексацию

Это можно сделать используя:

Как ускорить индексацию сайта

От того, насколько быстро роботы проведут индексирование, зависит скорость появления нового материала в поисковой выдаче, тем быстрее на сайт придет целевая аудитория.

Для ускорения индексации поисковыми системами нужно соблюсти несколько рекомендаций.

  1. Добавить сайт в поисковую систему.
  2. Регулярно наполнять проект уникальным и полезным контентом.
  3. Навигация по сайту должна быть удобной, доступ на страницы не длиннее, чем в 3 клика от главной.
  4. Размещать ресурс на быстром и надежном хостинге.
  5. Правильно настроить robots.txt: устранить ненужные запреты, закрыть от индексации служебные страницы.
  6. Проверить на наличие ошибок, количество ключевых слов.
  7. Сделать внутреннюю перелинковку (ссылки на другие страницы).
  8. Разместить ссылки на статьи в социальных сетях, социальных закладках.
  9. Создать карту сайта, можно даже две, — для посетителей и для роботов.

Как закрыть сайт от индексации

Закрыть сайт от индексации — запретить поисковым роботам доступ к сайту, к некоторым его страницам, части текста или изображению. Обычно это делается для того, чтобы скрыть от публичного доступа секретную информацию, технические страницы, сайты на уровне разработки, дублированные страницы и т. п.

Сделать это можно несколькими способами:

  • При помощи robots.txt можно запретить индексацию сайта или страницы. Для этого в корне веб-сайта создается текстовый документ, в котором прописываются правила для роботов поисковых систем. Эти правила состоят из двух частей: первая часть (User-agent) указывает на адресата, а вторая (Disallow) запрещает индексацию какого-либо объекта.
    Например, запрет индексации всего сайта для всех поисковых ботов выглядит так:

User-agent: *

Disallow: /

  • При помощи мета-тега robots, что считается наиболее правильным для закрытия одной страницы от индексирования. При помощи тегов noindex и nofollow можно запретить роботам любых поисковых систем индексировать сайт, страницу или часть текста.

Запись для запрета индексации всего документа будет выглядеть так:

Можно создать запрет для конкретного робота:

На что влияет индексация при продвижении

Благодаря индексации сайты попадают в поисковую систему. Чем чаще обновляется контент, тем быстрее это происходит, так как боты чаще приходят на сайт. Это приводит к более высокой позиции при выдаче на запрос.

Индексация сайта в поисковых системах дает приток посетителей и способствует развитию проекта.

Кроме контента, роботы оценивают посещаемость и поведение посетителей. На основании этих факторов они делают выводы о полезности ресурса, чаще посещают сайт, что поднимает на более высокую позицию в поисковой выдаче. Следовательно, трафик снова увеличивается.

Индексация — это важный процесс для продвижения проектов. Чтобы индексирование прошло успешно, поисковые роботы должны убедиться в полезности информации.

Алгоритмы, по которым работают поисковые машины, постоянно меняются и усложняются. Цель индексации — внесение информации в базу данных поисковых систем.

Как проиндексировать сайт в Яндексе, Google и других поисковиках

Индексирование сайта — что это и для чего необходимо?

Индексация сайта в поисковых системах — необходимое условие его видимости при поиске в интернете. Если просто создать сайт и не заботиться о его индексации, скорее всего, на него смогут попасть только те, кто знает непосредственный адрес домена.

Индексирование — это процесс считывания страниц сайта роботом той или иной поисковой системы с последующим добавлением данных страниц в базу поисковой системы

Краулеры с некоторой периодичностью обходят страницы сайта, считывая

  • Метаданные;
  • Контент;
  • Внутренние и внешние ссылки;
  • Ответ сервера;

И множество других данных.

Благодаря тому, что поисковая система узнаёт о сайте, она способна предлагать и продвигать его в результатах поиска. На основе контента, ссылок и ряда факторов определяется тематическая категория сайта, ключевые фразы, по которым он наиболее релевантен поисковым запросам.

Таким образом, поисковая система предлагает пользователям страницы вашего сайта, максимально соответствующие их запросам.

В то же время, не стоит возлагать больших надежд на продвижение сайта в выдаче. Ведущую роль здесь играют не настройки обхода страниц, а поведенческие факторы .

Индексация всего лишь способствует актуализации материалов сайта. Благодаря этому страницы и их содержимое, во-первых, попадают в поисковую выдачу с наименьшей задержкой. А, во-вторых, постоянно обновляются.

Как эффективно проиндексировать сайт

Чтобы сайт как можно быстрее начали индексировать поисковые системы, его надо добавить в базу поисковиков через инструменты для вебмастеров.

Добавьте сайт в Яндекс.Вебмастер

Простой ответ на вопрос «Как проиндексировать сайт в Яндексе?» — добавить его в Вебмастер.

Для начала, заведите личный кабинет в сервисе и добавьте сайт в главном меню по адресу https://webmaster.yandex.ru/sites/add/ .

На следующем шаге скопируйте код подтверждения и добавьте его в исходный код главной страницы сайта в раздел .

Для повышения точности данных привяжите Яндекс.Метрику к сайту в пункте Настройки -> Привязка к Яндекс.Метрике . Информацию из Метрики робот будет использовать при обходах.

Чтобы проверить, проиндексированы ли какие-то страницы на текущий момент, перейдите в меню Индексирование -> Проверить статус URL .

В том же меню есть информация о том, когда и с каким результатом робот обходил страницы, какие из них есть в поиске, а также функция добавления Sitemap, запуска переобхода и настройки скорости обхода.

Добавьте сайт в Google Search Console

Перейдите на https://search.google.com/search-console/welcome и войдите в учётную запись. Добавьте сайт в систему.

Как и в Яндекс.Вебмастере, инструмент предлагает множество отчётов о состоянии индексации сайта. Вы может увидеть, какие страницы проиндексированы и добавлены в поиск, внутренние и внешние ссылки и многое другое.

При этом, если Яндекс автоматически обнаруживает файлы Sitemap и имеет гибкие настройки переиндексации, то у Google Search Console с этим возникнуть проблемы. Иногда он не может найти файлы Sitemap и их обязательно нужно загрузить вручную. Настройки повторного обхода страниц после обновлений не так удобны — сперва необходимо проверить конкретный URL, а лишь затем появится кнопка Запросить индексирование .

Добавление сайта в прочие поисковые системы

В российском сегменте интернета доля поисковых систем помимо Яндекса и Google стремится к нулю. Тем не менее, не следует ими пренебрегать, если сайт является важным имиджевым элементом крупного проекта или организации.

Рамблер основан на тех же данных индексации, которые собирает Яндекс — в этом случае нет необходимости в дополнительных настройках.

Mail.ru, в свою очередь, пока располагает своим кабинетом для вебмастеров https://webmaster.mail.ru/ . В нём предусмотрен минимальный набор управления и отслеживания индексации в системе.

Как ни странно, в определённый момент Bing, принадлежащий Microsoft, поглотил поисковый движок Yahoo, объединив помимо прочего их сервисы для вебмастеров под вывеской https://www.bing.com/toolbox/webmaster/ .

Как ускорить индексацию сайта в поисковиках

Создайте файл robots.txt

Файл robots.txt даёт поисковым роботам указание — какие страницы и разделы сайта следует читать, а какие — нет.

На сайте всегда присутствуют технические страницы — в частности, результаты поиска, этапы регистрации, системные файлы, теги и подобное. Также со временем может скопиться некоторый объём неактуальных страниц — контент на них может быть устаревшим или наоборот, он ждёт публикации не ранее назначенной даты.

Для запрета индексации определённых разделов они прописываются в robots.txt. Благодаря настройке файла содержимое страниц будет релевантным запросам и полезным, а вы меньше рискуете получить санкции со стороны Яндекса и Google. Проверьте само наличие robots.txt и его синтаксис. Например, Яндекс.Вебмастер делает это в разделе ИнструментыАнализ robots.txt .

Создайте и загрузите файлы Sitemap.xml

Файл sitemap.xml — это «гид» для поискового робота. Он указывает, какие страницы есть на сайте. С помощью таких файлов Яндекс и Google тратят меньше времени на обход сайта, однажды читая его структуру.

  • Во-первых, укажите путь к файлу в robots.txt. Это позволит роботу быстрее найти файл и ознакомиться со схемой сайта.
  • Добавьте файл в Яндекс.Вебмастер и Google Search Console.
  • Также ознакомьтесь с функцией создания динамического sitemap.xml.

Сделайте внутреннюю перелинковку

Внутренняя перелинковка — это проставление ссылок между страницами вашего сайта. Например, для интернет-магазина это может быть подробная навигация, при которой на каждой странице товара указаны ссылки на разделы и подразделы, составляющие путь к нему.

В хорошем блоге материал в статьях содержит ссылки на более ранние статьи, подробнее раскрывающие рассматриваемые вопросы.

В отличном блоге ранние статьи содержат ссылки на поздние. Возвращаясь к ним и добавляя ссылки из свежего материала, вы улучшаете параметры индексации и ранжирования страниц.

Поддерживайте актуальность и уникальность контента

Касается как перелинковки, так и непосредственно текстов на сайте.

Создавая вторичное наполнение или контент, не отвечающий запросам пользователей, владельцы сайтов ухудшают параметры ранжирования и индексации.

Более важно регулярное обновление материалов на страницах. Постоянно размещайте новый контент — тогда поисковики чаще будут совершать индексацию.

Полезно разместить заголовки Last-Modified и If-Modified-Since, чтобы старые страницы посещались краулерами после обновлений.

Расширяйте ссылочную базу

Поисковики положительно относятся к сайтам, на которые даны ссылки с других доменов — и чем авторитетнее таковые, тем выше авторитет самого сайта.

Наработайте базу ссылок с более крупных ресурсов, в том числе, из соцсетей. Тот же Яндекс учитывает ИКС (Индекс Качества Сайта) при сборе внешних ссылок.

Возможные проблемы с индексацией

Разного рода ошибки и угрозы могут отрицательно сказаться на индексации сайта, вплоть до бана.

Иногда поисковые системы устанавливают запрет на обход сайтов.

Чтобы избежать санкций, регулярно уточняйте наличие проблем.

Яндекс.Вебмастер имеет целый раздел Диагностика , в котором подробно расписаны несколько видов угроз по степени влияния:

  • Фатальные проблемы;
  • Критичные проблемы;
  • Возможные проблемы;
  • Рекомендации.

Для всех расписаны критерии оценки и подсказки по устранению.

В подразделе Безопасность и нарушения отображаются проблемы, связанные с вирусами и вредоносным кодом.

Система покажет, откуда сайт получил заражение и что именно следует исправить. После исправления вы можете запустить переобход страниц.

Всё об индексации сайта в поисковых системах

О том, как страницы оказываются в поиске и можно ли на это влиять

Отправим статью вам на почту:

Нажимая на кнопку, вы даете согласие на обработку своих персональных данных

Понравится и работать с нами.

Индексация сайта в поисковых системах – это то, без чего SEO продвижение невозможно. Если страниц вашего сайта нет в индексе, они не выводятся в поисковой выдаче, а значит, в конкуренции за верхние позиции вы пока не участвуете, и пользователи из поиска не могут перейти к вам.

Разбираемся, как Яндекс и Google индексируют сайты, можно ли ускорить и проконтролировать процесс и каким страницам индексация не нужна.

Что такое индексация и как она происходит

Поисковые системы по запросу выдают пользователям подходящие страницы за пару секунд. Естественно, в это время роботы не перебирают реальные сайты – такой поиск тянулся бы часами. Для ускорения поисковики обращаются к собственной, заранее собранной базе данных. Эта база – и есть индекс.

Поисковики индексируют сайт автоматически, с помощью поисковых роботов – их называют пауками или краулерами. Упрощенно это выглядит так:

  • Пауки постоянно отслеживают новые сайты и страницы в интернете.
  • Попав на сайт, робот сканирует его. Если в корневой папке лежит правильно заполненный файл robots.txt (а мы настоятельно советуем его прописать и поместить туда), краулер быстрее поймет, какие страницы нужно индексировать, а какие – нет.
  • На каждой странице робот в автоматическом режиме оценивает важнейшие элементы, от которых зависит позиция при ранжировании (ключевые запросы, текст, структуру, метатеги и пр.).
  • Проиндексированные страницы передаются в базу данных. В каждый визит робот обрабатывает не так много страниц, до 30 штук, чтобы не перегружать ваш сервер.
  • После индексации сайта страницы начинают отображаться в выдаче, ведь теперь поисковая система знает о них.
  • В дальнейшем робот продолжает посещать ваш сайт, чтобы просканировать и добавить в базу новые страницы. Также поисковики могут удалять страницы из индекса, обнаружив на них технические ошибки. Если вы ежедневно публикуете контент, робот может заходить к вам несколько раз в день, а если сайт долго остается без изменений, то и поисковики будут реже обращать на него внимание (до 3 раз в месяц).

Как быстрее попасть в индекс

Для успешного продвижения в Яндексе и Google важно, чтобы новые страницы как можно скорее попадали в индекс и начинали ранжироваться. Поэтому советуем использовать возможности для ускоренной индексации сайта.

Как привлечь внимание поисковиков и быстрее занять место в выдаче:

  1. Обязательно составить служебный файл robots.txt и карту сайта Sitemap в помощь поисковым ботам.
  2. Войти в панели управления Google Search Console и «Яндекс.Вебмастер» и оставить заявку на индексацию конкретных страниц.
  3. Обеспечить надежность и скорость работы сайта – робот при обнаружении проблем на сайте снижает частоту обхода.
  4. Позаботиться о качественных внешних ссылках, которые добавят вам «веса» и повысят шансы на быструю индексацию сайта по ключевым словам.
  5. Регулярно добавлять новые страницы и публиковать свежие материалы – тогда поисковики будут чаще обращать внимание на ваш ресурс. Обязательно добавлять новые материалы в «Оригинальные тексты» в Яндекс.Вебмастере.
  6. Оптимизировать сайт в плане удобства для пользователей – юзабилити. В первую очередь, важны понятный каталог и система навигации, сеть перекрестных внутренних ссылок (перелинковка) – всё, что ускоряет перемещение бота по вашему сайту и помогает ему проиндексировать больше страниц за один раз.

Как проверить индексацию сайта

В первые недели после запуска нового сайта важно проверить, попали ли нужные страницы в индекс поисковых систем и сколько вообще страниц проиндексировано. Но и в дальнейшем советуем держать руку на пульсе.

Вот основные способы проверить индексацию сайта в поисковых системах:

    Вручную через брендовые запросы

Вводим в строке поиска название компании и просматриваем первую пару страниц выдачи. Способ самый простой, без технических сложностей, но не быстрый и не очень удобный.

Через оператор site в поисковой строке

Чуть сложнее, но точнее: вбиваем в поиске Яндекса или Гугл оператор site, а после него – адрес сайта.

Например, наберем URL zamkitut.ru для проверки индексации сайта. В результатах поиска будут только проиндексированные страницы заданного сайта, и ничего не придется выбирать вручную.

Способ для тех, у кого есть доступ к панели вебмастера. В Гугл нужно открыть вкладку «Индекс Google» и выбрать «Статус индексирования», а в Яндекс.Вебмастере развернуть меню «Индексирование сайта», а затем «Страницы в поиске». Здесь можно посмотреть не только текущее количество страниц в индексе, но и динамику.

  • Автоматически с помощью плагинов, скриптов или специальных сервисов
  • Сервисы и программы – быстрый и надежный способ проверить индексацию сайта онлайн. Не вручную вбивать запросы: небольшие программы для проверки обычно можно сохранить в браузере, как закладки, и запускать при необходимости.

    Советуем попробовать плагин RDS bar для разных браузеров, а также программы наподобие Netpeak Spider или Netpeak Checker.

    Так выглядит рабочее окно Netpeak Spider: программа выдает много дополнительной информации, помимо количества страниц в индексе.

    3 и 4 способ – самые информативные и удобные, мы советуем мониторить индексацию по ходу продвижения сайта именно так. В специальной программе или на панели вебмастера вы увидите, когда последний раз Яндекс индексировал сайт, какие именно страницы попали в индекс, какие проблемы выявили поисковики и т.д.

    Почему сайт не индексируется и как это исправить

    Иногда с индексацией возникают проблемы: сайт целиком или отдельные страницы перестают выводиться в поисковой выдаче. Почему Яндекс не индексирует сайт и как это исправить:

    1. Прошло недостаточно времени. Если сайт или группа страниц появились недавно, поисковой робот мог просто не успеть их проиндексировать – используйте наши приемы ускорения из списка выше.
    2. Неправильно заполнен файл robots.txt. Лучше доверить работу с этим служебным файлом программистам, потому что случайная ошибка в нем может запретить индексировать сайт без вашего ведома.
    3. Критичные для поисковиков ошибки на сайте – их важно находить и вовремя исправлять.
    4. Нет карты сайта (SiteMap). Обязательно пропишите ее и добавьте в корневую папку – карта поможет ускорить индексацию сайта.
    5. На сайте есть дубли страниц или контент, полностью скопированный с других ресурсов – такие страницы принципиально не индексируются.
    6. Сервер работает с перебоями. Если сайт периодически недоступен или загружается слишком медленно, могут быть проблемы с индексацией, так что есть смысл переехать на более надежный хостинг.
    Мастер Йода рекомендует:  7 книг с задачами по программированию


    Как закрыть сайт от индексации и когда это нужно

    Иногда бывает нужно запретить индексацию сайта или отдельных страниц.

    Зачем это делается:

    1. Чтобы в выдачу не попадали служебные страницы сайта: личный кабинет пользователя, корзина, панель управления и прочее.
    2. Чтобы поисковой робот быстрее добрался до целевых страниц и проиндексировал их, а не тратил время на малозначительный контент, который не нужно продвигать.
    3. Чтобы в индекс не попали дубли страниц (поисковики это не любят).
    Пример страницы, которую нужно закрыть от индексации – корзина в интернет-магазине дверной фурнитуры.

    Основные способы «спрятать» ненужные страницы или разделы от поисковиков:

    1. В файле robots.txt закрыть сайт от индексации позволяет директива Disallow – она прописывается рядом с адресами страниц, которые не должны попасть в выдачу.
    2. В коде страницы можно использовать тег «noindex» – он закрывает от индексации не ссылки, а только часть текста, заключенную внутри тега.

    Важно: «noindex» считывает и понимает только Яндекс. Для управления индексацией в Google применяйте другие способы из этого списка.

  • Атрибут rel=«nofollow» – применяется к конкретной ссылке и указывает поисковым роботам, что по ней не нужно переходить. Этот атрибут понимают все поисковики.
  • Мета-тег robots – он дает поисковым системам указания насчет индексации. Если в содержимом этого мета-тега прописать «noindex, nofollow», страница не будет индексироваться.
  • Проверка индексации сайта: 4 варианта

    Те, кто только начинает разбираться в инструментах продвижения веб-ресурсов, не придают значения важности индексации своего сайта. В результате тратится много времени и средств на его разработку, а эффективность оказывается очень низкой.

    Поэтому сегодня мы рассмотрим, как проводится проверка индексации сайта, а также отдельных его страниц. Кроме того, расскажем, как можно сделать процесс индексации быстрее и для чего это необходимо.

    Из этой статьи вы узнаете:

    1. Почему так важна проверка индексации сайта
    2. Проверка в Яндексе и Google с помощью операторов
    3. Проверка с помощью инструментов Яндекса и Google
    4. Проверка с помощью букмарклетов и плагинов
    5. 3 лучших сервиса проверки индексации сайта
    6. Почему не индексируется сайт в поисковиках

    Почему так важна проверка индексации сайта

    Ваш сайт будет приносить прибыль, если уровень посещаемости его будет высоким, так как только этим можно заинтересовать рекламодателей.

    Большая часть посетителей сайтов переходит на них по ссылкам из поисковиков, выдаваемым после введения запроса. Роботы поисковых систем проводят сверку запроса с информацией баз данных и выдает наиболее актуальные результаты. Попасть ресурсу в такую базу данных можно только после прохождения индексации поисковиком. Если сайт не проиндексировать или отдельные его страницы, то и потенциальный клиент никак не попадет на ваш ресурс.

    Необходимо, чтобы поисковая система оперативно учитывала каждую новую страницу сайта, а не только весь ресурс. Оптимальный вариант – наличие внутренней перелинковки, обеспечивающей не только занесение новых данных в базу, но и обновление уже имеющихся по предоставляемым ссылкам.

    Одним из факторов, влияющих на скорость индексации, является посещаемость ресурса. Но есть и другие.

    Каждый день в Интернете появляются новые сайты, схожие по тематике с вашим. Они являются конкурентами, поскольку их контент дублирует содержимое вашего ресурса. С увеличением числа конкурирующих веб-страниц уникальность сайта падает. Причина этого – публикация в Сети материалов, представляющих собой рерайт уже имеющихся статей, поэтому так необходим учет поисковой системой уникального текста.

    Также отсутствие индексации материалов сайта может стать причиной атаки ресурса мошенниками. Они могут скопировать ваш контент, выложить на своей странице и быстро проиндексировать его, таким образом заявив роботам поисковиков о своем авторстве. Впоследствии поисковые системы будут определять ваш контент как неуникальный, и это может стать причиной бана вашего ресурса.

    В связи с этим так важен контроль индексации и ускорение ее проведения, особенно для молодых сайтов, только начинающих свое продвижение.

    Рекомендуемые статьи по данной теме:

    Проверка индексации сайта в Яндексе и Google с помощью операторов

    Проверка индексации сайта в Яндексе

    Проверка индексации страницы сайта в Яндексе достаточно проста. Для проверки количества находящихся в индексе поисковика страниц используются такие операторы:

    1. «site». Его задача – поиск и выведение полностью всех страниц, находящихся в базе данных поисковика;
    2. «host». Он нужен для получения сведений о страницах, прошедших индексирование, а также о документах с доменов и поддоменов сайта.

    Рассмотрим применение этих операторов на примере нашего сайта sales-generator.ru. Сначала используем оператор «site». Нужно зайти в Яндекс и в строке поиска ввести: site:sales-generator.ru. Поисковик выдает следующий результат:

    Затем нужно использовать оператор «host». Пример приведем опять на сайте sales-generator.ru. Снова нужно зайти в Яндекс и вбить в поиск host:sales-generator.ru. Результат проверки индексации представлен на скриншоте ниже:

    Нельзя писать служебные слова с ошибками. К примеру, когда мы вбивали в строку поиска site :sales-generator.ru, Яндекс выдавал какую-то непонятную информацию. Оказалось, ошибка заключалась в написании пробела между служебным словом и адресом ресурса. Такого быть не должно, и всю фразу нужно писать слитно.

    Обратите внимание, что проверяли домен мы без www, поскольку он является главным зеркалом. Можно провести проверку индексации с помощью операторов «site» и «host» c www.

    На запрос с оператором «site» поисковик выдал следующий результат:

    Вот результат запроса с оператором «host»:

    Выводы: как бы вы ни писали запрос, в индексе находится 24 страницы. И они выводились при каждой проверке нами. Может возникнуть вопрос: почему оператор находит 24 страницы при введении «site: www.sales-generator.ru»? Ответ прост: для данного оператора характерен вывод всех страниц при любом вводе запроса (как с www, так и без www). А вот оператор «host» выводит только страницы домена без www.

    Проверка индексации сайта в Google

    Для проверки, сколько страниц находится в индексе поисковика Google, используют оператор «site». Он позволяет узнать число страниц домена в индексе поисковой системы. При написании домена с www Google выведет страницы только для этого случая, как и при написании домена без www. Этим проверка индексации сайта в Google отличается от таковой в Яндексе.

    Приведем пример. В строке поиска Google вводим: site:sales-generator.ru.

    Результат система выдает следующий:

    Google нашел 58 страниц в отличие от 24, найденных Яндексом.

    Вобьем в поиск домен с www: site:www.sales-generator.ru. Результат будет таким:

    Как и ожидалось, ни одной страницы не найдено.

    Проверка индексации страницы сайта

    Самый простой способ проверить индексацию отдельной страницы в Яндексе – в самом поиске. Нужно ввести в строку поиска ее адрес. При наличии страницы в индексе будет выведен ее сниппет. В Google проверяют индексацию страниц так же.

    Проверка индексации страниц сайта с помощью инструментов Яндекса и Google

    Проверка индексации сайта в Yandex Webmaster

    Проверку сделать несложно: нужно в вебмастере открыть проверяемый ресурс и нажать «Проверить URL». После этого следует ввести ссылку из строки адреса браузера требуемой страницы сайта (при этом в конце необходимо обязательно поставить слеш):

    После того как вы введете адрес, сервис начнет обрабатывать запрос. На это уйдет немного времени. Затем появится ссылка «Готово», на которую нужно кликнуть.

    Откроется страница, на которой будет содержаться детальная информация: был ли робот на данном сайте, индексирован ли его контент и другие сведения. В случае если робот уже был на странице, выведется сообщение: «Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован». Наличие такого ответа позволяет вебмастеру быть спокойным: индексация контента будет проведена через 1 или 2 АПА (обновления базы поиска).

    Также будет доступна такая информация: есть ли на проверяемую страницу внешние и внутренние ссылки, дату последнего обхода роботом, статус индексирования.

    Если же ваша страница не посещается роботом в течение длительного времени, зайдите в раздел «Помощь». Может быть, Яндекс порекомендует эффективный способ сделать процесс индексации более быстрым.

    Проверка индексации сайта в Google Webmaster

    Порядок проверки следующий: зайдите в «Индекс Google» -> «Статус индексирования» и выберите «Расширенные данные»:

    Там вы увидите информацию о количестве проиндексированных и заблокированных в Robots.txt страниц. Однако вывод данных задерживается, и их корректность не всегда гарантирована.

    Проверка индексации сайта с помощью букмарклетов и плагинов

    Плагины и букмарклеты (небольшие программы на языке javascript, сохраняемые в виде закладок браузера) позволяют автоматизировать процесс проверки индексации. Их использование не требует открытия поисковых систем и ввода запроса в строку поиска.

    Эту задачу выполняют плагины и скрипты:

    На картинке представлен скриншот плагина RDS bar для Google Chrome. Данный плагин для Mozilla Firefox еще лучше. Он позволяет провести проверку индексации отдельных страниц и всего ресурса в целом. Есть и минус – в бесплатных версиях постоянно выскакивает капча.

    Букмарклет «Проверка индексации». Сохраните ссылку в закладках, затем перейдите на проверяемый сайт и откройте закладку. В новой вкладке Google выдаст вам результаты проверки.

    Топ-5 статей, которые будут полезны каждому руководителю:

    Лучшие сервисы проверки индексации сайта

    Если способы проверки, представленные выше, дают вам не всю необходимую информацию, можете работать с онлайн сервисами. Хотя результаты их работы не всегда хороши. Иногда наблюдается большая разница в получаемых данных.

    Проверку индексации сайта онлайн провести очень легко, так как сервисов представлено большое количество. Остановимся на наиболее точных:

    Позволяет быстро узнать, сколько страниц содержится в Google и Яндекс. Преимущество сервиса в разделении индексов Google на главный и второстепенный (supplemental result).

    Чтобы проверить сайт, нужно перейти по приведенной выше ссылке, ввести свой домен и нажать «Проверить». Результат будет такой:

    Разработал этот сервис такой хороший и полезный форум, как PR-CY. Кроме проверки индексации можно узнать следующие параметры:

    • ТИЦ, PR;
    • находится ли сайт в каталоге Яндекса и Dmoz;
    • внешние ссылки.

    Для получения результата после перехода по ссылке нужно ввести свой домен.

    Сколько страниц есть в Google:

    Сколько страниц в Яндексе:

    Чтобы проверить нужные параметры, можно пользоваться данным сервисом. Он очень хорошо работает и прост в использовании.

    Webmasters

    Сервис разработан SEO-форумом. Качество его результатов хорошее. Преимущество сервиса – возможность единовременной проверки нескольких доменов. Чтобы проверить сайт, нужно совершить переход по ссылке и ввести адрес ресурса.

    Почему не индексируется сайт в поисковиках

    Ошибка 404

    Нужно проверить действие скриптов при обнаружении ошибок. Если в сообщении скрипта об ошибке будет выдаваться код нормального завершения 200, то его индексация будет проведена. А в случае возврата скриптом кода 404 индексирования сообщения об ошибке не произойдет.

    С обычными документами ситуация аналогична. Есть серверы, в настройках которых при обнаружении ошибки предусмотрено отправление сообщения, содержащего код нормального завершения 200. При этом робот не может провести удаление ссылки на сайт в базе данных. Современные серверы предусматривают возможность изменения стандартных сообщений об ошибках и исправления их кода.

    Спам – это заголовки, ключевые фразы, состоящие из слов, формирующих наиболее частые запросы; объемные тексты, цвет шрифта которых совпадает с цветом фона, либо шрифт очень мелкий. Есть и другие виды спама. Их объединяет одна цель – обмануть посетителя с целью завлечь на свой ресурс.

    Спамом не стоит пользоваться. Во-первых, потому что это нехорошо и посетителей сайта только раздражает. А во-вторых, потому что Яндексом предусмотрено отслеживание таких недобросовестных действий и снижение позиций документа в поисковой выдаче.

    Также применение спама обусловливает увеличение размера документа, уменьшение контрастности слов в нем. Это тоже негативно сказывается на позициях его. Сайты и страницы злостных нарушителей Яндекс может вовсе исключить из базы.

    Если одна страница перенаправляет пользователя на другую мгновенно (время перенаправления равно 0), то ее тоже исключат из индексирования.

    Яндекс-поиск не помогает раскручивать сайты, его задача – удовлетворить потребности посетителей в нужных ему сведениях. Тем не менее, раскрутить сайт в Яндексе можно, разместив там рекламу.

    Неправильные даты

    Яндекс позволяет искать и сортировать материалы по датам, однако информация о дате изменения их правдива лишь в 80 % случаев. Сервер нужно настраивать правильно. Обеспечьте посетителям доступ к дополнительным сведениям и корректный показ своих страниц при поиске по датам.

    Дополнительные данные высылаются в «заголовках HTTP» веб-сервером непосредственно с HTML-документом. Там может содержаться информация о том, когда был последний раз изменен документ (в заголовке «Last-Modified»). Наша настоятельная рекомендация – настройте ваш веб-сервер таким образом, чтобы эта дата высылалась им. Может быть, для этого понадобится немного исправить скрипты CGI или ISAPI, которые вы используете.

    Неправильная кодировка

    Помимо HTML-документа в сообщении веб-сервера содержатся дополнительные данные в «заголовках HTTP». К примеру, кодировка документа указывается в заголовке «Content-Type», параметр charset:

    Content-Type: text/html; charset=windows-1251

    Content-Type: text/html; charset=koi8-r

    Обязательно указание веб-сервером кодировки всех не англоязычных документов. В случае отсутствия кодировки потребуется ее установка в браузере самим пользователем, что влечет за собой неудобства. Если конфигурацию сервера исправить, он будет присылать кодировку.

    Индексирование одинаковых документов в разных кодировках

    Если web-серверы выдают одинаковые документы в разных кодировках, то расход ресурсов при их индексации очень большой. В базах данных отечественных поисковиков документы хранятся в одной кодировке. Рекомендуется использовать для индексации только одну кодировку. Если выдача кодировок осуществляется по портам сервера, то на разных серверах/портах нужно выдавать разный robots.txt. То есть в каждом сервере/порту нужно дополнительно прописывать:

    Если выдача кодировок осуществляется по директориям, то понадобится единственный файл robots.txt, в котором следует написать:

    user-agent: *
    disallow: /alt
    disallow: /mac
    disallow: /koi

    Индексирование одного сайта на разных серверах

    Возникновение проблемы возможно при наличии у сервера зеркал либо в случае получения кодировок путем изменения префикса в имени хоста. К примеру, кодировки для хоста www.chto-to.ru могут быть следующими: win.chto-to.ru, koi-www.chto-to.ru, wwwmac.chto-to.ru и т.д. Определить, какой из этих адресов основной, робот не может. Он лишь видит, что есть два полностью совпадающих документа и проводит индексацию одного из них.

    То есть не исключена ситуация, что индексирование вашего контента будет проведено на разных хостах. Чтобы проиндексировать ресурс по одному адресу, нужно задать соответствующий файл robots.txt. Через определенное время прошедшие индексацию документы будут ссылаться на нужный адрес.

    Не рекомендуется открытие для роботов поисковых систем контента вашего ресурса под разными именами или портами. Добиться улучшения индексации вам не удастся. Сервер будет испытывать нагрузку, как и сеть. Это может привести к негативным последствиям.

    К примеру, поисковикам не всегда понятно, какое из «зеркал» вашего сайта основное. Они могут остановить свой выбор на любом. В настройках некоторых поисковиков предусмотрено и вовсе удаление сайтов, контент которых идентичен.

    Избежать этой проблемы можно, запретив при написании вашего сайта robots.txt индексировать любые адреса, не являющиеся основными.

    Для выявления имеющихся ошибок рекомендуем провести аудит сайта. Мы проведем для Вас полный анализ ошибок внутренней и внешней оптимизации ресурса, а также предоставим 47+ рекомендаций по увеличению посещаемости и продаж с Вашего сайта.

    Как проверить индексацию сайта в поисковых системах

    Индексация — процесс добавления сведений о сайте роботом в базу данных, которая потом используется для поиска. Бот индексирует ссылки, изображения, видео, и другие элементы на сайте. Если сайт или отдельная страница не проиндексированы, то поисковая система просто не их увидит. Рассказываем как проверить индексацию.

    Яндекс

    Проверка индексации страницы

    Необходимо в строку поиска Яндекс написать следующий запрос:

    url:domain.ru/page/

    domain.ru/page/ — адрес проверяемой страницы. Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www, и без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

    url: — оператор для проверки индексации страницы.

    Если в результатах поиска страница найдена, значит она проиндексирована данной поисковой системой. Пример.

    Если по запросу ничего не найдено, страница не проиндексирована

    Проверка индексации всего сайта в Яндексе

    Для проверки индексации всего сайта в Яндекс необходимо использовать следующий запрос:

    url:domain.ru/*

    domain.ru — доменное имя проверяемого сайта.

    url: — оператор для проверки индексации страницы.

    * — оператор «любой символ».

    Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www и без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

    В результате получаем список проиндексированных страниц, а справа от результатов выдачи написано, сколько всего страниц данного сайта находится в поиске. Пример.

    Иногда данный запрос не работает и вместо него можно использовать оператор site:domain.ru

    Google

    Проверка индексации страницы

    Необходимо ввести в строку поиска Google запрос:

    info:domain.ru/page

    domain.ru/page — адрес проверяемой страницы.

    info: — оператор для проверки индексации страницы.

    Если страница проиндексирована, значит в результатах поиска будет ссылка на проверяемую страницу. Пример.

    Проверка индексации всех страниц сайта в Google

    Для проверки индексации страницы в поисковой системе Google необходимо ввести в строку поиска запрос:

    site:domain.ru

    domain.ru — доменное имя сайта.

    site: — оператор проверки индексации всех страниц сайта.

    В результатах поиска появится список страниц в поиске, а под поисковой строкой общее количество проиндексированных страниц. Пример.

    Индексация сайта в поисковых системах

    Если говорить в общем, то индексация сайта в поисковых системах – это внесение страниц вашего сайта в базу поисковых систем

    Попробуем теперь разобраться и понять, для чего нужна индексация, на что она влияет, как этот процесс осуществляется и как проверить индексацию сайта в поисковых системах.

    Как происходит индексация сайта поисковыми системами?

    Прежде всего, индексация сайта в поисковых системах – важная составляющая продвижения сайта. От того, как быстро сайт будет проиндексирован, зависит его появление на страницах поисковых систем. Для индексации существуют специальные поисковые «роботы», которые регулярно заходят на сайты и анализируют данные. И если пользователю видна только визуальная и информативная составляющая сайта, то «робот» анализирует весь его html-код. Поэтому при поисковом продвижении сайта следует учитывать правильное заполнение всех тегов (теги , ,

    , и так далее), грамотное размещение текста на странице, перелинковку, создание карты сайта, наличие микроразметки.

    Индексацию можно осуществить несколькими способами:


    1. Создать сайт, наполнить его контентом, заполнить теги и ждать поискового робота, который автоматически проиндексирует каждую страничку и внесет их в базу. Для быстроты индексации можно оставить ссылку на сайт на авторитетных ресурсах, тогда робот, перейдя по ней, проиндексирует страницы. Это может потребовать определенных затрат, так как на популярных сайтах и порталах, либо запрещено оставлять ссылки на другие ресурсы, либо эта услуга платная.
    2. Самостоятельно заполнить форму на индексирование вашего ресурса в поисковой системе. В этом случае сайт встанет в очередь на индексацию и через некоторое время робот будет отправлен по указанному вами адресу. Этот процесс может затянуться, но зато он бесплатный и не требует особых усилий. Вот адреса для заполнения форм:

    • Яндекс.Вебмастер: https://webmaster.yandex.ru/sites/add/
    • Google Search Console: https://www.google.com/webmasters/tools/submit-url

    Не следует забывать о том, что если поисковый робот посетил ваш новый сайт, то будут проиндексированы не все страницы сразу. Запаситесь терпением и ждите, роботы периодически будут заходить и индексировать страницы, а также проверять их на изменения и соответствие требованиям поисковиков. Так как поисковых систем несколько (Google, Rambler, Яндекс и так далее), то и индексация сайта в разных поисковиках займет разное время. Правильность настройки HTTP-заголовков страниц может существенно повлиять на индексацию, поэтому к этому вопросу следует подойти с профессиональной точки зрения, а лучше доверить дело профессионалам. В SEO.RU используют свои методы ускорения и проверки индексации сайта в поисковых системах, что выгодно отличает нашу компанию от других.

    Как проверить индексацию сайта в поисковых системах Яндекс и Google

    Проверка индексации сайта в поисковых системах (включая подсчет числа проиндексированных страниц) проводится несколькими способами:

    1. Запросить название своей организации в поисковике и вручную проверить каждую ссылку на первой и второй страницах. Не очень удобно, не очень быстро.
    2. Запросить в поисковике URL своего сайта с правильным оператором – site. Например, проверим в Яндексе индексацию сайта seo.ru:

    «Нашлось 412 результатов» – значит, 412 страниц сайта Яндекс проиндексировал.

    Обратите внимание, что в Яндексе существует два варианта подобных операторов:

    • вышеописанный site: – когда поиск производится по всем поддоменам и страницам указанного сайта;
    • более точный host: – когда поиск идет по страницам, размещенным на данном хосте, в таком случае запрос уже будет выглядеть вот так: host:seo.ru | host:www.seo.ru.

    То же самое запросим в Google:

    «Результатов: примерно 416» – проиндексировано 416 страниц.

    Как запретить сайт к индексации?

    На сайт можно наложить запрет к индексации. Делается это с помощью файла robots.txt, содержимое которого заполняется так:

    User-agent: * – директива для выбора поисковой системы, где * – это все поисковики; если нужно запретить к индексации от какого-то одного поисковика, прописывается его название на латинице (Google, Yandex и так далее);

    Disallow: / – закрываем сайт от поисковиков.

    8 главных вопросов про индексацию сайта. Часть 1

    Про индексацию слышали все, кто хотя бы что-то слышал про SEO. Мы расскажем о ней много полезного в простом и понятном формате “вопрос-ответ”. Информации будет достаточно, поэтому сегодня разберем только первые четыре вопроса:

    Начнем с простого.

    Вопрос 1. Как поисковые системы (ПС) узнают о существовании сайта и его страниц?

    Простой вопрос, на который многие из вас уже знают ответ. Например, индекс Яндекса узнает о вашем сайте двумя способами:

    — Увидев ссылку на ваш сайт в просторах Интернета (т.е. автоматически).

    — Узнав о вашем сайте по вашей инициативе. Для этого вам нужно “Добавить сайт” и подтвердить свои права на сайт в сервисе Яндекс.Вебмастер:

    У Google все немного иначе: он также автоматически может обнаружить ваш сайт в ссылках на страницах из своего индекса. Но чтобы настроить это вручную, вам придется воспользоваться сервисом Google Search Console. Там перейти во вкладку “Сканирование” и выбрать “Посмотреть как Googlebot”, далее вводите URL-адрес страницы и нажимаете “Запросить индексирование”:

    Следующий этап — непосредственно индексирование сайта.

    Вопрос 2. Что такое индексация?

    Нет, ну мало ли. Вопрос тоже простой, поэтому и ответим просто. Вот что говорит Википедия:

    Индексирование в поисковых системах (веб-индексирование) — процесс добавления сведений (о сайте) роботом поисковой машины в базу данных, впоследствии использующуюся для (полнотекстового) поиска информации на проиндексированных сайтах.

    Т.е. по сути индексация представляет собой сканирование вашего сайта и внесение информации о нем в базу данных поисковой системы. Именно проиндексированные сайты отображаются в поисковой органической выдаче.

    Вопрос 3. Что такое файлы индексации и какими они должны быть?

    В первую очередь, речь пойдет о файле robots.txt. Это специальный текстовый файл, содержащий параметры индексирования для поисковых систем. При обходе сайтов поисковик загружает этот файл и ориентируется на данные, прописанные в нем. Таким образом, с помощью robots.txt вы можете влиять на индексацию. А точнее, сообщить системе, какие страницы вы хотите закрыть от индексации.

    Такой файл должен быть размещен в корневой папке сайта. Прежде чем загрузить файл, нужно знать, как правильно его создать.

    Каким должен быть robots.txt, чтобы поисковая система считала его:

    • вес файла не должен быть больше 32 КБ;
    • файл должен быть текстовым;
    • все параметры (директивы) должны быть оформлены правильно (не на кириллице* и без использования регистра в названии самих директив).

    * Если все же домен или его часть пишется на кириллице — используйте Punycode.

    User agent (обязательная): указывает на робота, для которого действуют перечисленные в robots.txt правила.

    Disallow : используется для запрета индексации отдельных страниц или разделов сайта;

    Sitemap : указывает путь к файлу sitemap, который размещен на сайте (об этом чуть позже);

    Clean-param : указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании;

    Allow : разрешает индексирование разделов или отдельных страниц сайта.

    Раньше также поддерживалась директива Craw-Delay : она задавала роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Однако в феврале 2020-го Яндекс официально отказался от ее поддержки (почему — расскажем во второй части).

    В случае с Google правила примерно такие же. Только в своей справке о правилах создания robots.txt поисковик еще отмечает, что это должен быть текстовый файл именно в кодировке ASCII или UTF-8. Кроме того, в списке директив в справке не указан тип Clean-param (в отличие от Яндекса). Кстати, полную информацию вы можете прочитать в самой справке — вот здесь.

    Главное — не забудьте проверить файл на правильность, прежде чем загружать его в корневую папку сайта.

    Все, хватит про robots! Двигаемся дальше. Теперь — о sitemap .

    Файл sitemap предназначен для сообщения поисковой системе об актуальной на текущий момент структуре сайта. Поисковики просматривают этот файл с целью максимально точной индексации страниц вашего сайта. В файле sitemap можно указать наиболее важные данные и сообщить системе ценную информацию (например, при наличии видеоконтента можно сообщить о длине ролика, его категории, с тем же изображением — тип картинки, авторская лицензия и т.д.).

    Именно поэтому с помощью такого файла можно оптимизировать индексацию вашего сайта поисковыми роботами. Особенно важно наличие sitemap в следующих случаях:

    • Если сайт достаточно большой с большим количеством страниц. Роботы могут просто пропустить новые страницы или страницы с недавними изменениями.
    • Если на сайте много страниц, не связанных друг с другом. Их можно просто перечислить в файле (но не более 50 000 в одном).
    • У вашего сайта мало внешних ссылок. Роботы при автоматическом сканировании ориентируются на ссылки на ваш ресурс.
    • Если на сайте есть мультимедийный контент. Как мы уже писали ранее, из файла Sitemap система может узнать различную информацию для отображения в поиске.

    В целом, создание файла Sitemap — это обширная тема для отдельной статьи (и она скоро появится в нашем блоге!). Из существующих источников информации советуем также изучить справки Яндекса и Google .

    Вопрос 4. Как узнать скорость обхода роботами страниц сайта?

    Прежде всего, нужно понимать, зачем вообще это знать. Дело в том, что скорость обхода страниц сайта роботами напрямую влияет на скорость индексации. Чем чаще система индексирует ваш сайт, тем лучше это повлияет на выдачу. Иначе говоря, обход всех страниц сайта по несколько раз в день — это хороший плюс в карму вашего сайта у поисковой системы.

    Теперь конкретнее. Узнать скорость обхода можно двумя способами:

    1) С помощью статистики в Яндекс.Вебмастере (только в Яндексе).

    2) С помощью сторонних сервисов (тоже только в Яндексе).

    Яндекс.Вебмастер дает возможность отследить, какие страницы были проиндексированы, а какие нет вследствие ошибок либо из-за недоступности сервера. Увидеть статистику можно на странице Индексирование → Статистика обхода. Здесь же есть вкладка “Последние изменения”, где вы можете увидеть дату последнего посещения страницы роботом и, соответственно, понять, насколько часто Яндекс сканирует сайт.

    Что касается сторонних ресурсов: мы рекомендуем tools.promosite.ru . Достаточно просто зарегистрироваться и ввести нужный домен, сервис рассчитает среднюю скорость индексации.

    С Google , как всегда, все сложно. Сторонних сервисов, позволяющих выявить скорость сканирования мы не знаем. Можно, конечно, использовать GSC для отслеживания общей динамики, но это недостаточно показательная информация. Тем не менее, здесь вы можете обнаружить общую статистику проиндексированных страниц и проконтролировать, чтобы в такой динамике не было слишком резких скачков и падений.

    На сегодня — информации хватит. В следующей части вы узнаете ответы на не менее важные вопросы:

    1. Сколько страниц уже в индексе поисковой системы?
    2. Как ускорить процесс индексации?
    3. Какими должны быть ссылки и размер страниц?
    4. Краулинговый спрос и бюджет: что об этом нужно знать?

    А пока уже можно начать..

    с SEO-аудита вашего сайта

    Подпишись и следи за выходом новых статей в нашем монстрограмме

    Остались вопросы?

    Не нашли ответ на интересующий Вас вопрос? Или не нашли интересующую Вас статью? Задавайте вопросы и темы статей которые Вас интересуют в комментариях.

    Что такое индексация сайта в поисковых системах и как её проверять

    Если есть проблемы с индексацией — в первую очередь надо проверить robots.txt и sitemap.xml.

    Любая поисковая система имеет объемную базу данных, куда вносит все сайты и новые страницы. Эта база называется «индекс». Пока робот не обойдет html-документ, не проанализирует его и не внесет в индекс, он не появится в поисковой выдаче. Попасть на него можно будет только по ссылке.

    Что значит «индексация»

    Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:

    Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.

    Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.

    Для чего вообще нужен индекс

    Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.

    Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:

    От чего зависит скорость индексации

    Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:

    • Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
    • Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
    • CMS, чистота и валидность кода.
    • Скорость обновления страниц.

    Что такое краулинговый бюджет

    У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!

    Индексация сайта

    Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.

    Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.

    Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.

    Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.

    Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.

    Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.

    Индексация страницы

    Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.

    Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/. Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.

    Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.

    Какие есть у поисковиков источники информации об url

    • В первую очередь, это переходы собственно поискового бота по ссылкам: обычным (внутренним и внешним), из соц.сетей (FB, Twitter, ЖЖ).
    • Вспомогательные источники: addURL, sitemap.xml.
    • Поведенческая информация: Метрика, Яндекс.Браузер (Элементы), Chrome, прочие счетчики.
    • Косвенные: регистрация в сервисах (Вебмастер, Директ, РСЯ, AdWords), упоминание домена без гиперссылки, регистрация домена, запросы в поиск.

    Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.

    Как проверить индексацию

    Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.

    Проверка в Яндекс

    Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.

    Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.

    Вводится в строку поиска следующим образом: site:znet.ru

    Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.

    Вводится в строку поиска следующим образом: host:znet.ru

    Оператор «url:» – показывает конкретную запрашиваемую страницу.

    Вводится в строку поиска следующим образом: url:znet.ru/obo-mne

    Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.

    Проверка в Google

    ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:znet.ru.

    Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.

    Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.

    Проверка с помощью Webmaster

    В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:

    В Яндекс Вебмастере при нажатии на ссылку «Мои сайты» в левом боковом меню появятся все необходимые пункты для проверки не только количества страниц, но и многих других полезных и важных данных, в том числе и истории индексации.

    Если текста еще нет в сохранённой копии, но есть на странице, то он может быть найден по запросу [этот текст] url:site.ru — это будет означать, что он уже проиндексирован, но пока не попал в основной индекс

    Массовая проверка страниц на индексацию

    Если вы ведете файл семантики по моей схеме, то проверить все страницы на индексацию для вас — дело трех минут.

    1. Заходим в файл распределения
    2. Выделяем все урлы в столбце URL
    3. Вкладка «Данные» — «Удалить дубликаты», таким образом останется список всех продвигаемых страниц
    4. Массово проверяем страницы на индексацию через Comparser. Можно и с помощью браузерного плагина Winka – он умеет работать со списком ссылок в отрыве от Сапы (вызвать меню плагина – проверка списка ссылок).

    Сервисы вроде Serphunt

    Сейчас я проверяю индексацию в основном здесь: https://serphunt.ru/indexing/, потому что у них можно сразу 50 урлов проверить и причем не только в яндексе, но и в гугле. Мало где можно проверить одновременно в обеих ПС на халяву сразу 50 урлов.

    Суть такая — просто вбиваете адреса страниц, и сервис вам выдаёт результаты:

    Проверяет не очень быстро — там надо будет подождать минуты 3, но к бесплатному инструменту и претензий немного. Просто в фоновом окне ставьте и занимайтесь своими делами, через несколько минут результаты будут готовы.

    Можно ли ускорить индексацию?

    Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:

    • Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
    • Почаще добавлять новые материалы;
    • Можно по самым дешевым запросам в своей тематике директ начать крутить;
    • Вносить адрес новой страницы в аддурилки сразу же после ее публикации.

    Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.

    В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.

    Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.

    Дополнительные советы по улучшению индексации

    Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.

    Индексация сайта. Что это? Как проверить и ускорить?

    Коллеги, приветствую вас! Этой статьей я открываю большую серию материалов, посвященных отдельным аспектам СЕО оптимизации. И начнем мы с самых базовых понятий. Сегодня рассмотрим индексацию сайта.

    Содержание:

    Что такое индексация сайта

    Индексация — процесс обхода вашего сайта роботом поисковой системы с целью добавления страниц (или других материалов) в выдачу (индекс). Для молодых сайтов актуально добавление не новых страниц, а всех. А для уже проиндексированных проектов — только добавление новых страниц (про переиндексацию измененных материалов мы сейчас говорить не будем).

    Важно понимать, что страницы сайта появляются в поиске не сразу, а через некоторое время (обычно 1-2 апдейта, что в понятных единицах означает 1-4 недели). Поэтому, если вы выкладываете новый сайт или новую статью на сайт, то имейте ввиду, что материал уже должен быть полностью готов, ведь поиск очень быстро его добавит в свою базу!

    Страницы, которые проиндексированы, вы и видите, когда задаете любой поисковой запрос!

    Проиндексированные страницы в Яндексе

    Как проверить индексацию сайта


    Есть несколько способов проверить индексацию вашего сайта. Они все очень простые и не занимают много времени.

    Способ 1: Запрос вида site:

    Просто заходите в Яндекс или Гугл и вводите запрос site:vash-site.ru и в результате выдачи вы увидите все свои проиндексированные страницы. Вот, к примеру, как это выглядит для моего блога

    Результат индексации блога Eduardkozlov.ru

    Мы видим, что проиндексировано 90 страниц.

    Способ 2: Онлайн сервисы

    Сегодня есть множество онлайн-сервисов, которые позволяют проверить индексацию сайта (платно или бесплатно). Я в аудитах использую pr-cy.ru Вы же можете использовать любой другой, который вам больше нравится.

    Оценка проиндексированности блога eduardkozlov.ru в сервисе pr-cy

    Видим, что число проиндексированных страниц (90) совпадает для двух этих способов.

    Способ 3. Яндекс Вебмастер (или Гугл Вебмастер)

    В кабинетах вебмастера также можно проверить индексацию сайта. Но там данные с небольшой задержкой, которую следует учитывать при анализе.

    Страницы в индексе по версии Яндекс Вебмастер

    Мы видим, что Яндекс Вебмастер утверждает, что проиндексировано 84 страницы, хотя мы видели, что их уже 90. Вот так проявляется задержка данных. Кстати, страниц, которые загружены роботом, больше — 148. Там спрятаны все дубли страниц, и служебные страницы сайта, которые я не хочу индексировать.

    Как отправить сайт на индексацию

    Если у вас сайт новый, то лучше всего будет его добавить в Яндекс Вебмастер и Гугл вебмастер. Тогда он автоматически будет поставлен в очередь на индексацию. Тем более, эту операцию вам в любом случае будет нужно сделать, если вы хотите полноценно работать с сайтом.

    Что же делать, если сайт не новый?

    Тут есть два способа:

    Отправка на индексацию через панель вебмастера

    В Яндекс Вебмастере необходимо перейти в список сайтов и справа нажать на кнопку «Сообщить о новом сайте».

    Затем откроется форма добавления URL, через которую и можно добавить ссылку в очередь на обход роботом.

    Данный способ уже не работает так, как это было раньше. Его вряд ли можно рекомендовать для использования

    Индексация с помощью сервисов

    Есть специальные сервисы, которые позволяют быстро переиндексировать сайт. Например, GETBOTGURU. Работа с ним достаточно проста: создаете проект, добавляете ссылки, которые нужно проиндексировать, и пополняете счет. Стоимость услуги доступная для каждого вебмастера.

    Ускорение индексации. Как?

    Опять же, с помощью сервиса GETBOTGURU можно существенно ускорить попадание новых страниц в индекс поисковых систем. Страница может появиться в выдаче уже через несколько часов. Это особенно важно для сайтов-новостников.

    У поиска есть так называемый «быстробот» и «быстровыдача». При обходе этим ботом сайтов, страницы автоматически добавляются в быстровыдачу, а рядом с ними появляется отметка даты. Это и означает,что страница попала в быстровыдачу.

    Подмешивание быстровыдачи в стандартную

    Если в дальнейшем поисковая система сочтет данную страницу полезной, то она автоматически появится и в обычной выдаче. Именно таким образом и осуществляется ускоренная или быстрая индексация новых страниц сайта.

    Раньше для ускорения индексации использовался твиттер, сейчас же эта тема работает не так здорово.

    Техника прикармливания быстробота

    Быстробот — робот, который добавляет страницы в быстровыдачу Яндекса.

    Такая техника существует и она очень проста: регулярно писать полезный контент на сайт. В этом случае есть большая вероятность того, что быстробот вас заметит и будет автоматически добавлять новые страницы в быстровыдачу.

    Если у вас сайт новостей, то попробуйте добавить его в Яндекс Новости. Практически на всех сайтах там сидит быстробот, и они не испытывают проблем с индексацией.

    Как закрыть сайт от индексации

    Существуют два способа закрытия сайта от индексации.

    Способ 1. Используем Robots.txt

    Его суть: необходимо прописать директиву Disallow для корневой папки сайта. Тогда сайт не попадет в индекс. Правда, тут есть одна особенность. В 80% случаев после запуска финальной версии сайта про эту директиву забывают, и сайт может неиндексироваться месяцами, а его владелец — нести колоссальные убытки!

    Способ 2. Используем htaccess авторизацию

    Подробно этот способ будет рассмотрен в статье, которая посвящена файлу .htaccess

    Суть: мы закрываем доступ через серверное окно авторизации. Поисковые роботы также не могут «достучаться» до сайта и не добавляют его в индекс. Правда, чтобы производить раобты на сайте, необходимо вводить логин и пароль.

    Индексация и различные СMS

    Влияет ли CMS на индексацию? Влияют руки, которые её настраивают!

    Индексация wordpress сайтов

    Сайты на WordPress (WP) очень популярны из-за простоты и бесплатности этой системы управления контентом. Поэтому среди них огромное количество «кривых» сайтов, которые не индексируются или индексируются крайне плохо.

    Выход простой: проводить аудиты сайта, а лучше — заказать разработку сайта у профессионалов (скромно порекомендую наши услуги).

    Проблема Вордпресса — дубли страниц. Если вы их закроете от индексации, а также другие служебные страницы — то проблем с индексом у вас не будет.

    Узкие места: страницы комментариев, фильтрация, медиафайлы, теги

    Индексация сайтов на Joomla

    Джумла посложнее вордпресса, но сайтов на ней также огромное множество. При этом она может генерировать дубли достаточно активно, что плохо сказывается на индексации ресурса.

    Узкие места: фильтрация, теги, дубли меню

    Индексация сайтов на 1С-Битрикс

    Из-за своей высокой цены сайты на Битриксе практически всегда разрабатываются профессиональными студиями (мы также очень активно работаем с битриксом). Многие его не любят из-за громоздкости, но при наличии ровных рук сайты работают отлично. При этом проблемы с дублями также присутствуют и нуждаются в устранении

    Узкие места: фильтрация, пагинация товаров, теги

    Можете посмотреть ролик по индексации сайтов, который я специально подготовил для вас! До новых встреч на блоге!

    Индексация сайта: как проверить индексацию в поисковых системах Яндекс и Google

    Привет, друзья. Сегодня мы поговорим про индексацию: что это такое, какие существуют этапы индексации сайта, как провести проверку индексации отдельно взятой страницы или всего сайта целиком, как ускорить индексацию сайта и как ее запретить.

    Статья рассчитана по большей части на новичков, однако я буду делиться практическим опытом и наработками, которые будут полезны даже специалистам.

    Начнем с определения – индексацией называют процесс добавления поисковиком информации о контенте сайта в свою базу. Если какая-то информация проиндексирована, то она будет участвовать в результатах поиска, и люди будут ее находить. Соответственно, если информация не проиндексирована, то через поиск найти ее будет невозможно.

    Этапы индексации сайта

    У поисковиков есть специальные роботы, с помощью которых поисковые системы проводят индексацию.

    У Яндекса есть основной робот, который скачивает документы для их последующей индексации, его еще могут называть «спайдер» (от spider — паук), есть отдельный робот для индексации изображений, робот-зеркальщик, который определяет зеркала сайтов, быстроробот (посещает часто обновляемые сайты и практически мгновенно помещает новые страницы в индекс, при этом на их ранжирование влияют не все факторы, и после захода основного бота позиции могут измениться).

    Полный список роботов Яндекса можно найти в официальной справке (однако, там есть боты сервисов, которые уже закрыты, например, Яндекс.Каталог).

    У Google тоже множество ботов: робот для сканирования новостей, изображений и видео, мобильных сайтов и т.д. Полный список поисковых роботов Google можно найти в справке.

    Рассматривать работу всех ботов мы не будем, достаточно понять принцип:

    1. Поисковая система узнает о новом сайте,
    2. Основной бот заходит на сайт и скачивает основные страницы для дальнейшего анализа, вся информация помещается в отдельную промежуточную базу.
    3. Дальше в дело вступает робот «краулер» (от crawl — ползать). Он сканирует документы из временной базы и обрабатывает контент:
      • Текст. Обработка текстового контента происходит в первую очередь. После изучения данные о нем передаются в очередь на добавление в основную базу поисковика.
      • Скрипты. Если на странице таковые есть, то при первом посещении страницы они игнорируются. Если краулер сканирует данную страницу не первый раз, и основная информация уже была проиндексирована, то в этом случае поисковик может попытаться определить содержимое скриптов. Грубый пример: если текстовый контент транслируется на страницу через скрипты и поисковик сумел их извлечь, то эти тексты будут добавлены в базу.
      • Ссылки. Если на страницах были найдены ссылки, еще не известные поиску, то информация о них передается основному боту и, как вы понимаете, процесс повторяется.

    Это сильно упрощенная модель, но ее достаточно, чтобы понять, как все устроено.

    Как проверить индексацию сайта

    Есть несколько способов проверки индексации страниц:

    • Используя специальные операторы в поиске,
    • В панелях вебмастера Яндекса и Google,
    • Через сторонние сервисы или расширения.

    Ниже рассмотрим каждый пункт подробнее.

    Проверка индексации сайта в поиске с использованием операторов

    Если необходимо проверить индексацию одной конкретной страницы, достаточно просто вставить нужную ссылку в окно поиска Яндекса:

    Если страница проиндексирована, то в результатах поиска отобразится ссылка на нее.

    Но если поисковик наложил санкции на страницу или сайт, в некоторых случаях ссылка может не отобразиться. Тогда надежнее будет использовать специальные операторы:

    • Для Google это оператор inurl: — запрос будет выглядеть: inurl:alaev.info/blog/post/7807 ,
    • Для Яндекса это оператор url: — запрос будет выглядеть: url:alaev.info/blog/post/7807 .

    Если страница показывается в выдаче, значит она проиндексирована, а если поиск выдал пустой результат — страницы в индексе нет.

    Узнать общее число проиндексированных страниц на сайте в Яндексе можно с помощью того же оператора, но нужно вводить вместо страницы только домен, а на конце вставить звездочку — url:alaev.info/* .

    Вариант выше работает, если сайт доступен только по одному зеркалу, но бывает, что сайт доступен по нескольким зеркалам, например – с www вначале и без www. Чтобы учесть страницы на обоих зеркалах, можно дополнительно использовать оператор «логическое ИЛИ», выглядит он в виде прямой черты «|»: url:www.alaev.info/* | url:alaev.info/* .

    Аналогичный результат можно получить с помощью оператора rhost: . При использовании этого оператора нужно поменять местами название домена и доменную зону: rhost:info.alaev .

    Еще один вариант – использование оператора site: , но, в отличие от предыдущего варианта, поисковик будет учитывать поддомены, если они есть.

    Узнать число проиндексированных страниц в Google также можно с использованием оператора site: . Если у сайта есть поддомены, то можно их отсечь с помощью оператора inurl: .

    Но есть нюанс. В моем случае Google показывает 1660 результатов, а такого быть не может. Если мы перейдем на последнюю страницу поиска, то результат изменится — Google показывает всего 300 результатов.

    Сам запрос мы не меняли, просто перешли на последнюю страницу. Дело в том, что Google для экономии ресурсов не просчитывает точное количество документов, и увидеть более точные цифры можно только на последней странице поиска.

    Проверка индексации сайта с помощью сервисов и плагинов

    В сети много различных сервисов, которые помогают онлайн проверить индексацию сайта целиком или конкретных его страниц, обо всех рассказать не получится, но пару бесплатных сервисов мы рассмотрим.

    Сервис www.seogadget.ru – проверяет общее число страниц в поисковиках и может проверять массово до 30 сайтов.

    Сервис serphunt.ru/indexing – проверяет индексацию отдельных страниц и выдает только два ответа – либо страница есть в индексе Яндекса/Google, либо нет. Сервис может массово проверять до 50 ссылок.

    Не знаю почему, но сервис очень долго проверяет индексацию страниц в Google (а еще выдал, что главная страница alaev.info не в индексе, барахлит иногда, зато бесплатно).

    Сервис arsenkin.ru/tools/indexation/ — известный многим специалистам, проверяет индексацию страниц в Яндекс и Google. Для работы с сервисом нужна регистрация, после чего появится возможность проверить индексацию до 100 URL в Яндексе бесплатно каждый день. Работа с Гуглом доступна только по подписке, то есть платно.

    С помощью плагина RDS bar помимо проверки количества проиндексированных страниц, можно узнать еще много чего интересного, например, число проиндексированных картинок с сайта.

    Букмарклеты для проверки индексации

    Кроме сервисов есть еще специальные скрипты — так называемые, «букмарклеты». Чтобы ими воспользоваться, необходимо добавить в браузер закладку, запускающую скрипт при нажатии.

    Я покажу процесс добавления закладки на примере браузера Firefox (в других браузерах принцип идентичный).

    Для начала добавляем новую закладку: делайте правый клик на панель закладок, и в контекстном меню выбирайте «Новая закладка…»

    Если у вас не отображается панель закладок, нажмите Alt, вверху появится меню браузера, там выбирайте: Вид – Панель инструментов – Панель закладок:

    После нажатия на «Новая закладка…», откроется форма, где нужно указать произвольное название закладки (его вы будете видеть на панели закладок в своем браузере):

    А в поле «Адрес:» надо будет добавить один из следующих скриптов:

    1. Букмарклет для проверки индексации домена в Яндексе:
      javascript:vo >
    2. Букмарклет для проверки индексации домена в Google:
      javascript:vo >
    3. Букмарклет для проверки индексации страницы в Яндексе:
      javascript:vo >
    4. Букмарклет для проверки индексации страницы в Google:
      javascript:vo >
    5. Букмарклет, который показывает доступна ли страница к индексации (проверка осуществляется на основании файла /robots.txt, наличия/отсутствия на странице мета-тега robots и link rel=canonical):
      javascript:(function())();void(0);

    В панели появится закладка, когда мы нажмем кнопку «Добавить». Теперь можно открыть проверяемый сайт и использовать букмарклет.

    В данном случае я использовал первый из списка представленных выше скриптов, который при нажатии перекидывает вас на Яндекс, подставляя адрес сайта и оператор site: .

    Проверка индексации с помощью Яндекс.Вебмастера

    Ваш сайт должен быть добавлен в панель Вебмастера!

    Заходим на главную страницу Яндекс Вебмастера, видим один или несколько своих сайтов, а напротив количество загруженных и проиндексированных (участвующих в поиске) страниц.

    Если необходимо узнать подробнее, что это за страницы, заходим в раздел «Индексирование — Страницы в поиске» и тыкаем вкладку «Все страницы»:

    А в самом низу, в правом нижнем углу будет кнопка «Скачать таблицу»:

    Вы получите файл со списком всех страниц сайта в индексе Яндекса.

    Проверка индексации с помощью Google Search Console

    Ваши сайты должны быть добавлены в панель вебмастера Google!

    На главной странице есть дашборд «Покрытие», где указано число страниц, участвующих в поиске.

    Чтобы узнать подробнее, что это за страницы:

    • Нажмите «Открыть отчет» в верхнем правом углу дашборда.
    • Перед нами подробный отчет об эффективности. Информация по страницам разбита на 4 раздела: «Страницы с ошибками», «Страницы без ошибок, но с предупреждениями», «Страницы без ошибок и предупреждений» и «Исключенные страницы».
      Нас интересуют отчеты «Страницы без ошибок, но с предупреждениями» и «Страницы без ошибок и предупреждений»:
    • В блоке «Сведения» нажимаем на интересующую группу страниц:
    • Попадем в подробный отчет по группе страниц:
    • Ниже в блоке «Примеры» можно увидеть список страниц, либо скачать список на компьютер:

    Как ускорить индексацию сайта

    Самый надежный способ ускорить индексацию страниц – использовать панели Яндекс.Вебмастера и Google Search Console. А еще можно простимулировать страницу ссылками или соц.сигналами.

    Ускорение индексации через Яндекс Вебмастер

    Первый способ позволяет ускорить индексацию отдельно взятой страницы (или группы страниц). Заходим в раздел «Индексирование – Переобход страниц»:

    В текстовое окно нужно вставить ссылки на те страницы, индексацию которых нужно ускорить, и нажать кнопку «Отправить». Под окном ввода указан дневной лимит на количество страниц, которые можно отправить в переобход. У каждого сайта свои лимиты, но не известно, из чего эта цифра складывается (в сети гуляют различные мнения, например, что лимит зависит от суммарного числа страниц на сайте, скорости добавления новых страниц и частоты использования функционала переобхода).

    Вот пара примеров для статистики:

    • Для сайта с 16 000 000 загруженными страницами (из них 13 млн. страниц в индексе): «Дневной лимит — 160 адресов для сайта.»
    • Для сайта с 25 000 загруженными страницами (из них 22 тыс. страниц в индексе): «Дневной лимит — 130 адресов для сайта.»
    • Для сайта с 67 000 загруженными страницами (из них 39 тыс. страниц в индексе): «Дневной лимит — 140 адресов для сайта.»
    • Для сайта с 38 000 загруженными страницами (из них 29 тыс. страниц в индексе): «Дневной лимит — 150 адресов для сайта.»
    • Для сайта с 145 000 загруженными страницами (из них 91 тыс. страниц в индексе): «Дневной лимит — 120 адресов для сайта.»
    • Для сайта с 2 600 000 загруженными страницами (из них 2,2 млн. страниц в индексе): «Дневной лимит — 150 адресов для сайта.»

    Я даже посмотрел, коррелирует ли это как-то с XML-лимитами, которые выдают сайтам, – нет никакой взаимосвязи.

    Второй способ позволяет ускорить индексацию ссылок из файла sitemap.xml, т.е. при желании можно ускорить индексацию всего сайта целиком.

    Если вы не в курсе, что это за файл, читайте информацию в разделе помощи Яндекса или в справке Google.

    Для ускорения индексирования ссылок из файла sitemap.xml, нужно перейти в раздел «Индексирование – Файлы Sitemap». Если файлы еще не добавлены – добавьте их (в верхней части страницы есть поле ввода с кнопкой «Добавить»). Нажмите на кнопку «Отправить файлы Sitemap на переобход».

    Через какое-то время поисковый робот посетит данный файл и, если там будут страницы, о которых боту неизвестно, то он их обойдет.

    Третий способ ускорить индексацию страниц – подключить обход с помощью счётчиков Яндекс.Метрики. Для этого вам потребуется подтвердить права на сайт и в Вебмастере, и в Метрике из одного аккаунта, затем перейти в Вебмастере в раздел «Индексирование — Обход по счётчикам»:

    Отмечаете галочкой «Обход разрешен», сохраняете и тогда все страницы, на которые будут зафиксированы переходы посетителей в Метрике, будут отправляться роботу Яндекса на обход. Раньше эта настройка была в Метрике, но в конце 2020 года ее перенесли.

    Ускорение индексации через Google Search Console

    Для того, чтобы ускорить индексацию отдельно взятой страницы, необходимо вставить URL в строку проверки, а в открывшейся сводке нажать кнопку «Запросить индексацию». После этого страница встанет в приоритетную очередь для сканирования.

    (Практика показывает, что индексация или переиндексация происходит почти мгновенно. Но надо еще это потестить на большей выборке сайтов, чтобы окончательно убедиться.)

    Если нужно проиндексировать сразу большое число страниц, то добавьте их в файл sitemap.xml, а саму ссылку на файл добавьте в раздел «Файлы Sitemap». Чтобы ускорить обход файла, добавьте его в строку проверки URL и запросите обход страницы как было рассмотрено в примере выше.

    (А в данном случае практика показывает, что бот не спешит переобходить или индексировать страницы из sitemap, ощущение, что он только для галочки говорит, что переиндексирует, а по факту обходит тогда, когда это ему положено по стандартному расписанию. То есть можно ждать бота и 3, и 5, и более дней.)

    Ускоряем индексацию страниц с помощью ссылок

    Чем чаще сайт публикует контент, и чем больше его аудитория, тем чаще поисковой бот сканирует страницы данного сайта в поисках новой информации. Доходит до того, что поисковой бот просто «живет» на сайте, т. е. сканирует его безостановочно (это различные новостные издания, журналы, крупные порталы и т. д.)

    Наша задача — найти подобные сайты и разместить с них ссылку на свой сайт. Как правило, поисковые боты относительно быстро находят новую ссылку и переходят на вашу страницу, тем самым запуская процесс ее индексации.

    Как именно получить подобные ссылки – это уже отдельный вопрос. Некоторые площадки сами предлагают разместить у них ссылку на платной основе, такие услуги можно найти в специальных биржах. Можно попробовать связаться напрямую с вебмастером (обычно все площадки, которые оказывают подобные услуги, указывают у себя контакты администратора сайта).

    Много лет назад можно было ускорить индексацию, размещая ссылки на нужные страницы в соцсетях, самой популярной площадкой для этой цели был Twitter. Но очень быстро в соцсетях прочухали такое злоупотребление и добавили сперва к ссылкам атрибут rel=”nofollow”, запрещающий роботам переходить по ссылкам, а потом стали ставить ссылки через прокладку с редиректом. Поисковики тоже обратили внимание на ситуацию и перестали доверять таким сигналам.

    Еще поисковые роботы «живут» на различных блог-платформах, типа ЖЖ, там тоже можно размещать посты со своими ссылками, но если честно, я не вижу в этом большого смысла, сейчас и Яндекс, и Гугл довольно оперативно заходят на сайты и сканируют все полезные страницы, а индексация занимает не больше недели. Раньше поисковикам, видимо, не хватало мощностей, и приходилось прибегать к различным хитростям, иначе можно было ждать индексации неделями, а то и месяцами.

    Есть еще один способ мгновенно проиндексировать страницу – запустить рекламную кампанию в Яндекс.Директ или Google Ads (на самом деле, рекламу можно и не запускать, а просто создать объявления). Страница, на которую ведет ссылка из рекламного объявления будет вне очереди добавлена в базу поисковой системы.

    Влияет ли название домена и доменная зона на индексацию

    Ответ – нет. На сегодняшний день существуют тысячи различных доменных зон, не только связанных с названиями стран, как это было изначально задумано, но и ассоциирующихся с направлением и деятельностью бизнеса, предметами или событиями.

    Есть и популярные в нашей стране кириллические доменные зоны. Когда они появились, были проблемы с их индексацией, но теперь это в прошлом. Однако с кириллическими доменными зонами могут возникнуть иные проблемы, например, ограничения для почты для домена, могут возникнуть проблемы со ссылками, потому что для совместимости домены преобразуются в так называемый punycode (например, домен алаичъ.рф будет выглядеть как xn--80aayk6ds.xn--p1ai), а адреса выглядят совершенно непривлекательно (наверняка вы часто такое видите на Википедии): https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0

    Как бы то ни было, сейчас все это прекрасно будет индексироваться и ранжироваться во всех поисковых системах.

    А когда-то проблемы были, я даже пост писал в 2010 году о том, как заставить Rambler индексировать мой блог, который расположен на .info домене. Рамблер не хотел его индексировать 2 года. Хотя чего уж там… самого поиска Рамблера давно уже не существует (имеется в виду, что собственной поисковой системы не существует, а поиск работает на технологиях Яндекса)!

    Как закрыть сайт от индексации

    Выше мы рассмотрели примеры, как проверить и ускорить индексацию страниц сайта, но иногда требуется ограничить индексацию отдельных ресурсов. Например, если на сайте есть страницы-дубли и нам нужно оставить в индексе одну страницу, а индексацию второй запретить.

    Существует несколько способов:

    1. Запретить индексацию в файле robots.txt – вариант подходит для Яндекса, т.к. все, что закрыто в этом файле от индексации, из выдачи также удаляется. Но Google воспринимает данный файл только как рекомендацию. Если на страницу стоят ссылки с других ресурсов, то эта страница может появиться в индексе, хотя и с пометкой, что ее содержимое скрыто в robots.txt. Я про это подробно писал в посте Особенности индексации сайтов – robots.txt, мета-тег robots.
    2. Поставить на странице мета-тег .
      Подобные страницы относительно быстро вываливаются из индекса после переобхода поисковым ботом. Работает хорошо в обоих поисковиках.

    • Вариант только для Яндекса:
    • Вариант только для Google:
  • Установка на странице HTTP-заголовка X-Robots-Tag. Преимущество перед мета-тегом в том, что HTTP-заголовок может быть размещен вообще на любом документе, например PDF, изображении и др.
  • Настроить на страницах тег link rel=”canonical”. Это решение помогает склеить страницу-дубль с каноничной страницей. Способ хоть и проверенный, но не дает 100% гарантии срабатывания, т. к. поисковиками воспринимается не как строгое правило, а как рекомендация, следовательно, поисковики могут сами решать следовать ей или нет.
  • Запаролить вход на сайт через .htaccess и .htpasswd. В этом случае поисковой бот не сможет зайти на сайт и просканировать его. Не обязательно закрывать весь сайт, можно только отдельные разделы или страницы. Минус данного способа: он только ограничивает индексацию и, если страницы уже находятся в индексе поисковиков, то их сперва нужно из него удалить.
  • Индексацию ссылок с параметрами можно ограничить в /robots.txt для Яндекса и в Search Console для Google. Это такие URL, у которых имеется вопросительный знак, после которого задается один или несколько параметров со значениями.
    Пример: www.site.ru/index.php?page=1 , где «page» — это параметр, а «1» — его значение.
    Запретить индексацию подобных ссылок в Google можно в Search Console в разделе «Прежние инструменты и отчеты – Параметры URL»
    Только вот есть один косяк, так как это устаревший инструмент, он может не работать для сайтов подтвержденных через DNS (а не с помощью html-тега, txt или html-файла): «Отчеты и инструменты прежней версии сервиса недоступны для доменных ресурсов.» Это может случиться, когда вы добавляли основной домен как «Ресурс-домен», чтобы всего его поддомены не надо было отдельно подтверждать. Я для своего блога делал именно так, ибо не хотел париться с каждым поддоменом отдельно. Но у вас, скорее всего, будет все нормально! Подробнее о самой настройке инструмента читайте в официальной документации.
    У Яндекса похожий функционал реализован с помощью директивы Clean-Param, которая указывается в файле /robots.txt. Подробности можно узнать в разделе помощи Яндекса.
  • Удаление ссылок через панели Яндекс.Вебмастер и Search Console. С помощью данных инструментов можно удалять из выдачи ненужные ссылки. В Google есть особенность: ссылки не удаляются из поиска, а скрываются на некоторое время. Разумеется, если после удаления страницы из индекса не ограничить саму возможность индексации, то страницы могут вернуться в индекс снова.
    В Google Search Console есть хитрость, о которой не все знают. Если целый сайт случайно проиндексировался (такое часто случается при разработке), то можно очень быстро удалить его из выдачи – просто оставьте поле для ввода ссылки пустым и нажмите кнопку удалить. Весь сайт будет удален. Это самый быстрый способ удаления ссылок из выдачи.
  • Настройка редиректа на другие страницы (склейка страниц). Если страница находилась в индексе, то после настройки с нее редиректа, в индекс попадет та страница, на которую настроен редирект. Важно, чтобы сервер отдавал 301 код редиректа, а не 302 (такое бывает часто). Подробнее про 301-редиректы.
  • Настройка кодов 404 или 410 – обычно сервер отдает такие коды, если страница удалена, однако можно настроить данные коды на рабочих страницах, тогда поисковики будут считать их удаленными и выкинут из индекса. Данный способ я описал больше для теории, потому что на практике такое вряд ли кому-то придет в голову реализовывать: можно аналогичный эффект получить в несколько раз попроще, используя вышеописанные методы.
  • Думаю, на этом можно и остановиться. Я рассказал вам подробно об основных способах проверки индексации сайтов и отдельных страниц, показал инструменты, а также рассказал о том, как можно ускорить попадание страниц в индекс поисковых систем Яндекс и Google.

    Но если остались какие-то вопросы или у вас есть, что добавить, смело пишите в комментариях.

    Мастер Йода рекомендует:  Каким программистам больше пишут рекрутеры – исследование Djinni
    Добавить комментарий