Сколько ждать попадания в индекс?
В индекс Google новый сайт залетает в среднем спустя неделю. В Яндексе — это может занимать до двух недель. Эти сроки актуальны, если на сайте не создано никаких препятствий для обхода поисковыми роботами
Важно понимать, попадание в индекс не означает, что страницы со старта получат высокие позиции в поиске. В первое время, скорее всего, они будут на задворках выдачи — на второй-третьей странице
И только постепенно начнут укреплять свои позиции. Также они могут вовсе не отображаться по основным поисковым запросам (находясь при этом в индексе). Второй сценарий больше актуален для молодых сайтов, пребывающих в песочнице.
Добавляем сайт в поиск Яндекса
Чтобы страницы нового сайта начали отображаться в поиске Яндекса их также нужно добавить в индекс. Механика процесса идентична поисковой системе Google. Добавление ресурса в поиск осуществляют через консоль Яндекс.Вебмастер. При этом есть и другие способы (о них мы расскажем ниже), но наиболее рабочим считается именно этот. Возможности вебмастерки Яндекса в целом аналогичны Search Console. Более подробно об этом сервисе можно почитать здесь.
Добавление в Яндекс.Вебмастер и подтверждение прав на сайт
Для привязки сайта к вебмастерке понадобится учетная запись в Яндексе. Если она есть, что вероятнее всего, т.к. многие пользуются почтой и другими яндексовскими сервисами, переходим сюда и указываем адрес сайта.
Как и в случае с гугловской консолью, дальше нужно пройти верификацию и подтвердить права. Сделать это можно по-разному:
- создав HTML-файл с уникальным идентификатором, и поместив его в корневой каталог сайта;
- разместив в HTML-коде главной страницы специальный метатег;
- добавив DNS-запись с идентификатором;
- подтвердив электронный адрес из WHOIS-записи (этот способ не рекомендуется даже самим Яндексом).
Для подтверждения прав удобнее всего использовать первый способ — через HTML-файл. Указав сайт и перейдя во вкладку, отмеченную на скриншоте, система сгенерирует файл с уникальным именем и содержимым. Его нужно скачать и разместить в корневом каталоге сайта. Далее проверяем, что файл открывается по указанной ссылке. Нажимаем кнопку «Проверить». Если все сделано правильно, панель инструментов слева станет кликабельной.
Добавляем сайт в индекс
После верификации и получения доступа к функционалу вебмастерки, выполняем следующие действия.
Переходим во вкладку «Индексирование» → «Переобход страниц»
Добавляем главную страницу и основные разделы сайта — нажимаем «Отправить»
Обратите внимание, в Яндексе установлен лимит на количество индексируемых страниц
Все новые страницы, которые в дальнейшем будут добавляться на сайт, отправляют на переиндексацию по аналогичной схеме.
Дополнительно в Яндекс.Вебмастер необходимо добавить файл sitemap.xml. Здесь работает та же механика, что и в Google. Сначала необходимо создать саму карту. Если это сделано не через плагин — размещаем sitemap на сервере. Далее в разделе «Индексирование» → Файлы Sitemap вписываем в поле URL, по которому доступен файл. Нажимаем «Добавить».
После добавления файл будет какое-то время обрабатываться. Это происходит не быстро, и может занять до двух недель. По завершении обработки напротив файлов должен отображаться статус «OK». Если присутствует статус «Редирект», «Ошибка» или «Не проиндексирован», необходимо определить причину некорректной индексации, исправить ее, после чего сообщить роботам об обновлении.
Индексируем страницы через Яндекс.Метрику
Существует еще один способ сообщить краулерам Яндекса о новых страницах сайта — через Метрику. Этот вариант менее удобен, чем первый, но знать о нем вебмастеру не помешает. Для этого на сайте должен быть добавлен и настроен счетчик Яндекс.Метрики. В любом случае рано или поздно его придется добавить, конечно, если вы намерены серьезно заниматься продвижением своего проекта.
Итак, чтобы роботы Яндекса подтягивали сведения о новых страницах из данных Метрики, нужно разрешить обход страниц, на которых установлен счетчик. Для этого выполняем следующие действия.
Активировав эту опцию, во вкладке Привязка к Яндекс.Метрике отобразится статус «Связан с сайтом в Вебмастере».
Индексирование и ранжирование
Инструменты, которые не только ускоряют индексирование, но и помогают контенту быстрее попасть в ТОП.
Ссылки с важных страниц
Опубликовав новый контент, убедитесь, что на него есть ссылки с важных страниц сайта – домашней, блога – любой страницы, которая хорошо ранжируется в поиске. Это основное, что нужно сделать: не бросать страницы без входящих ссылок.
Добавляя ссылки, вы сообщаете Google две вещи. Во-первых, что ссылку нужно добавить в очередь на сканирование. Во-вторых, что это – важная ссылка. Google поймет, что на новый контент ссылаются качественные страницы и будет лучше его ранжировать.
Старый контент
Пункт, о котором часто забывают – обновление старого контента. Стоит линковать не только новые страницы со старыми, но и старые с новыми.
Как понять, с каким старым материалом залинковать новый? Можно воспользоваться поиском по сайту или командой: site: , вбитой в поиске Google.
Соцмедиа
Константин Орешников, Product Owner сервиса Rookee: Публикуя ссылку в соцмедиа, можно не ждать, когда страница станет ранжироваться в органическом поиске, а сразу привлечь внимание к контенту. Это обеспечит приток пользователей, что повлияет на поведенческую статистику и поможет странице ранжироваться выше и в органике
Если контент понравится аудитории, она будет активно реагировать на него: лайкать, делать репосты. Это также сигнал для поисковиков: контент «годный», интересный ЦА и, вероятно, достойный высоких позиций в органике.
Трафик страницы
До сих пор идут споры о том, является ли трафик сигналом для индексирования и ранжирования. Несмотря на это, техника работает раз за разом: сгенерируйте трафик на новую страницу, и она быстрее займет высокие позиции в поиске.
Артур Латыпов, руководитель SEO Интеллект: Разнообразие источников трафика и внутренние метрики поведения по ним является фактором ранжирования. Количество трафика именно из поисковой системы так же является фактором ранжирования, где влияют как внешние поведенческие факторы, так и внутренние. Мы недавно как раз записали 2 видео по ПФ:
Другие советы по ускорению индексации и ранжирования контента:
Константин Орешников, Product Owner сервиса Rookee:
- Подключайте Турбо-страницы и AMP-версии, так вы получите значительный рост мобильного трафика.
- Создавайте сразу качественные страницы, с контентом и корректной оптимизацией метатегов. Если сначала страница проиндексирована пустой, с непонятными метатегами, она может накопить негативную историю и это станет проблемой в дальнейшем.
Индексирование
Файлы Sitemap
Если вы еще не используете файлы Sitemap, начните. Это – один из самых простых и быстрых способов проиндексировать страницу в Google. Добавляя ссылки в файл, вы, наверное, хотите, чтобы Google узнал, что они действительно там. Есть несколько техник, которые помогут оптимизировать этот процесс.
Первый и самый популярный способ – указать в robots.txt путь к файлам Sitemap. Просто пропишите в конце списка директив команду и укажите путь к файлу.
Второй способ – добавить Sitemap через Search Console, достаточно указать относительный URL файла на странице с отчетом о файлах Sitemap и нажать «Отправить». Обработка файла начнется сразу, однако для полного сканирования перечисленных URL может понадобиться время. В этом же отчете можно просмотреть историю отправок и сведения об ошибках в файле. То же самое доступно в Search Console API.
Третий, не очень популярный способ – оповестить Google о файлах Sitemap с помощью запроса ping. Это можно сделать в любом браузере, достаточно ввести в строку google.com/ping? и URL, по которому находится файл Sitemap. После этого Google мгновенно поставит Sitemap в очередь на сканирование, благодаря чему содержащиеся в нем URL проиндексируются быстрее, если они конечно отвечают стандартам качества Google.
Google Indexing API
Относительно недавно Google представил Indexing API, который позволяет напрямую уведомить Google о добавлении, изменении и удалении страниц. С его помощью можно за раз обрабатывать тысячи URL.
Google позиционирует Indexing API как инструмент исключительно для работы со страницами с разметкой для вакансий и онлайн-трансляций. Однако SEO-эксперт Девид Соттимано поэкспериментировал с инструментом и выяснил, что на самом он работает для разных типов контента.
Другие советы по ускорению индексирования:
- Настраивайте правила автоматического добавления новых страниц в XML-карту и их обновление.
- Добавляйте новые страницы на принудительную индексацию в Яндекс.Вебмастер и Google Search Console. Метод актуален для небольших сайтов. Если на сайт ежедневно выкладываются десятки–сотни страниц, вручную их добавить не получится.
Ускорить индексацию также можно с помощью сервисов IndexGator и IndexMe.
Почему не индексируется ресурс?
Прошло недостаточно времени. Владельцам новых сайтов, нужно запастись терпением. Нередко попадание в индекс растягивается больше, чем на две недели.
Не добавлена карта сайта. Если вы решили проигнорировать sitemap.xml, возвращайтесь наверх и читайте, как это исправить.
Запрет на индексацию в файле robots.txt. Некоторые страницы сайта советуют закрывать от индексации. Это делают через прописывание специальных директив в служебном файле robots.txt. Здесь нужно быть предельно аккуратным. Лишний символ — и можно закрыть то, что должно быть доступным для поисковых роботов. В этом случае будут проблемы.
Ошибка с метатегом “robots”. Этот элемент кода сообщает поисковым краулерам о запрете на индексацию страницы. Он помещен между тегами <head> </head>, и выглядит следующим образом:
Метатег может появиться там, где не нужно. Часто это случается при изменении настроек движка или хостинга.
Запрет на индексацию в файле .htaccess. В этом файле прописаны правила работы сервера, и через него также можно закрыть сайт от индексирования.
Тег rel=”canonical”. Этот тег используют на страницах с дублированным содержимым, указывая с его помощью поисковым роботам адрес основного документа. Если страницы не попадают в индекс, причиной может быть наличие этого тега.
X‑Robots-Tag. В файле конфигурации сервера может быть прописана директива X Robots-Tag, запрещающая индексирование документов.
Долгий или неверный ответ сервера. Критически низкий отклик сервера создает сложности поисковым роботам при обходе сайта, из-за чего часть страниц может не залететь в индекс.
Некачественный контент на страницах. Плагиат, дубли, ссылочный переспам, автоматически сгенерированные тексты — все это также создает потенциальные риски.
Как видим, причин, по которым возможны проблемы с индексированием, довольно много. Но не переживайте, все это не нужно тестить вручную. Вебмастерки регулярно оповещают о возникших ошибках. Ваша задача — следить за уведомлениями в Яндекс.Вебмастере и Google Search Console и своевременно исправлять ошибки.
Можно ли индексировать пустой сайт? Или сначала лучше наполнить его контентом?
Мы отправили на индексацию не один десяток сайтов, и убедились, что особой разницы нет. Если сайт новый.
Вы можете сделать 5-10 стартовых страниц, наполнить их контентом и забросить сайт на индексацию. А можете добавить сайт пустым, и не спеша наполнять его контентом. Это не должно отразиться на скорости и качестве индексирования. Конечно, если не растягивать наполнение этих 5-10 страниц на месяцы. А вот с чем можно повременить на первых порах — оттачивание дизайна, создание перелинковки, размещение виджетов и пр. Это не так принципиально, если вы не планируете сразу же лить рекламный трафик на сайт.
От куда брать данные?
Google Search Console
«Индекс» => «Покрытие» => Таб «Страница без ошибок» (таб «Без ошибок, есть предупреждения» также можно учитывать, но можно списать на погрешность) => можно посмотреть значение на определенный день (отображаются данные за последние 3 месяца).
Отчет покрытие в Гугл вебмастере.
Альтернатива. Поиск Google
Используем оператор , где hostname.ru — название исследуемого хоста.
Проверка индекса в поиске Google.
Минус подхода: смотрим данные на текущий момент.
Результаты являются значением GIndex-Pages или Index-Pages (если принимаем данное количество за истину).
Яндекс.Вебмастер
«Индексирование» => «Страницы в поиске» => смотрим количество страниц на определенную дату.
Отчет «Страницы в поиске» в вебмастере Яндекс.
Альтернатива. Поиск Яндекс
Используем аналогично оператор
Проверка индекса в поиске Яндекса. «Нашлось Х результатов» — где Х — нужное нам число.
Минус подхода: смотрим данные на текущий момент.
Результаты являются значением YIndex-Pages или Index-Pages (если принимаем данное количество за истину).
Примечание. В вебмастерах Гугла и Яндекса необходимо смотреть количество страниц в индексе по всем версиям сайта: с префиксом www и без, с http- и https-протоколами — т.е. суммировать показатель.
Тут важно задать правильные настройки сканирования, аналогично краулерам поисковиков. Учет файла robots.txt, директивы meta robots noindex, соблюдение тега Canonical, следование редиректам и т.п
Так же желателен учет Sitemap. Это всё делается с целью поиска всех возможных url
Учет файла robots.txt, директивы meta robots noindex, соблюдение тега Canonical, следование редиректам и т.п. Так же желателен учет Sitemap. Это всё делается с целью поиска всех возможных url.
Сканируем сайт с необходимыми настройками и получаем значение («Индексируемые URL»):
Screaming Frog SEO Spider
Парсим сайт, в фильтре выбираем тип документов «HTML». В столбце «Indexability» — делаем сортировку, чтобы первыми шли «Non-Indexable». Считаем количество таких страниц и вычитаем из общего количества отфильтрованных.
Т.е. считаем количество HTML-контент со значением «Indexable»:
Примечание. Помните, что если у вас не настроены базовые редиректы, то url сайта с префиксом www и без, с http- и https-протоколами — то одна страница будет доступной по нескольким url-ам. Существуют и другие варианты дублирования контента, эта тема отдельной статьи.
После парсинга сайта отбираем индексируемые HTML-страницы отдающие код 200. Количество таких страниц является истинным значением Index-Pages.
Вместо заключения
Оценка индекса позволяет выявить проблемы индексации, определить текущий потенциал сайта.
Показатели YIndex-Pages и GIndex-Pages могут быть не точными — в индексе поисковиков могут оставаться еще не склеенные страницы после простановки редиректов и тега Canonical…
Слишком большие различия между поисковиками — могут свидетельствовать о дублировании контента (чаще всего), а также о его низком качестве.
Большие различия между результатами поисковиков и реальным количеством — может говорить об отсутствии корректной настройки индексации сайта.
Следующие страницы вас также могут заинтересовать:
-
Средняя зарплата SEO специалиста
-
Комплекс платных каналов: начни тотальную охоту на клиентов
-
Эксперты об алгоритмах. SEO тренды будущего
-
Написание объявлений Avito
-
Продвижение сайтов
Обновлено: 22.12.2020
7289
