Поисковые системы по разным причинам индексируют не все страницы сайта. Крупные ресурсы и интернет-магазины теряют доход, если их товарные страницы отсутствуют в поиске, поэтому проверка индексации сайта в Яндекс и Google так важна. При обнаружении проблемы вебмастер должен провести своевременную аналитику.
Как узнать количество проиндексированных страниц?
Чтобы узнать, сколько страниц сайта не проиндексировано, необходимы данные об общем количестве. Существует несколько способов узнать это:
- Воспользоваться картой сайта. Ее можно найти по адресу: название ресурса/sitemap.xml. В файле отображаются все страницы сайта, но в некоторых случаях sitemap может генерироваться неверно и не все url могут корректно отображаться.
- Проверить индексацию сайта с помощью программ. Сервисы автоматически сканируют все страницы и выдают актуальные результаты. Вы можете воспользоваться платным ресурсом Screaming Frog Seo или бесплатным — Xenus Links Sleuth.
Основные методы проверки индексации
После верификации можно проверить индексацию страниц сайта в поисковой системе Яндекс в панели управления вебмастера во вкладке «Индексирование», далее — «Страницы в поиске». Вы увидите перечень страниц, которые участвуют в индексации в Yandex поиске. Сохранить информацию для дальнейшего анализа можно в формате .xls и .csv.
Проверка в Google Search Console также начинается с подтверждения прав на владение сайтом, далее в панели управления вебмастера Гугл выбираем вкладку «Индекс», затем — «Покрытие». Полученные статистические данные по индексированным страницам примерные, так как. информация предоставляется на время последнего обновления системы. На текущий момент количество страниц может разниться, важно это учитывать.
Как узнать, проиндексирована ли конкретная страница в Google? Для этого необходимо вставить URL-адрес в поисковую строку Search Console. Если страница еще не проиндексирована, вы увидите следующее сообщение:
Так можно вручную отправлять выбранные страницы в очередь для индексации. В вебмастере Яндекс тоже имеется такой функционал. Для добавления страниц в очередь для индексации необходимо перейти во вкладку «Индексирование», далее — «Переобход страниц» и добавить необходимые url.
Операторы поиска — набор команд, которые фильтруют и уточняют результат выдачи. Команда «site:» выдает данные о примерном количестве страниц, которые присутствуют в индексе. Чтобы проверить индексацию сайта в поисковых системах, нужно ввести «site:[url вашего сайта]» в строку поиска. Если информация в Google и Яндекс разительно отличается между собой, значит требуется провести аудит сайта и найти причину некорректной работы.
Для быстрого и расширенного поиска можно использовать дополнительные инструменты. Чтобы увидеть изменения в индексации за последние сутки, нужно воспользоваться вкладками (ниже поисковой строки) «Инструменты поиска» и выбрать диапазон «За год/месяц/неделю/24 часа/час».
Это javascript-программы для автоматизированной проверки сайта, которые браузер сохраняет в качестве закладок. Преимущество плагинов заключается в том, что не нужно заходить в Яндекс или Google и вводить нужный запрос каждый раз. Работа расширений настроена через специальные скрипты, которые автоматически произведут проверку.
Один из самых известных плагинов — RDS bar. Он анализирует и показывает данные относительно всего сайта и его отдельных страниц. Для полноценной работы плагина рекомендуется установить браузер Mozilla Firefox.
Плагин Seo Magic также предоставляет полезную информацию для анализа, в том числе данные о количестве индексированных страниц в Яндекса и Google.
Проверка индексации страниц сайта может производиться через связку программ.
Netpeak Spider — полностью сканирует сайт и выдает список подробных данных о нем. Программа позволяет узнать следующие данные: заголовки, название, метаописания, canonical, код ответа, внешние и внутренние ссылки, редиректы, robots.txt, а также сигнализирует об ошибках в системе. Полученные URL-адреса необходимо выгрузить в Netpeak Checker, где и происходит проверка страниц на наличие в индексе.
Основные проблемы индексации сайта
Есть перечень причин, которые препятствуют страницам сайта индексироваться.
- Закрытие страниц/категорий в robots.txt. В текстовом файле указаны правила по запрету или разрешению индексирования выбранных страниц. Неверное использование директив может привести к закрытию отдельных страниц или всего сайта от индексации.
- Применение тега «noindex». Запретить индексацию страниц может мета тег name="robots" content="noindex, nofollow" /> в html коде страницы. Стоит проверить его наличие в коде ресурса, при необходимости убрать или заменить команды на противоположные — «index» и «follow».
- Приватные настройки CMS. Сервис WordPress и Megagroup имеют личную административную панель, в которой по умолчанию могут стоять настройки о запрете на индексирование сайта.
- Отсутствие карты сайта. Sitemap.xml — схема сайта, где содержатся ссылки на все страницы. Файл расположен в корневом каталоге и помогает поисковым системам быстрее проиндексировать сайт. В карту сайта добавляются только те страницы, которые нуждаются в индексе.
- Дублирование страниц. Из-за технических ошибок в процессе разработки и настройки сайта, а также в результате неправильной работы CMS могут возникнуть дубли контента. Для устранения ошибки страничка с дублем должна быть удалена.
- Медленная загрузка сайта. Поисковый робот может не дождаться ответа страницы и покинуть ее. Чтобы исключить такую проблему, рекомендуется найти и проработать «проблемные места» сайта и ускорить его работу.
- Редкое обновление контента. Чем чаще вы добавляете контент на сайт, тем лояльнее к вам относятся роботы поисковых систем и чаще посещают ресурс. Рекомендуется создавать страницу с уникальным контентом раз в неделю. Для этого можно завести полезный блог или дополнять новостной раздел.
- Санкции ПС. По ряду причин сайт может попасть под фильтры поисковых систем. Проверьте наличие фильтров и примените меры их по устранению.
- Сайт с более 4 уровнями вложенности. В данном случае поисковым системам сложно узнавать все страницы сайта и оперативно добираться до самых «глубоких». Необходимо упростить структуру и сделать ресурс более понятным для поисковиков и для пользователя.
- Новый ресурс. «Новичок» не может рассчитывать на быстрый процесс индексации. Системе требуется время для анализа, поэтому нужно набраться терпения и немного подождать.
Как ускорить процесс индексации сайта?
Количество страниц, обрабатываемых поисковиками за раз, ограничено. В основном это зависит от выделенного краулингового бюджета. Вот еще несколько продуктивных методов ускорить процесс индексации:
- Способ автоматического обновления карты сайта.Sitemap предоставляет роботам информацию о структуре сайта, в файле перечислены все адреса страниц. Важно указать частоту посещения и приоритетность страниц, поэтому позаботьтесь о том, чтобы все новые страницы сайта автоматически добавлялись в карту.
- Устранение дублированных страниц и неуникального контента.Дубли страниц препятствуют индексации страниц сайта. Поисковый робот просто может не дойти до нужной страницы, поэтому вебмастер должен следить за состоянием ресурса.
- Регулярный мониторинг внутренних редиректов и битых ссылок.Наличие на сайте битых ссылок и редиректов в большом количестве приводит к тому, что робот попадает на несуществующие страницы или те адреса, которые уже отсканировал. Важно контролировать количество внутренних редиректов и не допускать наличие битых ссылок на сайте.
- Грамотная настройка robots.txt.Файл robots.txt. не является обязательной инструкцией к применению, но пренебрегать его возможностями не стоит. Корректная настройка откроет доступ к новым страницам сайта и облегчит поиск для роботов.
- Улучшение скорости загрузки сайта.Скорость загрузки сайта — важный фактор ранжирования. Оптимальная скорость загрузки страницы составляет 3-5 секунд, а время ответа сервера — 200 мс. Для контроля и оптимизации можно использовать сервис PageSpeed Insights, в котором предложены основные рекомендации по оптимальным настройкам загрузки сайта.
- ПерелинковкаСуть перелинковки заключается в грамотном распределении внутреннего веса между страницами сайта. Переходя по внутренним ссылкам, робот также быстро находит новые страницы и оперативно добавляет их в индекс.
- Вывод превью новых товаров и свежих статей на главную страницу сайта.Чтобы пользователи и поисковики быстрее заметили новый товар или раздел каталога, ссылку на материал целесообразно разместить на главной странице.
- Размещение ссылки в соцсетях.Публикация ссылки на новую страницу сайта увеличивает ее активность и соответственно ускоряет индексацию.
- Постоянное обновление контента.Поисковики любят активные сайты. Поддержать актуальность ресурса поможет публикация интересного уникального контента, обновление каталога, размещение ссылок на новые материалы, дополнение старых страниц новой полезной информацией. Обновлять контент рекомендуется не реже 1 раза в неделю.
Чек-лист «Устранение ошибок при индексации сайта»
Проверка индексации сайта — важная задача SEO-специалиста. Что может улучшить индексацию?
- Грамотная настройка и оптимизация работы файлов robots.txt, sitemap.xml.
- Увеличение скорости загрузки сайта.
- Удаление дублированных страниц и исправление неуникального контента.
- Грамотная перелинковка.
- Контроль редиректов и битых страниц.
- Продвижение новых страниц в популярных соцсетях.
- Регулярная публикация контента и работа над его качеством.
