Быстрый способ проверить индексацию страниц в Яндексе и Google
Как выявить расхождения в индексации страниц Яндексом и Google и что с этим делать
Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.
Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.
Проблема при мониторинге индексации
Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:
В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.
Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.
Инструмент онлайн-проверки индексации от PromoPult
Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент «Анализ индексации страниц».
Как работает инструмент проверки индексации
Шаг 1. Добавление URL
Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:
В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:
Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:
Получаем количество проиндексированных страниц — 684 и 1090.
Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.
Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:
В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.
Чтобы не было проблем с индексацией, запустите продвижение сайта в комплексном SEO-модуле системы PromoPult. Внутренняя оптимизация, повышение авторитетности сайта, наполнение контентом — все это специалисты делают за вас. Вы лишь задаете бюджет и контролируете процесс.
Шаг 2. Указание ПС
На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.
Шаг 3. Получение результата
После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:
Скачать отчет можно в формате XLSX:
В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).
С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:
Сколько стоит использование инструмента
Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц — 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной. Анализ первых 100 URL бесплатно.
Анализатор индексации страниц — это только один из инструментов системы PromoPult. В разделе «Профессиональные инструменты» вы найдете чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности.
Многие инструменты бесплатные. Платные же стоят в 2-4 раза дешевле, чем у конкурентов.
Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?
На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.
Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:
Для точной диагностики причин выпадения страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.
После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).
Заключение
Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.
Попробуйте инструмент анализа индексации страниц в действии — предлагаем 100 бесплатных проверок!
Какие страницы проиндексировал яндекс
Существуют разные способы понять, присутствует страница в поиске или нет.
Например, с помощью языка поисковых запросов. Если страница site.ru/page1 доступна в поиске, она появится по запросу url:site.ru/page1. Однако таким образом нельзя выяснить, почему страница не показывается. Возможно, она уже была в поиске, но потом пропала, или никогда и не индексировалась. Найти ответ на этот вопрос можно на сервисе Яндекс.Вебмастер, с помощью инструмента «Проверить статус URL».
В этой форме нужно указать адрес интересующей нас страницы и немного подождать, пока сервис сформирует отчет.
Итак, отчет готов. Сервис показывает, что страница была проиндексирована роботом и присутствует в поиске. Это не одно и то же: не все проиндексированные страницы попадают в поиск.
Причины могут быть разные. Возможно, робот просто не успел добавить страницу в базу или поисковая система посчитала её недостаточно качественной — такие страницы исключаются из результатов поиска.
Обратите внимание на пункт «Версия страницы на момент построения поисковой базы». Здесь указана дата той версии страницы, которая сейчас доступна в поиске. Если после этой даты вы меняли контент, новые данные еще не попали в поиск. Их можно увидеть только на самом сайте.
В пункте «Дата загрузки» можно увидеть дату, когда робот последний раз посещал страницу. Версия страницы на этот день и попадет в поиск при очередном обновлении базы. Внесенные позже изменения не будут доступны в поиске, пока робот не обойдет страницу еще раз. Чтобы это произошло как можно быстрее, стоит добавить страницу в карту сайта — Sitemap.
В отчете есть и другие полезные данные — например, количество внешних и внутренних ссылок. А если на сайте обнаружится вирус, это тоже будет указано в отчете.
Проверьте главную страницу вашего сайта с помощью инструмента «Проверить URL». Доступна ли она в поиске? Когда поисковый робот последний раз заходил на страницу?
Какие страницы проиндексировал яндекс
Владелец сайта может влиять на то, как индексируется его ресурс.
Например, вы можете запросто закрыть для поисковой системы определённые разделы своего сайта. Для этого нужно добавить соответствующие команды в файл robots.txt — он находится в корневой папке сайта. Именно к этому файлу обращаются поисковые роботы, чтобы узнать, что можно индексировать, а что нет.
Поисковые системы исходят из того, что индексировать можно всё, что не запрещено. Поэтому владельцу сайта нужно самому позаботиться о том, чтобы в поиск не попала конфиденциальная информация — например, личные данные пользователей, их переписка или счета. Такие страницы нужно запретить индексировать. Рекомендуем также закрыть страницы со служебной информацией и страницы-дубликаты.
Многие системы управления сайтами (CMS) автоматически создают файл robots.txt и команды для роботов. Яндекс.Вебмастер позволяет проверить файл robots.txt на наличие ошибок. Для этого нужно загрузить содержимое файла в инструмент «Анализатор robots.txt». Для этого можно просто скопировать данные файла и вставить их в форму. Или загрузить файл robots.txt через интерфейс сервиса.
Сервис проверит файл и покажет, есть ли в нём ошибки.
Теперь поговорим о том, как создать правило для робота. Каждое правило состоит из двух элементов: это обращение к роботу и команда.
Если вы хотите обратиться сразу ко всем роботам, используйте элемент «User-agent:*». Для обращения только к роботу Яндекса нужно выбрать элемент «User-agent: Yandex».
Вы можете дать роботу команду «Allow:» (разрешить индексирование) или «Disallow:» (запретить индексирование). После команды нужно указать адрес, для которого должна применяться команда.
Например, так будет выглядеть правило, запрещающее всем поисковым роботам индексировать раздел siteforyandex.ru/admin:
Анализатор помогает найти ошибки в файле robots.txt, проверить, все ли команды прописаны верно и понятны роботу, и узнать, разрешена ли к индексированию конкретная страница.
Файл robots.txt позволяет закрыть для индексирования весь контент страницы. Если вы хотите закрыть только какую-то часть контента, используйте тег noindex. Этот тег не даёт индексировать заключенный в него текст, но не мешает поисковой системе переходить по ссылкам внутри текста.
Совет
Чтобы узнать, какие разделы сайта и в каком объёме уже проиндексированы, воспользуйтесь инструментом «Структура сайта» в Яндекс.Вебмастере, он находится в разделе «Индексирование».
Быстрый способ проверить индексацию страниц в Яндексе и Google
Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.
Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.
Проблема при мониторинге индексации
Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:
Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).
В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.
Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.
Инструмент онлайн-проверки индексации от PromoPult
Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент «Анализ индексации страниц».
одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
возможность проверки сразу всех URL сайта по XML-карте;
нет ограничения по количеству URL.
работа «в облаке» — не нужно скачивать и устанавливать ПО или плагины;
выгрузка отчетов в формате XLSX;
уведомление на почту об окончании сбора данных;
хранение отчетов неограниченное время на сервере PromoPult.
Как работает инструмент проверки индексации
Шаг 1. Добавление URL
Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:
Добавление XML-карты сайта (способ подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).
Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).
Добавление списка URL вручную (способ подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL указывайте с новой строки).
В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:
Из XML-карты сайта или CMS. В этом случае можно проверить, какие из важных URL не проиндексированы.
Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:
Получаем количество проиндексированных страниц — 684 и 1090.
Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.
Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Console. Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, — это позволит выявить «лишние» страницы.
Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:
В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.
Чтобы не было проблем с индексацией, запустите продвижение сайта в комплексном SEO-модуле системы PromoPult. Внутренняя оптимизация, повышение авторитетности сайта, наполнение контентом — все это специалисты делают за вас. Вы лишь задаете бюджет и контролируете процесс.
Шаг 2. Указание ПС
На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.
Шаг 3. Получение результата
После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:
Скачать отчет можно в формате XLSX:
В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).
С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:
Сколько стоит использование инструмента
Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц — 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной. Анализ первых 100 URL бесплатно.
Анализатор индексации страниц — это только один из инструментов системы PromoPult. В разделе «Профессиональные инструменты» вы найдете чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности.
Многие инструменты бесплатные. Платные же стоят в 2-4 раза дешевле, чем у конкурентов.
Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?
На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.
Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:
Отдельные директивы для Яндекса и Google в robots.txt. В этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из поисковых роботов — Googlebot или Yandexbot. Нужно проверить файл, и при необходимости исправить директивы
Молодой сайт. Поисковикам требуется время, чтобы добавить все страницы в индекс. Если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
Нет XML-карты сайта. В последнее время ее значение для индексирования стало меньше (особенно об этом заявляют представители Google), но тем не менее она помогает поисковикам лучше понимать структуру сайта. Стоит ее создать и разместить в корне сайта.
Наличие дублей страниц. Они возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение — найти и устранить дубли.
Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение — найти «узкие места» и ускорить работу сайта.
Редкая публикация нового контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — планомерно создавать новые страницы с уникальным интересным контентом, например, статьей для блога. Если у вас не хватает времени для такой работы, подключите модуль автоматического наполнения сайта от PromoPult — копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики — размещать их на страницах.
Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет нескоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
Санкции поисковиков. Ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет. В этом случае стоит проверить сайт на наличие фильтров и при необходимости предпринять действия по выходу из-под них.
Более 4 уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение — переосмыслить структуру сайта и упростить ее.
Для точной диагностики причин выпадения страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.
После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).
Заключение
Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.
Попробуйте инструмент анализа индексации страниц в действии — предлагаем 100 бесплатных проверок!
Количество проиндексированных страниц в Яндексе: как посмотреть, зачем это нужно
От автора
Цель теории и практики SEO, это попадание страниц сайта в поисковую выдачу (индексация) и подъём в выдаче по продвигаемому ключевому запросу. Занимаясь продвижением сайта, нужно иметь под рукой, простые и доступные инструменты проверки, какие страницы сайта проиндексированы, а какие нет. В этой статье я покажу, как посмотреть количество проиндексированных страниц в Яндексе. Как проверить индексацию страниц в Google тут.
Общий объем проиндексированных страниц
Ситуацию с индексацией можно назвать идеальной, если количество открытых для поисковиков страниц сайта совпадает с количеством страниц в индексе.
Это значит, что все создаваемые страницы сайта имеют достаточную информативность и заинтересовали поисковиков своей полезностью.
Нужно понимать, что индексация страницы это лишь первый шаг, за которым нужно заниматься её продвижением в выдаче. Однако при удачном выборе частотности ключа и его конкуренции страница сразу попадет в ТОП и остается её там только поддерживать.
Как я сказал, идеальный вариант, если все значимые страницы сайта попали в индекс. При этом количество проиндексированных страниц должно точно совпадать с продвигаемыми страницами. Ситуации, когда страниц в индексе значительно меньше или больше, чем страниц на сайте, требует срочного исправления.
1. Если страниц в индексе значительно, меньше, чем страниц на сайте, очевидно, что вы теряет трафик и делаете что-то не так. Либо страницы не информативны, либо контент не уникален, либо страницы у вас просто воруют и быстрее индексирую на другом веб-майте.
2. Ситуация, когда страниц в индексе больше, чем страниц на сайте, ничуть не лучше. Это значит, что поисковики индексируют дубли страниц или на сайте не закрыты от поисковиков малоинформативные и технические страницы.
Обе ситуации, недостаточной и избыточной индексации, мешают продвижению сайта, требуют изучения и исправления.
Чтобы сравнить количество страниц сайта и количество страниц в индексе, нужно эти количества знать и уметь быстро посмотреть количество проиндексированных страниц в Яндексе.
Сколько страниц на вашем сайте
На этапе создания сайта вы должны были решить, какой материал сайта показывать поисковикам, а какой закрыть от сканирования и индексации.
Узнать общее количество страниц сайта, которое «видит» Яндекс, на любом генераторе Sitemap (карты сайта), отметив настройку «учитывать директивы robots.txt». Рекомендую тут или тут.
Количество созданных страниц сайта можно посмотреть в административной панели сайта на странице материалов или товаров.
Остается сравнить два полученных значения с количеством проиндексированных страниц Яндекс. Сделать это можно несколькими способами.
Как посмотреть количество проиндексированных страниц в Яндексе
Способ 1. Яндекс веб-мастер
Способ 2. Расширения браузеров
В любом браузере есть расширения, показывающие основные или расширенные SEO данные по сайту, в том числе количество проиндексированных страниц в Яндексе. Вот одно из них, под названием «RDS bar».
Ссылки расширения
Способ 3. Синтаксис поисковых запросов Яндекс
Весь Язык запросов Яндекс тут.
Способ 4. Онлайн сервисы для веб-мастеров
В помощь, все популярные онлайн сервисы для веб-мастеров. Например:
Вывод
Количество проиндексированных страниц в Яндекс это количественная, но не качественная характеристика SEO «здоровья» вашего сайта. Однако это параметр важен, для понимания правильности ваших действий и начала профессионального продвижения сайта.