Как получить список страниц сайта, не попавших в индекс Яндекса

Захотел привести в порядок один старый, но захламленный сайт. Одно из мероприятий по санации – удаление или изменение не попавших в индекс страниц.

К сожалению, готового бесплатного решения не нашел – может быть, оно и есть где-то! Поэтому действовал так: 1) взял список страниц из sitemap, 2) сравнил в Excel со списком страниц из инструментов веб-мастера.

На конкретном сайте размещено чуть более 130 статей. Яндекс показывает 101 проиндексированную страницу (с учетом рубрик и немного меток), Google – 434 урла, в сентябре было – 2885 страниц. Гугл никуда не денется, а для продажи надо подшаманить с индексацией Яндекса.

Использовал такой же метод, как при поиске одинаковых значений в двух списках. Здесь тоже два списка, поэтому в одну колонку Excel помещаю список URL из сайтмеп, во вторую – копирую список из Яндекс.Вебмастер.

Далее всё делается точно так же, как в случает со списком актеров, игравших в двух разных сериалах: «Условное форматирование» > «Правила выделения ячеек» > «Повторяющиеся значения».

Затем: «Сортировка и фильтр» > «Настраиваемая сортировка» — все выделенные цветом (повторяющиеся значения) в одной из колонок группируются по порядку.

Остается только скопировать те из ссылок (статей, страниц), которые не попали в группу повторяющихся в списках проиндексированных Яндексом и реально размещенных на сайте.

Ну а дальше – дело техники! Смотрим, что из полученного списка не проиндексировано и начинаем кропотливую работу: переписываем, оптимизируем, скармливаем или удаляем нафиг.

“Wish You were Here”

Фото © one big shoe