Индексация сайта в Яндексе: семь проверок, если страницы не находятся в поиске, и что исправить за вечер

Как понять, что дело именно в индексации

Введите в Яндексе название компании и адрес сайта. Если сайта нет даже по точному названию, а страницы опубликованы месяц назад, проверяйте индексацию. Если сайт находится, но по запросам клиентов стоит глубоко, это уже вопрос позиций и содержания, и действия там другие.

Дальше нужен Яндекс Вебмастер: добавьте сайт и подтвердите права. Откройте «Индексирование» и «Страницы в поиске»: там видно, какие страницы Яндекс знает, какие в поиске и какие исключены, с указанием причины (справка Яндекса). Для одного адреса есть «Проверка страницы»: вкладка «Версия страницы в базе» покажет статус, а страница может быть обойдена роботом и всё равно отсутствовать в поиске. Важные адреса добавьте в «Мониторинг важных страниц». Сначала сравните два числа: сколько страниц на сайте и сколько из них Вебмастер показывает в поиске. Разрыв в разы, например 12 в поиске при 800 на сайте, значит, причину нужно искать по пунктам ниже.

Если смотреть на сроки, справка Яндекса говорит так: после обхода роботом страницы могут появиться в поиске в течение двух недель. Три дня без страниц в поиске это норма, месяц повод идти по пунктам ниже.

Проверки 1–3: закрытые двери

Проверка 1: robots.txt. Откройте ваш-сайт.ru/robots.txt. Строка «Disallow: /» для всех роботов закрывает сайт целиком, и её часто оставляют со времён разработки. Файл должен лежать в корне, отдавать код 200, весить не больше 500 КБ и не содержать кириллицы. Если файл этим требованиям не соответствует, Яндекс считает сайт открытым для индексации (справка Яндекса).

Проверка 2: noindex. Метатег robots со значением noindex или заголовок X-Robots-Tag говорят роботу не индексировать текст страницы. Откройте код страницы и поищите «noindex». Учтите: если страницу закрывает robots.txt, робот метатег не прочитает (справка о метатегах).

Проверка 3: карта сайта. Файл sitemap.xml должен открываться с кодом 200 на том же домене, не быть закрытым в robots.txt и быть добавленным в Вебмастере в разделе «Файлы Sitemap». Яндекс обрабатывает его обычно в течение двух недель и не гарантирует, что все адреса попадут в поиск (справка о Sitemap).

Проверки 4–5: адрес отвечает роботу иначе, чем браузеру

Проверка 4: код ответа. Страница в браузере открывается, а роботу сервер может отдавать другое. Проверьте адрес в «Проверке ответа сервера» в Вебмастере: нужен код 200. Для страниц, которые должны быть в поиске, коды 3XX, 4XX и 5XX справка Яндекса относит к причинам исключения. Если страница открывается у вас, но числится исключённой, робот мог получить другие заголовки, чем браузер.

Проверка 5: дубли, перенаправления и canonical. Яндекс исключает страницу, если она дублирует другую, если её адрес перенаправляет робота в другое место или если атрибут rel=canonical указывает на другой адрес (справка об исключённых страницах). Откройте главную четырьмя способами: с www и без, по http и по https. Отвечать должна одна версия, остальные ведут на неё одним перенаправлением, без цепочек. На каждой странице в rel=canonical должен стоять её собственный адрес.

Проверки 6–7: слабая страница и настройки конструктора

Проверка 6: малоценная страница. В списке исключённых встречается причина «Малоценная или маловостребованная страница». По справке Яндекса, алгоритм решил, что страница вряд ли заинтересует пользователей: на ней мало контента, она повторяет известные страницы или не совпадает с интересами людей. Это не санкция, решение проверяется заново. Страницу, которая вам нужна, доработайте так, чтобы она отвечала на вопрос клиента целиком: цена, срок, факты. На многостраничном сайте студии массажа «Дом тела» услуги, мастера, отзывы, FAQ и контакты разнесены по разделам, и каждый отвечает на свой вопрос человека.

Проверка 7: настройки Тильды. Индексацию закрывают в двух местах. Для всего сайта: «Настройки сайта», вкладка «SEO», опция «Запретить поисковикам индексировать сайт». Для страницы: «Настройки страницы», «Facebook & SEO», «Отображение в поисковой выдаче», «Задать специальные мета-данные» и галочка «Запретить поисковикам индексировать эту страницу». Файл robots.txt в Тильде отредактировать нельзя, платформа формирует его сама (справка Tilda). В других конструкторах ищите такие же галочки в SEO-настройках.

Как отправить страницы на переобход и сколько ждать

Исправили причину, теперь сообщите роботу, что страница изменилась: «Индексирование», «Переобход страниц». Вставляйте адреса, начиная с главной и страниц услуг. У инструмента есть суточный лимит, поэтому все адреса за один день может не получиться. По справке об исключённых страницах, страница может вернуться в поиск примерно через две недели после того, как робот заметил изменение.

Если страниц сотни, адреса по одному не проверяйте. В списке исключённых страниц Вебмастер называет причину по каждому адресу: посмотрите, какая причина повторяется чаще всего. Когда одна причина стоит у большинства адресов, ошибка сидит в шаблоне или в настройках (noindex или canonical в шаблоне страницы, перенаправление, галочка в конструкторе) и исправляется один раз для всех страниц. Главную и основные разделы отправьте на переобход, а остальным помогут карта сайта и внутренние ссылки.

Ещё роботу помогают ссылки. Новые страницы должны быть связаны со страницами, которые уже в поиске: ссылкой из меню, с главной или из соседней статьи. Подключите к сайту в Вебмастере счётчик Метрики: справка Яндекса называет это одним из способов сделать страницы видимыми для робота. Как читать Метрику и Вебмастер, мы рассказывали в отдельной статье.

Отдельно о том, чего делать не стоит. Не покупайте ссылки «для индексации» и не плодите копии страниц: дубли окажутся в исключённых. Не закрывайте разделы в robots.txt «для порядка»: по справке Яндекса Disallow и noindex предназначены только для служебных и дублирующих страниц. И не верьте обещанию «проиндексируем за день»: сроки определяет робот.

Когда звать студию

Все семь проверок владелец проходит без программиста. Студия нужна, когда настройки сайта разошлись между несколькими подрядчиками и причину никто не называет, или когда вы только запускаете сайт и не хотите разбираться потом. В пакет «Сайт» от 60 000 ₽ входят сайт до 5 страниц, карта сайта, техническая SEO-база и аналитика; Вебмастер мы настраиваем до запуска. Точную цену и состав фиксируем в договоре.

Для одностраничного сайта вроде лендинга UTOCHKA проверка индексации сводится к одному адресу, но те же семь пунктов проходим и там. Аудит уже работающего сайта тоже делаем, цену обсуждаем по задаче. Если все семь пунктов в порядке, а страниц в поиске всё равно нет, приходите на диагностику с отчётом «Страницы в поиске»: по нему видно, где искать дальше.