Проверка и устранение проблем с индексированием в Google Search Console »WebNots

Google модернизирует свой популярный веб-сайт в Инструментах для веб-мастеров или Search Console в течение последних месяцев. Новый пользовательский интерфейс Google Search Console все еще находится в стадии бета-версии, и в ближайшее время не появятся признаки завершения. Это создает путаницу при использовании разных инструментов, поскольку варианты открываются с сочетанием старого и нового пользовательского интерфейса. В более ранней версии Google называет это ошибками сканирования и показывает все ошибки, связанные с каждым сайтом, в разных категориях. Но в новой бета-версии раздел ошибок сканирования перенесен в раздел Индексирование.

Что такое индексный охват?

Поисковой системе Google необходимо сканировать каждую страницу вашего сайта и индексировать ее в базе данных. Позже, когда поисковый запрос совпадает с ключевыми словами в индексе, поисковая система по страницам покажет страницу в результатах. Google будет отслеживать предоставленный XML-файл Sitemap и сканировать ваш сайт, как правило, это происходит ежедневно. Поисковая система Google может обнаруживать различные ошибки в процессе сканирования или индексации. Чтобы помочь владельцам сайтов сообщить об этих ошибках и помочь им исправить, Google показывает эти ошибки в Search Console. Войдите в свою учетную запись Google Search Console и перейдите в раздел «Сканирование> Ошибки сканирования». Здесь вы увидите все типы ошибок вместе с данными об отдельных URL.

Ошибки сканирования в Google Search Console

Нажмите ссылку «Попробовать новую консоль поиска» в верхней части меню боковой панели. Вы перейдете к новой бета-версии. Здесь вы переходите в раздел «Статус> Индексное покрытие», чтобы увидеть подробную информацию об ошибке. В этой статье мы объясним, как исправить проблемы с индексированием в Google Search Console.

Как узнать о проблеме с индексным покрытием?

Google переходит на более удобный способ общения. У вас есть несколько способов узнать, что ваш сайт имеет проблемы с индексированием:

• Когда будут выявлены проблемы с индексом, вы получите электронное письмо от Google. Мы заметили, что Google отправляет электронную почту только в определенных случаях, а не во всех случаях.
• Перейдите в раздел «Все сообщения» в Search Console и проверьте сообщения.
• Перейдите в раздел «Статус> Покрытие индекса» и получите подробную информацию.

Проблема с заблокированным URL

Проблема с индексным покрытием — примеры

Ниже приведены несколько простых ошибок, которые вы увидите в консоли поиска:

• Отправленный URL не найден (404)
• Отправленный URL выглядит как Soft 404
• Ошибка сервера (5xx)
• Отправленный URL помечен как noindex
• Отправленный URL заблокирован файлом robots.txt

Обратите внимание, что все ошибки покрытия индекса не обязательно устранять. Например, вы могли заблокировать URL-адрес или намеренно установить noindex.

Просмотр проблем с индексным покрытием

Перейдите в свою учетную запись Google Search Console и перейдите в раздел «Статус> Индексирование». Убедитесь, что в раскрывающемся списке выбрано «Все известные страницы», и вы увидите разные группы с числами.

• Ошибка — это проблемные URL-адреса с точки зрения Google. Эти URL-адреса не будут отображаться в результатах поиска. Поэтому сначала вам следует сосредоточиться на решении проблемы в разделе «Ошибка».
• Действительно с предупреждением — с этими URL-адресами есть проблемы, но они все еще индексируются Google.
• Действительный — правильные и действительные URL-адреса, правильно проиндексированные Google.
• Исключено — эти страницы не индексируются и намеренно исключены с помощью тега noindex.

Щелкните вкладку «Ошибка», чтобы увидеть графическое представление количества ошибок на ежедневной основе. На графике показаны подробности за последние три месяца.

Ошибки и действительные страницы

Устранение проблем с индексным покрытием

Прокрутите вниз, чтобы просмотреть список ошибок с указанием статуса и причины ошибки.

Проверить все ошибки покрытия индекса

Давайте щелкнем по первой проблеме — «Отправленный URL с пометкой« noindex ». Вы снова увидите подробную информацию, график и примерный список URL-адресов, затронутых ошибкой.

Проверьте подробности сообщения об ошибке

Опции для проверки страниц ошибок

Google предлагает несколько вариантов проверки страниц с ошибками покрытия индекса. Просто нажмите на один из URL-адресов ошибки, чтобы увидеть, как на правой боковой панели появляется множество параметров, как показано ниже.

Проверьте URL-адреса проблем с покрытием индекса

Проверить URL

Щелкните по нему, чтобы начать проверку URL. Вы получите результат, как показано ниже, с подробной информацией об ошибке, датой сканирования и статусом индекса. Как видно из названия, эта опция предназначена только для проверки статуса URL-адреса.

Проверка URL

Тестовая блокировка Robots.txt

Используйте эту опцию, чтобы проверить, появляется ли ошибка блокировки файла robots.txt. Google покажет на вашем сайте файл robots.txt в реальном времени. Нажмите кнопку «Проверить», чтобы проверить, разрешен ли URL в файле robots.txt. Если разрешено, вы увидите, что кнопка «Тест» теперь изменена на «Разрешено».

Проверьте записи Txt роботов

Если вы по ошибке заблокировали URL-адрес в файле robots.txt, исправьте записи robots.txt.

Просмотреть как Google

Используйте опцию fetch as Google, чтобы проверить, как Google просматривает вашу страницу при сканировании. Если вы видите ошибку при загрузке, исправьте эту ошибку.

Использование Fetch as Google

Просмотреть как результат поиска

Щелкните этот параметр, чтобы просмотреть результат поиска URL-адреса ошибки. Это не сработает для страниц с ошибками, поскольку Google не проиндексировал эти страницы с ошибками.

Отправить в индекс

Эта опция иногда позволяет вам отправить URL напрямую, но в большинстве случаев показывает использование инструмента проверки URL. Поскольку проверка URL-адреса уже является первой опцией, мы не понимаем, зачем снова включать опцию «Отправить в индекс».

Отправить в индекс

Проверка и исправление ошибок

Как только вы поймете проблему, попробуйте ее исправить. Исправление действительно зависит от сообщения об ошибке.

• Ошибки 5xx — проверьте конфигурацию вашего сервера или обсудите с хостинговой компанией.
• 404 не найден — попробуйте установить 301 редирект для удаленных страниц или страниц с измененным URL-адресом и используйте функцию «Просмотреть как Google» для повторной отправки в индекс.
• Ошибка noindex — проверьте, настроили ли вы это намеренно, в противном случае удалите метатег noindex со страницы.
• Заблокировано robots.txt — проверьте записи файла robots.txt и снимите блокировку.

После исправления URL-адресов вернитесь в раздел «Индексирование» и нажмите кнопку «Проверить исправление».

Проверка исправления

Google начнет проверку вашего исправления и покажет статус «Проверка началась» с датой начала.

Детали проверки

Когда Google завершит проверку, вы увидите статус «Пройдено», если проверка прошла успешно. До момента проверки вы также можете видеть статус «Проверка» в разделе «Статус».

Проверка пройдена

После успешного исправления ошибки вы также получите сообщение, как показано ниже, о том, что вы успешно исправили ошибку.

Проблема с индексным покрытием успешно устранена