Влияние кодов состояния HTTP на SEO и способы его оптимизации

Анализ кодов состояния HTTP с помощью OnCrawl является неотъемлемой частью технического SEO-аудита, он позволяет вам в несколько кликов просмотреть коды ошибок в структуре вашего сайта. Все, что вам нужно сделать, это проверить, что эти коды состояния HTTP действительно соответствуют ожидаемым, и, если необходимо, применить исправления и исправить вашу внутреннюю ссылку.
В этой статье рассказывается о влиянии основных кодов состояния HTTP на SEO и о том, как оптимизировать их использование, чтобы получить максимальную отдачу от них. Прежде чем продолжить, вы можете прочитать нашу статью, посвященную кодам состояния HTTP и их значению.

Код состояния HTTP 200

200 ОК

Запрос к серверу выполнен успешно, все нормально. Рассматриваемая страница может быть просканирована (если не заблокирована robots.txt) ботами Google и другими поисковыми системами.

Однако будьте осторожны, это не означает, что для этой страницы не требуется никаких действий и что код состояния HTTP является ожидаемым. В некоторых случаях ошибочные или несуществующие страницы могут отвечать 200, что не оптимально с точки зрения SEO.

Эти страницы можно идентифицировать в OnCrawl по комбинации нескольких критериев:

• Присутствует в группе «Другое», которая содержит некатегоризированные страницы вашей сегментации.
• Очень мало слов
• Канонические теги, которые не совпадают
• Очень высокий уровень сходства
• Неоптимизированные теги title и description
• Дублированные теги H1, Title, Description
• Страницы без H1

Как мы увидим в остальной части статьи, для этих ошибочных страниц будет необходимо не только удалить их из внутренней ссылки, но также будет предпочтительнее, чтобы они отвечали HTTP-кодом статуса, более полезным для SEO.

Лучшие практики:

• Убедитесь, что страницы, которые вы хотите проиндексировать, отвечают в 200
• Убедитесь, что страницы, которые отвечают в 200, являются «настоящими» страницами, чтобы контролировать их внутренние ссылки и краулинговый бюджет.

Коды состояния HTTP 3XX

301 Перемещено навсегда

Запрошенная страница была перемещена и постоянно перенаправлена ​​на другой URL. Очень полезное в SEO, постоянное перенаправление позволяет управлять случаями миграции сайта любого типа (смена домена, миграция с http на https, редизайн и т. д.), но особенно для изменения URL-адреса страницы без потери входящего трафика.
Бот Google больше не сможет получить доступ к исходной странице и будет следовать перенаправлению, чтобы обнаружить целевую страницу. Он поймет, что страница была перемещена и что исходную страницу больше нельзя сканировать.
Последствия для вашего SEO:

• В конце концов исходная страница будет деиндексирована
• Целевая страница будет проиндексирована, но нет гарантии, что она восстановит позиции исходной страницы.
• SEO-сок обратных ссылок, полученных на исходной странице, передается на целевую страницу.

Этот последний пункт является важным активом вашей стратегии SEO в контексте миграции или просто обновления контента вашего сайта. Если Google рекомендует настраивать 301 редиректы только на тот же или похожий контент и, следовательно, не делать автоматический редирект на домашнюю страницу, вы должны учитывать обратные ссылки, которые получает исходная страница. Если страница не существует или больше не существует, но получает интересные обратные ссылки, разумно хотя бы настроить 301. Если нет похожего контента, перенаправление должно быть сделано на родительскую страницу в приоритете на главной странице, следуя древовидная структура сайта (мы можем опираться на навигационную цепочку или папки в URL-адресе). Например, для страницы продукта мы будем перенаправлять на список продуктов, а не на домашнюю страницу.

Логика отличается для внутренней связи вашего сайта. Предпочтительно исправлять все ссылки, указывающие на страницы в кодах состояния HTTP 301, но, учитывая тот факт, что передается SEO-сока, не делайте это приоритетом. С другой стороны, все перенаправления, указывающие на страницы, которые не отвечают в 200, должны рассматриваться как приоритетные.

Лучшие практики:

• • Убедитесь, что целевая страница отвечает в 200. OnCrawl упрощает обнаружение цепочек перенаправлений и перенаправлений, которые не указывают на страницу в 200.
  • Правильные ссылки, указывающие на страницы в 301
  • Ограничьте использование 301 с автоматическим перенаправлением всех ошибок 4XX на домашнюю страницу.
  • Предпочитать родительский раздел домашней странице для перенаправления без аналогичного контента.
  • Настройте переадресацию, если:
    • Содержимое перемещено
    • Аналогичный контент заменяет исходную страницу
    • Страница удалена, но получает интересные обратные ссылки

302 найдено

Запрашиваемая страница временно перенаправляется на другой URL. Как и постоянное перенаправление 301, временное перенаправление 302 поддерживает входящий трафик с беспрепятственным взаимодействием с пользователем, но не дает таких же преимуществ SEO. Бот Google поймет, что исходная страница временно недоступна и будет снова.
Последствия для вашего SEO:

• Бот Google продолжит попытки просканировать исходную страницу.
• Исходная страница сохранит свою популярность
• SEO-сок сетевых ссылок не будет передан на целевую страницу.
• Исходная страница не будет деиндексирована (если страница не проиндексирована, ее не будет, пока она отвечает в 302)

Поэтому нет необходимости исправлять ваши 302 во внутренней перелинковке, но рекомендуется регулярно проверять, действительно ли 302, обнаруженные в вашей структуре с помощью сканирования или журналов, являются временными.

Лучшие практики:

• Используйте 302 только для временных нужд, например, для обслуживания.
• Не используйте 302 для контента, который был перемещен или окончательно удален.
• Замените 302 на 301, если они станут постоянными.

304 Не изменено

Запрошенная страница не была изменена с момента последней консультации. Боту Google не нужно повторно сканировать рассматриваемую страницу, которая будет использовать кешированную версию. Этот код состояния HTTP 304 малоизвестен, но он дает возможность сэкономить краулинговый бюджет. Бот Google будет использовать кешированную версию и мгновенно получить доступ к запрошенной странице.
Последствия для вашего SEO:

• Страница больше не сканируется, что позволяет избежать потребления ресурсов и краулингового бюджета.
• Улучшено время загрузки страницы (кэш-версия)

Реализация этого типа ответа для «классических» страниц может быть сложной и требует разработки. С другой стороны, для ресурсных страниц типа CSS это может быть реальным быстрым выигрышем.

Лучшие практики:

• Для страниц, которые никогда не изменялись, предпочтительнее использовать 304 или 200.
• Изучить возможность обобщить практику для страниц ресурсов

Коды состояния HTTP 4XX

404 Файл не найден

Сервер не нашел ни одной страницы по запрошенному URL-адресу, что означает, что страница не существует. Это может быть временным или постоянным, обычно страница доступна через неработающую ссылку или пользователь вводит неверный URL-адрес.
Последствия для вашего SEO:

• Google-бот понимает, что этой страницы не существует и ее нельзя индексировать
• Если страница уже проиндексирована, она деиндексируется.
• SEO-сок сетевых ссылок будет потерян после деиндексации страницы.

Код состояния HTTP 404, который часто рассматривается как ошибка, которую нужно исправить любой ценой, на самом деле очень полезен для SEO. Он не позволяет Google индексировать ошибочные URL-адреса или контент, которого больше не существует (даже если позже мы увидим, что в этом случае код HTTP 410 более эффективен). Google также ясно говорит по этому поводу, 404 не проблематичны. Наоборот, они не позволяют ошибочным URL-адресам считаться реальными страницами вашего сайта.

Чтобы обеспечить удобство работы пользователей, рекомендуется создать пользовательскую страницу ошибки 404, которая:

• Явно заявляет, что страница не существует
• Интегрируется в дизайн вашего сайта
• Предоставляет ссылки на доступный контент
• Не индексируется (ответ 404 и мета-роботы noindex)

Обратите внимание, что ссылки, присутствующие на персонализированной странице 404, будут учитываться во внутренних ссылках. Рекомендуется исправить все ссылки на вашем сайте, указывающие на ошибку 404, чтобы избежать ослабления внутренней популярности в пользу ссылок меню и нижнего колонтитула, а также не тратить впустую краулинговый бюджет.

Передовой опыт:

• • Настройте 404, когда:
    • страница не существует (если она больше не существует, предпочтите 410)
    • на странице нет важных обратных ссылок
    • нет доступного эквивалентного контента
  • Создайте пользовательскую страницу 404
  • Избегайте soft-404, то есть персонализированной страницы 404, которая отвечает кодом состояния HTTP 200.
  • Не перенаправляйте систематически ошибки 404 с кодом 301.
  • Не блокируйте доступ к странице 404 через robots.txt
  • Исправьте все ссылки, указывающие на 404

410 ушел

Запрашиваемая страница больше недоступна. Отличие от кода состояния HTTP 404 заключается в этой тонкости, страница уже существовала, но была удалена и не будет заменена. Таким образом, сообщение, отправленное боту Google, является более точным и окончательным.
Последствия для вашего SEO:

• Google учтет информацию без промедления (в отличие от 404)
• Страница будет деиндексирована (почти) немедленно
• Google указывает, что будут сделаны проверки, чтобы убедиться, что страница действительно больше не существует.

Поэтому код состояния HTTP 410 предпочтительнее 404, если вы хотите быстро деиндексировать страницу. Но это также статус кода HTTP с большими последствиями в случае ошибки.

Есть ручные способы деиндексации страницы, реализация ответа 410 для удаленных страниц позволяет автоматизировать процесс. Также важно убедиться, что никакая ссылка не указывает на страницу, отвечающую в 410, потому что взаимодействие с пользователем не будет гарантировано, как в случае пользовательского 404.

Лучшие практики:

• Предпочтение от 410 до 404 для деиндексации удаленной страницы
• Не блокируйте доступ к странице 410 через robots.txt
• Исправьте все ссылки, указывающие на 410

Действуйте с OnCrawl

Определите код состояния HTTP вашего сайта с помощью отчета о сканировании

Перейдите в ОТЧЕТ О СКАНИРОВАНИИ > Индексируемость > Код состояния, чтобы увидеть разбивку страниц по кодам состояния HTTP.

Следующий отчет позволяет расставить приоритеты ваших действий с разбивкой по кодам состояния и сегментам.

Нажмите на данные, которые вы хотите получить, чтобы экспортировать их в формате csv.

Чтобы пойти дальше, вы также можете получить коды состояния через журналы доступа.

Перейдите в раздел МОНИТОРИНГ ЖУРНАЛОВ > Отчет о работоспособности исследования, чтобы обнаружить разбивку страниц по коду состояния HTTP, обнаруженному ботами Google.

Исправьте внутреннюю ссылку

Чтобы исправить внутреннюю привязку, вам нужно найти ссылки, указывающие на страницы, которые не отвечают с кодом состояния HTTP 200. Вам потребуются исходные страницы, якоря и код состояния HTTP целевой страницы.

Перейдите в проводник данных, выберите набор данных Links и напишите следующий запрос:

Теперь вам просто нужно экспортировать в csv.
Для 301, если вы также хотите узнать страницу перенаправления, см. статью о том, как создать файл со списком всех ссылок, указывающих на URL-адрес 301, старый URL-адрес и новый URL-адрес?