Лучшие способы обработки цепочек и петель перенаправления

Опубликовано: 2018-11-28

На вебинаре «Петли и цепочки перенаправлений», состоявшемся 20 ноября, Эрле Альбертон, менеджер по работе с клиентами в OnCrawl, представил различные способы использования OnCrawl для управления перенаправлениями на вашем веб-сайте .

Что такое редирект?

Перенаправления — это коды состояния HTTP, указывающие на то, что содержимое страницы можно найти по другому URL-адресу . Это включает в себя определенные коды перенаправления, в том числе:

  • 301: постоянное перенаправление
  • 302: временное перенаправление
  • 307: временное перенаправление, которое заставляет браузер выдать новый запрос для нового URL-адреса, точно такой же, как запрос для старого URL-адреса.

Примечание. После сканирования миллионов сайтов OnCrawl обнаружил, что перенаправление 302 потребляет значительный бюджет сканирования, поскольку Google продолжает пытаться определить, закончился ли временный период. Попробуйте вместо этого использовать переадресацию 301, если вы пытаетесь оптимизировать свой краулинговый бюджет.

Как Google обрабатывает перенаправления?
Согласно Google, редиректы являются частью жизненного цикла сайта. Они передают PageRank своим целям и не вызывают проблем, если не появляются в цепочках.

«Сеошники IMO слишком много беспокоятся о редиректах. Используйте правильный для работы, это техническая вещь, а не вещь SEO; это не магия вуду».
— Джон Мюллер

«все редиректы теперь проходят PageRank»
— Гэри Иллиес

«Мы отслеживаем до 5 [перенаправлений] в цепочке (пожалуйста, делайте любую цепочку перенаправлений как можно короче), но вы можете перенаправлять столько URL-адресов на своем сайте, сколько хотите одновременно».
- Объяснение, данное во время вебинара Google

Однако данные OnCrawl показывают, что максимальное количество переадресаций, за которыми следуют поисковые роботы Google, часто составляет около 16.

Что такое цепь и что может вызвать цепь?

Перенаправление становится цепочкой, когда оно указывает на целевой URL-адрес, который сам перенаправляется на другой URL-адрес.

Цепочка может возникнуть в следующих случаях:

  • Когда вы исправили заголовок статьи, если ваши URL-адреса основаны на заголовках статей
    Исходный URL-адрес -> исправление заголовка -> перенаправление на новый URL-адрес 2 -> исправление заголовка -> перенаправление на URL-адрес 3

    • Что произошло: ваш CSM может создавать автоматические перенаправления каждый раз, когда вы меняете заголовок. Или, если вы вручную настроили правила для модификаций в файле htaccss, старые правила могут остаться в файле.
    • Наш совет: всегда начинайте с текущего состояния, чтобы создавать новые правила, а затем изменяйте все старые правила, чтобы они указывали непосредственно на URL 3.

  • После многократного редизайна сайта
    Исходный URL -> редизайн -> URL 2 -> редизайн -> URL 3…

    • Что произошло: когда вы переделываете веб-сайт, вы (надеюсь) прописываете правила перенаправления в свой файл htaccess. Через несколько месяцев часть сайта снова переделывается. Новые правила добавляются к старым в файле htaccess, создавая серию редиректов.

  • Переход на HTTPS или изменение доменных имен
    URL-адрес http (без www) -> URL-адрес http (с www) -> URL-адрес https (без www) -> URL-адрес https (с www)
    URL-адрес http (без www) -> URL-адрес https (без www) -> URL-адрес https (с www)
    URL-адрес http (с www или без него) -> URL-адрес http (старый заголовок) -> URL-адрес http (новый заголовок) -> URL-адрес https (новый заголовок)
    URL-адрес http (с www или без него) -> URL-адрес https (старый ярлык) -> URL-адрес https (новый ярлык)

    • Что произошло: URL-адреса перенаправляются в соответствии с вашими правилами на правильный URL-адрес. Часто это также включает этап перенаправления, автоматический (в случае субдоменов www) или нет (когда вы добавили правило для исправления URL-адреса), до и/или после перенаправления с HTTP на HTTPS.

Что такое цикл и как создаются циклы?

Цикл перенаправления — это замкнутая цепочка перенаправления. Одна из ссылок в цепочке перенаправляется на URL-адрес, который уже является частью той же цепочки. После примерно 20 перенаправлений, которые неизбежны в цикле, пользователь никогда не видит страницу.

Какая статистика доступна в OnCrawl?

В отчете о сканировании OnCrawl предлагает 5 основных диаграмм по перенаправлениям вашего сайта. Диаграммы можно найти в разделе «Индексируемость», затем «Коды состояния».

1. Разбивка кодов состояния HTTP для всего сайта

Эта диаграмма уже некоторое время существует в OnCrawl и позволяет отслеживать процент перенаправленных страниц (с кодом состояния 3xx) на вашем веб-сайте.

2. Таблица со сводной информацией обо всех редиректах

Для каждого типа перенаправления в этой таблице указано количество связанных страниц и, что более важно, количество ссылок, указывающих на страницы в цикле или цепочке перенаправления.

Существует несколько видов редиректа:

  • Одиночные перенаправления: простые перенаправления с URL-адреса A на URL-адрес B , при которых не происходит никаких дополнительных перенаправлений. Простые перенаправления не создают проблем для вашего SEO. Их можно использовать для сохранения PageRank, полученного по старым URL-адресам, если у вас есть обратные ссылки, указывающие на них. Будьте осторожны с внутренними ссылками, которые указывают на «неправильную» часть перенаправления: вам нужно будет обновить их, чтобы они указывали на целевой URL.
  • Страницы в цепочках 3xx: серия из 2 и более редиректов . Эти перенаправления оцениваются от начала до конца. Вы можете найти количество вовлеченных страниц и количество ссылок, которые указывают на любую часть цепочки. Нажав на числа, вы можете найти список URL-адресов, которые они представляют. Затем вы должны исправить их, чтобы они указывали на конечный URL.
  • Страницы в цепочках 3xx со слишком большим количеством редиректов . OnCrawl перестает исследовать цепочку после 500 перенаправлений!
  • Страницы внутри цикла 3xx : циклы создаются, когда одна из страниц в цепочке перенаправляется на другую страницу в цепочке. Следовательно, в этой серии редиректов нет последней страницы.
  • Страницы, являющиеся конечными целями 3xx: страницы, являющиеся целями перенаправления, но не перенаправляющие на другую страницу. Если конечная целевая страница не может быть просканирована, она не будет включена в эти числа. Мы позволим вам определить конкретные причины, по которым вы могли запретить поисковые роботы на данной странице.

3. График конечного состояния после редиректов

Эта диаграмма позволяет вам ответить на вопрос: как только OnCrawl завершит сканирование всех шагов в цикле или цепочке, каков будет статус конечной целевой страницы?

На диаграмме показаны различные возможные ответы:

  • 200: последняя страница работает нормально
  • 3xx (внешний): конечная страница находится на другом сайте, но также перенаправляется
  • 4xx: не удается найти последнюю страницу
  • 5xx: последняя страница возвращает ошибку сервера
  • Не просканировано: боту OnCrawl не удалось добраться до последней страницы: возможно, страница находится в поддомене, который не включен в ваш обход, или страница может быть указана как запрещенная для роботов в файле robots.txt.

Исправление последних страниц в 3xx, 4xx и 5xx может оказаться чрезвычайно полезным.

Начните со 4xx и 5xx (страниц ошибок), прежде чем переходить к страницам 3xx (это страницы, которые являются частью цепочек и циклов).

4. Разбивка кодов состояния по группам страниц и по глубине

Эту диаграмму можно просматривать либо по группам страниц, либо по глубине страницы. Версия, основанная на группах страниц, позволяет использовать сегментацию OnCrawl, которая может группировать страницы на основе любой метрики OnCrawl.

Несколько примеров:

  • Использование сегментации для страниц, которые ранжируются или не ранжируются;
  • Какая часть моих страниц, которые не ранжируются, возвращают 4xx или 5xx?
  • С сегментацией по количеству показов в GSC;
  • Есть ли страницы, на которых нет показов и на которые влияет цепочка с конечной целевой страницей, не имеющей статуса 200?

Во второй вкладке вы можете просмотреть код состояния в зависимости от глубины страницы на веб-сайте. В целом, чем глубже расположена страница, тем больше количество редиректов.

5. Разбивка страниц на цепочки или циклы по группам страниц и по глубине

Эта диаграмма адаптируется к выбранной вами сегментации.

Эта диаграмма также может быть просмотрена по глубине, чтобы вы могли видеть, где расположены страницы, участвующие в петлях и цепочках переадресации.

Что делать, чтобы управлять переадресацией

  • 1. Перечислите затронутые страницы
    Страницы конечного назначения петель и цепочек. Это даст вам хорошее представление о страницах, которые нужно исправить или не допускать к ним поисковых роботов.
    Высший приоритет: Страницы в цикле. Петли являются наиболее важным элементом для исправления.
    Высший приоритет: Страницы в цепочках со слишком большим количеством редиректов. Как и петли, исправление слишком длинных цепочек является главным приоритетом.

  • 2. Измените ссылки на затронутые страницы
    Ссылки можно обновить, чтобы они указывали на последнюю страницу цепочки, или установить «nofollow», чтобы ссылка не сканировалась.
    Приоритет в зависимости от вашей ситуации: Ссылки на конечные страницы сетей. Это даст вам хорошее представление о страницах, которые нужно исправить или не допускать к ним поисковых роботов.
    Высший приоритет: ссылки на страницы в цикле. Петли являются наиболее важным элементом для исправления.
    Высший приоритет: ссылки на страницы в цепочках со слишком большим количеством редиректов. Как и петли, исправление слишком длинных цепочек является главным приоритетом.
    Приоритет 2: Ссылки на страницы в цепочках.
    Приоритет 3: Ссылки на страницы с одним перенаправлением на конечную цель.

Как составить список страниц или ссылок, затронутых перенаправлением?

Когда вы щелкаете метрику в OnCrawl, вы сразу же переключаетесь в обозреватель данных с предустановленным фильтром, позволяющим просматривать сведения о той информации, на которую вы нажали.

Например, щелкнув количество страниц, которые не находятся в цикле, но находятся в цепочке со слишком большим количеством перенаправлений, вы переходите прямо к отчету, в котором перечислены все URL-адреса, соответствующие этому критерию. Например, вы можете настроить фильтр, чтобы он показывал вам все страницы, которые находятся в цикле.

Точно так же вы можете изучить все ссылки, ведущие на страницу: Например, в случае всех перенаправленных страниц QuickFilter «Страницы, указывающие на ошибки 3xx» покажет вам все ссылки, указывающие на перенаправленные страницы.

Для тех из вас, кто использует API OnCrawl, у вас также есть способ составить список ссылок, указывающих на страницы, с помощью перекрестных запросов. Мы не будем здесь вдаваться в подробности, но вы можете получить все ссылки по типу редиректа, их анкорам и даже количеству сока, который они пропускают.

Как протестировать редиректы на вашем сайте без сканирования?

Вы можете получить первоначальную диагностику перенаправлений еще до запуска сканирования.

Мы рекомендуем проверить ваш начальный URL перед сканированием. OnCrawl автоматически проверит ваш начальный URL-адрес, как только вы введете его в настройках сканирования. Если ваш начальный URL-адрес недействителен, это может быть вызвано разными причинами:

Начальный URL-адрес перенаправляется на страницу в 200 — Начальный URL-адрес перенаправляется на страницу в 400 — Начальный URL-адрес является частью неразрешенной цепочки

  • Ваш начальный URL-адрес перенаправлен. Этот случай может быть немного частным. Для Эрле, если ему нужно просканировать веб-сайт, он всегда будет начинать с URL-адреса домена. Даже если OnCrawl скажет, что этот URL «похоже, был перенаправлен…», он продолжит использовать этот URL, потому что анализировать сайт в этом случае крайне полезно. Предупреждение, которое появляется в случае перенаправления начального URL-адреса, не является ошибкой. Это только дополнительная информация.
  • Ваш начальный URL возвращает ошибку . С другой стороны, можно ввести начальный URL-адрес, который перенаправляет на страницу, которая возвращает ошибку. В этом случае сканер не может двигаться дальше.
  • Ваш начальный URL является частью цикла. В этом случае OnCrawl сообщает, что сканирование невозможно. OnCrawl не может определить конечную цель для первого URL-адреса, так как он уже является частью цикла.

Идти дальше

Анализ ваших перенаправлений с правильной сегментацией

«Разбивка кодов состояния»
SEO-оптимизация всегда начинается с возможности страницы получить больше показов. Применяя сегментацию, основанную на диапазонах показов из GSC, мы можем увидеть страницы, у которых не было показов в GSC за последние 45 дней. Это позволяет нам обнаружить, что некоторые из этих страниц отвечают кодами 3xx и 4xx.

Вы можете, конечно, провести другую сегментацию, чтобы лучше просмотреть дополнительные характеристики ваших данных.

"Нет. страниц внутри 3xx цепочек или петель»
На этой диаграмме представлен обзор количества затронутых страниц. Опять же, он организован по группам или по глубине в зависимости от используемой вами вкладки.

По группе мы можем с первого взгляда определить тип группы, на которую больше всего влияют циклы и цепочки перенаправления.

Переключившись на другую вкладку, мы можем увидеть, на какой глубине появляются страницы в петлях и цепочках. Но то, что мы смотрим на глубину, не означает, что мы не можем использовать сегментацию.

Если у вас есть сегментация на основе URL-адресов, предусмотренная по умолчанию в OnCrawl, используйте второй фильтр в верхней части страницы, чтобы настроить таргетинг на определенную группу страниц в сегментации. Затем вы можете использовать эту диаграмму, чтобы увидеть разбивку по глубине структуры вашего сайта для страниц в этой группе.

Помните, что страница, расположенная не очень глубоко на сайте, имеет больше шансов быть проиндексирована, чем более глубокая страница. Приведенная выше стратегия помогает сосредоточиться на наиболее важных группах вашего сайта и на страницах, которые занимают самое высокое место в структуре вашего сайта, чтобы расставить приоритеты в ваших действиях по поисковой оптимизации.

Адаптируйте свои отчеты и сегментации

OnCrawl основан на метриках. Как и все метрики OnCrawl, метрики, связанные с анализом перенаправления, доступны в обозревателе данных.

В отчеты можно добавить следующие данные:
- Цель перенаправления
– Расстояние (в количестве редиректов) до конца цепочки
- Индикация того, является ли страница частью цепочки со слишком большим количеством редиректов
– Индикация того, является ли страница частью цикла перенаправления
– Идентификационный номер кластера. Все страницы, являющиеся частью одного и того же кластера, находятся в одной и той же цепочке или цикле перенаправления.
– Конечная целевая страница цепочки и ее HTTP-статус.

Вы также можете использовать эти показатели для создания сегментаций OnCrawl. Например, это позволяет вам группировать страницы по количеству переадресаций в их цепочке или ориентироваться на маленькие или большие цепочки переадресаций. Мы также можем посмотреть характеристики страниц в зависимости от их удаленности от конца цепочки: 1 редиректы, 2-5 редиректов, 6-10, 11-20, более 20…

Проверьте визуальное представление редиректов в разделе «Сведения об URL».

Проводник сведений об URL содержит информацию о цепочке переадресации страницы.

В обозревателе данных вы можете щелкнуть URL-адрес, чтобы получить более подробную информацию, включая информацию о перенаправлении.

На странице сведений об URL есть множество данных о переадресациях на этой странице. Также есть визуальное представление цепочки редиректов. Этот визуал включает в себя:
- Начало цепочки
– Статус каждой страницы в цепочке
– Конечная цель цепочки (зеленым цветом)
– Текущий URL-адрес

Этот визуал также доступен для циклов. Коды состояния страницы и путь перенаправления представлены так же, как и для цепочек.

Несколько лучших практик

Во время вебинара Эрле дал следующие советы:

  • Каждый URL в цепочке должен перенаправлять на конечный URL!
  • Каждая ссылка на URL в цепочке должна указывать на конечный URL!
  • Сначала закрепите петли. Затем исправьте ошибки 4xx и 5xx.
  • Настройте сканирование так, чтобы начальный URL-адрес находился как можно выше в структуре сайта.
  • При изменении дизайна или миграции создайте конфигурации обхода, которые используют 100 правил перенаправления, найденных в вашем htaccess, и регулярно (раз в неделю) запускайте обходы, чтобы проверить, действует ли ваша политика перенаправления.
  • Убедитесь, что вы сократили серию переадресаций до одной (не забывайте о обратных ссылках!)

Лучшие SEO-специалисты приняли участие в обсуждении в Твиттере, чтобы добавить дополнительные рекомендации по редиректам:

Как найти дополнительную информацию о перенаправлениях в OnCrawl?

Слайды этого вебинара доступны на Slideshare (на французском языке).

Если вас интересует эта функция, она включена в стандартное сканирование в OnCrawl. Единственное, что вам нужно сделать, это запустить сканирование после того, как функция была выпущена.

А если у вас еще нет учетной записи OnCrawl? Не беспокойтесь: сейчас самое подходящее время, чтобы начать бесплатную пробную версию!

Начните бесплатный пробный период