Как избавиться от лишних страниц в индексе Google?

Допустим, у вас есть веб-сайт электронной коммерции с тысячами товаров, каждый из которых имеет разные размеры и цвета. Вы используете отчет об индексировании консоли поиска Google, чтобы просмотреть список проиндексированных страниц в результатах поиска Google для вашего веб-сайта.

К вашему удивлению, вы видите гораздо больше страниц, чем должно быть на сайте. Почему это происходит и как от них избавиться?

Я отвечаю на этот вопрос в нашей серии «Спросите нас что-нибудь» на YouTube. Вот видео, а далее вы можете прочитать больше об этой распространенной проблеме и ее решении.

• Почему эти «лишние» веб-страницы появляются в индексе Google?
• Как избавиться от «лишних» веб-страниц в индексе Google?
• Краткое содержание
• Часто задаваемые вопросы: Как удалить лишние страницы из индекса Google моего сайта?

Почему эти «лишние» веб-страницы появляются в индексе Google?

Эта проблема характерна для веб-сайтов электронной коммерции. «Дополнительные» веб-страницы могут отображаться в индексе Google, поскольку на вашем веб-сайте электронной коммерции генерируются дополнительные URL-адреса.

Вот как: когда люди используют параметры поиска на веб-сайте, чтобы указать определенные размеры или цвета продукта, обычно автоматически создается новый URL-адрес для этого размера или цвета.

Это вызывает отдельную веб-страницу. Несмотря на то, что это не «отдельный» продукт, эта веб-страница может быть проиндексирована как главная страница продукта, если Google обнаружит ее по ссылке.

Когда это произойдет, и у вас будет много комбинаций размеров и цветов, у вас может получиться множество разных веб-страниц для одного продукта. Теперь, если Google обнаружит URL-адреса этих веб-страниц, у вас может оказаться несколько веб-страниц в индексе Google для одного продукта.

Как мне избавиться от «лишних» веб-страниц в индексе Google?

Используя канонический тег, вы можете заставить все эти URL-адреса вариантов продукта указывать на одну и ту же исходную страницу продукта. Это правильный способ обработки почти повторяющегося контента, например изменения цвета.

Вот что говорит Google об использовании тега canonical для решения этой проблемы:

Канонический URL — это URL-адрес страницы, которая, по мнению Google, является наиболее репрезентативной из набора повторяющихся страниц на вашем сайте. Например, если у вас есть URL-адреса одной и той же страницы (example.com?dress=1234 и example.com/dresses/1234), Google выберет один из них как канонический. Страницы не обязательно должны быть абсолютно идентичными; незначительные изменения в сортировке или фильтрации страниц списка не делают страницу уникальной (например, сортировка по цене или фильтрация по цвету товара) .

Google продолжает говорить, что:

Если у вас есть одна страница, доступная по нескольким URL-адресам, или разные страницы с похожим содержанием… Google рассматривает их как дубликаты одной и той же страницы. Google выберет один URL-адрес в качестве канонической версии и просканирует его, а все остальные URL-адреса будут считаться повторяющимися URL-адресами и сканироваться реже.

Если вы явно не укажете Google, какой URL-адрес является каноническим, Google сделает выбор за вас или может считать, что они оба имеют одинаковый вес, что может привести к нежелательному поведению…

Но что, если вы вообще не хотите, чтобы эти «лишние» страницы индексировались? На мой взгляд, каноническое решение — это путь в этой ситуации.

Но есть два других решения, которые люди использовали в прошлом для исключения страниц из индекса:

1. Блокировать страницы с помощью robots.txt (не рекомендуется, сейчас я объясню, почему)
2. Используйте метатег robots для блокировки отдельных страниц.

Вариант robots.txt

Проблема с использованием файла robots.txt для блокировки веб-страниц заключается в том, что его использование не означает, что Google будет удалять веб-страницы из индекса.

По данным Центра поиска Google:

Файл robots.txt сообщает сканерам поисковых систем, к каким URL-адресам сканер может получить доступ на вашем сайте. Это используется главным образом для того, чтобы избежать перегрузки вашего сайта запросами; это не механизм предотвращения попадания веб-страницы в Google.

Кроме того, директива disallow в robots.txt не гарантирует, что бот не будет сканировать страницу. Это потому, что robots.txt — это добровольная система. Однако боты основных поисковых систем редко подчиняются вашим указаниям.

В любом случае, это не оптимальный первый выбор. И Google не рекомендует этого делать.

Опция мета-тега роботов

Вот что Google говорит о метатеге robots:

Метатег robots позволяет использовать детальный подход к конкретной странице для управления тем, как отдельная страница должна индексироваться и показываться пользователям в результатах поиска Google.

Поместите метатег robots в раздел <head> любой веб-страницы. Затем либо предложите ботам просканировать эту страницу посредством отправки XML-карты сайта, либо естественным путем (что может занять до 90 дней).

Когда боты вернутся для сканирования страницы, они столкнутся с метатегом robots и поймут директиву не показывать страницу в результатах поиска.

Краткое содержание

Итак, подведем итоги:

• Использование канонического тега — лучшее и наиболее распространенное решение проблемы индексации «лишних» страниц в Google — распространенной проблемы для веб-сайтов электронной коммерции.
• Если вы вообще не хотите, чтобы страницы индексировались, рассмотрите возможность использования метатега robots, чтобы указать ботам поисковых систем, как вы хотите, чтобы эти страницы обрабатывались.

Все еще в замешательстве или хотите, чтобы кто-то решил эту проблему за вас? Мы можем помочь вам с дополнительными страницами и удалить их из индекса Google. Запишитесь на бесплатную консультацию здесь.

Часто задаваемые вопросы: Как удалить лишние страницы из индекса Google моего сайта?

Проблема дополнительных страниц в индексе Google вашего сайта может стать серьезным препятствием. Эти лишние страницы часто возникают в результате динамического создания контента, например, вариаций продуктов на сайтах электронной коммерции, создавая беспорядочный индекс, который влияет на производительность вашего сайта.

Понимание основной причины имеет решающее значение. Веб-сайты электронной коммерции, в частности, сталкиваются с проблемами, когда различные атрибуты продукта вызывают создание нескольких URL-адресов для одного продукта. Это может привести к тому, что многие страницы будут проиндексированы, что повлияет на SEO вашего сайта и взаимодействие с пользователем.

Использование тега canonical — наиболее надежное решение этой проблемы. Канонический тег сообщает Google о предпочтительной версии страницы, объединяя возможности индексирования в одном репрезентативном URL-адресе. Сам Google рекомендует этот метод, подчеркивая его эффективность при обработке практически дублированного контента.

Хотя некоторые могут рассмотреть возможность использования файла robots.txt для блокировки веб-страниц, это не оптимально. Google интерпретирует файл robots.txt как директиву для контроля доступа сканеров, а не как инструмент для удаления из индекса. Напротив, метатег robots предлагает более целенаправленный подход, позволяющий точно контролировать индексацию отдельных страниц.

Канонический тег остается подходящим решением. Однако если есть сильное предпочтение полному удалению из индекса, метатег робота может стать стратегическим союзником. Сочетание стремления к оптимизированному индексу с лучшими практиками SEO является ключом к эффективной оптимизации вашего присутствия в Интернете.

Чтобы научиться удалять лишние страницы из индекса Google вашего веб-сайта, необходимо стратегическое сочетание понимания проблемы, внедрения лучших практик, таких как канонический тег, и рассмотрения альтернатив для конкретных сценариев. Приняв эти стратегии, веб-мастера могут улучшить SEO своего сайта, улучшить взаимодействие с пользователем и поддерживать чистое и эффективное присутствие в Интернете.

Пошаговая процедура:

1. Определите лишние страницы . Проведите тщательный аудит, чтобы выявить все лишние страницы в индексе Google вашего сайта.
2. Определите основную причину . Поймите, почему создаются эти страницы, уделяя особое внимание элементам динамического контента.
3. Отдайте приоритет каноническому тегу . Подчеркните использование канонического тега как основного решения для почти повторяющегося контента.
4. Внедрить канонические теги . Примените канонические теги ко всем соответствующим страницам, указав предпочтительную версию для консолидации.
5. Ознакомьтесь с рекомендациями Google : согласуйте стратегии с рекомендациями Google, обеспечив совместимость и соблюдение.
6. Вариант «Оценить файл robots.txt» : прежде чем рассматривать файл robots.txt, ознакомьтесь с ограничениями и потенциальными недостатками.
7. Развертывание метатега роботов : стратегически используйте метатеги роботов для управления индексацией на определенных страницах, если это необходимо.
8. Сбалансируйте влияние SEO : рассмотрите влияние каждого решения на SEO и пользовательский опыт для принятия обоснованных решений.
9. Регулярный мониторинг : установите порядок мониторинга изменений индекса и оценки эффективности реализованных стратегий.
10. Итеративная оптимизация . Постоянно совершенствуйте и оптимизируйте стратегии на основе меняющейся динамики сайта и алгоритмов Google.

Продолжайте совершенствовать и адаптировать эти шаги с учетом уникальных характеристик вашего веб-сайта и изменения ландшафта SEO.