Отслеживание бюджета сканирования до и после обновления

Пссс... Есть секрет, который я хочу тебе рассказать.

Ваш сайт имеет «краулинговый бюджет», установленный Google.

Это секретная метрика, используемая Google для измерения двух вещей:

1. Насколько хорошо сделан ваш сайт
2. Насколько популярен ваш сайт

В этой статье речь пойдет о первом пункте.

Улучшение качества сборки вашего сайта увеличит ваш краулинговый бюджет.

Чем больше ваш краулинговый бюджет, тем чаще Google будет заходить и читать ваши страницы.

Давайте начнем с того, что поделимся пониманием того, что такое краулинговый бюджет.

Что такое краулинговый бюджет

Google использует специальное программное обеспечение, называемое поисковым роботом (или поисковым роботом), для чтения страниц вашего сайта.

Они называют этот поисковый робот Googlebot.

Бюджет сканирования — это термин, описывающий, как часто робот Googlebot будет сканировать ваши страницы.

Оптимизируя свой сайт, вы можете увеличить краулинговый бюджет.

Google сказал, что ваш краулинговый бюджет представляет собой комбинацию:

• Скорость сканирования — скорость, с которой робот Googlebot может сканировать ваш сайт, не нарушая работу ваших серверов.
• Спрос на сканирование — насколько важна ваша веб-страница для пользователей Google.

По мере улучшения этих показателей робот Googlebot будет чаще посещать вас. Читать больше страниц при каждом посещении.
Как только Google просканирует страницу, он добавит контент в индекс Google. Который затем обновляет информацию, отображаемую в результатах поиска Google.

Оптимизируя краулинговый бюджет, вы можете повысить скорость обновления вашего сайта в Google Поиске.

Почему вы должны улучшить свой краулинговый бюджет

У Google сложная задача. Им нужно сканировать и индексировать каждую страницу в Интернете.

Сила, которая им нужна для этого, огромна, и они не могут проиндексировать каждую страницу.

Оптимизация краулингового бюджета повысит шансы вашего сайта на появление в поиске.

[Пример успеха] Управление сканированием ботов Google

Имея более 26 000 ссылок на продукты, 1001Pneus нуждался в надежном инструменте для мониторинга их эффективности SEO и уверенности в том, что Google выделяет свой краулинговый бюджет на правильные категории и страницы. Узнайте, как успешно управлять краулинговым бюджетом для веб-сайтов электронной коммерции с помощью OnCrawl.

Читать тематическое исследование

Как улучшить краулинговый бюджет

Улучшение сайта — это максимально эффективное использование роботом Googlebot времени на сайте.

Мы не хотим:

• Googlebot читает страницы, которые нам не нужны в поиске Google.
• Googlebot видит ошибки сервера
• Googlebot переходит по неработающим/мертвым ссылкам
• Googlebot ожидает загрузки страницы
• Googlebot читает дублированный контент

Все вышеперечисленное тратит впустую драгоценные ресурсы Google и может привести к падению скорости сканирования.

Сканирующий бюджет и техническое SEO

Многое из того, что вам нужно сделать в рамках технического SEO, совпадает с оптимизацией краулингового бюджета.

Нам нужно:

• Оптимизируйте robots.txt и проверьте на наличие ошибок
• Исправьте любые теги hreflang и канонических ссылок.
• Разрешить не 200 страниц
• Исправьте перенаправления и любые циклы перенаправления
• Убедитесь, что все карты сайта не содержат ошибок

Теперь давайте рассмотрим создание идеальной страницы для робота Googlebot.

Как создать идеальную страницу

Хорошо, возможно, это не идеальная страница, но мы должны попытаться улучшить ее настолько, насколько это возможно.

Давайте рассмотрим некоторые распространенные проблемы на странице, которые можно исправить.

Проблемы со страницей

• Дублированный контент. Отметьте любой дублированный контент на вашем сайте тегом канонической ссылки.
• Страницы без SSL. Найдите любые HTTP-ссылки и преобразуйте их в HTTPS. Если у вас нет SSL-сертификата, получите бесплатный от Let's Encrypt.
• Сканируйте только полезные страницы. Используйте файл robots.txt, чтобы ограничить доступ робота Googlebot. Например, если у вас есть страницы, используемые для администратора, запретите это в файле robots.txt.

• Тонкий контент. Рассмотрите возможность блокировки скрейпинга страниц с тонким или очень низким содержанием. Если у вас есть страницы, которые не представляют особой ценности для пользователя, не тратьте время робота Googlebot на эти страницы.
• Ошибки сервера. Ошибки сервера являются признаком неработоспособности веб-сервера. Если ваш сайт возвращает ошибки 5xx, их исправление может увеличить скорость сканирования.

Медленная загрузка страниц

Один из способов улучшить краулинговый бюджет — сделать страницу быстрой.

Быстрые страницы делают Googlebot быстрее, и это является для Google признаком того, что веб-сервер «исправен».

Google уже сказал, что скорость страницы увеличивает скорость сканирования:

Ускорение работы сайта повышает удобство работы пользователей, а также увеличивает скорость сканирования.

• Вес страницы — этот показатель представляет собой общий размер вашей страницы. Сюда входят все CSS-коды Javascript и изображения на странице. В сумме это должно быть менее 1 мб.
• Оптимизированные изображения . Изображения должны быть как можно меньше в КБ без потери качества. В этом может помочь такой инструмент, как Squoosh.

• Минифицированные CSS и JS — минимизируйте файлы JS и CSS. Это процесс удаления всех ненужных символов из файла. Используйте CSSNano и UglifyJS для минимизации файлов.
• Сжатие и кэширование . Убедитесь, что на сервере установлено сжатие GZip или BR. Это ускорит время, необходимое для получения файла. Добавьте кеширование, чтобы файл загружался только один раз.

Список улучшений скорости страницы можно найти в этом подробном обзоре производительности веб-сайта. Он имеет 30 шагов для улучшения производительности сайта.

Методы измерения ваших изменений

Как умный оптимизатор, вы знаете, что перед началом любой оптимизации необходимо отслеживать изменения.

Вам нужно выбрать точку данных с двумя свойствами:

1. Вы должны иметь возможность отслеживать точку данных с течением времени.
2. Вы должны иметь возможность влиять на эти данные своими действиями.

Итак, какие данные мы должны отслеживать для краулингового бюджета?

Ранее мы говорили, что Google использует два фактора при выборе краулингового бюджета:

• Скорость сканирования — скорость, с которой робот Googlebot может сканировать ваш сайт, не нарушая работу ваших серверов.
• Спрос на сканирование — насколько важна ваша веб-страница для пользователей Google.

Поскольку мы занимаемся технической оптимизацией, наша работа заключается в повышении скорости сканирования.

Итак, это точка данных, которую мы должны отслеживать.

Отслеживание скорости сканирования

Итак, как мы можем отслеживать скорость сканирования Googlebot?

Нам нужно использовать журналы доступа к вашему веб-серверу.

В журналах хранится каждый запрос к вашему веб-серверу. Каждый раз, когда пользователь или робот Googlebot посещает ваш сайт, запись журнала добавляется в файл журнала доступа.

Вот как будет выглядеть запись для робота Googlebot:

 127.0.0.1 - - [11/ноября/2019:08:29:01 +0100] "GET /example HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (совместимый; Googlebot/2.1; +http://www .google.com/bot.html)"

В каждом журнале есть три важные точки данных. Дата:

 [11 ноября 2019:08:29:01 +0100]

URL-адрес:

«ПОЛУЧИТЬ /пример HTTP/1.1»

И пользовательский агент, который сообщает нам, что это Googlebot делает запрос:

 "Mozilla/5.0 (совместимый; Googlebot/2.1; +http://www.google.com/bot.html)"

Приведенный выше журнал относится к веб-серверу Nginx. Но все веб-серверы, такие как Apache или IIS, будут иметь аналогичную запись в журнале доступа.

В зависимости от вашей настройки у вас может быть сеть доставки контента (CDN). CDN, например Cloudflare или Fastly, также будут создавать журналы доступа.

Анализ журнала доступа вручную — не самое веселое занятие, хотя и возможно.

Вы можете загрузить файл access.log и проанализировать его с помощью Excel. Тем не менее, я бы порекомендовал вам использовать анализатор логов, например, от OnCrawl.

Это позволит вам увидеть скорость сканирования Googlebot на графике и в режиме реального времени. После того, как у вас есть эта настройка мониторинга для отслеживания скорости сканирования, вы можете начать ее улучшать.

Внесение изменений

Теперь, когда мы знаем, что мы отслеживаем, мы можем внести некоторые улучшения. Но не вносите много изменений одновременно. Будьте методичны и вносите изменения одно за другим.

Стройте, измеряйте, учитесь.

Используя эту технику, вы можете адаптировать изменения, которые вы вносите по мере обучения. Концентрация на задачах, которые улучшают скорость сканирования.

Если вы торопитесь и меняете сразу слишком много, может быть трудно понять результаты.

Трудно сказать, что сработало, а что нет.

Со временем, по мере улучшения страницы, вы увидите увеличение краулингового бюджета по мере увеличения скорости сканирования.

Подведение итогов, отслеживание бюджета сканирования до и после обновления

Мы точно рассмотрели, что такое краулинговый бюджет.

Как специалист по технической оптимизации, вы можете увеличить скорость сканирования сайта.

Улучшая техническое состояние, вы можете сделать время, которое робот Googlebot проводит на вашем сайте, более эффективным.

Отслеживайте скорость сканирования с помощью журналов, чтобы получать точные результаты.

Используйте Build, Measure, Learn как метод, чтобы вносить одно изменение за раз и совершенствоваться по ходу дела.

Со временем скорость сканирования будет увеличиваться. Ваши страницы будут быстрее появляться в результатах поиска Google. И пользователи будут иметь большой опыт на вашем сайте.