5 ключей анализа файла журнала, которые нужны каждому оптимизатору

Лог-файлы являются точным отражением жизни вашего сайта. Будь то пользователи или боты, страницы или ресурсы, все действия на вашем сайте сохраняются в ваших журналах.
Каждая строка в журналах (данные сервера) содержит такую ​​информацию, как IP-адреса, коды состояния, пользовательские агенты, рефереры и другие технические данные. ориентированные данные).
Данные, которые вы найдете в своих журналах, сами по себе могут помочь вам сфокусировать вашу SEO-стратегию.

1. Статус вашего сайта

Среди информации, которую вы можете получить через свои журналы, код состояния , размер ответа и время ответа являются отличными показателями работоспособности вашего веб-сайта.
На самом деле часто можно потерять трафик или конверсию, не понимая, почему. Это потому, что объяснение иногда может быть техническим.
Среди лидов, которые следует рассмотреть, есть несколько, которые напрямую связаны с тремя областями, которые мы только что упомянули.
Пример 1: увеличение количества ошибок сервера («5xx») может указывать на технические проблемы, которые могут остаться незамеченными, если вы просто переходите со страницы на страницу.
Пример 2: несколько исследований показали влияние времени загрузки на коэффициент конверсии для веб-сайтов электронной коммерции. Падение вашего дохода от продаж может коррелировать с увеличением времени загрузки ваших страниц.
Кроме того, Google предлагает калькулятор, который позволяет моделировать взаимосвязь между временем загрузки и доходами (к ним следует относиться с недоверием).

Пример 3: иногда может случиться так, что ваш сервер по различным техническим причинам возвращает пустые страницы. В этом случае простого отслеживания ваших кодов состояния будет недостаточно, чтобы предупредить вас. Вот почему может быть полезно добавить размер ответа к отслеживаемым данным: эти пустые (или пустые) страницы обычно светлее, чем обычно.
Сегментируя свой веб-сайт на основе различных типов URL-адресов/страниц, вы сможете легче изолировать источники технических проблем, что упростит решение проблемы.

2. Частота попаданий ботов

Для членов SEO-сообщества журналы представляют собой массу полезной информации о том, как боты поисковых систем «потребляют» их сайты.
Например, они сообщают нам, когда боты посетили страницу в первый или последний раз.
Возьмем в качестве примера новостной веб-сайт , которому поисковые системы нужны для быстрого поиска и индексации свежего контента. Анализ полей логов, в которых указывается дата и время , позволяет определить среднее время между публикацией статьи и ее обнаружением поисковыми системами.
Отсюда было бы интересно проанализировать количество ежедневных обращений ботов (или частоту обхода ) на главной странице сайта, страницах категорий… Это позволит легко определить, где размещать ссылки на свежие статьи, которые необходимо обнаружить.

Та же теория может применяться к веб-сайту электронной коммерции , чтобы обнаруживать новые продукты в каталоге, например те, которые вы хотите выделить, чтобы быть в курсе новых тенденций.

3. Бюджет сканирования

Бюджет сканирования (своего рода кредит пропускной способности сканирования, который Google и его коллеги выделяют сайту) — любимая тема экспертов по SEO, и его оптимизация стала обязательной задачей.
Помимо журналов, только Google Search Console (на данный момент старая версия) даст вам общее представление о бюджете, который поисковые системы предоставляют вашему сайту. Но уровень точности в Search Console на самом деле не поможет вам понять, на чем сосредоточить свои усилия. Тем более, что сообщаемые данные на самом деле являются совокупными данными, собранными со всех роботов Google.
Однако журналы, благодаря анализу полей user-agent и URL , могут определить, какие страницы (или ресурсы) посещают боты и с какой скоростью.
Эта информация позволит вам узнать, если роботы Googlebot чрезмерно просматривают части вашего веб-сайта, которые не важны для SEO, тратя впустую бюджет, который может быть полезен для других страниц.
Этот тип анализа можно использовать для структурирования вашей внутренней стратегии ссылок, управления файлом robots.txt, использования метатегов для ботов…

4. Mobile-First и миграция

Кто-то не может этого дождаться, кто-то боится, но обязательно настанет день, когда вы получите электронное письмо от Google о том, что ваш сайт переведен на знаменитый индекс mobile-first.
Вы можете предсказать , когда произойдет переключение, проследив за изменениями в соотношении между обращениями робота Googlebot к настольному компьютеру и обращению робота Googlebot к мобильному устройству .
Доля сканирования мобильными роботами Googlebot, как правило, увеличивается, что позволяет прогнозировать и планировать переход.
С другой стороны, отсутствие изменений в этом соотношении также может быть важным признаком соответствия вашего веб-сайта критериям Google для переключения индексов.

Вы также можете отслеживать другие изменения: миграцию (например, с HTTP на HTTPS ) или изменения структуры вашего веб-сайта .
Если мы сосредоточимся на первом примере — на модификации используемого протокола — индексацию безопасных URL-адресов и редиректов, а также постепенное «упадок» старых URL-адресов можно легко отслеживать благодаря логам.
Отслеживание изменений кодов состояния станет вашим лучшим союзником!

5. Любопытные соседи

Вы отличный оптимизатор, и ваши усилия окупаются!
Это вызвало любопытство ваших конкурентов (и других любопытных людей), которые хотят понять, как вы это сделали, и которые решили просканировать весь ваш сайт.
Это плохо. Но ничего необычного (как раз наоборот).
Ваша задача теперь - обнаружить шпионов.
Самые изощренные из них попытаются выдать своих ботов за роботов Google с помощью пользовательских агентов Google. И здесь IP-адрес, хранящийся в журналах, может быть очень полезен.
Но на самом деле официальные роботы Googlebot используют только хорошо задокументированные диапазоны IP-адресов. Google советует веб-мастерам выполнять обратный поиск DNS, чтобы проверить происхождение ботов.
Если этот тест не пройден, результаты (или результаты геоотслеживания IP-адресов) могут помочь вам решить, что делать.
Для справки: эксперт по цифровой безопасности Imperva Incapsula провел исследование, опубликованное в 2016 году, которое показывает, что 28,9% проанализированной полосы пропускания потребляется «плохими ботами» (по сравнению с 22,9% «хорошими ботами» и 48,2% пользователями). ). Просмотр ваших журналов может помочь вам избежать чрезмерного расхода ваших ресурсов за счет обнаружения нежелательных ботов.