Пять способов улучшить анализ журнала SEO с помощью интеграции Splunk в OnCrawl

OnCrawl недавно выпустил интеграцию с Splunk, чтобы облегчить мониторинг журналов для пользователей Splunk. Мы обнаружили, что компании используют нашу интеграцию Splunk для двух основных целей: автоматизация процессов и повышенный контроль безопасности. Но на этом преимущества инструмента не заканчиваются. Вот пять способов, которыми вы можете использовать интеграцию OnCrawl Splunk для улучшения технического SEO.

SEO-анализ журнала: основы

Что такое SEO-анализ журнала?

Ваши файлы журналов представляют всю активность на вашем веб-сайте, записанную самим сервером веб-сайта. Это наиболее полный и надежный источник информации о том, что происходит на вашем сайте. Это включает в себя количество и частоту обращений ботов, количество и частоту органических обращений SEO, поступающих из поисковой выдачи, разбивку по типу устройства (настольное или мобильное) или по типу URL-адреса (страница или ресурс), точные размеры страниц и фактический статус HTTP. коды.

Некоторые из многих преимуществ, предоставляемых анализом журнала SEO:

• Обнаружение пиков или изменений в поведении сканирования, которые указывают на изменения в том, как Google обрабатывает ваш сайт.
• Зная, сколько времени в среднем требуется для индексации новых страниц и получения первых органических посетителей.
• Мониторинг того, как действия ботов и пользователей влияют на рейтинг страницы
• Понимание того, как поведение бота и пользователя коррелирует с другими факторами SEO.

Что такое Спланк?

Splunk — это корпоративное решение для агрегации машинных данных. Способный индексировать и управлять данными из нескольких источников в масштабе, он включает функции обработки журналов сервера для обеспечения безопасности сайта и создания отчетов.

Некоторые из преимуществ Splunk:

• Индексирование и поиск улучшенной корреляции данных
• Возможности детализации и поворота для лучшей отчетности
• Оповещения в режиме реального времени
• Панели данных
• Высокая масштабируемость
• Гибкие варианты развертывания

Мониторинг логов в Splunk

Пользователи Splunk получают выгоду от интеграции OnCrawl для соединения данных журнала сервера, управляемых в Splunk, с данными SEO на платформе OnCrawl.

Анализатор журнала сканирования

Анализ файла журнала для мониторинга ботов и оптимизации краулингового бюджета. Выявляйте проблемы со здоровьем сайта и повышайте частоту сканирования.

Учить больше

Улучшение технического SEO с помощью OnCrawl + Splunk

1. Используйте журналы для глубокого SEO-анализа

Splunk доказывает способность собирать, искать, отслеживать и настраивать оповещения для данных журнала. Он анализирует и переиндексирует содержимое журналов сервера. Используя мощный поиск и фильтры, он дает ответы на вопросы о данных в ваших файлах журналов. Этот шаг обработки предоставляет статистику тенденций, обнаруженных в данных журнала.

Однако, если вы хотите применить это к данным SEO, лучше начать с необработанных данных. И это именно то, что делает интеграция OnCrawl Splunk.

Вместо того, чтобы просто показывать отдельную статистику для данных журналов, это позволяет интегрировать информацию из журналов со всеми другими источниками данных на платформе OnCrawl. В свою очередь, это позволяет вам исследовать взаимосвязь между показателями SEO и информацией о поведении пользователей и ботов в ваших файлах журналов.

Количество органических посещений по глубине кликов по страницам.

Этот перекрестный анализ данных может включать оси, полезные для SEO:

• Разбивка поведения сканирования по отдельным ботам
• Время между первым сканированием и первым органическим посещением
• Сравнение страниц, показываемых пользователям и ботам, и страниц, показываемых во время аудита.
• Обнаружение потерянных страниц
• Корреляция между частотой сканирования и рейтингом, показами, CTR
• Влияние стратегии внутренней перелинковки на активность пользователя/бота
• Взаимосвязь между глубиной клика по странице и активностью пользователя/бота
• Связь между внутренней популярностью страницы и активностью пользователя/бота
• Разбивка активности пользователей и ботов на страницах, сгруппированных по эффективности SEO

2. Упростите настройку

Независимо от того, нужна ли вам автоматизация или более точный контроль безопасности данных, если вы являетесь пользователем Splunk, вы
нравится, как просто это настроить.

Если вы не системный администратор, настройка мониторинга журналов для SEO может показаться сложной задачей.

Мы предлагаем просто пропустить сложные части . Теперь вы можете настроить все прямо в Splunk и использовать сгенерированный ключ для создания соединения с OnCrawl.

Вот и все. Вы готовы идти. Это не может быть проще.

3. Воспользуйтесь преимуществами автоматизации процессов с помощью Splunk

Ручной процесс использования данных журнала, собранных в Splunk, требует нескольких шагов:

• Создайте фильтры для поиска правильного выбора данных журнала
• Создать сохраненный поиск
• Настроить автоматизацию поиска
• Вывод в CSV
• Подключитесь к вашему экземпляру Splunk по SSH.
• Перейдите в выходную папку CSV.
• Перенесите файл на свой компьютер
• Подключиться к ftp-пространству OnCrawl
• Перенесите файл в OnCrawl…

Этот процесс необходимо повторять регулярно, чтобы избежать пробелов в данных вашего журнала. Часто это становится ежедневной задачей.

Если вы решите использовать интеграцию Splunk для OnCrawl, вам больше не нужно регулярно запускать задачу . Вам нужно только настроить процесс (и, как было сказано ранее, это не может быть проще). Вам больше не нужно каждый день беспокоиться о запуске скрипта или, что еще хуже, о серии ручных действий; интеграция обрабатывает это для вас.

4. Защитите свой процесс

Защитите себя от потери данных в случае возникновения проблемы. Поскольку мониторинг журналов опирается на непрерывный поток данных , пробелы могут привести к неверным выводам. Вы никогда не должны задавать такие вопросы, как: очевидное отсутствие органических посещений сегодня утром связано с чем-то, что произошло в Google, или я просто пропустил данные?

Интеграция OnCrawl Splunk защитит вас в случае, если ваш сервер не работает или потеряно соединение, а также предотвратит человеческие ошибки, когда у вас нет времени или вы просто забыли загрузить данные. Если мы не сможем подключиться к серверу, это не вызовет пробелов в ваших данных; мы просто соберем его чуть позже. Если вы найдете набор данных за более раннюю дату, который вы забыли добавить в Splunk, интеграция OnCrawl также автоматически подберет его.

5. Возьмите под контроль безопасность данных

В OnCrawl мы очень серьезно относимся к безопасности ваших данных.

Как всегда, конфиденциальные данные в ваших журналах хранятся там, где вы их помещаете, в своем личном, безопасном FTP-пространстве, и никогда не становятся доступными где-либо еще. Например, единственными персональными данными, которые мы обрабатываем, являются IP-адреса при проверке подлинности посещений Googlebot. Мы не храним записи об используемых IP-адресах — только результат проверки. При необходимости вы можете удалить конфиденциальную информацию, доступную для анализа, в любое время, удалив файлы со своего FTP-пространства.

Интеграция для Splunk идет еще дальше. Мы гарантируем, что вы сохраните контроль над своими данными на протяжении всего процесса. Вы определяете права доступа, данные для совместного использования и частоту обновлений в OnCrawl. Когда вы делитесь данными с OnCrawl через интеграцию Splunk, мы используем стандартные безопасные протоколы для связи со Splunk, защищенные паролем и ключом, которые вы настроили.

Поскольку настройка выполняется в Splunk, OnCrawl никогда не увидит ничего, что вы не позволяете нам видеть. Вы сами выбираете, какой информацией делиться с OnCrawl . Не только это, но, поскольку вы управляете настройкой, если есть изменения в вашем процессе регистрации или в стандартах вашей компании, вы можете внести изменения в любое время.