Informe de estadísticas de rastreo de Google frente a análisis de archivos de registro: ¿cuál es el ganador?

Publicado: 2020-12-22

El 24 de noviembre, Google lanzó una nueva versión de su informe Estadísticas de rastreo de Search Console. Esta actualización le brinda datos que puede usar para depurar problemas de rastreo y verificar el estado de su sitio.

La versión anterior solo indica la cantidad de páginas rastreadas por día, kilobytes descargados por día, tiempo dedicado a descargar páginas por día.

Con esta nueva versión, la misma información está disponible con una apariencia actualizada para que coincida con el resto de Search Console:

Pero no se detiene allí. Google proporciona mucha más información sobre cómo rastrean su sitio. Y con tanta información disponible directamente de Google, surge la pregunta: ¿todavía necesitamos archivos de registro?

Comencemos mirando el nuevo informe en sí.

Todo lo que necesita saber sobre el informe de estadísticas de rastreo de Google Search Console

¿Dónde puedes encontrar el nuevo Informe de estadísticas de rastreo?

El nuevo informe de estadísticas de rastreo está disponible automáticamente para cualquier persona con una cuenta de Google Search Console.

Inicie sesión en Search Console y vaya a "Configuración" en la barra lateral izquierda. Luego haga clic en "Estadísticas de rastreo".

¿Qué hay en el nuevo Informe de estadísticas de rastreo?

Para ayudarlo a orientarse en la extensa información nueva, le recomendamos el tutorial de Tomek Rudzki en Twitter:

Tomek destaca nuevos datos y casos de uso de SEO para cada uno:

  • Hosts con la mayor cantidad de visitas de Googlebot: busque los subdominios que Google rastrea con más frecuencia.
  • Códigos de estado devueltos a Googlebot: averigüe qué porcentaje de su presupuesto de rastreo se usa en respuestas que no son 200 (es decir, redireccionamientos, páginas faltantes y errores).
  • Tipo de archivo: conozca la frecuencia con la que Googlebot solicita archivos de recursos, como archivos CSS, archivos JavaScript e imágenes.
  • El propósito de la visita de Googlebot: saber si Google está descubriendo contenido nuevo o actualizando contenido que ya conoce.
  • La división entre las solicitudes realizadas por el robot de Google para teléfonos inteligentes y las realizadas por el robot de Google para computadoras de escritorio: confirme si su sitio está listo para el cambio completo a Mobile-First Indexing en marzo de 2021.
  • Una muestra de URL rastreadas: obtenga una idea de algunas de las URL rastreadas recientemente en su sitio.
  • Estado del host: una nueva métrica que muestra si su servidor ha tenido problemas recientemente. Por ejemplo, esto tiene en cuenta la disponibilidad de robots.txt y la resolución de DNS.

Nuestras tres cosas favoritas sobre el Informe de estadísticas de rastreo

El Informe de estadísticas de rastreo ofrece demasiados beneficios para enumerarlos todos, especialmente si no tiene acceso a los archivos de registro. Pero aquí están nuestros tres principales:

1. Este informe está destinado a todos.
Proporciona estadísticas de rastreo de Googlebot de alto nivel y fáciles de leer. Está claro cuándo las cosas van bien y cuándo hay problemas que deben abordarse. En algunos casos, va incluso más allá: por ejemplo, proporciona sugerencias como los indicadores de estado verde/amarillo/rojo para el estado del host.

Incluso si es nuevo en el seguimiento del presupuesto de rastreo y bots, no debe perderse al mirar estos informes.

2. La documentación es excelente.
La documentación no solo responde el 99 % de sus preguntas, sino que también brinda mejores prácticas y consejos sobre el estado del servidor, las señales de alerta, la administración de la frecuencia de rastreo y las disputas básicas de Googlebot.

3. Datos sobre el "por qué" detrás de las solicitudes de Googlebot
Podemos rastrear a Googlebot, pero muchas conclusiones sobre por qué Google está visitando una página deben extraerse en función de datos limitados. La sección Rastreo por propósito y las solicitudes de representación que se pueden ver en "Carga de recursos de la página" brindan una respuesta clara a algunas de nuestras preguntas. Ahora sabemos con certeza si Google está descubriendo una página, actualizándola o descargando un recurso en un segundo paso por separado para renderizar la página.

[Estudio de caso] Administrar el rastreo de bots de Google

Con más de 26 000 referencias de productos, 1001Pneus necesitaba una herramienta confiable para monitorear su rendimiento de SEO y asegurarse de que Google dedicaba su presupuesto de rastreo a las categorías y páginas correctas. Aprenda a administrar con éxito el presupuesto de rastreo para sitios web de comercio electrónico con OnCrawl.
Lea el estudio de caso

¿Cuál es la diferencia entre la información disponible en los archivos de registro y el Informe de estadísticas de rastreo?

Las estadísticas de rastreo están limitadas a Googlebots

Estadísticas de rastreo: 0
 Registros: 1

Los archivos de registro de su servidor registran cada solicitud de cualquiera de los archivos y recursos que componen su sitio web, sin importar de quién provengan. Esto significa que los registros pueden brindarle más información que solo Googlebot.

Sin embargo, el informe de estadísticas de rastreo de Google está (¡naturalmente!) limitado a la propia actividad de Google en su sitio.

Estas son algunas de las ideas que puede obtener de los archivos de registro que no aparecen en las Estadísticas de rastreo:

  • Información sobre otros motores de búsqueda, como Bing. Puede ver cómo rastrean su sitio, pero también cómo su comportamiento difiere o se alinea con el de Googlebot:

  • Información sobre qué herramientas (y competidores) intentan rastrear su sitio. Dado que la información disponible no se limita a Googlebot, también puede ver si otros bots están activos en su sitio.
  • Información sobre las páginas de referencia. Esto puede ayudarte a encontrar más información sobre tus backlinks más activos. En HTTPS, la última página visitada o la "página de referencia" también se registra con cada solicitud.
  • Información sobre tráfico orgánico… ¡y no solo tráfico de Google! Con las páginas de referencia, puede identificar el tráfico de las páginas de resultados del motor de búsqueda y ver mejor cómo estos visitantes interactúan con su sitio. Este tipo de información se puede utilizar para confirmar o corregir los números proporcionados por su solución de análisis, si utiliza una.
  • Identificación de páginas huérfanas. Dado que sus registros contienen todas las URL solicitadas por los visitantes, cualquier página "activa" con bots o tráfico humano que no esté vinculada en la estructura de su sitio aparecerá en sus registros. Al comparar una lista de URL en sus archivos de registro con una lista de URL en la estructura de su sitio a partir de un rastreo, será fácil detectar páginas huérfanas.

completo y actualizado?

Estadísticas de rastreo: 0
 Registros: 2

¿Tus datos están completos y actualizados? Sus registros son. Y tus estadísticas de rastreo podrían serlo.

Muchas personas notaron rápidamente diferencias del 20 al 40 % entre el informe de Google Search Console y sus archivos de registro: el informe Crawl Stats subestima la actividad de Googlebot en este momento. Este es un problema conocido en las estadísticas de rastreo, ¡pero no en tus registros!

Además, como toda la información en Search Console, puede haber un retraso entre la última fecha de datos disponible y la fecha de hoy. Hasta ahora, hemos visto una diferencia de hasta ocho días en el informe de estadísticas de rastreo.

Por otro lado, puede usar sus archivos de registro para el monitoreo en tiempo real: ¡nunca hay demoras!

Listas agregadas frente a listas completas de URL rastreadas

Estadísticas de rastreo: 0
 Registros: 3

Las estadísticas de rastreo proporcionan datos agregados para todas sus URL. El informe es equivalente a un tablero. Cuando vaya a buscar la lista de URL detrás de una métrica determinada, verá una lista de "ejemplos". Por ejemplo, es posible que tenga algunos cientos de ejemplos de sus 4560 solicitudes de archivos de imagen:

Sin embargo, en los archivos de registro, tiene una lista completa de las URL detrás de cualquier métrica. Puede ver TODAS las solicitudes en sus registros, no solo una muestra.

Filtrado por regiones, fechas, URLs…

Estadísticas de rastreo: 0
 Troncos: 4

Para ser realmente útil, las estadísticas de rastreo podrían beneficiarse de filtros más amplios que se aplican a todas las solicitudes, no solo a las muestras:

Sería genial tener más flexibilidad para:

  • Cambiar el rango de fechas que estamos viendo
  • Centrarse en una región geográfica dada por búsqueda de IP
  • Mejor filtrado por grupos de URL
  • Aplicar opciones de filtro a los gráficos

Puede hacer todo esto, y mucho más, en archivos de registro.

Información específica de Googlebot

Estadísticas de rastreo: 1
 Troncos: 4

Como hemos visto, Google usa el Informe de estadísticas de rastreo para proporcionar información sobre el propósito de su rastreo:

    • Actualizar vs Descubrimiento

  • Recursos de la página (una recuperación secundaria)

Esta información no se puede encontrar en ningún otro lugar, sin importar cuán inteligentemente mire los datos en sus archivos de registro.

Fácil acceso

Estadísticas de rastreo: 2
 Troncos: 4

El acceso al informe de estadísticas de rastreo es sencillo: las estadísticas de rastreo están disponibles automáticamente para cualquier persona con acceso a Search Console.

Técnicamente, los archivos de registro también deberían estar disponibles para cualquier webmaster. Pero esto a menudo no es el caso. A menudo, los equipos de desarrollo, los equipos de TI o las empresas cliente no entienden la importancia de proporcionar acceso a los archivos de registro. En áreas como la UE, donde las leyes de privacidad restringen el acceso a "datos de identificación personal", como las direcciones IP, el acceso a los archivos de registro puede plantear un problema legal. Puede usar ciertas herramientas, como OnCrawl, que no almacena información confidencial.

Una vez que tenga acceso a los archivos de registro, existen herramientas gratuitas para analizar los datos y existen pocos formatos propietarios. En otras palabras, los archivos de registro son una fuente de datos bastante democrática... una vez que los tienes en tus manos.

Es un hecho: muchos SEO tienen problemas para acceder a los registros. Entonces, aunque, en teoría, los archivos de registro brindan un fácil acceso a los datos, el objetivo de este es el Informe de estadísticas de rastreo, que está disponible con dos clics en la herramienta gratuita de Google.

Analizador de registro de rastreo

Análisis de archivos de registro para la supervisión de bots y la optimización del presupuesto de rastreo. Detecte problemas de salud del sitio y mejore su frecuencia de rastreo.
Aprende más

No (todavía) disponible para la integración en otras herramientas y análisis

Estadísticas de rastreo: 2
 Registros: 5

Google Search Console le permite exportar y descargar la información disponible a través de la interfaz web del Informe de estadísticas de rastreo. Sin embargo, eso significa que la información descargada tiene las mismas limitaciones que las versiones en pantalla.

Además, las estadísticas de rastreo no están (¿todavía?) disponibles a través de la API, por lo que puede ser difícil conectar esta información a procesos automatizados para informes y análisis, o incluso hacer una copia de seguridad para obtener una vista más amplia de los datos históricos.

Con los archivos de registro, el almacenamiento, el acceso y la reutilización generalmente dependen de usted. Esto hace que los archivos de registro sean mucho más fáciles de usar cuando se combinan con otras fuentes de datos, como el seguimiento de clasificación, los datos de rastreo o los datos analíticos. También son más fáciles de integrar en los flujos de informes, tableros y visualización de datos.

El ganador final: ¡los archivos de registro!

Con cinco puntos contra solo dos puntos para el informe de estadísticas de rastreo, los archivos de registro son los claros ganadores aquí si desea obtener información completa sobre cómo los motores de búsqueda interactúan con su sitio.

Pero seamos claros: el informe de estadísticas de rastreo actualizado proporciona mucha información nueva: códigos de estado, tipos de archivos, subdominios (para propiedades de dominio), detalles de estado del host y más. Le brinda información más granular y datos procesables para comprender cómo se rastrea su sitio web y ahora puede realizar un seguimiento de los cambios en los patrones de rastreo.

Será un gran paso adelante para las personas que no pueden acceder a sus archivos de registro oa los de sus clientes.

Sin embargo, ¡no todo son ventajas!

Las desventajas del nuevo informe es que, si bien es un buen tablero para el monitoreo de Googlebot y una excelente adición para complementar el análisis de archivos de registro, tiene muchas limitaciones. No olvide que solo sus archivos de registro le mostrarán todas sus solicitudes por URL en lugar de una tendencia agregada.

Además, hay un problema conocido en el informe de GSC en el que algunas solicitudes no se cuentan en este momento y los datos pueden tardar, en el momento de escribir esto, hasta una semana en aparecer en el informe de estadísticas de rastreo. (Sin embargo, confiamos en que Google está trabajando en estos problemas y pronto desaparecerán).

Esto es lo que recomendamos: use este informe para saber qué buscar exactamente en sus archivos de registro. ¡Y luego sumérjase en su análisis de registro!