Seguimiento del presupuesto de rastreo antes y después de una actualización
Publicado: 2019-12-10Psst… Hay un secreto que quiero contarte.
Su sitio tiene un "presupuesto de rastreo" establecido por Google.
Esta es la métrica secreta que usa Google para medir dos cosas:
- Qué tan bien está construido su sitio
- Qué tan popular es su sitio
Este artículo se centrará en el primer punto.
Mejorar la calidad de construcción de su sitio aumentará su presupuesto de rastreo.
Cuanto mayor sea su presupuesto de rastreo, con mayor frecuencia Google se detendrá y leerá sus páginas.
Comencemos compartiendo una comprensión de lo que es un presupuesto de rastreo.
¿Qué es el presupuesto de rastreo?
Google utiliza un programa de software especial llamado rastreador web (o araña) para leer las páginas de su sitio.
Llaman a este rastreador web, Googlebot.
Presupuesto de rastreo es el término que describe la frecuencia con la que Googlebot rastreará sus páginas.
Al optimizar su sitio, puede aumentar su presupuesto de rastreo.
Google ha dicho que su presupuesto de rastreo es una combinación de:
- Tasa de rastreo: la velocidad a la que Googlebot puede rastrear su sitio sin romper sus servidores
- Demanda de rastreo: qué tan importante es su página web para los usuarios de Google
A medida que estas métricas mejoren, verá que Googlebot lo visita con más frecuencia. Leer más páginas en cada visita.
Una vez que Google rastrea una página, agregará el contenido al Índice de Google. Que luego actualiza la información que se muestra en los resultados de búsqueda de Google.
Al optimizar el presupuesto de rastreo, puede mejorar la velocidad de las actualizaciones de su sitio a la Búsqueda de Google.
Por qué deberías mejorar tu presupuesto de rastreo
Google tiene una tarea difícil. Necesitan rastrear e indexar cada página en Internet.
El poder que necesitan para hacer esto es enorme y no pueden indexar todas las páginas.
La optimización de su presupuesto de rastreo le dará a su sitio la mejor oportunidad de aparecer en la búsqueda.
[Estudio de caso] Administrar el rastreo de bots de Google
Lea el estudio de casoCómo mejorar tu presupuesto de rastreo
Mejorar un sitio consiste en hacer que el tiempo de Googlebot en un sitio sea lo más eficiente posible.
No queremos:
- Googlebot lee páginas que no queremos en la Búsqueda de Google.
- Googlebot detecta errores del servidor
- Googlebot siguiendo enlaces rotos/muertos
- Googlebot esperando que se cargue la página
- Googlebot leyendo contenido duplicado
Todo lo anterior está desperdiciando los preciosos recursos de Google y podría ver caer su tasa de rastreo.
Presupuesto de rastreo y SEO técnico
Mucho de lo que debe hacer como parte del SEO técnico es lo mismo que optimizar el presupuesto de rastreo.
Nosotros necesitamos:
- Optimice robots.txt y compruebe si hay errores
- Corrija cualquier etiqueta de enlace canónico y hreflang
- Resolver páginas que no sean 200
- Arreglar redireccionamientos y cualquier bucle de redireccionamiento
- Asegúrese de que los mapas de sitio no tengan errores
Veamos a continuación cómo crear la página perfecta para Googlebot.
Cómo crear la página perfecta
Está bien, tal vez no sea la página perfecta, pero deberíamos intentar mejorar la página tanto como podamos.
Veamos algunos problemas comunes en la página que puede mejorar.
Problemas de página
- Contenido duplicado: marque cualquier contenido duplicado en su sitio con una etiqueta de enlace canónico.
- Páginas que no son SSL: busque enlaces HTTP y conviértalos a HTTPS. Si no tiene un certificado SSL, obtenga uno gratis de Let's Encrypt.
- Rastrear solo páginas útiles: use su archivo robots.txt para reducir a dónde puede ir Googlebot. Por ejemplo, si tiene páginas utilizadas para un administrador, entonces no permita esto en su archivo robots.txt.
- Contenido delgado: considere bloquear el raspado de páginas con contenido delgado o muy bajo. Si tiene páginas que tienen poco valor para un usuario, no pierda el tiempo de Googlebot en estas páginas.
- Errores del servidor: los errores del servidor son un signo de un servidor web en mal estado. Si su sitio devuelve errores 5xx, corregirlos puede aumentar la tasa de rastreo.
Páginas de carga lenta
Una forma de mejorar el presupuesto de rastreo es hacer que la página sea rápida.
Las páginas rápidas hacen que Googlebot sea más rápido y esto es una señal para Google de que el servidor web está "saludable".
Google ya ha dicho que la velocidad de la página aumenta la tasa de rastreo:
Hacer que un sitio sea más rápido mejora la experiencia de los usuarios al mismo tiempo que aumenta la tasa de rastreo.
- Peso de la página : esta métrica es el tamaño total de su página. Esto incluye todo el CSS de Javascript y las imágenes de la página. Esto debería ser menos de 1 MB en total.
- Imágenes optimizadas : las imágenes deben ser lo más pequeñas posible en KB sin perder calidad. Usar una herramienta como Squoosh puede ayudar con esto.
- CSS y JS minimizados: minimice sus archivos JS y CSS. Este es el proceso de eliminar todos los caracteres innecesarios del archivo. Use CSSNano y UglifyJS para minimizar los archivos.
- Compresión y almacenamiento en caché : asegúrese de que el servidor tenga compresión GZip o BR. Esto acelerará el tiempo que lleva obtener un archivo. Agregue almacenamiento en caché para que el archivo solo se descargue una vez.
Para obtener una lista de las mejoras en la velocidad de la página, eche un vistazo a esta revisión detallada del rendimiento del sitio web. Tiene 30 pasos para mejorar el rendimiento del sitio web.
Métodos para medir sus cambios
Como SEO inteligente, sabe que antes de comenzar cualquier optimización necesita realizar un seguimiento de los cambios.
Debe elegir un punto de datos con dos propiedades:
- Debe poder rastrear el punto de datos a lo largo del tiempo.
- Debe poder influir en esos datos con sus acciones.
Entonces, ¿cuál es el punto de datos que debemos rastrear para el presupuesto de rastreo?
Dijimos anteriormente que Google usa dos factores al decidir sobre un presupuesto de rastreo:
- Tasa de rastreo : la velocidad a la que Googlebot puede rastrear su sitio sin romper sus servidores
- Demanda de rastreo : qué tan importante es su página web para los usuarios de Google
Dado que somos técnicos de SEO, nuestro trabajo es mejorar la tasa de rastreo.
Así que este es el punto de datos que debemos rastrear.
Tasa de rastreo de seguimiento
Entonces, ¿cómo rastreamos la tasa de rastreo de Googlebot?
Necesitamos usar los registros de acceso de su servidor web.
Los registros almacenan cada solicitud realizada a su servidor web. Cada vez que un usuario o Googlebot visita su sitio, se agrega una entrada de registro al archivo de registro de acceso.
Así es como se vería una entrada para Googlebot:
127.0.0.1 - - [11/nov/2019:08:29:01 +0100] "GET /ejemplo HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www .google.com/bot.html)"
Hay tres puntos de datos importantes en cada registro. La fecha:
[11/nov/2019:08:29:01 +0100]
La URL:
"OBTENER /ejemplo HTTP/1.1"
Y el agente de usuario que nos dice que es Googlebot quien realiza la solicitud:
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
El registro anterior es de un servidor web Nginx. Pero todos los servidores web, como Apache o IIS, tendrán una entrada de registro de acceso similar.
Dependiendo de su configuración, puede tener una red de entrega de contenido (CDN). Una CDN como Cloudflare o Fastly también creará registros de acceso.
Analizar un registro de acceso manualmente no es lo más divertido, aunque es posible.
Puede descargar access.log y analizarlo usando Excel. Sin embargo, le recomendaría que use un analizador de registros como el de OnCrawl.
Esto le permitirá ver la tasa de rastreo de Googlebot en un gráfico y en tiempo real. Una vez que tenga esta configuración de monitoreo para rastrear la tasa de rastreo, puede comenzar a mejorarla.
Haciendo cambios
Ahora que sabemos lo que estamos rastreando, podemos considerar hacer algunas mejoras. Pero, no haga muchos cambios al mismo tiempo. Sea metódico y haga cambios uno por uno.
Construye, mide, aprende.
Usando esta técnica, puede adaptar los cambios que está haciendo a medida que aprende. Concentrarse en las tareas que están mejorando la tasa de rastreo.
Si se apresura y cambia demasiado a la vez, puede ser difícil comprender los resultados.
Por lo que es difícil saber qué ha funcionado y qué no.
Con el tiempo, a medida que la página mejore, verá un aumento en el presupuesto de rastreo a medida que aumenta la tasa de rastreo.
Conclusión, seguimiento del presupuesto de rastreo antes y después de una actualización
Hemos cubierto exactamente lo que es un Crawl Budget.
Como SEO técnico, tiene el poder de aumentar la tasa de rastreo del sitio.
Al mejorar la salud técnica, puede hacer que el tiempo de Googlebot en su sitio sea eficiente.
Realice un seguimiento de la frecuencia de rastreo utilizando sus registros para obtener resultados precisos.
Use Build, Measure, Learn como una técnica para hacer un cambio a la vez y mejorar a medida que avanza.
Con el tiempo, tu frecuencia de rastreo aumentará. Sus páginas aparecerán más rápido en los resultados de búsqueda de Google. Y los usuarios tendrán una gran experiencia en su sitio.