Presupuesto de rastreo de Google: cómo funciona y cómo maximizar el tuyo
Publicado: 2021-03-02Para cada sitio web en Internet, Google tiene un presupuesto fijo para la cantidad de páginas que sus bots pueden y están dispuestos a rastrear. Internet es un lugar grande, por lo que Googlebot solo puede pasar mucho tiempo rastreando e indexando nuestros sitios web. La optimización del presupuesto de rastreo es el proceso de garantizar que las páginas correctas de nuestros sitios web terminen en el índice de Google y, en última instancia, se muestren a los buscadores.
Las recomendaciones de Google para optimizar el presupuesto de rastreo son bastante limitadas, porque Googlebot rastrea la mayoría de los sitios web sin llegar a su límite. Pero los sitios de comercio electrónico y de nivel empresarial con miles de páginas de destino corren el riesgo de maximizar su presupuesto. Un estudio de 2018 incluso descubrió que los rastreadores de Google no pudieron rastrear más de la mitad de las páginas web de sitios más grandes en el experimento.
Influir en cómo se gasta el presupuesto de rastreo puede ser una optimización técnica más difícil de implementar para los estrategas. Pero para los sitios de comercio electrónico y de nivel empresarial, vale la pena el esfuerzo de maximizar el presupuesto de rastreo donde pueda. Con algunos ajustes, los propietarios de sitios y los estrategas de SEO pueden guiar a Googlebot para rastrear e indexar regularmente sus páginas con mejor rendimiento.
¿Cómo determina Google el presupuesto de rastreo?
El presupuesto de rastreo es esencialmente el tiempo y los recursos que Google está dispuesto a gastar rastreando su sitio web. La ecuación es la siguiente:
Presupuesto de rastreo = Tasa de rastreo + Demanda de rastreo
La autoridad de dominio, los vínculos de retroceso, la velocidad del sitio, los errores de rastreo y la cantidad de páginas de destino afectan la tasa de rastreo de un sitio web. Los sitios más grandes suelen tener una tasa de rastreo más alta, mientras que los sitios más pequeños, los sitios más lentos o aquellos con redireccionamientos excesivos y errores del servidor, por lo general, se rastrean con menos frecuencia.
Google también determina el presupuesto de rastreo por "demanda de rastreo". Las URL populares tienen una mayor demanda de rastreo porque Google quiere proporcionar el contenido más actualizado a los usuarios. A Google no le gusta el contenido obsoleto en su índice, por lo que las páginas que no se han rastreado durante algún tiempo también tendrán una mayor demanda. Si su sitio web pasa por una migración de sitio, Google aumentará la demanda de rastreo para actualizar más rápidamente su índice con sus nuevas URL.
El presupuesto de rastreo de su sitio web puede fluctuar y ciertamente no es fijo. Si mejora el alojamiento de su servidor o la velocidad del sitio, Googlebot puede comenzar a rastrear su sitio con más frecuencia sabiendo que no está ralentizando la experiencia web de los usuarios. Para tener una mejor idea de la tasa de rastreo promedio actual de su sitio, consulte el Informe de rastreo de la consola de búsqueda de Google.
¿Todos los sitios web deben preocuparse por su presupuesto de rastreo?
Los sitios web más pequeños que solo se enfocan en obtener una clasificación de algunas páginas de destino no necesitan preocuparse por el presupuesto de rastreo. Pero los sitios web más grandes, especialmente los sitios en mal estado con demasiadas páginas rotas y redireccionamientos, pueden alcanzar fácilmente su límite de rastreo.
Los tipos de sitios web grandes que tienen más riesgo de maximizar su presupuesto de rastreo suelen tener decenas de miles de páginas de destino. Los principales sitios web de comercio electrónico en particular a menudo se ven afectados negativamente por los presupuestos de rastreo. Me he encontrado con varios sitios web empresariales con un número significativo de sus páginas de destino sin indexar, lo que significa que hay cero posibilidades de clasificar en Google.
Hay algunas razones por las que los sitios de comercio electrónico en particular deben prestar más atención a dónde va su presupuesto de rastreo.
- Muchos sitios de comercio electrónico crean mediante programación miles de páginas de destino para sus SKU o para cada ciudad o estado donde venden sus productos.
- Estos tipos de sitios actualizan periódicamente sus páginas de destino cuando los artículos se agotan, se agregan nuevos productos o se producen otros cambios en el inventario.
- Los sitios de comercio electrónico tienden a tener páginas duplicadas (p. ej., páginas de productos) e identificadores de sesión (p. ej., cookies). Ambos son percibidos como URL de "bajo valor agregado" por Googlebot, lo que afecta negativamente la tasa de rastreo
Otro desafío para influir en el presupuesto de rastreo es que Google puede aumentarlo o disminuirlo en cualquier momento. Aunque un mapa del sitio es un paso importante para que los sitios web grandes mejoren el rastreo y la indexación de sus páginas más importantes, no es suficiente para garantizar que Google no maximice su presupuesto de rastreo en páginas de menor valor o bajo rendimiento.
Entonces, ¿cómo pueden los webmasters optimizar el presupuesto de rastreo?
Aunque los propietarios de sitios pueden establecer límites de rastreo más altos en sus cuentas de Google Search Console, la configuración no garantiza un aumento de las solicitudes de rastreo ni influye en las páginas que Google termina rastreando. Puede parecer que la solución más natural es hacer que Google rastree su sitio web con más frecuencia, pero hay optimizaciones muy limitadas que tienen una correlación directa con una mayor tasa de rastreo.
Todos sabemos que un buen presupuesto no se trata de aumentar sus límites de gastos; se trata de ser más selectivo con lo que gastas tu dinero. Cuando aplica este mismo concepto al presupuesto de rastreo, puede generar grandes resultados. Aquí hay algunos pasos estratégicos para ayudar a Google a gastar su presupuesto a su favor.
Paso 1: identifica qué páginas está rastreando Google en tu sitio
Hasta hace poco, el informe de rastreo de Google Search Console solo informaba a los propietarios de sitios cuántas solicitudes de rastreo recibía su sitio en días determinados. Aunque el nuevo Informe de estadísticas de rastreo de Google proporciona información mucho más detallada sobre el rastreo, el mejor lugar para comprender cómo Google rastrea su sitio sigue siendo los archivos de registro de su servidor.
Cuando Google visita su sitio web, utiliza un agente de usuario en particular. Esto le permite a su servidor saber que el tráfico es en realidad Googlebot y no una persona real.
(También encontrarás el bot de Bingbot y Ahrefs).
Analizador de registro de rastreo
Aprende másLos propietarios de sitios que analicen el contenido de este archivo de registro obtendrán mucha información sobre el presupuesto de rastreo de Google para su sitio. El archivo revelará algunas cosas:
- Qué páginas visita el agente de usuario
- Cuántas páginas rastrea ese agente por día
- Si alguna de las páginas rastreadas tiene un error 404 o está rota
Idealmente, desea que Google rastree las páginas de destino de su sitio web que están optimizadas para las palabras clave de mayor valor. Además, los propietarios de sitios nunca deben desperdiciar el presupuesto de rastreo en 404. Google Search Console solo le mostrará algunos de sus errores suaves 404, pero puede identificarlos todos en los registros de su servidor.
Una vez que tenga información más detallada sobre qué páginas de su sitio web se están rastreando, complete los siguientes elementos de acción:
- Agregue etiquetas de robots: si Googlebot está rastreando esos 404 o páginas rotas, la prioridad número uno debe ser agregar etiquetas de robots [noindex, nofollow] para evitar que Googlebot rastree e indexe esas páginas.
- Ajuste su mapa del sitio: si los registros de su servidor revelan que Google no está rastreando sus páginas potencialmente de alto rendimiento, colóquelas más arriba en su mapa del sitio para asegurarse de que se rastreen.
Paso 2: acepte que no todas sus páginas de destino deben clasificarse en Google
La razón principal por la que tantos sitios web de nivel empresarial desperdician su presupuesto de rastreo es porque permiten que Google rastree todas las páginas de destino de su sitio. A muchos sitios web incluso les gusta poner todas sus páginas en su aplicación móvil para que Google pueda encontrarlas y rastrearlas todas. Esto es un error, porque en realidad, no todas nuestras páginas de destino se clasificarán.
¿Cuál es el valor de tener una página de destino en el índice de Google? Clasificación y conversión. Si su sitio web tiene páginas de destino que no están haciendo todo lo posible por clasificar para varias palabras clave o convertir a los visitantes del sitio en clientes potenciales e ingresos, ¿por qué correr el riesgo de permitir que Google las rastree?
Los propietarios de sitios de comercio electrónico y de nivel empresarial deben saber qué páginas de sus sitios web están optimizadas para la conversión y tienen más posibilidades de clasificarse y convertirse. Luego, deben aprovechar todas las ventajas que puedan para asegurarse de que Google gaste el presupuesto de rastreo en esas páginas de alto rendimiento.
Vale la pena gastar el presupuesto de rastreo en las páginas de destino de su sitio web que tienen un alto ranking y potencial de conversión. Aquí hay algunos consejos para asegurarse de que Googlebot incluya esas páginas en su presupuesto.
- Reduzca el número de páginas en su mapa del sitio . Concéntrese solo en las páginas que realmente tienen buenas posibilidades de clasificarse y obtener tráfico orgánico.
- Elimine páginas de bajo rendimiento o innecesarias . Elimine aquellas páginas que no aportan valor porque no tienen clasificación, conversión o propósito funcional.
- Poda de contenido . Elimine las páginas que en realidad no reciben tráfico orgánico y rediríjalas a otras páginas de destino en su sitio que sean relevantes y sí reciban tráfico. Tenga en cuenta que los redireccionamientos consumen un poco de su presupuesto de rastreo, así que trate de usarlos con moderación y nunca los use dos veces seguidas.
Es difícil para cualquier propietario de un sitio dejar de lado el contenido, pero es mucho más fácil evitar que Google rastree ciertas páginas que hacer que Google aumente su presupuesto general de rastreo. Limpiar su sitio para que los rastreadores de Google tengan más probabilidades de encontrar e indexar las mejores cosas es la máxima prioridad si desea gastar su presupuesto de rastreo de manera inteligente.
Paso 3: use enlaces internos para elevar las páginas de alto rendimiento para los rastreadores de Google
Una vez que haya identificado qué páginas está rastreando Google, haya agregado las etiquetas de robots necesarias, eliminó o eliminó las páginas de bajo rendimiento y realizó ajustes en su mapa del sitio, los rastreadores de Google serán más propensos a gastar su presupuesto en las páginas correctas de su sitio web.
Pero para maximizar realmente ese presupuesto, sus páginas deben tener lo que se necesita para clasificar. Las mejores prácticas de SEO en la página son clave, pero una estrategia técnica más avanzada es usar su estructura de enlaces internos para elevar esas páginas potencialmente de alto rendimiento.
Al igual que Googlebot solo tiene un presupuesto de rastreo limitado, su sitio web solo tiene una cierta cantidad de capital del sitio en función de su presencia en Internet. Es su responsabilidad concentrar su patrimonio de manera inteligente. Eso significa dirigir el valor del sitio a aquellas páginas que se enfocan en palabras clave para las que tiene una buena posibilidad de clasificarse y en aquellas que le traen tráfico con los tipos correctos de clientes, aquellos que tienen probabilidades de convertirse y realmente tienen valor económico.
Esta estrategia de SEO se conoce como escultura de PageRank. Si tiene un sitio web grande con miles de páginas de destino, un estratega avanzado puede ejecutar experimentos de SEO para optimizar el perfil de enlaces internos de su sitio web para una mejor distribución de PageRank. Si tiene un sitio web nuevo, puede adelantarse a la curva incorporando el esculpido de PageRank en la arquitectura de su sitio y pensando en la equidad del sitio con cada nueva página de destino que cree.
Estas son dos de mis estrategias favoritas para analizar mis páginas y determinar cuál se beneficiaría más del modelado de PageRank.
- Encuentra las páginas de tu sitio web que tienen buen tráfico pero no tienen suficiente PageRank . Encuentre formas de obtener más enlaces internos en esas páginas y envíe más PageRank allí. Agregarlos al encabezado o pie de página de su sitio web es una excelente manera de hacerlo rápidamente, pero no exagere los enlaces en su menú de navegación.
- Concéntrese en las páginas que tienen muchos enlaces internos, pero no obtienen mucho tráfico, impresiones de búsqueda y clasificación para muy pocas palabras clave . Las páginas que reciben muchos enlaces internos normalmente contienen mucho PageRank. Si no están utilizando ese PageRank para atraer tráfico orgánico a su sitio, lo están desperdiciando. Es mejor mover ese PageRank a páginas que realmente puedan mover la aguja.
Comprender el papel que desempeña cada enlace en su sitio web no solo para enviar Googlebot por su sitio web, sino también para distribuir el valor de su enlace, es el paso final en la optimización del presupuesto de rastreo. Conseguir que su estructura de enlaces internos sea correcta puede conducir a mejoras drásticas en la clasificación de sus páginas de dinero. Al final, la mejor manera de gastar su presupuesto de rastreo es en las páginas de destino que tienen más probabilidades de generar ingresos en su bolsillo.
Después de implementar sus cambios, vigile las clasificaciones de palabras clave para esas páginas mejoradas en una herramienta de Google Search Console. Si las clasificaciones mejoran para esas páginas, muestra que la optimización de su presupuesto de rastreo está funcionando. Luego, a medida que agrega nuevas páginas a su sitio web, sea más selectivo en cuanto a si merecen o no consumir su presupuesto de rastreo. De lo contrario, siga dirigiendo a los rastreadores solo a las páginas que funcionan mejor para su marca.