Cómo comenzar a clasificarse más alto con un presupuesto de rastreo mejor optimizado

Existen múltiples factores que afectan las clasificaciones: enlaces externos, uso de palabras clave, velocidad del sitio y muchos, muchos más. Pero cuando comienza a optimizar su sitio, lo que debe recordar es que para que todos sus esfuerzos de optimización rindan frutos, su sitio debe rastrearse e indexarse.

La forma en que se rastrea su sitio web está determinada por su presupuesto de rastreo: la cantidad de veces que Googlebot visita su sitio durante un cierto período de tiempo. Y la visibilidad de su sitio depende de qué tan bien se equilibre el presupuesto de rastreo.

¿Por qué el presupuesto de rastreo afecta la visibilidad de su sitio en Google?

El presupuesto de rastreo es limitado. Eso crea varios desafíos:

• Cuando el presupuesto de rastreo no está optimizado, Googlebot no visita todas las páginas del sitio. Como resultado, no están indexados y no se clasifican en los resultados de búsqueda.
• Las páginas actualizadas pueden no recibir atención de Googlebot durante mucho tiempo debido a la frecuencia de rastreo de las páginas del otro sitio web. Esto afecta negativamente su cronograma de SEO: mientras Google no conozca sus esfuerzos de optimización, su visibilidad SERP no mejorará.

Por lo tanto, para asegurarse de que todas las páginas importantes se visiten regularmente, se debe optimizar el presupuesto de rastreo. Así es como puedes hacerlo.

Cómo determinar su presupuesto de rastreo actual

Para averiguar si su presupuesto de rastreo necesita optimizarse, primero verifique si le falta algo. Según Gary Illyes de Google, solo los sitios grandes realmente necesitan priorizar qué rastrear, especialmente los que generan automáticamente muchas URL en función de los parámetros. Si cree que su sitio requiere un equilibrio adicional del presupuesto de rastreo, así es como puede comenzar.

En Google Search Console, puede encontrar las estadísticas de rastreo de su sitio actual y conocer los detalles de su presupuesto de rastreo.

El presupuesto de rastreo aproximado se puede calcular así:

Número promedio de páginas rastreadas por día x número de días en un mes =
Presupuesto de rastreo aproximado

Por ejemplo, en un informe a continuación, puede ver que en este sitio web, Google rastrea 371 páginas por día.

Gráfico de estadísticas de rastreo en Google Search Console

Por lo tanto, un presupuesto de rastreo aproximado de este sitio web es:

371x30 = 11130

Pero para saber exactamente con qué frecuencia los rastreadores de Google visitan su sitio web, debe verificar los registros del servidor. Google Search Console muestra el presupuesto de rastreo agregado para 12 bots y, para ver la distribución exacta del presupuesto de rastreo, necesitará una herramienta de análisis de registros.

Los altibajos en el gráfico de rastreo pueden ser una señal de un problema, pero no siempre es así. Por ejemplo, un pico en el gráfico anterior representa un mapa del sitio que se ha vuelto a enviar, lo que desencadena que un robot de Google vuelva a visitar el sitio web.

Cómo optimizar tu presupuesto de rastreo

Para optimizar su presupuesto de rastreo, debe ceñirse a una regla simple:

Asegúrese de que se rastree lo que se debe rastrear y que no se rastree lo que no se debe rastrear.

Eso significa que las páginas importantes reciben suficiente atención y las que no aportan ningún valor a su sitio quedan fuera. Estos son los pasos exactos que lo llevarán allí.

1.Asegúrese de que Googlebot pueda acceder a todas sus páginas importantes (por ejemplo, que no estén bloqueadas en robots.txt)

Sorprendentemente, es muy común que las páginas importantes tengan un estado de desautorización en el archivo robots.txt. De esta manera, Googlebot los ignora y, por lo tanto, se ocultan de la indexación. Su tarea es asegurarse de que las páginas que desea rastrear no tengan ese estado y sean accesibles para los rastreadores.

Puede encontrar el archivo robots.txt en Google Search Console. Para asegurarse de que sus páginas importantes no sean rechazadas, simplemente navegue por el archivo.

2. Verifique el estado general de su sitio, ya que afecta la frecuencia de las visitas de Googlebot (también conocido como límite de tasa de rastreo)

Como dice el propio Google, el límite de la tasa de rastreo es la tasa máxima de búsqueda para un sitio determinado. En pocas palabras, especifica cuántas conexiones paralelas puede crear un robot de Google para rastrear el sitio y cuánto tiempo debe esperar entre las búsquedas. Cuando la velocidad del sitio es alta, el límite sube y Googlebot crea más conexiones simultáneas. Cuando la tasa de respuesta del sitio es baja o devuelve errores del servidor, el límite disminuye y Googlebot rastrea menos.

Por lo tanto, la forma en que se rastrea su sitio también se ve afectada por la salud del sitio. Esto incluye la velocidad del sitio, la compatibilidad con dispositivos móviles, la cantidad de errores 404, etc.

La salud del sitio se puede comprobar con estas herramientas.

• OnCrawl le permite encontrar páginas con contenido duplicado y casi duplicado, 404 y páginas huérfanas (que no tienen enlaces internos que apunten a ellas), etc.

Widgets de contenido duplicado en OnCrawl

Widgets de páginas huérfanas en OnCrawl

• La prueba de compatibilidad con dispositivos móviles de Google comprueba la compatibilidad con dispositivos móviles de un sitio web
• La velocidad del sitio se puede comprobar con la ayuda de las herramientas gratuitas PageSpeed ​​Insights o GTmetrix.

Luego puede monitorear su frecuencia de rastreo usando un analizador de archivos de registro como OnCrawl y ver si Googlebot ha visitado sus páginas con más frecuencia.

3. Excluye las páginas que no aportan ningún valor a los usuarios

Estas son las páginas que tienen contenido débil o nulo, páginas técnicas, etc. Como están indexadas y tienen pocas impresiones, se pueden encontrar en Google Search Console. Otro lugar para detectarlos es el informe SEO Impact de OnCrawl. Por ejemplo, muestra el impacto del recuento de palabras en la frecuencia de rastreo.

Por ejemplo, un problema común para los grandes sitios web de comercio electrónico es la navegación por facetas. Ryan Stewart habla de ello en su video sobre la optimización del presupuesto de rastreo (puedes pasar al minuto 7:20 para ver esto, pero el video completo también es extremadamente útil). Cuando el usuario selecciona una categoría en un sitio web, su parámetro se agrega a la URL de la página. Según Googlebot, a partir de ese momento es una URL diferente y requiere una visita aparte. Dado que la cantidad de combinaciones de categorías posibles es enorme y puede sobrecargar significativamente el presupuesto de rastreo, es necesario filtrar dichas páginas.

Un problema similar ocurre cuando se coloca un identificador de sesión dentro de las URL. Estas páginas también deben filtrarse.

4. Prioriza tus páginas para que las más importantes se rastreen más a menudo

La página es importante si tiene un gran potencial de tráfico.

En primer lugar, estas son las páginas que ya tienen mucho tráfico; puedes detectarlos en Google Analytics. En Informe de comportamiento , vaya a Contenido del sitio → Todas las páginas y ordene las páginas por el número de páginas vistas.

En segundo lugar, son las páginas cuyas posiciones están mejorando, lo que significa que están creciendo en popularidad. Estas páginas se pueden encontrar en la consola de búsqueda de Google, pero con sus opciones de filtrado limitadas, puede pasar un tiempo antes de que las detecte.

Una alternativa sería usar AccuRanker, ya que le permite ver qué tipo de páginas tienen una tendencia de visibilidad creciente. Para comenzar a usarlo, puede importar la lista de palabras clave de Google Search Console con un solo clic y luego detectar qué páginas son las más prometedoras.

Además, existe una manera de detectar las páginas que pueden tener tráfico adicional de SEO en las próximas semanas y meses. Se trata de jugar con la API de Google Search Console y Google Data Studio, pero el resultado es sorprendente. Mediante el uso de páginas de destino como dimensión e impresión, clics de URL y CTR de URL como métricas, puede encontrar las páginas que están creciendo en popularidad más rápido que las demás.

Cuando descubra qué páginas requieren priorización, esto es lo que puede hacer para asegurarse de que se rastreen con más frecuencia:

• Mueva las páginas más importantes más cerca de la página principal o incluso presente el enlace a ellas allí. Por ejemplo, puede agregar un enlace de página a las secciones Navegación o "Ofertas especiales".
• Coloque redireccionamientos 301 en todas las categorías de página que no tengan productos (agotados/productos de temporada). No olvide desactivar esa redirección una vez que el producto en cuestión vuelva a estar disponible.

5. Proporcione suficientes enlaces internos a la página

Los enlaces internos son cruciales para el rastreo como la vía principal para Googlebot. Sin un enlace interno en una página, simplemente no puede avanzar. Por lo tanto, al agregar enlaces que conducen a una página, aumenta sus posibilidades de ser indexada antes.

Por ejemplo, si desea que una página antigua se rastree con más frecuencia, agregue un enlace que conduzca a ella, a sus páginas nuevas. Cuando Googlebot visite la nueva página, también volverá a indexar la anterior.

Al agregar el enlace de la página al menú de navegación del sitio web, también lo hace fácilmente accesible para los usuarios y para Googlebot. SEMrush utiliza esta técnica para acelerar el rastreo de sus nuevas publicaciones de blog. Todos los artículos nuevos aparecen en la sección Publicaciones recientes en su página principal y, por lo tanto, son priorizados por Googlebot.

Esta técnica también se puede utilizar para acelerar la indexación de las páginas de nuevos productos en los sitios web de comercio electrónico.

Terminando

Como se dijo anteriormente, la optimización del presupuesto de rastreo es más importante para los sitios más grandes con una estructura ramificada, como los sitios de comercio electrónico. Pero dado que el rastreo adecuado de páginas es la base del SEO y afecta directamente la visibilidad de SERP, es posible que desee revisar sus estadísticas de rastreo y equilibrar el presupuesto de rastreo para acelerar los resultados de sus esfuerzos de SEO.

El kit de herramientas básico para la optimización del presupuesto de rastreo incluye:

• Consola de búsqueda de Google para ver la estimación de su presupuesto de rastreo actual
• Auditores de salud del sitio como OnCrawl para encontrar contenido duplicado, páginas 404, páginas huérfanas, etc.
• Herramientas para verificar la compatibilidad con dispositivos móviles de su sitio, como la Prueba de compatibilidad con dispositivos móviles de Google
• Comprobador de velocidad del sitio como PageSpeed ​​Insights o GTmetrix
• Herramientas para encontrar las páginas con un alto potencial de popularidad, las que ya tienen mucho tráfico (puedes verlas en Google Analytics) o las que tienen una tendencia de visibilidad creciente (se pueden encontrar con la ayuda de AccuRanker).