¿Qué es el crawl budget?

Crawl budget traducido al español, y dentro del SEO, es el «presupuesto de rastreo» y se refiere al tiempo, frecuencia y forma que dedica Google con sus bots o «crawlers» a rastrear las páginas web de un sitio (lo que llamamos crawling).

¿Para qué sirve el crawl budget?

El crawl budget existe porque Google no tiene recursos infinitos y por eso no rastrea igual todos los sitios ni todas las URLs del mismo sitio, sobre todo en los sitios grandes que tienen miles de URLs y donde Google tendría que consumir más recursos para poder «verlo» completamente.

☝ Por eso es buena idea intentar que tu sitio facilite el rastreo del bot o crawler para que lo encuentre todo o al menos lo más importante, teniendo en cuenta que:

• una aquitectura web clara y bien organizada de tu sitio ayudará y mucho.
• cuanto más autoridad tenga el sitio, más «presupuesto de rastreo» tiene (aquí es clave el SEO off page y más concretamente el link building).
• cuanto más se actualiza el contenido de una URL, más pasará Google por ella a ver qué ha cambiado.
• desde el fichero robots.txt puedes indicar qué URLs no debería rastrear la «araña» de Google.
• etc.

Por ejemplo, miposicionamientoweb.es tiene ya cierta autoridad de cara a Google y por eso el rastreador de Google (el Googlebot) pasa muy a menudo por sus URLs, para ver si ha cambiado algo o si hay alguna página o artículo nuevo.

 

Pero si ahora mismo creo una página web nueva en un dominio nuevo, como por ejemplo loquesea.com, Google pasará muy pocas veces al principio, y por eso es importante tener bien definida la arquitectura y el contenido de una web cuando se le abre las puertas a Google para que la «vea» por primera vez. 😉

 

Usando la herramienta SEMrush para ver la frecuencia con la que Googlebot rastrea mi sitio

Diccionario SEO