Google anuncia nueva información sobre sus rastreadores web, también conocido como Googlebot. Esta información es valiosa para conocer cómo funciona y qué limites presenta. En este artículo te damos las claves para entenderlo y que tu web sea descubierta, rastreada e indexada.

Qué es Googlebot y cómo rastrea una web

Googlebot es el crawler o robot de rastreo de Google. Su función es recorrer internet siguiendo enlaces para descubrir nuevas páginas y actualizar el contenido que ya conoce.

El proceso funciona de forma simplificada así:

1. Google encuentra una URL (por enlaces, sitemap o páginas ya indexadas).
2. Googlebot visita esa URL.
3. Analiza el contenido y los recursos de la página.
4. Envía esa información a los sistemas de indexación de Google.

Una vez indexada, la página puede aparecer en los resultados de búsqueda si cumple los criterios de relevancia.

Google utiliza distintos tipos de Googlebot, entre ellos:

• Googlebot para smartphones
• Googlebot para ordenadores
• Bots especializados para imágenes, vídeo o anuncios

Desde la implementación del mobile-first indexing, el rastreo principal se realiza con el Googlebot de móvil.

Qué es el presupuesto de rastreo (crawl budget)

Uno de los conceptos clave para entender cómo Google rastrea una web es el crawl budget o presupuesto de rastreo.

El crawl budget es la cantidad de URLs que Googlebot está dispuesto a rastrear en un sitio web durante un periodo determinado.

Este presupuesto depende principalmente de dos factores:

1. Capacidad de rastreo del servidor

Google limita la frecuencia con la que rastrea un sitio para no saturar el servidor.

Si el servidor responde rápido y sin errores, Googlebot puede rastrear más páginas.

Si el servidor es lento o devuelve muchos errores, el rastreo se reduce.

2. Demanda de rastreo

Google prioriza rastrear páginas que considera más importantes o que cambian con frecuencia.

Por ejemplo:

• páginas con tráfico
• páginas actualizadas recientemente
• URLs con muchos enlaces internos o externos

El límite de rastreo en archivos grandes

En promedio, no es frecuente que Googlebot acceda a los sitios más de una vez cada pocos segundos. Sin embargo, si se producen retrasos, es posible que la frecuencia parezca ligeramente superior durante períodos breves. Si tu sitio tiene problemas para soportar las solicitudes de rastreo de Google, puedes reducir la frecuencia de rastreo.

Cuando rastrea contenido para la Búsqueda de Google, Googlebot rastrea los primeros 2 MB de un tipo de archivo compatible y los primeros 64 MB de un archivo PDF. Desde la perspectiva de la renderización, cada recurso al que se hace referencia en el código HTML (como CSS y JavaScript) se recupera por separado, y cada recuperación de recursos está vinculada por el mismo límite de tamaño de archivo que se aplica a otros archivos (excepto los archivos PDF).
Una vez que se alcanza el límite, Googlebot detiene la recuperación y solo envía la parte ya descargada del archivo para que se considere su indexación. 

Cómo optimizar el rastreo de Googlebot

Si quieres que Google descubra e indexe tu web de forma más eficiente, estas son algunas recomendaciones clave.

Mantén una estructura web clara

Cuanto más fácil sea navegar por la web, más fácil será rastrearla.

Usa sitemaps

Un sitemap XML ayuda a Google a encontrar las páginas más importantes.

Mejora el enlazado interno

Los enlaces internos ayudan a distribuir autoridad y facilitan el rastreo.

Reduce páginas innecesarias

Evita indexar:

• filtros
• parámetros
• páginas duplicadas

Mejora el rendimiento del servidor

Un hosting rápido permite que Google rastree más páginas.

¿Necesitas ayuda con el rastreo web? ¡Estamos aquí para mejorar tu posicionamiento SEO!