Monitorizar los bots de Google desde tu WordPress con Analytics

Cuando estás trabajando con un sitio web que empieza a tener cierto tamaño y relevancia a nivel de tráfico orgánico (SEO), resulta vital conocer cómo se comportan en nuestra web los robots de Google (y de Bing y el resto de buscadores también).

Googlebot, las arañas que rastrean nuestro sitio web, son los ojos y el cerebro de los buscadores. Y si no tienen información clara o no entienden la estructura de nuestra web tendremos problemas de indexación, Google se aburrirá de nosotros y…

Como todo esto es importante pero yo no soy un experto en SEO, hoy me pongo a hablar de un proyecto para WordPress de esos que molan: los que nacen de una conversación con gente ? y se ponen en marcha rápido.

Me encantan los proyectos que surgen casi sin querer después de una conversación o un par de e-mails

Estaba hablando el otro día con Rodrigo y Pablo de Buenamanera (grandes SEOs y mejores personas) sobre esta necesidad de monitorizar Googlebot en un proyecto de WordPress en el que habíamos estado colaborando meses atrás.

Me rescataron un post de Lino Uruñuela (otro crack SEO que no necesita casi presentación) en el que contaba cómo hacerlo de manera muy sencilla tirando de Google Analytics y gracias al protocolo de medición.

El post de Lino ya tiene unos años pero la información sigue siendo tremendamente útil. Así que entre unas cosas y otras decidimos implementarlo así pero dándole una vuelta más para simplificarlo: haciendo un plugin para WordPress que permitiera configurar la monitorización de Googlebot de manera cómoda desde el back-end.

Y sí, al final del post te cuento cómo conseguir el plugin si te ha interesado el tema.

[toc]

¿Por qué monitorizar a Googlebot con Analytics?

Aunque desde 2015 han surgido muchas herramientas para analizar logs del servidor y monitorizar el comportamiento de las arañas de Google, creo que Analytics sigue siendo una herramienta muy útil por 3 razones:

1. Coste: Google Analytics sigue siendo gratis y la mayoría de herramientas buenas tienen un coste elevado.
2. Manejo: ya estamos muy acostumbrados al manejo de Analytics, así que no es necesario añadir una nueva curva de aprendizaje a la ecuación.
3. Simplicidad: la implementación de otros sistemas resulta un co**** a veces. Bien porque toca instalar librerías en el servidor o bien porque la configuración y la interfaz no son lo más amigable en algunos casos.

Además, al hacerlo a través del protocolo de medición y mediante un plugin tenemos otras ventajas:

1. Se puede activar/desactivar de manera cómoda desde el panel de WordPress.
2. Es transparente al usuario ya que no se puede ver en el código fuente «público» de la página web.
3. No afecta a la velocidad de carga al no ser necesario incluir el script de seguimiento de Google.

¿Qué comportamientos vamos a monitorizar?

Siguiendo las directrices del artículo original, el plugin notificará a Google Analytics:

• Nombre del Bot
• URL a la que accede
• Fecha de acceso
• País desde donde llega
• Si da un estado http 200, o da error 404
• User Agent que usa

Plugin WordPress para monitorizar los bots de Google y Bing

Requisitos del plugin

Siendo el plugin sencillo, la lista de requisitos para hacerlo funcionar no podía ser muy grande:

1. Leerte el post de Lino y asimilar si realmente necesitas monitorizar Googlebot en tu página web.
2. Tener una nueva cuenta/propiedad de Google Analytics.
3. Descargar, instalar y configurar el plugin.

Cómo configurar el plugin

El plugin se instala y activa como cualquier plugin de WordPress: vamos al menú plugins de nuestro panel, subimos el fichero .zip y lo activamos.

Una vez lo tengamos activado, si nos vamos a Herramientas tendremos una nueva opción llamada Googlebot Monitor. Desde ahí accederemos a la página de configuraciones para poder editar:

• El código de seguimiento de Google Analytics (el típico UA-XXXXXXX)
• Qué quieres mostrar como título de página:
  • El valor configurado como title en YOAST-
  • El título del post/página de WordPress.
• Título por defecto para las páginas 404.
• Expresión regular para los bots que quieras monitorizar: por defecto el plugin incluye la que propone Lino en el post. Pero puedes modificarla o ampliarla para analizar otros bots diferentes. Todo lo que no encaje en ese patrón se ignorará y no se notificará a Google Analytics.

NOTA: recuerda borrar la caché si usas algún plugin tipo WP-Rocket después de haber instalado y configurado el plugin.

Cómo probar el plugin

Si no quieres esperar a que Google pase por tu web para comprobar si está todo correcto, tienes dos opciones:

1. Simular la visita de googlebot con alguna herramienta externa o extensión para el navegador.
2. Forzar desde Google Search Console para que se pase por tu web

Desde la vista en tiempo real de Google Analytics, si todo está correcto, deberíamos ver algo como esto:

Posibles (futuras) mejoras

La versión actual del plugin es bastante simple, aunque hay algunas mejoras que tal vez me anime a implementar:

• Distinguir redirecciones (301 y 302) y cadenas de redirección: ahora mismo solo notifica urls que sean OK (200) o error 404.
• Ampliar el título de página a otros plugins SEO.
• Incluir más sugerencias de expresiones regulares para otros bots.
• Otras mejoras que me pueda sugerir el feedback de los usuarios.

Descarga el plugin gratis

¿Qué te ha parecido la idea? Si te gusta el plugin y quieres probarlo en algún proyecto simplemente déjame un comentario en el post o contacta conmigo (si quieres algo más anónimo?️‍). En cuanto lo lea te mando la respuesta de vuelta con el link de descarga 😉

Más adelante igual pongo la descarga directa o incluso lo intento subir al repositorio oficial de WordPress. Pero de momento me gustaría conocer un poco más quién lo está utilizando y manejar el feedback que pueda darme para posibles mejoras.

?Actualización 2021:

Al final nos quitamos la pereza y decidimos publicar y liberar el plugin en el repositorio.

¡Incluso lo bautizamos de nuevo! Ahora mismo puedes descargar e instalar en tu WordPress la última versión de SEObot Monitor for Googlebot desde aquí.

¡Espero que resulte útil!