Monitorizar los bots de Google desde tu WordPress con Analytics

googlebot-monitor-plugin

Cuando est√°s trabajando con un sitio web que empieza a tener cierto tama√Īo y relevancia a nivel de tr√°fico org√°nico (SEO),¬†resulta vital conocer c√≥mo se comportan en nuestra web los robots de Google (y de Bing y el resto de buscadores tambi√©n).

Googlebot, las ara√Īas que rastrean nuestro sitio web, son los ojos y el cerebro de los buscadores. Y si no tienen informaci√≥n clara o no entienden la estructura de nuestra web tendremos problemas de indexaci√≥n, Google se aburrir√° de nosotros y…


Como todo esto es importante pero yo no soy un experto en SEO, hoy me pongo a hablar de un proyecto para WordPress de esos que molan: los que nacen de una conversaci√≥n con gente ūüĒĚ y se ponen en marcha r√°pido.

Me encantan los proyectos que surgen casi sin querer después de una conversación o un par de e-mails

Estaba hablando el otro día con Rodrigo y Pablo de Buenamanera (grandes SEOs y mejores personas) sobre esta necesidad de monitorizar Googlebot en un proyecto de WordPress en el que habíamos estado colaborando meses atrás.

Me rescataron un post de Lino Uru√Īuela (otro crack SEO que no necesita casi presentaci√≥n) en el que contaba c√≥mo hacerlo de manera muy sencilla tirando de Google Analytics y gracias al protocolo de medici√≥n.

El post de Lino ya tiene unos a√Īos pero la informaci√≥n sigue siendo tremendamente √ļtil. As√≠ que entre unas cosas y otras decidimos implementarlo as√≠ pero d√°ndole una vuelta m√°s para simplificarlo: haciendo un plugin para WordPress que permitiera configurar la monitorizaci√≥n de Googlebot de manera c√≥moda desde el back-end.

Y sí, al final del post te cuento cómo conseguir el plugin si te ha interesado el tema.

¬ŅPor qu√© monitorizar a Googlebot con Analytics?

Aunque desde 2015 han surgido muchas herramientas para analizar logs del servidor y monitorizar el comportamiento de las ara√Īas de Google, creo que Analytics sigue siendo una herramienta muy √ļtil por 3 razones:

  1. Coste: Google Analytics sigue siendo gratis y la mayoría de herramientas buenas tienen un coste elevado.
  2. Manejo: ya estamos muy acostumbrados al manejo de Analytics, as√≠ que no es necesario a√Īadir una nueva curva de aprendizaje a la ecuaci√≥n.
  3. Simplicidad: la implementación de otros sistemas resulta un co**** a veces. Bien porque toca instalar librerías en el servidor o bien porque la configuración y la interfaz no son lo más amigable en algunos casos.

Además, al hacerlo a través del protocolo de medición y mediante un plugin tenemos otras ventajas:

  1. Se puede activar/desactivar de manera cómoda desde el panel de WordPress.
  2. Es transparente al usuario ya que no se puede ver en el c√≥digo fuente ¬ęp√ļblico¬Ľ de la p√°gina web.
  3. No afecta a la velocidad de carga al no ser necesario incluir el script de seguimiento de Google.

¬ŅQu√© comportamientos vamos a monitorizar?

Siguiendo las directrices del artículo original, el plugin notificará a Google Analytics:

  • Nombre del Bot
  • URL a la que accede
  • Fecha de acceso
  • Pa√≠s desde donde llega
  • Si da un estado http 200, o da error 404
  • User Agent que usa

Plugin WordPress para monitorizar los bots de Google y Bing

Requisitos del plugin

Siendo el plugin sencillo, la lista de requisitos para hacerlo funcionar no podía ser muy grande:

  1. Leerte el post de Lino y asimilar si realmente necesitas monitorizar Googlebot en tu p√°gina web.
  2. Tener una nueva cuenta/propiedad de Google Analytics.
  3. Descargar, instalar y configurar el plugin.

Cómo configurar el plugin

El plugin se instala y activa como cualquier plugin de WordPress: vamos al men√ļ plugins de nuestro panel, subimos el fichero .zip y lo activamos.

Una vez lo tengamos activado, si nos vamos a Herramientas tendremos una nueva opción llamada Googlebot Monitor. Desde ahí accederemos a la página de configuraciones para poder editar:

  • El c√≥digo de seguimiento de Google Analytics (el t√≠pico UA-XXXXXXX)
  • Qu√© quieres mostrar como t√≠tulo de p√°gina:
    • El valor configurado como title en YOAST-
    • El t√≠tulo del post/p√°gina de WordPress.
  • T√≠tulo por defecto para las p√°ginas 404.
  • Expresi√≥n regular para los bots que quieras monitorizar: por defecto el plugin incluye la que propone Lino en el post. Pero puedes modificarla o ampliarla para analizar otros bots diferentes. Todo lo que no encaje en ese patr√≥n se ignorar√° y no se notificar√° a Google Analytics.
plugin-wordpress-googlebot-monitor
Pantalla de configuración del plugin

NOTA: recuerda borrar la cach√© si usas alg√ļn plugin tipo WP-Rocket despu√©s de haber instalado y configurado el plugin.

Cómo probar el plugin

Si no quieres esperar a que Google pase por tu web para comprobar si est√° todo correcto, tienes dos opciones:

  1. Simular la visita de googlebot con alguna herramienta externa o extensión para el navegador.
  2. Forzar desde Google Search Console para que se pase por tu web

Desde la vista en tiempo real de Google Analytics, si todo está correcto, deberíamos ver algo como esto:

Googlebot-Google-Analytics
Vista de googlebot en Analytics

Posibles (futuras) mejoras

La versión actual del plugin es bastante simple, aunque hay algunas mejoras que tal vez me anime a implementar:

  • Distinguir redirecciones (301 y 302) y cadenas de redirecci√≥n: ahora mismo solo notifica urls que sean OK (200) o error 404.
  • Ampliar el t√≠tulo de p√°gina a otros plugins SEO.
  • Incluir m√°s sugerencias de expresiones regulares para otros bots.
  • Otras mejoras que me pueda sugerir el feedback de los usuarios.

Descarga el plugin gratis

¬ŅQu√© te ha parecido la idea? Si te gusta el plugin y quieres probarlo en alg√ļn proyecto simplemente d√©jame un comentario en el post o contacta conmigo (si quieres algo m√°s an√≥nimoūüēĶÔłŹ‚Äć‚ôÄÔłŹ). En cuanto lo lea te mando la respuesta de vuelta con el link de descarga ūüėČ

Más adelante igual pongo la descarga directa o incluso lo intento subir al repositorio oficial de WordPress. Pero de momento me gustaría conocer un poco más quién lo está utilizando y manejar el feedback que pueda darme para posibles mejoras.

¬°Espero que resulte √ļtil!

Share on twitter
Share on facebook
Share on linkedin

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Acepto la política de privacidad *

  • Responsable de los datos: el que te escribe, Santiago Alonso.
  • Finalidad del tratamiento: poder responder tus dudas y comentarios.
  • Legitimaci√≥n: tu consentimiento marcando la casilla superior ;)
  • Almacenamiento de los datos: en mi proveedor de hosting SiteGround S.L. dentro de la Uni√≥n Europea.
  • Derechos: acceder, rectificar y suprimir tus datos, as√≠ como otros derechos, como se explica en la informaci√≥n adicional.