Por qué otro tester de robots.txt
Google retiró el tester de robots.txt de Search Console en 2023. Casi todos los que quedan reescriben las reglas a su
manera, y fallan justo en los casos raros: la regla más larga contra la que permite, un user-agent: Google
que no se aplica a Googlebot, una errata como disalow que Google sí acepta o una URL con acentos.
Este usa la librería que Google publicó en github.com/google/robotstxt, la que lee los robots.txt en producción, compilada a WebAssembly. El informe de líneas sale de su librería de reporting, la que alimenta el informe de robots.txt de Search Console.
Cómo probar un cambio antes de subirlo
Carga el robots.txt de tu web, edita las reglas en el cuadro y pon las URLs que te preocupan: las que quieres bloquear y, sobre todo, las que no. Prueba con Googlebot y con los bots de IA a la vez para ver si una regla pensada para GPTBot afecta a algo más.
Para ver si además el servidor o el firewall dejan pasar a cada bot, usa el comprobador de acceso de bots.