Testez et validez votre robots.txt avec cet outil de test.
Vérifiez si une URL est bloquée, quelle instruction la bloque et pour quel agent utilisateur. Vous pouvez également vérifier si les ressources de la page (CSS, JavaScript, images) sont interdites.
https://technicalseo.com/tools/robots-txt/