robots.txt, généralement s’ils s’identifient, ils obéissent à ce fichierhttps://developers.google.com/search/do ... ntro?hl=fr
Il est également important d’ajouter les robots qui s’identifient à la liste des robots. Ils peuvent être très agressifs même si c’est un robot légitime créant beaucoup de sessions en double. Si vous avez un nombre excessif de personnes « en ligne », vérifiez la liste des invités pour voir s’il y a un invité avec un agent utilisateur d’identification.
Vous pouvez également créer un groupe "Mauvais Robots", les ajouter à ce groupe et utiliser l’autorisation "jamais" pour ce groupe. Tout robot dans ce groupe doit déjà être ajouté au fichier
robots.txt. S’ils désobéissent au fichier, ils obtiennent une erreur 403 et cela réduit la charge du serveur car le script va rapidement quitter.