Filtrer les spambots
Les serveurs web sont de plus en plus sollicités par des robots indésirables qui parcourent les sites internet qu'ils hébergent. Outre la montée en charge que çela peut représenter pour le serveur, ces robots servent souvent à récupérer des adresses mèl, ou même à voler le contenu du site.
La méthode ici propose de filtrer, grâce au fichier de configuration d'Apache (ou du .htaccess), sur les noms d'agent.
Exemple de configuration Apache
J'ai constaté dans les que statistiques Awstats que les robots suivants dont le nom d'agent contient java et webcapture étaient reconnu par le logiciel comme des robots spammeurs.
La méthode qui en découle est très simple : si le nom d'agent du robot contient java ou spambot, on interdit l'accès au site purement en simplement.
Il faut donc ajouter un ligne de type :
par nom d'agent de robot.
Mise en garde
Il n'existe pas que des robots malsains... si vous souhaitez par exemple que les moteurs de recherche indexent votre site, évitez d'interdit l'accès à Googlebot ou Yahoo! Slurp !
Commentaires 
Ajouter un commentaire
Flux RSS
Merci !
Mr glue