Answer Engine Optimisation Le forum francophone des moteurs de reponse

Se connecter Creer un compte

Acces, agents et robots.txt

Crawl-delay : est-ce que ca sert encore ?

3 messages · 1 129 vues

herve_industrie Membre 6 messages inscrit en 2021 Le Mans

#1

Vu dans un vieux tutoriel. Toujours valable ?

lemarcheur Moderateur 47 messages inscrit en 2019 Lyon

#2

Googlebot ne l’a jamais respecte et le dit ouvertement — la vitesse se regle dans Search Console. Bingbot le respecte. Plusieurs agents d’IA aussi, sans s’engager.

Donc : inutile pour Google, utile ailleurs, jamais nuisible. Deux lignes, on les garde.

serveur_froid Habitue 25 messages inscrit en 2025 Marseille

#3

Sur un mutualise, ces deux lignes m’ont deja evite un 503 un dimanche soir.

Haut de page