Google a récemment mis en garde les propriétaires de sites web contre l’utilisation des codes d’erreur HTTP 403 ou 404 pour limiter la vitesse d’exploration de Googlebot. Bien que ces codes soient couramment utilisés pour signaler une page introuvable ou inaccessible, ils ne devraient pas être utilisés pour contrôler la vitesse d’exploration de Googlebot, selon Google.
Le robot d’indexation de Google, Googlebot, explore les sites web à une vitesse spécifique pour indexer leurs pages. Certains propriétaires de sites web limitent intentionnellement la vitesse d’exploration de Googlebot pour éviter une surcharge de leur serveur. Cependant, Google affirme que l’utilisation des codes d’erreur 403 ou 404 pour cette fin peut entraîner des conséquences néfastes pour le référencement.
En effet, lorsque Googlebot rencontre un code 403 ou 404, il marque la page comme inaccessible et peut réduire la fréquence d’exploration de cette page. Si cela se produit fréquemment, Googlebot peut considérer que le site est peu fiable ou peu pertinent, ce qui peut nuire au référencement global du site.
Au lieu d’utiliser les codes d’erreur pour limiter la vitesse d’exploration de Googlebot, Google recommande aux propriétaires de sites web d’utiliser les directives de limite de taux d’exploration dans le fichier robots.txt. Cette méthode permet de contrôler la vitesse d’exploration de Googlebot sans affecter négativement le référencement du site.
En gros, les propriétaires de sites web doivent être prudents lorsqu’ils tentent de limiter la vitesse d’exploration de Googlebot et éviter d’utiliser les codes d’erreur 403 ou 404 à cette fin.