John Mueller de Google a déclaré qu’il est acceptable de restreindre l’accès de vos sitemaps XML aux seuls moteurs de recherche. Ainsi, vous pouvez techniquement empêcher les humains de voir vos sitemaps XML mais autoriser Google à y accéder.
Cela s’est produit lorsque Christoph Cemper a posé des questions sur certains sites utilisant Cloudflare pour restreindre l’accès à leurs fichiers de plan de site XML. Christoph a demandé « J’ai vu un sitemap xml » protégé « par . Cloudflare. Vous vous demandez si Googlebot saisirait ce Captcha, ou réessayerait plus tard, ou ignorerait simplement la carte. Des expériences/conseils @JohnMu sur un tel cas? »
John a répondu sur Twitter en disant « C’est bien. Ces fichiers de sitemap sont destinés aux moteurs de recherche, et certains sites préfèrent restreindre leur accès en conséquence. »
Voici ces tweets :
<blockquote class= »twitter-tweet »><p lang= »en » dir= »ltr »>Seen an xml sitemap "protected" by .<a href= »https://twitter.com/Cloudflare?ref_src=twsrc%5Etfw »>@Cloudflare</a> <br><br>Wondering if Googlebot would type in that Captcha, or just retry later, or just ignore the map.<br><br>Any experiences/guidance .<a href= »https://twitter.com/JohnMu?ref_src=twsrc%5Etfw »>@JohnMu</a> on such a case? <br><br>Are meta files like sitemaps or robots now also to be protected against scrapers?</p>— Christoph C. Cemper 🇺🇦 🧡 SEO (@cemper) <a href= »https://twitter.com/cemper/status/1533520847541096448?ref_src=twsrc%5Etfw »>June 5, 2022</a></blockquote> <script async src= »https://platform.twitter.com/widgets.js » charset= »utf-8″></script>
<blockquote class= »twitter-tweet »><p lang= »en » dir= »ltr »>Thank you John. <br><br>For context, this came up in debugging of <a href= »https://twitter.com/URLinspector?ref_src=twsrc%5Etfw »>@URLinspector</a> where we use the Sitemaps for discovery of the site structure as well.<br><br>Not search engines, but crawling tools then need to be whitelisted as well by firewalls, I'm guessing same for Screaming Frog etc…</p>— Christoph C. Cemper 🇺🇦 🧡 SEO (@cemper) <a href= »https://twitter.com/cemper/status/1534499573380567041?ref_src=twsrc%5Etfw »>June 8, 2022</a></blockquote> <script async src= »https://platform.twitter.com/widgets.js » charset= »utf-8″></script>