Réponse : ça depend J
C'est une question qui divise, et chaque SEO a son avis sur la question, chacun a fait ses tests etc. et en a tiré ses propres conclusions. Globalement le sitemap XML est plutôt décrié. Petit rappel déjà sur ce qu'est le sitemap, avec l'article de SEMRUSH qui est plutôt complet sur le sujet et intéressant.
Avant de commencer, un site n'a pas forcément besoin de sitemap pour aider à l'indexation. Pour indexer un contenu, il suffit de faire du Onsite et bien travailler son maillage interne. Un lien présent en homepage en général cela aide particulièrement. Je vous conseille d'aller voir tout en bas de l'article si vous êtes pressés pour découvrir quel est le vrai intérêt d'un sitemap ;)
Le sitemap XML
À l'inverse de ce que je dis au-dessus, il était parfois utile de forcer un peu le destin et d'aider Google. Il m'est arrivé à plusieurs reprises de débloquer la situation en ajoutant les nouveaux contenus au sitemap qui étaient malheureusement ignorés par le robot jusque-là.
Il m'est également arrivé de soumettre un nouveau site sans sitemap à la Search Console. Pendant près d'un mois, le crawler a purement et simplement ignoré mon nouveau site. AUCUN PASSAGE. Après avoir généré et publié le sitemap dans la search console, Google a crawlé les 3/4 du site 1 heure seulement après. D'autres que moi ont vu l'effet inverse en... supprimant le sitemap !
Après avoir déployé mon outil de visualisation, je me suis rendu compte qu'en général, les nouvelles pages qui ne s'indexaient pas étaient à l'intérieur de cocons eux-mêmes non indexés ou peu pris en compte par Google. Je peux mailler autant que je veux mon nouveau contenu, il ne sera pas détecté puisque les pages qui lui donnent du jus ne sont-elles mêmes que peu ou pas crawlées. Dans ces cas-là, oui le sitemap finit par être utile et Googlebot se rend en général sur la page. À l'inverse, je n'ai aucun souci d'indexation des nouvelles pages dans des cocons qui fonctionnent bien.
J'ai fait un autre test, pour essayer d'aider davantage Google en ajoutant les dates de mises à jour (2021-01-04) de chaque page du site, dans l'optique d'inciter le moteur à venir sur la page qui a subi un changement de contenu. J'avais tenté cela pour une page qui n'était pas qualitative et qui était exclue de l'index. Cela n'a strictement eu aucun effet. J'ai fait d'autres tests avec des pages indexées : même constat, GoogleBot se contrefiche de la précision des dates lastmod.
En conclusion, le sitemap XML n'aide pas à l'indexation, mais peut débloquer certaines situations. Quelle que soit la taille du site internet, je conseille d'avoir un sitemap à jour, à partir du moment où on peut l'automatiser bien évidemment. Ça ne coûte rien à part 10 min pour les soumettre dans les Webmaster Tools de Bing et la Search Console, et cela peut les aider. La réponse pour bien indexer son contenu, il faut un maillage interne fort et cohérent : "Qui est en lien avec quoi, et pourquoi" !
Le sitemap HTML
C'est Laurent Bourrelly himself qui préconise de passer par le sitemap HTML plutôt que XML. J'imagine qu'il a ses raisons et qu'elles sont valables et validées. J'ai fait très peu de tests et j'avoue ne pas être fan du sitemap HTML. Par principe, on ne publie pas tous les liens, mais uniquement les grandes catégories et sous catégories. Une sorte de table des matières.
Le sitemap HTML que j'ai mis en place ne dispose que d'un seul lien dans le footer de la homepage. J'ai toujours fait comme ça. D'un point de vue du "surfeur raisonnable", ça n'a finalement pas de sens, mais je suis certain que cela ne changerait rien de le mettre en footer dans toutes les pages du site. En tout cas, ce sont les conclusions que j'en tire dans mon article Comment Googlebot crawle votre site internet : les liens en footer sont très peu crawlées. Ce qui est important si on veut vraiment aider Google à mieux comprendre le site, c'est de bien utiliser les catégories et sous catégories.
- Ma catégorie 1
- Ma sous catégorie 1
- Ma sous catégorie 2
- Ma sous catégorie 3...
- Ma catégorie 2
- Ma catégorie 3
- Ma sous catégorie 1
- Ma sous catégorie 2
- Ma catégorie 4
- ....
Le plan-du-site au format HTML est censé aider l'internaute à comprendre l'arborescence de votre site. Google en tient-il compte ? Aucune idée. J'aurai davantage tendance à travailler le fil d'Ariane pour aider Google à la compréhension de l'arborescence du site. En tout cas, pour indexer un nouveau contenu rapidement ça ne fonctionne pas forcément, puisque Googlebot crawle très peu souvent cette page (voir mon article : comment Google crawle votre site internet).
Quel autre intérêt pour le sitemap XML ?
C'est une fonctionnalité très importante selon moi de la search console, c'est de pouvoir séparer les urls envoyées ou non par un sitemap. Si vous êtes capables de fournir un sitemap complet à la search console, vous allez pouvoir visualiser quelles sont les urls qui s'indexent hors de votre champ de vision.
Tous les CMS ont tendance à créer des pages supplémentaires WordPress, Drupal etc. Même en créant son propre outil, on peut avoir des pages qui s'indexent suite à un problème technique. Du duplicate en veux-tu en voilà, une navigation à facette mal gérée, un gestionnaire de page mal défini. C'est vraiment intéressant de surveiller ce qui s'indexe sur votre site hors du périmètre défini. Il y a toujours des surprises. Sur des petits sites bien maitrisés, le nombre d'urls est faible. Sur des sites plus volumineux, le nombre de pages peut être + conséquent.
Sur ce second screen par exemple, j'ai 116 pages qui se sont indexées hors de mon périmètre. En général ce sont des oublis de ma part. Ici : une navigation à facette mal gérée et un peu trop permissive. Cela se corrigera avec des canonical et des no-index no-follow. En tout cas cette fonctionnalité est très pratique pour avoir le site le + propre possible.
En conclusion
Les sitemap xml et html peuvent débloquer des situations, mais ne doivent pas être votre outil numéro 1 pour indexer votre site. Google a parfois des petits bugs d'indexation, il ne faut pas hésiter à "jouer" avec le sitemap : suppression, ajout, modification. Mais n'y apportez pas trop d'importance. Enfin, la fonctionnalité permettant de savoir quelles urls s'indexent HORS des pages que vous avez défini apporte une vraie plus-value et peut vous aider à améliorer la technique de votre site en surveillant tout ce qui est en erreur ou hors périmètre.