Crawl, indexation, sitemap : le socle technique

Quatre étapes, à ne pas confondre

Le pipeline d'un moteur se résume en quatre opérations. Chacune peut échouer indépendamment, et chaque échec a un symptôme différent dans les outils de suivi.

Étape	Ce qui se passe	Symptôme d'échec
Découverte	Le robot trouve l'URL grâce à un lien, un sitemap, une déclaration externe.	Page jamais explorée, aucune trace dans les rapports.
Exploration (crawl)	Le robot télécharge la page, ses ressources et suit les liens.	« Explorée, actuellement non indexée », budget de crawl gaspillé.
Indexation	Le contenu est analysé, stocké, associé à des requêtes.	Page connue mais absente des résultats.
Diffusion	La page est choisie comme réponse à une requête.	Indexée mais jamais affichée : problème de pertinence ou de concurrence.

La confusion la plus fréquente consiste à traiter un problème de diffusion comme un problème d'indexation. Réécrire une page déjà indexée ne règle rien si elle perd simplement face à un concurrent plus légitime sur la requête.

robots.txt : un portier, pas un plan

robots.txt indique ce que les robots ne doivent pas explorer. Il ne sert pas à prioriser, ni à accélérer l'indexation. Deux règles suffisent dans l'immense majorité des cas : tout autoriser, et déclarer le sitemap.

User-agent: *
Allow: /

Sitemap: https://exemple.fr/sitemap.xml

Deux pièges fréquents : un Disallow: / laissé en production après une mise en maintenance, et un Disallow sur un dossier contenant des ressources CSS ou JavaScript nécessaires au rendu. Un robot bloqué sur une feuille de style juge la page sans elle.

sitemap.xml : une liste, pas une promesse

Un sitemap aide à la découverte, en particulier pour les pages profondes ou peu liées. Il ne garantit rien : une URL déclarée peut rester non indexée pendant des mois, et c'est normal.

• N'y mettez que des URL canoniques, en 200, indexables.
• Aucune URL en 404, en redirection ou en noindex.
• Une seule variante par page, sans doublon avec et sans slash final.
• Mettez à jour lastmod uniquement quand le contenu change réellement — une date falsifiée finit par être ignorée.
• Au-delà de 50 000 URL, découpez en plusieurs fichiers et déclarez un index.

canonical, noindex, redirections : le trio à maîtriser

Ces trois mécanismes se confondent souvent dans les discussions d'équipe. Ils ne font pas la même chose.

Mécanisme	Effet	Usage correct
Redirection 301	Transfère définitivement l'URL et l'essentiel de sa valeur.	Page déplacée, changement de structure, fusion de contenus.
canonical	Indique l'URL de référence entre plusieurs versions d'un même contenu.	Paramètres de suivi, pagination, versions imprimables.
noindex	Retire la page des résultats sans la supprimer.	Pages de confirmation, résultats de recherche internes, brouillons publics.

Règle de sûreté : une URL qui redirige ne doit pas aussi porter un canonical vers elle-même, et une URL en noindex ne doit pas être dans le sitemap. Ces contradictions font perdre du temps aux robots et brouillent les rapports.

Contenu rendu côté client

Le rendu JavaScript est traité, mais avec un délai et un budget limités. Un site dont le contenu principal n'apparaît qu'après l'exécution de scripts prend du retard sur ses concurrents. Le test est simple : désactivez JavaScript dans le navigateur. Ce que vous voyez est, à peu de chose près, ce que le robot voit en premier.

Performance et expérience : les contrôles utiles

• LCP (affichage du plus grand élément) sous 2,5 s sur mobile.
• INP (réactivité aux interactions) sous 200 ms.
• CLS (stabilité visuelle) sous 0,1.
• Images en WebP ou AVIF, dimensions déclarées, loading="lazy" hors premier écran.
• Polices avec preconnect et display=swap.
• Aucune ressource bloquante inutile dans le head.