C’est quoi un fichier robots.txt et comment en créer un pour votre site ?

Chaque fois qu’un moteur de recherche visite votre site, il commence presque toujours par lire le même petit fichier : le fichier robots.txt. Ce document texte, discret mais stratégique, indique aux robots quelles pages ils peuvent explorer et lesquelles ils doivent ignorer. Bien configuré, il aide Google à se concentrer sur vos contenus importants ; mal réglé, il peut faire disparaître tout un site des résultats de recherche.

Comprendre le robots.txt est donc une compétence de base pour quiconque s’intéresse au référencement. Bonne nouvelle : sa logique est simple et sa création à la portée de tous, à condition de connaître quelques règles et de ne pas commettre les erreurs classiques.

Voici tout ce qu’il faut savoir pour créer, comprendre et tester votre propre fichier robots.txt.

Points clés de cet article

• Le fichier robots.txt indique aux moteurs de recherche quelles pages explorer ou non.
• Il se place à la racine du site, à l’adresse votresite.com/robots.txt.
• Ses directives principales sont User-agent, Disallow, Allow et Sitemap.
• Il contrôle l’exploration, pas l’indexation : une page bloquée peut rester dans les résultats de Google.
• Il se vérifie dans la Google Search Console avant toute mise en ligne.

C’est quoi un fichier robots.txt ?

Le fichier robots.txt est un simple fichier au format texte, placé à la racine d’un site web. Il applique ce que l’on appelle le protocole d’exclusion des robots : un standard que la plupart des moteurs de recherche respectent. Quand un robot comme Googlebot arrive sur votre domaine, il consulte ce fichier avant d’explorer la moindre page, pour savoir ce qu’il est autorisé à parcourir.

Définition : robots.txt

Un fichier robots.txt est un document texte qui liste des règles d’exploration destinées aux robots des moteurs de recherche. Il indique, pour chaque user agent, les chemins d’URL autorisés ou interdits. C’est un pilier de l’optimisation technique on-site, au même titre que le sitemap ou la structure des URL.

À quoi sert le fichier robots.txt en SEO ?

Son rôle premier est de gérer le trafic des robots sur votre site pour éviter de le surcharger et orienter l’exploration vers vos pages utiles. Concrètement, il permet d’écarter du crawl les zones sans intérêt pour la recherche : back-office, pages de compte, résultats de recherche interne ou contenus dupliqués. Vous préservez ainsi votre budget d’exploration pour les pages qui comptent vraiment.

Attention toutefois à une confusion fréquente : le robots.txt contrôle l’exploration, pas l’indexation. Une page bloquée peut malgré tout apparaître dans Google si d’autres sites pointent vers elle. Pour empêcher réellement l’indexation, il faut utiliser une balise noindex sur une page restée accessible, et non la bloquer dans le robots.txt.

Le fichier sert aussi de plus en plus à encadrer les nouveaux robots d’intelligence artificielle, comme GPTBot ou les robots de Perplexity et Claude. Piloter ces accès fait désormais partie d’une stratégie de référencement à l’ère de l’IA.

Comment fonctionne un fichier robots.txt ? La syntaxe

Un fichier robots.txt se compose de blocs de règles. Chaque bloc commence par un user agent, suivi des chemins autorisés ou interdits. Voici les directives essentielles.

La directive User-agent

La ligne User-agent désigne le robot concerné par les règles qui suivent. Un astérisque cible tous les robots, tandis qu’un nom précis, comme Googlebot, ne s’applique qu’à lui. Chaque robot ne lit que le bloc le plus spécifique qui le concerne.

User-agent: *
User-agent: Googlebot

Les directives Disallow et Allow

La directive Disallow interdit l’exploration d’un chemin, alors que Allow autorise une exception à l’intérieur d’une zone bloquée. Les chemins sont sensibles à la casse, et la règle la plus précise l’emporte.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

La directive Sitemap

La ligne Sitemap indique aux moteurs l’emplacement de votre plan de site XML. Ce n’est pas une règle d’exploration, mais une aide précieuse à la découverte de vos URL.

Sitemap: https://votresite.com/sitemap.xml

Les directives du robots.txt en un coup d’oeil

Comment créer un fichier robots.txt pour votre site ?

Créer un robots.txt ne demande aucun outil complexe. Voici la marche à suivre.

• Créez un fichier texte : ouvrez un éditeur simple et enregistrez un document nommé exactement robots.txt, encodé en UTF-8.
• Rédigez vos règles : définissez les user agents concernés, puis les directives Disallow et Allow selon les zones à protéger.
• Ajoutez votre sitemap : indiquez l’URL complète de votre plan de site pour faciliter la découverte de vos pages.
• Placez le fichier à la racine : déposez-le pour qu’il soit accessible à l’adresse votresite.com/robots.txt.
• Vérifiez le résultat : testez le fichier dans la Google Search Console avant de considérer le travail terminé.

Voici un exemple de fichier robots.txt complet et fonctionnel pour un site classique :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /panier/
Disallow: /recherche/

Sitemap: https://votresite.com/sitemap.xml

Les erreurs à éviter avec le fichier robots.txt

Une seule ligne mal placée peut avoir de lourdes conséquences. Ces pièges reviennent souvent dans nos audits.

• Bloquer tout le site : une directive Disallow: / interdit l’exploration de l’ensemble des pages web, souvent par accident après une refonte.
• Confondre exploration et indexation : bloquer une URL n’empêche pas son indexation ; pire, Google ne verra jamais votre balise noindex si la page est bloquée.
• Utiliser Noindex dans le robots.txt : cette directive n’est plus prise en charge par Google depuis 2019 et n’a aucun effet.
• Bloquer le CSS et le JavaScript : ces fichiers sont nécessaires au rendu des pages ; les interdire nuit à la compréhension du site par Google.
• Négliger la casse : Disallow: /Admin/ ne bloque pas /admin/, car les chemins sont sensibles à la casse.
• Croire à un outil de confidentialité : le robots.txt est public ; pour protéger un contenu sensible, il faut une vraie authentification. Un audit SEO permet de repérer ces réglages à risque.

Comment tester son fichier robots.txt ?

Avant et après chaque modification, vérifiez votre fichier dans la Google Search Console. Le rapport robots.txt vous montre la version que Google a récupérée, sa date de lecture et les éventuelles erreurs de syntaxe. L’outil d’inspection d’URL complète l’analyse en indiquant, pour une adresse donnée, si elle est bloquée et par quelle règle. Cette double vérification évite d’attribuer au robots.txt un problème qui viendrait en réalité d’une redirection ou d’une erreur serveur.

Doko, votre partenaire pour un référencement technique maîtrisé

Doko est une agence lyonnaise de webmarketing à taille humaine, installée à La Mulatière. Google Partner Premier, nous accompagnons les entreprises sur l’ensemble de leur référencement naturel, du contenu à la technique. Un robots.txt bien pensé fait partie des fondations que nous vérifions systématiquement.

Fichier robots.txt, sitemap, balises, indexation, budget de crawl : ces réglages invisibles conditionnent la visibilité de votre site. Nous travaillons sur des données réelles, nous documentons chaque intervention et nous mesurons son impact. Vous avez un doute sur la configuration de votre site ? Demandez un devis.

FAQ : le fichier robots.txt

Où placer le fichier robots.txt ?

À la racine de votre domaine, pour qu’il soit accessible à l’adresse votresite.com/robots.txt. Placé ailleurs, il ne sera pas pris en compte par les moteurs de recherche.

Le fichier robots.txt est-il obligatoire ?

Non. En son absence, les robots considèrent qu’ils peuvent tout explorer. Il devient utile dès que vous souhaitez orienter le crawl ou écarter certaines zones techniques.

Le robots.txt empêche-t-il l’indexation d’une page ?

Non. Il empêche l’exploration, pas l’indexation. Une page bloquée peut apparaître dans Google si elle est liée ailleurs. Pour l’exclure vraiment, utilisez une balise noindex sur une page restée accessible.

Comment bloquer un robot précis comme Googlebot ?

Créez un bloc dédié commençant par User-agent: Googlebot, suivi des directives Disallow voulues. Chaque robot ne suit que le bloc le plus spécifique qui le concerne.

Comment savoir si mon robots.txt fonctionne ?

Consultez le rapport robots.txt et l’outil d’inspection d’URL dans la Google Search Console. Ils indiquent la version lue par Google et si une URL donnée est bloquée.