SEO technique

Générateur de robots.txt — créez un robots.txt valide en quelques secondes

Choisissez un préréglage ou personnalisez vos propres règles, sélectionnez les robots d’IA à bloquer et copiez un fichier robots.txt prêt à être téléversé.

Les préréglages remplissent les champs ci-dessous — vous pouvez encore tout modifier avant de générer.
État
0 rules
 
0
Lignes de directive
0
Blocs user-agent
0
Robots d’IA bloqués
0
Lignes Sitemap
Conseil : téléversez le fichier généré à la racine de votre domaine sous le nom /robots.txt — il ne fonctionnera depuis aucun sous-dossier.

Un générateur de robots.txt élimine les approximations autour de l’un des fichiers les plus anciens et les plus mal compris du web. Cet outil gratuit crée en quelques secondes un robots.txt à la syntaxe correcte — choisissez un préréglage pour WordPress, pour l’e-commerce ou un jeu de règles entièrement personnalisé, décidez si vous bloquez la nouvelle vague de robots d’IA, puis copiez le résultat directement dans le répertoire racine de votre site.

Les mêmes quelques erreurs causent la plupart des problèmes de robots.txt : bloquer les fichiers CSS et JS dont Google a besoin pour afficher la page, utiliser robots.txt pour tenter de « cacher » une page déjà indexée, et laisser un Disallow: / de préproduction sur un site en ligne. Cette page explique chacun de ces pièges pour que vous puissiez vérifier votre résultat avant de le téléverser.

Ce que fait ce générateur de robots.txt

L’outil crée un fichier robots.txt en texte brut composé d’un ou plusieurs blocs User-agent, chacun suivi de directives Allow et Disallow, d’un Crawl-delay facultatif et d’une ligne Sitemap qui indique aux moteurs de recherche votre sitemap XML. Choisissez un préréglage pour remplir automatiquement des valeurs par défaut sensées, cochez des cases pour ajouter des règles de blocage pour des robots d’IA précis, et le générateur assemble le tout en un fichier propre et conforme aux normes que vous copiez d’un clic.

Chaque règle que vous ajoutez est visible avant que vous ne copiiez quoi que ce soit : rien n’est caché ni injecté automatiquement. Ce que vous voyez dans la zone de résultat est exactement ce qui sera téléversé sur votre serveur.

Comment l’utiliser

  1. Choisissez un préréglage. « Autoriser tous les robots » est le choix par défaut le plus sûr pour la plupart des petits sites. « WordPress standard » bloque les chemins d’administration et de recherche tout en laissant explorables les dossiers de contenu, du cœur et des extensions (CSS/JS compris). « E-commerce standard » ajoute les chemins du panier, du paiement et du compte.
  2. Ajustez le user-agent et les chemins. Laissez User-agent: * pour cibler tous les robots, ou indiquez un seul robot si vous avez besoin d’une règle particulière.
  3. Ajoutez l’URL de votre sitemap. Cette seule ligne aide tous les moteurs de recherche à trouver votre sitemap sans que vous ayez à le soumettre manuellement partout.
  4. Décidez pour les robots d’IA. Cochez les cases des robots d’IA que vous souhaitez écarter de votre pipeline de données d’entraînement.
  5. Générez et copiez. Cliquez sur Générer, vérifiez le résultat, puis copiez-le dans un fichier nommé exactement robots.txt à la racine de votre domaine.

Comment fonctionne réellement le robots.txt

Le robots.txt suit le protocole d’exclusion des robots, une norme volontaire que les robots respectueux consultent avant de demander n’importe quelle page de votre domaine. Le fichier se trouve à l’adresse https://yourdomain.com/robots.txt — et nulle part ailleurs — et chaque robot de moteur de recherche le lit en premier, compare son propre nom de user-agent à vos règles, puis détermine quels chemins il a le droit de demander. Google, Bing et les autres grands moteurs respectent scrupuleusement ce protocole, comme le documente robotstxt.org, le site de la spécification d’origine.

Exploration ou indexation — l’erreur qui casse des sites

C’est la chose la plus importante à comprendre avant de toucher au robots.txt : le robots.txt contrôle l’exploration, pas l’indexation. Ce sont deux processus différents, et les confondre cause de vrais dégâts. L’exploration, c’est le robot de Google qui demande une page et lit son contenu. L’indexation, c’est Google qui décide de stocker cette page et de l’afficher dans les résultats de recherche. Interdire une URL dans le robots.txt n’empêche que l’exploration — cela ne garantit pas que la page reste hors des résultats de recherche.

Voici le piège : si d’autres sites pointent vers une page que vous avez interdite, Google peut quand même indexer l’URL à partir de ce signal externe et l’afficher dans les résultats sans titre ni description, avec le simple lien — souvent pire pour votre marque que si vous l’aviez laissée entièrement explorable. Pire encore, une fois la page interdite, le robot de Google ne peut plus jamais la récupérer, ce qui signifie qu’il ne peut jamais lire une balise meta noindex sur cette page non plus. Une page bloquée dans le robots.txt est invisible pour le mécanisme même qui permettrait de la retirer correctement de l’index.

La bonne solution à « je ne veux pas de cette page dans les résultats de recherche » est presque toujours une balise <meta name="robots" content="noindex"> sur la page elle-même, laissée entièrement explorable pour que Google puisse voir et respecter cette instruction. Réservez les règles Disallow du robots.txt aux pages que vous ne voulez pas du tout voir explorées — résultats de recherche interne, URL filtrées ou à facettes qui créent une infinité de combinaisons en double, environnements de préproduction ou zones d’administration — et non aux pages que vous cherchez à retirer de la recherche.

La question des robots d’IA que tout éditeur se pose désormais

Depuis 2023, une nouvelle catégorie de robots est apparue dans les journaux de serveur : des robots qui n’indexent pas votre page pour la recherche, mais en extraient le contenu pour entraîner ou alimenter de grands modèles de langage. GPTBot (OpenAI), CCBot (le robot derrière le jeu de données Common Crawl utilisé par de nombreux laboratoires d’IA), Google-Extended (un jeton robots.txt, distinct de Googlebot, qui contrôle si le contenu exploré par Google sert à entraîner et alimenter Gemini ; Google indique qu’il n’affecte pas l’inclusion dans Google Search), ClaudeBot (Anthropic) et PerplexityBot (Perplexity AI) sont ceux dont les propriétaires de sites parlent le plus.

Il y a ici un vrai compromis, pas une réponse évidente. Bloquer ces robots demande à leurs opérateurs de tenir votre contenu hors de leurs jeux d’entraînement d’IA (le respect est volontaire, et un blocage ne supprime pas ce qui a déjà été collecté) — ce que certains éditeurs souhaitent, surtout si les réponses générées par l’IA satisfont les recherches sans envoyer de clic vers la page d’origine.

Mais les bloquer signifie aussi que votre marque, vos données et votre expertise n’apparaîtront pas lorsque quelqu’un posera à un assistant d’IA une question à laquelle votre contenu aurait pu répondre. Pour une entreprise qui repose sur sa visibilité — c’est le cas de la plupart —, ce compromis mérite une décision réfléchie, pas un réglage par défaut. Ce générateur fait de chaque robot d’IA une case à cocher individuelle précisément pour que vous choisissiez en connaissance de cause plutôt que de copier-coller une liste de blocage générique trouvée en ligne.

Les directives courantes du robots.txt expliquées

  • User-agent — indique à quel robot s’appliquent les règles qui suivent. * correspond à tous les robots qui n’ont pas de bloc plus spécifique.
  • Disallow — demande au robot indiqué de ne pas requêter les URL correspondant à ce chemin. Une valeur vide signifie que rien n’est bloqué.
  • Allow — crée une exception à l’intérieur d’un chemin interdit, le plus souvent pour laisser passer un fichier précis (comme une ressource CSS ou JS) alors que son dossier parent est bloqué.
  • Crawl-delay — demande à un robot d’attendre un certain nombre de secondes entre deux requêtes. Google ne le prend pas en charge (sa documentation robots.txt ne mentionne que user-agent, allow, disallow et sitemap) ; certains autres robots le lisent, mais la prise en charge varie selon le robot. Utilisez-le avec parcimonie — un long délai peut ralentir la découverte de nouveaux contenus par un robot qui le respecte.
  • Sitemap — une URL absolue pointant vers votre sitemap XML. C’est la seule directive que chaque moteur de recherche lit quel que soit le bloc User-agent sous lequel elle se trouve.

Ce qu’il ne faut PAS mettre dans le robots.txt

Le robots.txt est un fichier public. N’importe qui — un concurrent, un chercheur en sécurité, un visiteur curieux — peut consulter yourdomain.com/robots.txt et lire chaque chemin que vous avez listé. N’utilisez jamais une règle Disallow pour tenter de « cacher » un panneau d’administration, un sous-répertoire de préproduction contenant des données sensibles ou une page de produit non lancé. Lister le chemin dans le robots.txt attire souvent plus l’attention dessus que de ne pas le lister, puisque cela publie la structure exacte de l’URL à quiconque la consulte. Si quelque chose doit vraiment rester privé, protégez-le par une authentification ou une règle de pare-feu, pas par un fichier texte qui demande poliment aux robots respectueux de détourner le regard — car tous les robots ne sont pas respectueux, et le robots.txt est purement volontaire.

Vous voulez que toute votre base de SEO technique soit prise en charge, et pas un seul fichier ?

Le robots.txt n’est qu’une petite pièce d’un ensemble plus vaste d’exploration et d’indexation. Les services SEO d’Arb Digital couvrent les audits techniques, l’indexation et l’architecture du site.

Découvrir nos services SEO Tous les outils gratuits

Erreurs courantes à éviter

  • Bloquer les dossiers CSS/JS. Google affiche les pages comme un navigateur ; bloquer les répertoires de feuilles de style ou de scripts peut lui faire voir une page cassée et sans mise en forme, et mal juger sa qualité.
  • Utiliser Disallow pour retirer des pages indexées. Cela ne fonctionne pas de façon fiable et peut se retourner contre vous — utilisez plutôt des balises noindex sur une page explorable.
  • Oublier la ligne du sitemap. Elle ne coûte qu’une ligne et aide tous les robots à trouver votre sitemap sans soumission manuelle.
  • Fautes de frappe dans le nom ou l’emplacement du fichier. Il doit s’appeler exactement robots.txt, en minuscules, à la racine du domaine — pas dans un sous-dossier, pas Robots.TXT.
  • Tout bloquer par accident sur un site en ligne. Un Disallow: / oublié d’un environnement de préproduction est l’une des causes les plus fréquentes de disparition soudaine d’un site des résultats de recherche.
  • Croire que le robots.txt garde une page hors des résultats de recherche. Il ne bloque que l’exploration — voir la section exploration et indexation ci-dessus.

Outils gratuits associés d’Arb Digital

Une fois votre robots.txt en ligne, associez-le au générateur de sitemap XML pour créer le sitemap que vous avez référencé plus haut. Si vous prévoyez des changements d’URL, le générateur de redirections htaccess gère les 301 correctement. Vérifiez si une page est réellement indexée avec le vérificateur de cache Google, passez en revue vos balises avec le générateur de balises meta, ajoutez des données structurées avec le générateur de balisage schema, ou parcourez tout notre espace d’outils en ligne gratuits.

Exemple détaillé avec les valeurs par défaut

Ouvrez cette page et regardez la zone de résultat sans rien modifier (le fichier est généré au chargement ; cliquer sur Générer le refait). Voici les valeurs de départ, prises directement dans le formulaire :

  • Préréglage : wordpress
  • User-agent : *
  • URL du sitemap : https://www.example.com/sitemap.xml
  • Crawl-delay : vide
  • Cases des robots d’IA : les cinq sont décochées

Le calculateur renvoie ce qui suit, calculé par le même code que celui qui s’exécute ci-dessus :

  • État : 6 règles
  • Lignes de directive : 6
  • Blocs user-agent : 1
  • Robots d’IA bloqués : 0
  • Lignes Sitemap : 1

Le résultat est un bloc User-agent: * avec cinq lignes Disallow (/wp-admin/, /readme.html, /trackback/, /?s=, /search/), une ligne Allow: /wp-admin/admin-ajax.php, puis une ligne vide suivie de Sitemap: https://www.example.com/sitemap.xml. La ligne d’état indique “1 bloc”. Cochez les cinq cases d’IA et chacune ajoute son propre bloc avec Disallow: /, ce qui porte les totaux à 11 lignes de directive et 6 blocs.

Comment lire votre résultat

  • Lignes de directive compte les lignes Disallow, Allow et Crawl-delay, plus une par robot d’IA bloqué. Les lignes User-agent et Sitemap ne sont pas comptées.
  • Remplacez l’URL d’exemple du sitemap par la vôtre. La valeur par défaut est un espace réservé qui n’existe pas.
  • Gardez le CSS/JS explorable. Le préréglage WordPress laisse volontairement ouverts /wp-includes/ et /wp-content/plugins/, car ils contiennent les scripts et les styles dont vos pages ont besoin pour s’afficher. Google recommande de laisser les robots récupérer ces ressources ; évitez donc de les bloquer à nouveau.
  • Cherchez Disallow: / sous User-agent: *. Cela bloque l’ensemble du site et ne doit figurer que sur une copie de préproduction.

Et ensuite

  • Téléversez le fichier à l’adresse /robots.txt à la racine du domaine, puis ouvrez-le dans un navigateur pour vérifier qu’il s’affiche en texte brut.
  • Testez quelques URL importantes avec le rapport robots.txt et l’outil d’inspection d’URL de Google Search Console.
  • Créez le sitemap que vous avez référencé avec le générateur de sitemap XML, et utilisez noindex, pas Disallow, pour les pages que vous voulez retirer de la recherche.

Questions fréquentes

Le robots.txt empêche-t-il une page d’apparaître dans les résultats de recherche Google ?

Pas de façon fiable. Le robots.txt ne bloque que l’exploration. Si d’autres sites pointent vers une URL interdite, Google peut quand même l’indexer et l’afficher — généralement comme un simple lien sans extrait, puisque Google n’a jamais été autorisé à lire la page. Pour garder de façon fiable une page hors des résultats de recherche, laissez-la explorable et ajoutez plutôt une balise meta noindex.

Dois-je bloquer GPTBot, ClaudeBot et les autres robots d’IA ?

Cela dépend de vos objectifs. Les bloquer demande à ces opérateurs de tenir votre contenu hors des données d’entraînement de leurs modèles d’IA (Google-Extended couvre l’entraînement et l’alimentation de Gemini, et Google indique qu’il n’affecte pas l’inclusion dans Search). Le respect est volontaire, et bloquer peut aussi signifier que les assistants d’IA citent moins votre contenu, ce qui peut coûter de la visibilité. Il n’y a pas de réponse universelle — ce générateur vous laisse choisir chaque robot individuellement.

Où faut-il téléverser le robots.txt ?

Il doit se trouver à la racine de votre domaine, par exemple https://www.example.com/robots.txt. Il ne sera pas reconnu dans un sous-dossier comme /blog/robots.txt, et chaque sous-domaine a besoin de sa propre copie s’il applique des règles d’exploration différentes.

À quoi sert réellement Crawl-delay ?

Il demande à un robot d’attendre un nombre défini de secondes entre deux requêtes afin de réduire la charge du serveur. Google ne prend pas en charge cette directive, elle n’a donc aucun effet sur Googlebot. Certains autres robots la lisent, mais la prise en charge varie selon le robot, et une valeur élevée peut ralentir la découverte de nouvelles pages par ces robots.

Est-il sûr de lister des dossiers privés dans le robots.txt ?

Non. Le robots.txt est un fichier public que n’importe qui peut consulter. Y lister un chemin sensible en publie l’emplacement exact à quiconque regarde, y compris les robots qui ignorent totalement les règles. Utilisez une authentification ou des contrôles d’accès au niveau du serveur pour tout ce qui doit réellement rester privé.

Ai-je vraiment besoin d’un fichier robots.txt ?

Techniquement non — s’il n’en existe pas, les robots supposent que tout est autorisé. Mais en avoir un reste une bonne pratique : il permet d’indiquer aux robots votre sitemap, de bloquer les chemins d’exploration à faible valeur comme la recherche interne ou les URL filtrées, et de faire un choix délibéré concernant les robots d’IA, plutôt que de laisser tout cela au comportement par défaut.

Allez plus loin

Envie d’une vision plus complète de votre propre site ? Lancez l’audit de site web par IA gratuit pour un rapport page par page.