Robots.txt est un petit fichier, mais puissant, qui indique aux robots des moteurs de recherche comment interagir avec votre site Web. C’est comme un guide, leur montrant quelles pages visiter (indexer) et lesquelles ignorer. Un Robots.txt bien configuré peut aider le référencement de votre site Web. En fait, ce n’est pas seulement pour PrestaShop, on peut le trouver sur n’importe quel site. Mais dans cet article, nous verrons comment cela fonctionne dans PrestaShop.
Robots.txt par défaut dans PrestaShop
Heureusement pour les utilisateurs de PrestaShop, un fichier robots.txt est créé automatiquement lors du processus d’installation. Il est configuré pour les besoins d’un site e-commerce typique. La plupart du temps, vous n’aurez pas besoin de toucher à ce fichier à moins d’avoir une raison spécifique.
Quand devez-vous modifier Robots.txt et quand ne le devez-vous pas
Il y a quelques raisons pour lesquelles vous pourriez vouloir modifier votre fichier Robots.txt. Voici quelques exemples :
- Si vous avez deux pages ou plus avec le même contenu (doublons), vous pourriez vouloir dire aux robots d’en ignorer une pour éviter une pénalité des moteurs de recherche.
- Si vous avez ajouté de nouvelles pages ou sections à votre site, vous pourriez vouloir contrôler leur visibilité pour les moteurs de recherche.
- Peut-être avez-vous des pages ou des fichiers que vous préférez garder privés (cependant, gardez à l’esprit que les instructions dans Robots.txt ne sont que des recommandations pour les moteurs de recherche)
Mais n’oubliez pas, si vous utilisez simplement les fonctions par défaut de PrestaShop et que votre référencement fonctionne bien, il n’y a aucun besoin de modifier votre Robots.txt.
Accéder au fichier Robots.txt
Votre fichier robots.txt se trouve dans le répertoire racine de votre site PrestaShop. Vous pouvez utiliser un client FTP ou le gestionnaire de fichiers de votre hébergement pour y accéder afin de le modifier.
Pour voir le fichier, tapez simplement « https://YourSite.com/robots.txt » (l’URL de votre boutique + « robots.txt ») dans la barre d’adresse de votre navigateur.
Générer Robots.txt dans PrestaShop
Dans PrestaShop, vous pouvez régénérer le fichier Robots.txt directement depuis le back office. Voici comment faire :
- Allez sur la page « Paramètres de la boutique >> Trafic et SEO« .
- Trouvez la section « Génération du fichier robots » en bas.
- Cliquez sur le bouton « Générer le fichier robots.txt« .
C’est tout, PrestaShop générera un nouveau fichier robots.txt. C’est utile si votre fichier robots.txt est manquant pour une raison quelconque ou si vous avez modifié le fichier et souhaitez annuler les modifications.
Personnaliser Robots.txt
Le fichier Robots.txt est écrit en utilisant une syntaxe textuelle très simple, ce qui le rend facile à comprendre et à modifier. Chaque règle dans un fichier Robots.txt se compose de deux parties : une ligne User-agent et au moins une ligne Disallow.
Voici quelques exemples rapides :
Tout bloquer :
1 2 | User-agent: * Disallow: / |
Bloquer uniquement Googlebot :
1 2 | User-agent: Googlebot Disallow: / |
Bloquer un répertoire spécifique :
1 2 | User-agent: * Disallow: /private |
Bloquer un répertoire spécifique à l’exception d’une URL :
1 2 3 | User-agent: * Disallow: /private Allow: /private/public-page |
Syntaxe de Robots.txt
User-agent:
Cela spécifie le robot du moteur de recherche auquel la règle s’appliquera. Si vous souhaitez cibler tous les robots, vous pouvez utiliser un astérisque (*). Par exemple :
1 | User-agent: * |
Cette règle s’applique à tous les robots.
Disallow:
Ceci est suivi du chemin d’URL relatif que vous souhaitez bloquer pour les robots. Par exemple :
1 | Disallow: /private |
Cette règle indique au robot de ne pas explorer ou indexer le répertoire « private ».
Allow:
Ceci est utilisé lorsque vous souhaitez annuler une règle Disallow pour une page ou un répertoire spécifique dans un répertoire non autorisé. Par exemple :
1 | Allow: /private/public-page |
Robot spécifique
Si vous souhaitez bloquer un robot spécifique, vous devez spécifier le nom de ce robot dans la ligne User-agent. Par exemple, si vous vouliez bloquer le robot de Google (Googlebot) pour l’empêcher d’indexer un répertoire spécifique, vous pourriez écrire :
1 | User-agent: Googlebot |
Et ensuite le code pour bloquer un répertoire.
Sitemap
Vous pouvez également fournir un lien vers votre sitemap dans le fichier Robots.txt :
1 | Sitemap: https://example.com/sitemap.xml |
Tester Robots.txt
Après avoir ajusté votre fichier Robots.txt, testez-le pour vous assurer qu’il fonctionne correctement. Vous pouvez utiliser un outil comme la Search Console de Google pour cela – https://www.google.com/webmasters/tools/robots-testing-tool
Ou ouvrez-le simplement dans votre navigateur pour voir s’il semble correct – https://YourSite.com/robots.txt
Erreurs courantes
Lors de la modification de votre fichier Robots.txt, faites attention à ces erreurs courantes :
1. Mauvais placement du fichier Robots.txt : Le fichier Robots.txt doit toujours être placé dans le répertoire racine. Le placer ailleurs conduira à ce qu’il soit ignoré par les robots.
2. Utilisation inutile de la barre oblique de fin : Ajouter une barre oblique de fin (/) lorsqu’elle n’est pas nécessaire peut entraîner une mauvaise interprétation par les robots. Par exemple, « Disallow: /private/ » pourrait ne pas être interprété de la même manière que « Disallow: /private ».
3. Ignorer la sensibilité à la casse : Les URL sont sensibles à la casse, ce qui signifie que « /My-Secret-Page » est différent de « /my-secret-page ». Cela s’applique également aux directives dans votre fichier Robots.txt.
4. Bloquer tous les robots : Une règle comme « User-agent: * » suivie de « Disallow: / » bloque tous les robots de l’ensemble de votre site Web. À moins que ce ne soit votre intention, évitez cette configuration.
5. Utiliser la directive Allow de manière incorrecte : La directive « Allow » n’est pas reconnue par tous les robots, donc l’utiliser comme une mesure de contrôle d’accès complète peut entraîner des problèmes.
6. Négliger l’utilisation des commentaires : Oublier d’utiliser « # » avant les commentaires peut causer de la confusion pour les robots essayant de lire le fichier.
7. Utiliser Noindex dans Robots.txt : « Noindex » est une directive pour les pages Web individuelles et n’est pas reconnue dans un fichier Robots.txt.
8. Ne pas mettre à jour le fichier Robots.txt : Oublier de mettre à jour le fichier Robots.txt à mesure que votre site Web évolue peut conduire à des règles obsolètes ou incorrectes.
9. Laisser un Robots.txt de test en ligne : N’oubliez toujours pas de remplacer un fichier Robots.txt de test restrictif par votre fichier habituel après avoir terminé vos tests.
10. Utiliser une syntaxe incorrecte : Même de petites fautes de frappe dans des directives comme « User-agent » et « Disallow », ou dans les chemins que vous entrez, peuvent causer des problèmes importants avec la façon dont les robots interprètent votre fichier Robots.txt.
N’oubliez pas, votre Robots.txt est un outil SEO puissant. Prenez le temps de le configurer correctement et il peut vraiment aider votre site PrestaShop à se démarquer dans le monde du e-commerce.