Robots.txt es un archivo pequeño pero potente que indica a los bots de los motores de búsqueda cómo interactuar con tu sitio web. Es como una guía, que les muestra qué páginas visitar (indexar) y cuáles omitir (ignorar). Un Robots.txt bien configurado puede ayudar al SEO de tu sitio web. En realidad, no es solo para PrestaShop, se puede encontrar en cualquier sitio. Pero en esta entrada discutiremos cómo funciona en PrestaShop.
Robots.txt por defecto en PrestaShop
Afortunadamente para los usuarios de PrestaShop, se crea un archivo robots.txt automáticamente durante el proceso de instalación. Está configurado para las necesidades de un sitio típico de comercio electrónico. La mayor parte del tiempo, no necesitarás tocar este archivo a menos que tengas una razón específica.
Cuándo necesitas editar Robots.txt y cuándo no
Hay algunas razones por las que podrías querer editar tu archivo Robots.txt. Aquí hay algunos ejemplos:
- Si tienes dos o más páginas con el mismo contenido (duplicados), es posible que quieras decirle a los bots que ignoren una para evitar una penalización de los motores de búsqueda.
- Si has añadido nuevas páginas o secciones a tu sitio, es posible que quieras controlar cuán visibles son para los motores de búsqueda.
- Quizás tengas páginas o archivos que preferirías mantener en privado (sin embargo, ten en cuenta que las instrucciones en Robots.txt son solo recomendaciones para los motores de búsqueda)
Pero recuerda, si solo estás utilizando las funciones por defecto de PrestaShop y tu SEO funciona bien, no hay necesidad de cambiar tu Robots.txt.
Acceder al archivo Robots.txt
Tu archivo robots.txt vive en el directorio raíz de tu sitio PrestaShop. Puedes usar un cliente FTP o el administrador de archivos de tu alojamiento para llegar allí para editarlo.
Para ver el archivo, simplemente escribe «https://YourSite.com/robots.txt» (la URL de tu tienda + «robots.txt») en la barra de direcciones de tu navegador.
Generar Robots.txt en PrestaShop
En PrestaShop, puedes regenerar el archivo Robots.txt directamente desde el back-office. Aquí tienes cómo hacerlo:
- Ve a la página «Parámetros de la tienda >> Tráfico y SEO«.
- Encuentra «Generación de archivo robots» en la parte inferior.
- Haz clic en el botón «Generar archivo robots.txt«.
Eso es todo, PrestaShop generará un nuevo archivo robots.txt. Es útil si tu archivo robots.txt falta por alguna razón o si editaste el archivo y quieres revertir los cambios.
Personalizar Robots.txt
El archivo Robots.txt está escrito utilizando una sintaxis de texto muy simple, lo que lo hace fácil de entender y editar. Cada regla en un archivo Robots.txt consta de dos partes: una línea user-agent y al menos una línea Disallow.
Aquí hay algunos ejemplos rápidos:
Bloquear todo:
1 2 | User-agent: * Disallow: / |
Bloquear solo Googlebot:
1 2 | User-agent: Googlebot Disallow: / |
Bloquear un directorio específico:
1 2 | User-agent: * Disallow: /private |
Bloquear un directorio específico excepto una URL:
1 2 3 | User-agent: * Disallow: /private Allow: /private/public-page |
Sintaxis de Robots.txt
User-agent:
Esto especifica el bot del motor de búsqueda al que se aplicará la regla. Si deseas apuntar a todos los bots, puedes usar un asterisco (*). Por ejemplo:
1 | User-agent: * |
Esta regla se aplica a todos los bots.
Disallow:
A esto le sigue la ruta de URL relativa que deseas bloquear a los bots. Por ejemplo:
1 | Disallow: /private |
Esta regla indica al bot que no rastree o indexe el directorio «private».
Allow:
Esto se utiliza cuando deseas anular una regla de Disallow para una página o directorio específico dentro de un directorio no permitido. Por ejemplo:
1 | Allow: /private/public-page |
Bot específico
Si deseas bloquear un bot específico, debes especificar el nombre de ese bot en la línea User-agent. Por ejemplo, si deseas bloquear el bot de Google (Googlebot) para que no indexe un directorio específico, podrías escribir:
1 | User-agent: Googlebot |
Y luego el código para bloquear un directorio.
Sitemap
También puedes proporcionar un enlace a tu mapa del sitio (sitemap) en el archivo Robots.txt:
1 | Sitemap: https://example.com/sitemap.xml |
Probar Robots.txt
Después de haber ajustado tu archivo Robots.txt, pruébalo para asegurarte de que funcione correctamente. Puedes usar una herramienta como Google Search Console para esto – https://www.google.com/webmasters/tools/robots-testing-tool
O simplemente ábrelo en tu navegador para ver si se ve bien – https://YourSite.com/robots.txt
Errores comunes
Al editar tu archivo Robots.txt, ten cuidado con estos errores comunes:
1. Colocación incorrecta del archivo Robots.txt: El archivo Robots.txt siempre debe colocarse en el directorio raíz. Colocarlo en otro lugar hará que los bots lo ignoren.
2. Uso innecesario de barra final: Añadir una barra final (/) cuando no es necesario puede llevar a malentendidos por parte de los bots. Por ejemplo, «Disallow: /private/» podría no interpretarse igual que «Disallow: /private».
3. Ignorar mayúsculas y minúsculas: Las URL distinguen entre mayúsculas y minúsculas, lo que significa que «/Mi-Pagina-Secreta» es diferente de «/mi-pagina-secreta». Esto también se aplica a las directivas en tu archivo Robots.txt.
4. Bloquear todos los bots: Una regla como «User-agent: *» seguida de «Disallow: /» bloquea a todos los bots de tu sitio web completo. A menos que esa sea tu intención, evita esta configuración.
5. Uso incorrecto de la directiva Allow: La directiva «Allow» no es reconocida por todos los bots, por lo que usarla como una medida completa de control de acceso puede provocar problemas.
6. Descuidar el uso de comentarios: Olvidar usar «#» antes de los comentarios puede causar confusión en los bots que intentan leer el archivo.
7. Uso de Noindex en Robots.txt: «Noindex» es una directiva para páginas web individuales y no se reconoce en un archivo Robots.txt.
8. No actualizar el archivo Robots.txt: Olvidar actualizar el archivo Robots.txt a medida que evoluciona tu sitio web puede provocar reglas obsoletas o incorrectas.
9. Dejar un Robots.txt de prueba en vivo: Recuerda siempre reemplazar un archivo Robots.txt de prueba restrictivo con tu archivo regular después de terminar las pruebas.
10. Usar sintaxis incorrecta: Incluso los pequeños errores tipográficos en directivas como «User-agent» y «Disallow», o en las rutas que ingresas, pueden causar problemas significativos sobre cómo los bots interpretan tu archivo Robots.txt.
Recuerda, tu Robots.txt es una potente herramienta de SEO. Tómate el tiempo para configurarlo correctamente y realmente puede ayudar a que tu sitio PrestaShop destaque en el mundo del comercio electrónico.