Robots.txt è un file piccolo ma potente che indica ai bot dei motori di ricerca come interagire con il tuo sito web. È come una guida, che mostra loro quali pagine visitare (indicizzare) e quali saltare (ignorare). Un Robots.txt ben configurato può aiutare la SEO del tuo sito web. In realtà non è solo per PrestaShop, si trova su qualsiasi sito. Ma in questo post discuteremo di come funziona in PrestaShop.
Robots.txt predefinito in PrestaShop
Fortunatamente per gli utenti di PrestaShop, durante il processo di installazione viene creato automaticamente un file robots.txt. È impostato per le esigenze di un tipico sito di e-commerce. La maggior parte delle volte, non avrai bisogno di toccare questo file a meno che non tu abbia un motivo specifico.
Quando devi modificare Robots.txt e quando no
Ci sono alcuni motivi per cui potresti voler modificare il tuo file Robots.txt. Ecco alcuni esempi:
- Se hai due o più pagine con lo stesso contenuto (duplicati), potresti voler dire ai bot di ignorarne una per evitare una penalità dai motori di ricerca.
- Se hai aggiunto nuove pagine o sezioni al tuo sito, potresti voler controllare quanto siano visibili ai motori di ricerca.
- Magari hai pagine o file che preferisci mantenere privati (tuttavia, tieni presente che le istruzioni in Robots.txt sono solo raccomandazioni per i motori di ricerca)
Ma ricorda, se stai solo usando le funzioni predefinite di PrestaShop e la tua SEO funziona bene, non c’è bisogno di modificare il tuo Robots.txt.
Accedere Al File Robots.txt
Il tuo file robots.txt si trova nella directory principale (root) del tuo sito PrestaShop. Puoi utilizzare un client FTP o il file manager del tuo hosting per arrivarci e modificarlo.
Per visualizzare il file, digita semplicemente “https://IlTuoSito.com/robots.txt” (URL del tuo negozio + “robots.txt”) nella barra degli indirizzi del tuo browser.
Generare Robots.txt in PrestaShop
In PrestaShop, puoi rigenerare il file Robots.txt direttamente dal Back Office. Ecco come fare:
- Vai alla pagina “Parametri Negozio >> Traffico & SEO“.
- Trova la “Generazione file robots” in fondo.
- Clicca sul pulsante “Genera il file robots.txt“.
Questo è tutto, PrestaShop genererà un nuovo file robots.txt. È utile se il tuo file robots.txt manca per qualche motivo o se hai modificato il file e vuoi annullare le modifiche.
Personalizzazione Di Robots.txt
Il file Robots.txt è scritto utilizzando una sintassi di testo molto semplice, che lo rende facile da capire e modificare. Ogni regola in un file Robots.txt è costituita da due parti: una riga user-agent e almeno una riga Disallow.
Ecco alcuni rapidi esempi:
Blocca tutto:
1 2 | User-agent: * Disallow: / |
Blocca solo Googlebot:
1 2 | User-agent: Googlebot Disallow: / |
Blocca una directory specifica:
1 2 | User-agent: * Disallow: /privato |
Blocca una directory specifica tranne un URL:
1 2 3 | User-agent: * Disallow: /privato Allow: /privato/pagina-pubblica |
Sintassi di Robots.txt
User-agent:
Questo specifica il bot del motore di ricerca a cui si applicherà la regola. Se vuoi puntare a tutti i bot, puoi usare un asterisco (*). Per esempio:
1 | User-agent: * |
Questa regola si applica a tutti i bot.
Disallow:
Questo è seguito dal percorso dell’URL relativo che si desidera bloccare dai bot. Per esempio:
1 | Disallow: /privato |
Questa regola dice al bot di non scansionare o indicizzare la directory “privato”.
Allow:
Questo è utilizzato quando si desidera ignorare una regola Disallow per una pagina o directory specifica all’interno di una directory non consentita. Per esempio:
1 | Allow: /privato/pagina-pubblica |
Bot specifico
Se vuoi bloccare un bot specifico, devi specificare il nome di quel bot nella riga User-agent. Per esempio, se volessi bloccare il bot di Google (Googlebot) dall’indicizzazione di una directory specifica, potresti scrivere:
1 | User-agent: Googlebot |
E poi il codice per bloccare una directory.
Sitemap
Puoi anche fornire un link alla tua sitemap nel file Robots.txt:
1 | Sitemap: https://esempio.com/sitemap.xml |
Testare Robots.txt
Dopo aver modificato il tuo file Robots.txt, testalo per assicurarti che funzioni bene. Puoi utilizzare uno strumento come Search Console di Google per questo – https://www.google.com/webmasters/tools/robots-testing-tool
Oppure apri semplicemente il file nel tuo browser per vedere se sembra ok – https://IlTuoSito.com/robots.txt
Errori Comuni
Quando modifichi il tuo file Robots.txt, fai attenzione a questi errori comuni:
1. Posizionamento errato del file Robots.txt: Il file Robots.txt dovrebbe essere sempre collocato nella directory principale (root). Posizionarlo altrove lo farà ignorare dai bot.
2. Uso non necessario della barra finale: Aggiungere una barra finale (/) quando non è necessaria può portare a fraintendimenti da parte dei bot. Ad esempio, “Disallow: /privato/” potrebbe non essere interpretato allo stesso modo di “Disallow: /privato”.
3. Ignorare la distinzione tra maiuscole e minuscole (Case Sensitivity): Gli URL sono sensibili alle maiuscole e minuscole, il che significa che “/La-Mia-Pagina-Segreta” è diverso da “/la-mia-pagina-segreta”. Questo si applica anche alle direttive nel tuo file Robots.txt.
4. Bloccare tutti i bot: Una regola come “User-agent: *” seguita da “Disallow: /” blocca l’accesso a tutti i bot dal tuo intero sito web. A meno che questa non sia la tua intenzione, evita questa impostazione.
5. Uso non corretto della direttiva Allow: La direttiva “Allow” non è riconosciuta da tutti i bot, per cui il suo utilizzo come misura completa di controllo degli accessi può causare problemi.
6. Trascurare l’uso dei commenti: Dimenticare di usare “#” prima dei commenti può causare confusione nei bot che tentano di leggere il file.
7. Usare Noindex in Robots.txt: “Noindex” è una direttiva per singole pagine web e non è riconosciuta in un file Robots.txt.
8. Non aggiornare il file Robots.txt: Dimenticarsi di aggiornare il file Robots.txt con l’evoluzione del tuo sito web può portare a regole obsolete o errate.
9. Lasciare attivo un Robots.txt di prova: Ricordati sempre di sostituire un file Robots.txt di prova restrittivo con quello normale dopo aver terminato i test.
10. Utilizzare una sintassi non corretta: Anche piccoli errori di battitura nelle direttive come “User-agent” e “Disallow”, o nei percorsi immessi, possono causare notevoli problemi nell’interpretazione del tuo file Robots.txt da parte dei bot.
Ricorda, il tuo Robots.txt è un potente strumento SEO. Prenditi il tempo di impostarlo nel modo giusto e potrà davvero aiutare il tuo sito PrestaShop a distinguersi nel mondo dell’e-commerce.