Robots.txt to mały, ale potężny plik, który mówi botom wyszukiwarek, jak mają wchodzić w interakcję z Twoją witryną. To jak przewodnik, pokazujący im, które strony odwiedzić (indeksować), a które pominąć (ignorować). Dobrze skonfigurowany plik Robots.txt może pomóc w SEO Twojej witryny. Właściwie nie jest to tylko dla PrestaShop, można go znaleźć na każdej stronie. Ale w tym poście omówimy, jak to działa w PrestaShop.
Domyślny plik Robots.txt w PrestaShop
Na szczęście dla użytkowników PrestaShop plik robots.txt jest tworzony automatycznie podczas procesu instalacji. Jest on skonfigurowany pod kątem potrzeb typowej witryny e-commerce. W większości przypadków nie będziesz musiał dotykać tego pliku, chyba że masz konkretny powód.
Kiedy musisz edytować plik Robots.txt, a kiedy nie
Istnieje kilka powodów, dla których możesz chcieć edytować swój plik Robots.txt. Oto kilka przykładów:
- Jeśli masz dwie lub więcej stron z tą samą treścią (duplikaty), możesz chcieć powiedzieć botom, aby zignorowały jedną z nich, aby uniknąć kary od wyszukiwarek.
- Jeśli dodałeś nowe strony lub sekcje do swojej witryny, możesz chcieć kontrolować, jak bardzo są one widoczne dla wyszukiwarek.
- Być może masz strony lub pliki, które wolałbyś zachować jako prywatne (pamiętaj jednak, że instrukcje w Robots.txt to tylko rekomendacje dla wyszukiwarek)
Ale pamiętaj, że jeśli po prostu korzystasz z domyślnych funkcji PrestaShop i Twoje SEO działa dobrze, nie ma potrzeby zmiany pliku Robots.txt.
Dostęp do pliku Robots.txt
Twój plik robots.txt znajduje się w katalogu głównym Twojej witryny PrestaShop. Możesz użyć klienta FTP lub menedżera plików hostingu, aby się tam dostać w celu jego edycji.
Aby wyświetlić plik, po prostu wpisz „https://TwojaStrona.pl/robots.txt” (adres URL Twojego sklepu + „robots.txt”) w pasku adresu przeglądarki.
Generowanie pliku Robots.txt w PrestaShop
W PrestaShop możesz ponownie wygenerować plik Robots.txt bezpośrednio z back office. Oto jak to zrobić:
- Przejdź do strony „Preferencje >> Ruch i SEO„.
- Znajdź sekcję „Generowanie pliku robots.txt” na dole.
- Kliknij przycisk „Wygeneruj plik robots.txt„.
To wszystko, PrestaShop wygeneruje nowy plik robots.txt. Jest to przydatne, jeśli z jakiegoś powodu brakuje pliku robots.txt lub jeśli edytowałeś plik i chcesz cofnąć zmiany.
Dostosowywanie pliku Robots.txt
Plik Robots.txt jest napisany przy użyciu bardzo prostej składni tekstowej, co ułatwia jego zrozumienie i edycję. Każda reguła w pliku Robots.txt składa się z dwóch części: linii User-agent i co najmniej jednej linii Disallow.
Oto kilka krótkich przykładów:
Blokowanie wszystkiego:
1 2 | User-agent: * Disallow: / |
Blokowanie tylko Googlebot:
1 2 | User-agent: Googlebot Disallow: / |
Blokowanie określonego katalogu:
1 2 | User-agent: * Disallow: /private |
Blokowanie określonego katalogu z wyjątkiem jednego adresu URL:
1 2 3 | User-agent: * Disallow: /private Allow: /private/public-page |
Składnia pliku Robots.txt
User-agent:
Określa to bota wyszukiwarki, do którego będzie miała zastosowanie reguła. Jeśli chcesz skierować regułę do wszystkich botów, możesz użyć gwiazdki (*). Na przykład:
1 | User-agent: * |
Ta reguła dotyczy wszystkich botów.
Disallow:
Po tym następuje względna ścieżka adresu URL, którą chcesz zablokować dla botów. Na przykład:
1 | Disallow: /private |
Ta reguła mówi botowi, aby nie indeksował katalogu „private”.
Allow:
Jest to używane, gdy chcesz nadpisać regułę Disallow dla określonej strony lub katalogu wewnątrz niedozwolonego katalogu. Na przykład:
1 | Allow: /private/public-page |
Konkretny bot
Jeśli chcesz zablokować określonego bota, musisz określić nazwę tego bota w linii User-agent. Na przykład, jeśli chciałbyś zablokować bota Google (Googlebot) przed indeksowaniem określonego katalogu, mógłbyś napisać:
1 | User-agent: Googlebot |
A następnie kod do zablokowania katalogu.
Sitemap
Możesz również podać link do swojej mapy witryny w pliku Robots.txt:
1 | Sitemap: https://example.com/sitemap.xml |
Testowanie pliku Robots.txt
Po zmodyfikowaniu pliku Robots.txt przetestuj go, aby upewnić się, że działa poprawnie. Możesz użyć do tego narzędzia takiego jak Google Search Console – https://www.google.com/webmasters/tools/robots-testing-tool
Lub po prostu otwórz go w przeglądarce, aby sprawdzić, czy wygląda w porządku – https://TwojaStrona.pl/robots.txt
Częste błędy
Podczas edycji pliku Robots.txt uważaj na te częste błędy:
1. Niewłaściwe umiejscowienie pliku Robots.txt: Plik Robots.txt powinien zawsze znajdować się w katalogu głównym. Umieszczenie go w innym miejscu spowoduje, że zostanie zignorowany przez boty.
2. Niepotrzebne użycie ukośnika końcowego: Dodanie ukośnika końcowego (/), gdy nie jest to potrzebne, może prowadzić do błędnej interpretacji przez boty. Na przykład „Disallow: /private/” może nie być interpretowane tak samo jak „Disallow: /private”.
3. Ignorowanie wielkości liter: Adresy URL uwzględniają wielkość liter, co oznacza, że „/Moja-Tajna-Strona” to co innego niż „/moja-tajna-strona”. Dotyczy to również dyrektyw w Twoim pliku Robots.txt.
4. Blokowanie wszystkich botów: Reguła taka jak „User-agent: *” po której następuje „Disallow: /” blokuje wszystkie boty z całej Twojej witryny. O ile nie jest to Twoim zamiarem, unikaj tej konfiguracji.
5. Nieprawidłowe użycie dyrektywy Allow: Dyrektywa „Allow” nie jest rozpoznawana przez wszystkie boty, więc używanie jej jako kompletnego środka kontroli dostępu może prowadzić do problemów.
6. Zaniedbywanie użycia komentarzy: Zapomnienie o użyciu „#” przed komentarzami może powodować zamieszanie dla botów próbujących odczytać plik.
7. Używanie Noindex w Robots.txt: „Noindex” to dyrektywa dla poszczególnych stron internetowych i nie jest rozpoznawana w pliku Robots.txt.
8. Nieaktualizowanie pliku Robots.txt: Zapomnienie o aktualizacji pliku Robots.txt w miarę rozwoju witryny może prowadzić do przestarzałych lub nieprawidłowych reguł.
9. Pozostawienie testowego pliku Robots.txt na produkcji: Zawsze pamiętaj o zastąpieniu restrykcyjnego testowego pliku Robots.txt swoim zwykłym plikiem po zakończeniu testów.
10. Używanie nieprawidłowej składni: Nawet małe literówki w dyrektywach takich jak „User-agent” i „Disallow” lub we wprowadzonych ścieżkach mogą powodować poważne problemy z tym, jak boty interpretują Twój plik Robots.txt.
Pamiętaj, że Twój plik Robots.txt to potężne narzędzie SEO. Poświęć czas na jego prawidłową konfigurację, a naprawdę może pomóc Twojej witrynie PrestaShop wyróżnić się w świecie e-commerce.