Prosty przewodnik po konfiguracji robots.txt PrestaShop

Plik robots.txt PrestaShop informuje roboty indeksujące, które ścieżki mogą pobierać. Jest to mechanizm kontroli crawlowania, a nie blokada indeksowania – błędna reguła może ukryć strony kategorii lub pliki CSS, pozostawiając słabe URL-e dostępne dla botów. Ten przewodnik omawia generator w Back Office, bezpieczną edycję oraz sposoby weryfikacji działającego pliku bez zgadywania.

Od wersji PrestaShop 1.7 (w tym 8 i 9), plik ten można wygenerować ponownie w zakładce Parametry sklepu → Ruch i SEO. Oficjalne informacje znajdują się w dokumentacji PrestaShop 9 (Traffic). Własne omówienie Google dostępne jest we wprowadzeniu do robots.txt – warto zacząć właśnie tam, aby poznać ograniczenia tego pliku przed modyfikacją reguł Disallow.

Co dokładnie kontroluje robots.txt PrestaShop

Jest to plik tekstowy w głównym katalogu sklepu (https://twojastrona.pl/robots.txt). Zgodne z nim boty odczytują go przed rozpoczęciem indeksowania. Należy go używać do redukcji szumu crawlowania na ścieżkach administracyjnych, filtrach lub zduplikowanych wzorcach URL – a nie do „ukrywania” strony w wynikach wyszukiwania Google.

Jeśli dany URL ma pozostać poza wynikami wyszukiwania, należy użyć tagu noindex (w sekcji meta lub nagłówku HTTP) albo kontroli dostępu. Zablokowanie za pomocą robots.txt może sprawić, że URL nadal będzie widoczny na liście wyników, ale bez opisu. Ta różnica wyjaśnia, dlaczego wiele zgłoszeń typu „zablokowano, ale nadal się wyświetla” to w rzeczywistości nie są błędy pliku robots.txt PrestaShop.

Domyślny plik po instalacji

System PrestaShop tworzy plik robots.txt podczas instalacji, dostosowując go do typowego sklepu (katalog admin, niektóre ścieżki modułów i inne URL-e mocno obciążające serwer podczas crawlowania). W przypadku standardowego katalogu bez niestandardowych folderów testowych, często nie trzeba w nim niczego zmieniać.

Zaleca się otwieranie adresu /robots.txt w oknie prywatnym po każdym jego wygenerowaniu. Należy potwierdzić, że plik jest osiągalny przez HTTPS i że reguła Disallow / nie została przypadkowo zastosowana na działającym sklepie produkcyjnym.

Kiedy edytować (a kiedy tego nie robić)

Edycja jest wskazana tylko w przypadku wystąpienia konkretnego problemu z crawlowaniem:

• Foldery testowe lub kopie zapasowe na tym samym serwerze, których boty nie powinny pobierać
• Niestandardowe ścieżki generujące prawie zduplikowane cele do indeksowania
• Brakujący lub obcięty plik po migracji
• Linia Sitemap wciąż wskazująca na starą domenę

Należy pominąć edycję, gdy SEO działa prawidłowo, a jedynym powodem jest chęć wklejenia skryptu „blokującego wszystko” z forum. Domyślne reguły pliku robots.txt PrestaShop zazwyczaj wystarczają, dopóki Search Console nie wykaże rzeczywistych problemów z crawlowaniem.

Generowanie pliku z poziomu Back Office

Warto wybierać generator w Back Office zamiast ręcznej edycji pliku głównego, gdy potrzebny jest jedynie czysty, domyślny stan:

1. Przejść do Parametry sklepu → Ruch i SEO.
2. Przewinąć do sekcji Generowanie pliku robots.
3. Kliknąć przycisk Generuj plik robots.txt.

Ponowne wygenerowanie nadpisuje plik na serwerze. Jeśli dodano własne linie Disallow lub Sitemap, należy najpierw je skopiować, wygenerować plik, a następnie ostrożnie dodać ponownie. W przypadku funkcji multisklepu należy upewnić się, że wybrany jest odpowiedni kontekst sklepu przed rozpoczęciem generowania – jeśli przełączanie sklepów sprawia trudności, można sprawdzić przewodnik po funkcji multisklep w PrestaShop.

Edycja pliku na serwerze

Aktywny plik znajduje się w głównym katalogu sklepu (na tym samym poziomie co index.php). Należy użyć klienta SFTP lub menedżera plików udostępnionego przez hosting. Zawsze warto zachować kopię zapasową przed zapisem – pojedyncza literówka w regule Disallow może zablokować zasoby szablonu lub całą strukturę strony.

Jeśli przyjazne adresy URL przestaną działać po innych zmianach związanych z SEO, należy najpierw naprawić ich przepisywanie, korzystając z listy kontrolnej rozwiązywania problemów z URL w PrestaShop; sam plik robots.txt nie naprawi błędów 404 wynikających z braku pliku .htaccess.

Podstawowa składnia używana przez sprzedawców

Każdy blok zaczyna się od linii User-agent, po której następują jedna lub więcej reguł Disallow / Allow:

Blokowanie jednego katalogu dla wszystkich botów:

User-agent: *
Disallow: /private

Blokowanie wszystkiego (tylko środowisko testowe – nigdy nie stosować na produkcji):

User-agent: *
Disallow: /

Wskazywanie robotom mapy witryny XML:

Sitemap: https://example.com/sitemap.xml

Po dodaniu linii Sitemap należy upewnić się, że sam plik XML jest faktycznie wygenerowany i przesłany – instrukcję krok po kroku można znaleźć w przewodniku o mapach witryn w PrestaShop.

Testowanie pliku robots.txt po każdej zmianie

Nie należy polegać na starym, oddzielnym narzędziu do testowania robots.txt – Google wycofało tę usługę. Zamiast tego zaleca się wykonanie poniższych kroków:

• Otworzyć adres https://twojastrona.pl/robots.txt i potwierdzić, że zapisany tekst jest dokładnie tym, co widać publicznie.
• W usłudze Google Search Console użyć opcji URL Inspection na kluczowym adresie produktu lub kategorii i sprawdzić sygnały blokady/pozwolenia na indeksowanie po kolejnym pobraniu.
• Monitorować raporty dotyczące indeksowania stron (Page Indexing) pod kątem nagłych wzrostów komunikatów o zablokowaniu przez plik robots.txt na adresach URL, które nadal mają być pobierane.

Częste błędy dotyczące robots.txt PrestaShop

• Plik poza głównym katalogiem – boty respektują tylko /robots.txt na danym hoście. Plik umieszczony w /sklep/robots.txt nie chroni głównej domeny.
• Reguła Disallow: / pozostawiona na produkcji – częsty błąd po klonowaniu środowiska testowego. Należy natychmiast wygenerować ponownie lub przywrócić plik produkcyjny.
• Zakładanie, że plik zabezpiecza tajne strony – wszystko, co jest naprawdę prywatne, wymaga logowania lub tagu noindex, a nie tylko reguły Disallow.
• Linie noindex w pliku robots.txt – Google nie traktuje tego jako obsługiwanego sposobu na wyindeksowanie stron HTML.
• Błędny URL mapy witryny po zmianie domeny – protokół HTTPS oraz nazwa hosta muszą zgadzać się z docelowym adresem sklepu.
• Niezgodności w wielkości liter i ukośnikach – ścieżki rozróżniają wielkość liter; /Private to nie to samo co /private.
• Ręczne modyfikacje usunięte przez funkcję Generuj – generatora należy używać jako pierwszego kroku, lub dodać własne modyfikacje po jego wykonaniu.

Krótka lista kontrolna

1. Wyświetlić działający plik /robots.txt w przeglądarce.
2. Jeśli pliku brakuje lub jest uszkodzony, wygenerować go w panelu Ruch i SEO.
3. Dodawać tylko takie reguły Disallow, dla których istnieje wyraźne uzasadnienie.
4. Zachować lub naprawić linię Sitemap; poprawność pliku XML zweryfikować oddzielnie.
5. Po wprowadzeniu zmian sprawdzić kluczową stronę produktową w Search Console.
6. Nigdy nie przenosić blokady całej witryny ze środowiska testowego na produkcję.

Zaleca się traktowanie pliku robots.txt jako narzędzia optymalizacji limitu indeksowania i filtrowania szumu. Warto generować go ponownie z poziomu BO, gdy potrzebny jest czysty punkt wyjścia, dodawać linie Disallow tylko w przypadku zidentyfikowanych problemów z indeksowaniem oraz sprawdzać ostateczny widok pod adresem /robots.txt w oknie prywatnym przeglądarki przed zamknięciem zadania.