Co to jest plik robots.txt?

Robots.txt to plik tekstowy umieszczony w katalogu głównym domeny (example.com/robots.txt) który informuje boty wyszukiwarek (Googlebot, Bingbot, itp.) które strony mogą, a których nie mogą crawlować. Robots.txt używa protokołu Robots Exclusion Protocol (REP). Ważne rozróżnienie: robots.txt kontroluje CRAWLOWANIE, nie INDEKSOWANIE. Możesz zablokować crawlowanie strony przez robots.txt, ale jeśli ma ona zewnętrzne linki prowadzące — Google może ją i tak zaindeksować (choć nie pozna jej treści). Aby zapobiec indeksowaniu użyj meta tag noindex. Robots.txt jest respektowany dobrowolnie — uczciwe boty go przestrzegają, złośliwe ignorują.

Jak sprawdzić plik robots.txt strony?

Sprawdzanie robots.txt: 1) Wpisz bezpośrednio w przeglądarkę: twojadomena.pl/robots.txt — plik jest publicznie dostępny. 2) Google Search Console → Ustawienia → robots.txt Tester — testuje konkretny URL pod kątem reguł robots.txt. 3) Screaming Frog → File → Check Robots.txt — analizuje całą witrynę. 4) Ahrefs Site Audit → wykrywa błędy związane z robots.txt. Typowe problemy: zablokowane ważne zasoby (CSS, JS — Google nie może renderować strony), zablokowane strony z ważną treścią przez błąd w ścieżce (np. /blog zamiast /blog/). Sprawdź: Google Search Console → Indeksowanie → Strony → filtry 'Excluded by robots.txt' — jeśli ważne strony są tu zablokowane, masz problem.

Jakie strony blokować w robots.txt?

Co zazwyczaj warto blokować w robots.txt: Panele administracyjne: /admin/, /wp-admin/, /dashboard/. Środowiska testowe/staging: /staging/, /test/, /dev/. Duplikaty techniczne: /?s= (wyniki wyszukiwania wewnętrznego), /feed/ (RSS feeds), /?page= z parametrami sortowania/filtrowania. Pliki systemowe: /wp-includes/, /wp-content/plugins/ (WordPress). Czego NIE blokować w robots.txt: pliki CSS i JavaScript — Google renderuje strony i potrzebuje tych zasobów. Ważne strony z noindex — blokowanie w robots.txt powoduje, że Google nie widzi tagu noindex. Sitemap URL — powinny być crawlowane. Pamiętaj: blokowanie crawlowania nie usuwa strony z indeksu. Użyj noindex na stronie lub usuń ją z serwera.

Robots.txt a tag noindex — jaka jest różnica?

Robots.txt — kontroluje crawlowanie (czy bot może odwiedzić stronę): Bot NIE odwiedza strony. Google może zaindeksować URL jeśli ma do niego linki (bez znajomości treści). Nie widzi tagu noindex jeśli strona jest zablokowana w robots.txt — mogą być niespójności. Tag noindex (meta robots lub HTTP header) — kontroluje indeksowanie (czy strona pojawi się w wynikach): Bot MOŻE odwiedzić stronę, ale nie indeksuje jej. Google widzi stronę i respektuje noindex. Właściwsze dla stron które chcesz wykluczyć z wyników ale nie z crawlowania. Kiedy używać czego: Chcesz stronę NIEWIDOCZNĄ w wynikach = tag noindex. Chcesz oszczędzić crawl budget (nie dawać botom dostępu) = robots.txt Disallow. Chcesz stronę WIDZIALNĄ = ani jedno, ani drugie.

Jak napisać poprawny plik robots.txt?

Struktura poprawnego robots.txt: każdy blok reguł zaczyna się od 'User-agent:' i zawiera 'Disallow:' lub 'Allow:'. Przykład dla WordPressa: User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /?s= Disallow: /cart/ Disallow: /checkout/ Allow: /wp-admin/admin-ajax.php Sitemap: https://twojadomena.pl/sitemap.xml Zasady pisania: Jedna dyrektywa na linię. Komentarze po '#'. Ścieżki wrażliwe na wielkość liter (case sensitive). Wildcard (*) działa dla Googlebot — np. Disallow: /*.pdf$ blokuje wszystkie PDF. Testuj przez Google Search Console robots.txt Tester przed wdrożeniem.

Czy robots.txt wpływa na SEO?

Robots.txt wpływa na SEO pośrednio przez kilka mechanizmów: Crawl Budget — poprawnie skonfigurowany robots.txt kieruje GoogleBota na ważne strony zamiast marnowania budżetu na admin, staging i thin content. To ważne dla dużych stron. Indeksowanie — blokowanie przez robots.txt ≠ deindeksowanie. Jeśli strona z zewnętrznymi linkami jest zablokowana, Google może ją zaindeksować bez znajomości treści — pojawi się z pustym snippetem. Błędy krytyczne: zablokowanie CSS/JS → Google nie może renderować strony → ocenia jako pustą. Zablokowanie sitemap → Google musi odkrywać strony przez linki. Zablokowanie ważnych podkatalogów przez błąd → strony wypadają z indeksu. Monitoring: Google Search Console → Ustawienia → Statystyki crawlowania pokaże czy GoogleBot trafnie crawluje ważne strony.

5 min czytania SEO techniczne

Robots.txt — co to jest i jak poprawnie skonfigurować?

Robots.txt to instrukcja dla botów wyszukiwarek — które strony crawlować, a które ignorować. Błędna konfiguracja może zablokować indeksowanie całej witryny.

Dyrektywy robots.txt — co oznaczają?

User-agent: *

User-agent: *

Dotyczy wszystkich botów. Możesz też wskazać konkretny bot: 'User-agent: Googlebot' dla reguł specyficznych dla Google.

Disallow: /ścieżka/

Disallow: /admin/

Blokuje crawlowanie wskazanej ścieżki. Disallow: / blokuje całą stronę. Disallow: (pusty) = zezwala na wszystko.

Allow: /ścieżka/

Allow: /admin/publiczne/

Zezwala na crawlowanie konkretnej ścieżki, mimo że nadrzędna ścieżka jest zablokowana przez Disallow.

Sitemap:

Sitemap: https://example.com/sitemap.xml

Wskazuje lokalizację XML sitemap. Ułatwia GoogleBotowi odkrycie i crawlowanie ważnych stron.

Crawl-delay:

Crawl-delay: 10

Przerwa (w sekundach) między requestami bota. Google ignoruje tę dyrektywę — zarządzaj szybkością crawlowania w Google Search Console.

Co blokować, a co zostawić?

/admin/Blokuj

Panel administracyjny — nie powinien być indeksowany ani crawlowany.

/staging/Blokuj

Środowisko testowe — duplikat treści produkcyjnej.

/wp-login.phpBlokuj

Strona logowania WordPress — bez wartości SEO.

/?s=Blokuj

Wyniki wyszukiwania wewnętrznego — thin content, duplikaty.

/blog/Zostaw

Kategoria bloga z wartościową treścią — powinna być crawlowana.

/produkt/Zostaw

Strony produktów e-commerce — kluczowe dla SEO.

Masz problemy z indeksowaniem strony?

Audyt SEO techniczny — sprawdzamy robots.txt, sitemap i crawlowanie oraz naprawiamy błędy indeksowania.

Audyt SEO — oferta

FAQ — Robots.txt co to jest

Kontakt

Skontaktuj się z nami

Porozmawiajmy o Twoim projekcie. Bezpłatna wycena w ciągu 24 godzin.

Wyślij zapytanie

Bezpłatna wycena w 24h

Bez zobowiązań

Indywidualne podejście

Ekspresowa realizacja

Telefon

+48 790 814 814

Pon-Pt: 9:00 - 18:00

adam@fotz.pl

Odpowiadamy w ciągu 24h

Adres rejestrowy

Poznańska 117/11

62-023 Kamionki · obsługa zdalna

Godziny pracy

Pon - Pt9:00 - 18:00

Sob - NdzZamknięte

Wolisz porozmawiać?

Zadzwoń teraz i porozmawiaj z naszym specjalistą o Twoim projekcie.

Zadzwoń teraz