Twórz plik robots.txt do kontrolowania indeksowania przez wyszukiwarki
Tool UI component not found: dev/robots-txt
O tym narzedziu
Plik robots.txt to tekstowy plik umieszczany w katalogu głównym strony internetowej, który informuje roboty wyszukiwarek (Google, Bing, Yandex), które strony mogą indeksować, a które powinny pomijać.
Poprawna konfiguracja robots.txt jest kluczowa dla SEO — możesz blokować strony administracyjne, duplikaty treści, strony w budowie, a jednocześnie zapewnić pełne indeksowanie ważnych podstron.
Ten generator pozwala wizualnie tworzyć reguły robots.txt, dodawać wiele dyrektyw User-agent, definiować Disallow i Allow, oraz automatycznie dołączać lokalizację sitemap.xml.
Jak uzywac
1. Wybierz gotowy szablon (pozwól wszystkim, blokuj wszystkich, WordPress, itp.)
2. Lub dodaj własne reguły — wybierz User-agent i ścieżki do zablokowania
3. Dodaj ścieżkę do sitemap.xml (zalecane dla SEO)
4. Przejrzyj wygenerowany plik robots.txt
5. Skopiuj i zapisz jako robots.txt w katalogu głównym strony
Czesto zadawane pytania
Gdzie umieścić plik robots.txt?
Plik robots.txt musi znajdować się w katalogu głównym domeny, np. https://twoja-strona.pl/robots.txt. Nie działa w podkatalogach.
Czy robots.txt blokuje indeksowanie strony?
Robots.txt blokuje crawlowanie, ale nie indeksowanie. Strona zablokowana w robots.txt może nadal pojawić się w Google, jeśli są do niej linki. Aby całkowicie usunąć stronę z indeksu, użyj meta tagu noindex.
Jak zablokować Google bota?
Użyj User-agent: Googlebot z odpowiednimi dyrektywami Disallow. Pamiętaj, że zablokowanie Googlebot wpływa na wszystkie usługi Google, w tym Google Images.
Jaki robots.txt dla WordPress?
Dla WordPress blokuj /wp-admin/, ale pozwól na /wp-admin/admin-ajax.php. Blokuj też /wp-includes/, parametry ?s= (wyszukiwanie), /tag/, /author/ jeśli generują duplikaty.
Czy robots.txt wpływa na SEO?
Tak, znacząco. Niepoprawny robots.txt może zablokować indeksowanie ważnych stron lub marnować crawl budget na nieistotne podstrony. Regularnie sprawdzaj w Google Search Console.
Jak sprawdzić czy robots.txt działa?
Użyj narzędzia 'Tester pliku robots.txt' w Google Search Console. Wpisz URL i sprawdź, czy jest zablokowany czy dozwolony dla różnych botów.