Słownik pojęć internetowych
Plik robots.txt: co to jest?
Definicja
Plik robots.txt to plik tekstowy w głównym katalogu strony, który mówi robotom wyszukiwarek, które adresy mogą odwiedzać, a których nie. Steruje odwiedzaniem stron przez roboty, a nie tym, czy strona pojawi się w Google.
Jak działa robots.txt
Zanim robot wyszukiwarki zacznie czytać stronę, zagląda pod adres twojafirma.pl/robots.txt. Znajduje tam proste reguły: który robot (User-agent), czego ma nie odwiedzać (Disallow) i co mu wolno (Allow). Często jest tam też adres mapy witryny.
Reguły są prośbą, nie blokadą. Roboty Google i innych dużych wyszukiwarek ich przestrzegają, ale nieuczciwe automaty mogą je zignorować. Plik niczego nie zabezpiecza i jest publiczny, więc nie wpisuj w nim adresów, które mają pozostać tajne.
Częste nieporozumienie
Robots.txt nie służy do ukrywania strony przed Google. Dokumentacja Google mówi to wprost. Adres zablokowany w tym pliku nadal może pojawić się w wynikach, jeśli linkują do niego inne strony, tylko bez opisu. Żeby podstrona nie trafiała do wyników, używa się znacznika noindex albo zabezpiecza ją hasłem. Więcej o tym w haśle indeksowanie.
Czy mała firma musi się tym zajmować
Zwykle nie. Na stronie firmowej z kilkunastoma podstronami nie ma czego zakazywać robotom. Groźna jest sytuacja odwrotna: błędna reguła Disallow: / zamyka przed robotami całą stronę.
W Halo Strony plik robots.txt powstaje automatycznie i pozwala wyszukiwarkom czytać opublikowaną stronę. Niczego nie musisz ustawiać.
Plik robots.txt: pytania i odpowiedzi
Jak sprawdzić, co jest w moim pliku robots.txt?
Dopisz /robots.txt do adresu strony głównej i otwórz go w przeglądarce. Zobaczysz zwykły tekst z regułami. Najważniejsze, żeby pod User-agent: * nie było linii Disallow: /, bo zamyka ona całą stronę przed robotami. Google Search Console ma też raport, który pokazuje, jak Google odczytał ten plik.
Co się stanie, jeśli strona nie ma pliku robots.txt?
Nic złego. Gdy pliku nie ma, roboty wyszukiwarek uznają, że mogą odwiedzać całą stronę. Brak robots.txt jest bezpieczniejszy niż plik z błędną regułą blokującą. Plik przydaje się jednak do wskazania adresu mapy witryny. W Halo Strony robots.txt powstaje automatycznie i zawiera adres mapy.
Czy robots.txt działa też na roboty AI?
Tak, o ile firma prowadząca robota go przestrzega. Część firm AI publikuje nazwy swoich robotów i deklaruje, że respektuje robots.txt, na przykład OpenAI opisuje robota GPTBot. Google ma osobny token Google-Extended, który dotyczy wykorzystania treści w jego modelach AI. Blokada nie usuwa jednak danych zebranych wcześniej.
Czym robots.txt różni się od znacznika noindex?
Robots.txt prosi robota, żeby nie odwiedzał adresu, a znacznik noindex w kodzie podstrony prosi, żeby nie pokazywał jej w wynikach. Robot musi móc odwiedzić podstronę, żeby zobaczyć noindex, więc zablokowanie jej w robots.txt sprawia, że znacznik nie zadziała. Więcej o tym w haśle indeksowanie.
Jak to się dzieje, że robots.txt blokuje całą stronę?
Najczęściej przez przeoczenie. Strony w budowie bywają celowo zamknięte przed robotami, a po publikacji ktoś zapomina zdjąć blokadę. Google przestaje wtedy odwiedzać stronę, nie widzi zmian, a adresy mogą znikać z wyników albo pokazywać się bez opisu. Po usunięciu blokady powrót trwa, aż roboty znów odwiedzą stronę.
Czy robots.txt wpływa na pozycję w Google?
Nie bezpośrednio. Plik nie poprawia pozycji, tylko decyduje, które adresy robot może odwiedzać. Na dużych serwisach pomaga skierować roboty do ważnych podstron, ale na stronie małej firmy z kilkunastoma podstronami nie ma to praktycznego znaczenia. Ważne jest tylko, żeby nie blokował niczego, co ma się pojawiać w Google.