Robot txt to plik, który służy do blokowania indeksacji stron w wyszukiwarkach.
Istnieje co najmniej kilka powodów, dla których warto umieścić ten plik na swojej stronie. Są to m.in.: blokada danych, których nie chcemy udostępnić internetowym wyszukiwarkom, chęć podążania za wytycznymi publikowanymi przez Google oraz chęć udostępniania swojej witryny wyłącznie renomowanym robotom z grupy Googlebot.
Stworzenie pliku robots.txt nikomu nie powinno sprawić kłopotów. Wystarczy w dowolnym edytorze tekstu napisać zwykłą notatkę i gotowe. User-agent wyznacza kierunek, którym podążają roboty indeksujące. Indeksacja stron na pewno przyda się tutaj każdemu użytkownikowi Google. Warto pamiętać również o unikaniu zamieszczania kopiowanych treści na swojej internetowej stronie. Konfiguracja nie powinna nikomu również tutaj sprawić problemu.
