Co to jest robots.txt?

Robots.txt – jest to plik, który przekazuje robotom wyszukiwarek informacje, o tym, jakie zasoby konkretnej witryny może indeksować. Plik robots.txt umieszcza się w folderze głównym na serwerze strony internetowej. Robots.txt ma wiele zalet – jedna z nich to możliwość zarządzania ruchem robotów, które indeksują witrynę. W pliku zawierane są polecenia do robotów odwiedzających stronę. Można w ten sposób także ograniczyć im dostęp do określonych zasobów witryny (do tego wykorzystuje się konkretne instrukcje blokowania lub zezwalania). Oczywiście blokowanie nie oznacza tego, że robot posłucha, nie ma możliwości zmuszenia go do tego. Blokowanie będzie zatem jedynie prośbą o nie przeszukiwanie danej części witryny.