Robots.txt je soubor určující pravidla chování robotů přicházejících na internetové stránky.
Jeho umístění musí být vždy v kořenovém adresáři a musí být napsán malými písmeny. Než začne robot prohledávat internetové stránky, vždy se podívá do souboru robots.txt, aby zjistil je-li jeho práce povolena respektive omezena.
Soubor robots.txt vytváří některé redakční systémy automaticky. Jsou v nich omezeny hlavně administrační části webu. Je však do nich možno přidávat další omezení.
Jak vytvořit robots.txt
Soubor robots.txt vytvoříte v jakémkoli textovém editoru, postačí i poznámkový blok
Pravidla pro psaní robots.txt
Pravidla pro správné napsání souboru robots.txt nejsou nijak složité. Je to pouze o tom, jakému robotu a co zakážete.