Roboti, někdy pavouci nebo crawleři jsou špehové, kteří mají za úkol procházet internetové stránky a sbírat z nich informace. Takových robotů je několik druhů a každý druh má za úkol něco jiného. Někteří chodí po webech a sbírají obrázky, jiní jsou určeni ke sbírání odkazů, apod.
Pro SEO optimalizaci jsou nejdůležitější roboti, kteří sbírají textové informace a odkazy.
Práce robotů se dá na stránkách omezit nebo úplně zakázat v meta tagech nebo v souboru robots.txt.