Quasi tutti gli Spiders seguono i links trovati nella pagina registrata e indicizzano tutte le pagine trovate: è quindi possibile indicizzare tutte le pagine del sito, facendo però attenzione alla struttura ed alla "profondità". Alcuni Spiders scendono di un solo livello, ossia seguono i collegamenti trovati sulla pagina registrata, ma non i links trovati nelle pagine collegate.
Se, come spesso accade, il proprio sito ha una struttura profonda (dalla Home Page non si raggiungono tutte le pagine, accessibili dalle sotto-categorie del sito) non tutte le pagine saranno indicizzate. Per risolvere il problema si può realizzare e registrare una pagina Sommario.html contenente i collegamenti a tutte le pagine del sito.