Fast alle Suchmaschinenspider spüren die Links aus, die in der angemeldeten Seite gefunden werden, und indizieren alle gefundenen Seiten: es ist also möglich  alle Internet-Seiten der Website zu indizieren, dabei aber auf der Struktur und der „Tiefe „ achten. Manche Spiders sinken nur einen einzigen Level ab,  das heißt, sie spüren  nur die Links die auf der angemeldete Internetseite gefunden werden, und nicht die Links die sich auf verlinkte Seiten befinden.

 

Wenn, und es kommt oft vor, die Website eine tiefe Verzeichnisstruktur hat ( von der Start-Seite erreicht man nicht alle Seiten, die aber von Unterseiten zugreifbar sind)  werden nicht alle Seiten indiziert. Um das Problem zu lösen,  kann man eine übersicht.html Seite die alle links enthält, erstellen.