Casi todos los Spiders siguen a los links encontrados en la página registrada, y indexan todas las páginas encontradas: por lo tanto es posible indexar todas las páginas del sitio, poniendo atención a la estructura y a la "profundidad". Algunos Spiders bajan de un sólo nivel, es decir siguen los enlaces encontrados en la página registrada, pero no los links encontrados en la páginas enlazadas.
Si, como muchas veces ocurre, su sitio tiene una estructura profunda (desde la Home Page no se alcanzan todas las páginas, accesibles por las subcategoría del sitio) no todas las páginas serán indexadas. Para solucionar el problema se puede realizar y registrar una página Sumario.html que contiene los enlaces a todas las páginas del sitio.