Wenn eine Website vom Crawler einer Suchmaschine gescannt wird, „betrachtet“ dieser jede einzelne Unterseite – sofern diese nicht als „Noindex“ gekennzeichnet ist. Durch diese Kennzeichnung kann der Betreiber der Website aktiv beeinflussen, welche Unterseiten in das GoogleRanking einbezogen werden und welche nicht.