Ein Crawler startet mit bekannten URLs und entdeckt neue Seiten über Links, Sitemaps und Verweise. Google lädt den HTML-Code, rendert bei Bedarf JavaScript und entscheidet anschließend, ob der Inhalt in den Index aufgenommen wird. Wie oft und wie tief eine Website gecrawlt wird, hängt von ihrer Größe, ihrer technischen Leistung und der Nachfrage nach ihren Inhalten ab. Bei großen Websites spricht man vom Crawl-Budget.
Steuern lässt sich das Crawling über die robots.txt, interne Verlinkung und XML-Sitemaps. Blockiertes Crawling verhindert allerdings nicht, dass eine URL indexiert wird, wenn sie von außen verlinkt ist. Seit KI-Suchen an Bedeutung gewinnen, prüfe ich zusätzlich, welche KI-Crawler eine Website zulässt und welche nicht.