Crawling Ressourcen

Crawling Ressourcen ergeben sich aus der Tatsache, dass Suchmaschinen sogenannte „Crawling-Budgets“ anwenden. Crawler durchsuchen das Internet automatisch nach bestimmten, vorgegebenen Arbeitsschritten. Dabei wird ein zuvor definierter Katalog erstellt. Crawling Ressourcen sind den begrenzten Möglichkeiten geschuldet, Seiten im Netz zu durchsuchen.