Deepbot

Als Deepbot wird ein Teil des Web-Crawlers Googlebot bezeichnet, der das Internet in regelmäßigen Zeitabständen durchsucht (Crawling), um möglichst viele Inhalte und Websites dem Google Suchindex hinzuzufügen (Indexierung). Deepbot konzentriert sich auf die Tiefe von Websites und folgt allen Verweisen, die ihm durch den bestehenden Index bekannt sind. Deepbot bewegt sich automatisch von Verweis zu Verweis, erfasst verschiedene Daten (vgl. Rankingfaktoren) und speist sie in das komplexe System ein. Alle Inhalte, auf die das Deepbot bei diesem tiefergehenden Crawling-Prozess stößt, werden Schritt für Schritt dem Index zugeordnet. Diese Datenbasis ist die Grundlage für die Algorithmus-Berechnungen, die letztendlich zum Ranking führen. Die Prozesse wirken sich direkt auf das Ranking von Websites in den SERPs aus, da das System neue Datensätze verwendet – das als Google Dance bekannt ist und einem Data Refresh gleichkommt. Deepbot besucht aktuell Websites in einem Abstand von etwa einem Monat und crawlt circa eine Woche lang Millionen von Webdokumenten im Internet.