Sélectionner une page

Les sites mis à jour quotidiennement ou très fréquemment et ceux disposant d’un PR élevé sont visités à des intervalles allant de quelques heures à quelques jours, par des robots que l’on appelle les freshbots. Les résultats des visites sont immédiatement intégrés à l’index, puis retirés jusqu’au passage des robots classiques, les deepbots, qui les indexent à nouveau.

La grande majorité des sites sont visités une fois par mois ou moins par les Deepbots. Ceci avait auparavant lieu lors du Full Crawl suivant la Google Dance. La Google Dance correspondait à la mise à jour plus ou moins mensuelle de l’index et à la modification des pages rank. Désormais, l’index est réactualisé en continu, avec un mise à jour plus profonde toutes les trois semaines environ.

Les Deepbots visitent les sites de manière plus intensive que les Freshbots. On distingue les Freshbots des Deepbots par leur adresse IP, celle des Freshbots commençant par 64 et celle des Deepbots par 216.