Google détecte un trillion d’URL

Google a détecté plus d’un trillion (mille milliards) d’URL uniques sur le Web d’après le blog du site.
Apparemment la toile mondiale croît au rythme d’un milliard de pages par jour.
Jesse Alpert et Nissan Hajaj, ingénieurs logiciels au Web Search Infrastructure Team de Google disent que leur moteur de recherche n’a pas besoin de les indéxer toutes car nombreuses sont celles présentant de grandes similarités entre elles ou au contenu auto-généré.
Google n’a pas officiellement annoncé la taille de son index depuis un moment, principalement car d’autres moteurs de recherches concurrents s’intéressent de près à leur méthodologie.
Les réactions de Yahoo, Microsoft et Ask.com ne se feront certainement pas attendre.
Google a également mentionné comment et à quel rythme ils analysaient leurs liens.
Il paraît que Google re-traîte tout le schéma de liens internet plusieurs fois par jour. Ce graphique d’un trillion d’URL est similaire à une carte faite d’un trillion d’intersections. Plusieurs fois par jour, donc, Google doit fournir la puissance de calcul nécessaire pour calculer toutes les interections de toutes les routes d’un pays comme les Etats-Unis, mais 50.000 fois plus grand, avec 50.000 fois plus d’intersections et de routes.

(source : http://www.theinquirer.fr/2008/07/28/google_detecte_un_trillion_durl.html)