Le nombre d’adresses web ou hyperliens présents dans un site et la façon dont ils sont reliés sont deux informations qu’on peut représenter par un graphe. Si un robot (webcrawler) suit tous les liens qu’il rencontre (jusqu’à une certaine profondeur) en partant d’une page d’accueil et qu’il collecte leurs noms, il devient possible d’établir le graphe des adresses web qu’il a recueillies. Cette représentation donne une bonne idée de l’architecture du web et plus particulièrement du site d’accueil dont le robot est parti.

Voir comment programmer un webcrawler avec le langage Wolfram.