TOUS / A / B / C / D / E / F / G / H / I / J / K / L / M / N / O / P / Q / R / S / T / U / V / W / X / Y / Z / Personnalités /

Recherchez les définitions ci-dessus

Crawler ou spider

" ("spider"" en anglais).

Les robots sont les logiciels des moteurs de recherche qui explorent, recherchent et les pages mises à jour ou nouvelles et éventuellement les ajoutent dans leurs index (catalogues)". Des milliards de pages Web sont ainsi visitées, analysées, notées de façon continue par de gigantesques réseaux d’ordinateurs. Dans un premier temps, ce sont les URL des pages Web qui sont recueillies, puis au cours d'explorations postérieures s’ajoutent les contenus des pages. À ces URL viennent s'ajouter les données Sitemap fournies par certains webmasters. Les liens SRC et HREF figurant sur chacune des pages sont stockés en vue d’explorations futures et, au moins en ce qui concerne Google, du décompte des liens pointant sur un site.

Googlebot est le nom donné au robot d'exploration Web de Google