Es cosa de imaginar a la WWW (World Wide Web) como una red especifica de estaciones en un gran sistema de metro en la ciudad.
Cada estación es un documento o archivo único (generalmente puede tratarse de una página web, pero a veces un JPG, PDF u otro tipo de archivo). Los motores de búsqueda necesitan una forma para “rastrear” toda la ciudad y de esta manera lograr encontrar todas las estaciones del camino, así que utilizan la ruta mas adecuada disponible (links).
“La estructura de los enlaces existentes en la web funciona para lograr unir todas las páginas”
Los Enlaces permiten a los robots automatizados de los buscadores, llamados “crawlers” o “arañas”, el llegar a los miles de millones de documentos que se encuentran interconectados en la red.
Una vez que los motores encuentran estas páginas, donde deben descifrar el código de ellas y almacenar piezas seleccionadas en las masivas bases de datos, para recuperarse más tarde cuando sea necesario el realizar una consulta de búsqueda. Para llevar a cabo la titanica tarea de acceder a miles de millones de páginas en una fracción de segundo, las grandes empresas de buscadores en Internet han desarrollado centros de datos en todo el orbe.