Internet - Scooter, crawler, spiders, robots

Hola a todos :)
Me han dejado investigar estos espias en una materia que se llama "Actualización Tecnológica"
¿Quisiera saber si algún buen programador o analista de programas-web me pudiera decir a logicamente hablando como es que funcionan los crawler, spiders o robots como Scooter o GoogleBot y si me deja algun tipo de algoritmo mejor?
He buscado durante 2 horas y media y no he encontrado nada más que "buscan información por toda la web y la indexan en una base de datos" y lo que necesito es saber cual es su caracteristica principal referente a la lógica.
A quien me responda: Muchas Gracias, Gran Analista!)

Es natural que no encuentres nada al respecto, ya que son secretos celosamente guardados y forma parte de la estrategia de cómo armar los índices y mantener actualizadas las bases de datos que utilizan los motores de búsqueda.
Algo de bibliografía hay, y tiene que ver con especulaciones de quienes estamos de este lado, ya que Google, por ejemplo; a tal efecto es como Coca-Cola: jamás te darán su fórmula!