El funcionamiento de un motor de búsqueda se puede resumir en dos pasos: rastreo e indexación.

Rastreo

Un motor de búsqueda recorre la web rastreando con lo que se llaman bots, estos bots recorren todas las páginas a través de los enlaces (de ahí la importancia de una buena estructura de enlaces) al igual que haría cualquier usuario al navegar por el contenido de la Web, pasan de un enlace a otro y recopilan datos sobre esas páginas web que proporcionan a sus servidores. El proceso de rastreo empieza con una lista de direcciones web de rastreos anteriores y de sitemaps proporcionada por otras páginas web. Una vez acceden a estas web, los bots buscan enlaces a otras páginas para visitarlas. Los bots se sienten especialmente atraídos por los sitios nuevos y a los cambios en las web existentes.

Son los propios bots los que deciden que páginas visitar, con qué frecuencia y cuanto tiempo van a rastrear esa web, por eso es importante tener un tiempo de carga óptimo y un contenido actualizado.

Es muy común que en una página web se necesita restringir el rastreo de algunas páginas o de cierto contenido para evitar que estas aparezcan en los resultados de búsqueda. Para esto se le puede decir a los bots de los motores de búsqueda que no rastreen ciertas páginas a través del archivo “robots.txt”.

Indexación

Una vez que un bot ha rastreado una página web y ha recopilado la información necesaria, estás páginas se incluyen en un índice donde se ordenan según su contenido, su autoridad y su relevancia; de este modo cuando hagamos un consulta al motor de búsqueda le resultará mucho más fácil mostrarnos los resultados que estén más relacionados con nuestra consulta.

Al principio los motores de búsqueda se basaban en el número de veces que se repetía una palabra en una página, al hacer una búsqueda rastreaban en su índice esos términos para encontrar que páginas los tenían en sus textos posicionando mejor la que más veces lo tenía repetido. A partir de ese momento los motores de búsqueda se vuelven más sofisticados y basan sus índices en cientos de aspectos diferentes como la fecha de publicación, si contienen fotos y vídeos, etc; ya que seguramente si estás buscando la palabra “casa” no quieras ver un página con la palabra “casa” miles de veces.

Una vez que las páginas son rastreadas e indexadas llega el momento en el que actúa el algoritmo del motor de búsqueda: los algoritmos son fórmulas y procesos informáticos que convierten las preguntas en respuestas, estos algoritmo buscan en el índice las respuestas que mejor se adecuen a la pregunta que hemos hecho, esto lo hacen basándose en cientos de señales como los términos de los sitios web, la actualidad del contenido, nuestra región o el PageRank.