¿Cómo funcionan los buscadores? 2ª Parte

Volvemos con una nueva explicación sobre el funcionamiento de los buscadores con el fin de ayudaros a conseguir la mejor posición en Google y que tus clientes te encuentren fácilmente.

Badenes y Muros

Ciertos esquemas de navegación pueden dificultar o impedir completamente que los buscadores alcancen el contenido de su sitio web.

Cuando las arañas de los buscadores rastrean la red, se basan en la estructura de hiperenlaces para encontrar nuevos documentos y para revisitar los que hayan cambiado. Haciendo una analogía con los badenes y los muros, una estructura de enlaces compleja, profunda y con poco contenido único puede hacer las veces de «badén». Los datos a los que no se puede acceder siguiendo la estructura de enlaces se encuentran ocultos tras un «muro».

Posibles badenes para las arañas de los buscadores

Las arañas son reacias a rastrear URL complejas. 

Por ejemplo, algo como url.com/page.php?id=4&CK=34rr&User=%Tom%. Las URL como ésta suelen dar lugar a errores cuando quienes las visitan no son humanos. Así que tengámoslo en cuenta a la hora de definir nuestra URL.

• Páginas con más de cien enlaces únicos a otras páginas del mismo sitio ( puede que las arañas no los sigan todos).
• Las páginas enterradas a más de tres clics/enlaces de distancia de la página de inicio de un sitio web ( a menos que muchos enlaces externos apunten al sitio, las arañas a menudo ignoran las páginas profundas).
• Además las páginas para cuya navegación sea necesaria una «ID de sesión» o una cookie ( las arañas no son capaces de recordar esos elementos, cosa que el navegador sí hace).
• Por último, las páginas divididas en «marcos» pueden dificultar el rastreo y provocar confusión sobre qué páginas se han de mostrar en los resultados.

La clave paras cerciorarse de que los contenidos de un sitio son completamente rastreables es proporcionar enlaces directos en HTML a cada página que se desee que las arañas de los buscadores indexen. Recuerde que, si no se puede acceder a una página desde la página de inicio (el lugar desde el que las arañas empezarán su rastreo la mayoría de las veces), es probable que los buscadores no la indexen. Para este propósito, un mapa del sitio (sitemap) resulta de gran ayuda.

Medir la relevancia y la popularidad

Los buscadores comerciales modernos se basan en la ciencia de recuperación de información (IR, información retrieval), que existe desde mediados del siglo XX, cuando los sistemas de recuperación introdujeron los ordenadores en las bibliotecas, en los centros de investigación y en los laboratorios estatales. En los primeros tiempos del desarrollo de los sistemas de búsqueda, los expertos en IR se dieron cuenta de que la base de la funcionalidad de búsqueda se limitaba a estos dos elementos:

• Relevancia: El grado en el que el contenido de los documentos que devuelve una búsqueda coincide con la intención de la consulta y de las palabras que el usuario ha utilizado.
• Popularidad: La importancia relativa, medida a través de las menciones (el acto por el que una obra hace referencia a otra, como sucede a menudo con los documentos científicos y empresariales) de un determinado documento que encaja con la consulta del usuario. La popularidad de un documento aumenta cada vez que otro documento se refiere a él.

Palabras clave y consultas

Los buscadores se basan en los términos que introducen los usuarios en sus consultas para decidir sobre qué conjunto de resultados han de aplicar sus algoritmos.

Pero, en lugar de identificar y recuperar únicamente los documentos que coinciden exactamente con los términos de la consulta, los buscadores aplican conceptos de semántica (la ciencia del lenguaje) para encontrar coincidencias inteligentes para las consultas. Por ejemplo, una búsqueda de «proveedores de crédito» también devolverá resultados que no contienen esa expresión en particular, sino el término «prestamistas».

Los buscadores recopilan datos basándose en la frecuencia de uso de las expresiones y la aparición conjunta de palabras y frases en la web. Si ciertas expresiones o frases suelen figurar juntas en las páginas y los sitios web, los buscadores pueden generar teorías inteligentes sobre la relación entre ellas.

La búsqueda y el procesamiento de datos semánticos del incomparable cuerpo documental que es internet han permitido a los buscadores obtener artificialmente algunos de los datos más precisos sobre ontologías y conexiones entre palabras de que disponemos. Este inmenso conocimiento del lenguaje y de su uso les permite decidir, por ejemplo, qué páginas de un sitio tratan sobre el mismo tema, sobre qué tema trata una página o un sitio entero, cómo se divide la estructura de enlaces de web en comunidades temáticas y un largo etcétera.

La creciente inteligencia artificial de los buscadores respecto del lenguaje implica que las consultas obtendrán resultados cada vez más inteligentes y desarrollados.

La importante inversión que se está realizando en la investigación del procesamiento de lenguajes naturales (NLP,Natural Language Processing) ayudará a llegar a comprender mejor el significado y la intención de las consultas de los usuarios. A largo plazo, los usuarios pueden esperar que este trabajo incremente la relevancia de las páginas de resultados de los buscadores (SERP, Search Engine Results Pages) y ofrezca suposiciones más acertadas por parte de los buscadores acerca de la intención tras las consultas de un usuario.