LinuxParty

Acabamos de anunciar que completamos el nuevo sistema de indexación de Internet bautizado Caffeine (Cafeina). Este nuevo índice provee resultados de búsqueda 50% más recientes que nuestro último índice y es la colección más amplia de contenido web que hemos ofrecido hasta ahora. Ya sea que se trate de una historia noticiosa o un post en un foro o un blog, ahora el usuario puede encontrar links a contenido relevante en un tiempo mucho más rápido desde que se publicó.

Para tener una idea de cómo funcionan los motores de búsqueda, es necesario saber que cuando un usuario realiza una búsqueda en Google en realidad no está realizando la búsqueda “en vivo” dentro de la Red sino que está buscando en un índice de la Red creado por Google, el cual, lo mismo que el índice en un libro impreso, ayuda a dirigirse exactamente a la información que uno está buscando. (Acá hay una buena explicación -con subtítulos traducibles- de cómo funciona el proceso).

La pregunta entonces es: ¿Por qué hemos creado un nuevo sistema de indexación de la Web? Simplemente porque el contenido en Internet está creciendo a pasos agigantados. Su crecimiento no es solo en el orden de tamaño y números, sino que con la proliferación de video, imágenes, noticias y actualizaciones en tiempo real, la página web promedio es cada vez más rica y compleja. Además, las expectativas de los usuarios son ahora más altas que antes; quienes realizan búsquedas desean encontrar el contenido relevante más reciente, mientras que quienes publican en la Red esperan que su contenido sea hallado en el momento en que lo publican.

De modo que para estar a la par con la evolución de la Red y para responder a las expectativas cada vez más altas de los usuarios, hemos decidido crear Caffeine. La imagen a continuación ayuda a explicar qué es lo nuevo aquí e ilustra las diferencias entre nuestro índice anterior y Caffeine:

Nuestro índice viejo tenía varias capas, algunas de las cuales eran actualizadas a un ritmo más acelerado que otras, y la capa principal era actualizada cada par de semanas. Para actualizar una capa del antiguo índice, analizábamos la Red completa, lo que obviamente equivalía a un retraso importante entre el momento en que encontrábamos la página y el momento en que la poníamos disponible para los usuarios.

Con el nuevo índice de búsqueda, Caffeine, analizamos la Red en pequeñas porciones y lo actualizamos de manera continua y globalmente. A medida que encontramos nuevas páginas o nueva información en páginas ya existentes, podemos agregar esos datos directamente al índice. Esto significa que los usuarios pueden encontrar información más reciente, como nunca antes, sin importar cuándo o dónde fue publicada.

Caffeine nos permite indexar páginas web a una escala enorme. De hecho, cada segundo procesa cientos de miles de páginas en paralelo. Si estuviéramos hablando de una pila de papeles, sería como si esa pila creciera 3 millas en altura (casi 5 kilómetros) por segundo. El nuevo índice de búsqueda almacena casi 100 millones de gigabytes en una base de datos y agrega nueva información a un ritmo de cientos de miles de gigabytes por día. Se necesitarían 625,000 de los iPods más grandes para almacenar esa cantidad de información; y si esos iPods estuvieran puestos en fila ocuparían más de 40 millas (más de 64 kilómetros).

Construimos Caffeine pensando en el futuro. No solamente es algo nuevo, sino que además es una base robusta que hace posible que podamos construir un motor de búsqueda aún más rápido y exhaustivo que escale al ritmo del crecimiento de la información online y entregue a los usuarios resultados de búsqueda aún más relevantes.

Por: Carrie Grimes, Software Engineer