LinuxParty

Los Web spider son los agentes software que atraviesan Internet, filtrando, y potencialmente agregando información para un usuario. Este artículo te demuestra cómo construir webs y los agregadores para que en Linux se agrege un Web site y recopile su información, datos comunes. En este caso, usando lenguajes de scripting comunes y su colección de módulos Web, puedes desarrollar fácilmente tu Web spider.

El artículo completo en:

Build a Web spider on Linux