Fibranet.org

Registrado: 17 Jun 2004

Bueno, ese es el nombre que reciben las arañas (programas) que recorren la web visitando nuestras páginas para indexar los buscadores. ¿Alguien conoce algún buen manual para construir una buena araña? ¿cómo trabajan mejor? ¿algún código GPL ya hecho?

Gracias,

Registrado: 11 Jul 2004

Creo recordar que le i hace poco que Google (si, el todopoderoso google Very Happy

) iba a liberar PARTE del codigo de su araña rastradora.

También supongo que en sourceforge habra algun proyecto que diseñe arañas de exploración web, has mirado?

Saludos!

Registrado: 17 Jun 2004

Sí, he encontrado pero las que he visto buscan en todas las webs y yo quiero una que se quede sólo con aquellas webs que cumplan unas especificaciones con respecto a los contenidos.

Una opción era hacer que el proxy limitase las páginas a ver pero no sé hacerlo por el contenido (sí por la URL).

¿Ideas? (quizá acabe programando mi propia araña)

Registrado: 11 Jul 2004

El problema que yo le veo a eso es... ¿Como diferencias los contenidos?, es decir, como sabe la araña que no es una página que habla sobre... nose, la vida de las abejas, y si es una página X?, porque podrías por ejemplo decir "vamos a buscar en el titulo de la página, y diferenciamos por el", pero, ¿Y si no tiene? ¿Y si alguien pone algo para "engañar" a tu araña?

Muchos problemas veo yo a una implementación selectiva...

Una pregunta, ¿Para que quieres la susodicha araña?

Saludos!

Registrado: 17 Jun 2004

Bueno, no es tan complicada la búsqueda. Smile

Buscas en los contenidos para que aparezcan sólo las páginas en las que aparezcan las palabras A,B,C... pero no aparezcan las X,Y,Z... Es un método de selección cutre ahora mismo pero mis ideas han pasado ya a otro nivel.

Finalmente el objetivo es un proyecto bajo secreto. "No hay palabras que el viento se lleve, si no han sido dichas". Si quieres colaborar...ponte en contacto por privado y te cuento un poco más.

Por cierto, ¿cuando te vas a poner un AVATAR?

Registrado: 11 Jul 2004

Ya tengo Avatar Very Happy

.

Te envio un mail y ya me cuentas algo mas.

Saludos!

Publicado: Sab Sep 25, 2004 9:58 pm

El algoritmo que intenta adivinar de qué trata una página es bastante complejo. También suele tener en cuenta qué texto se suele usar cuando unas páginas enlazan con otra dada. Esto es lo que hace posible que se produzcan los típicos ataques para conseguir puestos altos en los buscadores creando gran cantidad de enlaces en pagínas con un texto dado.

Registrado: 17 Jun 2004

Con la mezcla de un proxy concreto que encontré (para protección de menores), haciendole ciertas modificiones y una buena araña, obtener estos resultados no es dificil. El proxy limita los contenidos por puntuación (palabras contenidas) y la araña navega por todo internet usando este proxy.

El resultado es realmente sorprendente, conseguí navegar (como si yo fuese la araña) con un porcentaje de acierto de 48/50, es decir, había 2 páginas que no pertenecían al tema que yo quería buscar y el resto de páginas si eran sobre este tema concreto. El tema que usé fue el de encontrar páginas webs relacionadas con "casas rurales en españa".

Un saludo,