Hola compañeros,
Tal y como dice el título a ver si alguien me puede echar una mano.
Necesito scrapear más de los 100 primeros resultados que ofrece Scrapebox pero no sé como hacerlo.
Es decir, necesitaría obtener unas 300 urls que es el dato que me arroja la consulta desde google.
Saludos y gracias.
nadie en este foro me puede ayudar?
Bueno. No dices como estás scrapeando por lo que es complicado ayudarte. Si sólo te salen 100 resultados puede ser que tus proxies no te estén ayudando o que le estás pegando con fe y devoción a Google. Lo que te recomiendo es que si vas a scrapear a Google directamente, bajes los threads del harvestar a 1. Si, te vas a tardar mucho más en scrapear todo lo que quieres pero es la manera segura de hacerlo en 2017.
(24-10-2017, 08:18 PM)Ozkar escribió: [ -> ]Bueno. No dices como estás scrapeando por lo que es complicado ayudarte. Si sólo te salen 100 resultados puede ser que tus proxies no te estén ayudando o que le estás pegando con fe y devoción a Google. Lo que te recomiendo es que si vas a scrapear a Google directamente, bajes los threads del harvestar a 1. Si, te vas a tardar mucho más en scrapear todo lo que quieres pero es la manera segura de hacerlo en 2017.
Yo lo he probado y me sigue sin subir de 100 pero si le metía mucha footprints al final se me paraba y ahora no. Así que lo dejare con un threads.
En la parte de configuración de los motores de búsqueda hay una muy bella sección que dice "cuantos resultados quieres que aparezcan" y esa es la que deben de cambiar.
![[Imagen: ldI0E]](https://imgur.com/a/ldI0E)
Ahí donde dice 100, cámbialo a 300, 500 o lo que necesiten. También pueden hacer motores específicos para cada país. (esto es ultra útil).
Mas de lo mismo, me uno a la pregunta.