Iniciar sesión

***Sauron*** · (Última modificación: 19-03-2014, 02:53 PM por Sauron.)

Para sacar información de una web es muy sencillo, con los dos trozos de código que os voy a mostrar vas a poder hacerlo sin problemas.

Para el caso de utilizar las funciones nativas de PHP sería:

Código:
<?PHP

$html = file_get_contents('http://foroblackhat.com/');

preg_match('/<title>(.*)<\/title>/i', $html, $title);

$title_out = $title[1];

En este caso estamos sacado el Título de una URL que le hemos pasado la función file_get_contents que nos devuelve el HTML de esa URL.

Si quieres trabajar con una librería más potente te recomiendo Curl por defecto suele venir ya instalada. El código sería:

Código:
<?PHP

function get_content_url($url) {

    $ch = curl_init();

    curl_setopt($ch, CURLOPT_URL, $url);

    curl_setopt($ch, CURLOPT_HEADER, false);

    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

    curl_setopt($ch, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1); 

    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5);

    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.8) Gecko/2009032609 Firefox/3.0.8');

    $data = curl_exec($ch); 

    curl_close($ch);

    return $data;

}

$html = get_content_url('http://foroblackhat.com/');

preg_match('/<title>(.*)<\/title>/i', $html, $title);

$title_out = $title[1];

Como puedes ver en esta nos deja meter más parámetros como puede ser el User Agent y demás. Si quieres conocer todas las posibilidades de esta librería que es muy potente te recomiendo la web oficial de PHP:
http://www.php.net/manual/es/book.curl.php

heyla03 · 29-07-2014, 12:24 AM

Usa phpquery. Es el mejor para scrapear desde php... un saludo.

Enviado desde mi bq Aquaris

***Sauron*** · 29-07-2014, 10:35 AM

(29-07-2014, 12:24 AM)heyla03 escribió: Usa phpquery. Es el mejor para scrapear desde php... un saludo.

Muy interesante phpQuery, pero para obtener el HTML de una web es mejor emplear la librería cURL, el ejemplo del hilo hecho con phpQuery:

Código PHP:
<?PHP
function get_content_url($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1); 
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5);
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.8) Gecko/2009032609 Firefox/3.0.8');

    $data = curl_exec($ch); 
    curl_close($ch);

    return $data;
}

//Get the HTML string from cURL
$document_html_string = file_get_contents('http://foroblackhat.com/');

//Create new instance of phpQuery
//We assume the phpoQuery library is included at the top or your script.
phpQuery::newDocument($document_html_string);
$inputs = array(); //Create an empty array to hold the inputs.
    
//Get title
$title_out = $pq->find("title")->text(); 

heyla03 · 29-07-2014, 03:55 PM

Si yo lo obtengo con curl y con phpquery parseo lo que quiero extraer.

Enviado desde mi bq Aquaris

vmartinez · 17-09-2014, 12:28 AM

a mi no me llega a descargar el fichero de la web ¿???

pabl0p · 29-01-2015, 09:08 PM

¿Es posible navegar por una web con código PHP?

Me explico:

- Accedo a una web en la que hay un botón.
- Si pulso en ese botón, me lleva a una URL determinada (la URL cambia cada vez)

Esa URL última es la que quiero sacar, ¿sabéis cómo puedo hacerlo?

***Sauron*** · 29-01-2015, 09:24 PM

@pabl0p si lo que quieres tomar la última URL efectiva al seguir cierta URL que te lleva a otra URL se puede hacer con la opción CURLINFO_EFFECTIVE_URL

Te recomiendo mirarte la documentación de CURL:
http://php.net/manual/es/function.curl-getinfo.php

$ultimo_enlace = curl_getinfo($curl, CURLINFO_EFFECTIVE_URL);

ErickGS · 09-07-2015, 06:43 AM

Vaya justo esto he andado buscando, yo lo hacía con el primer método y no funcionaba siempre porque las web lo bloqueaban, veremos que tal trabaja el segundo Gran sonrisa

Iniciar sesión
Nombre de usuario:
Contraseña:	¿Perdiste tu contraseña?
	Recordarme