Foro Black Hat SEO

Versión completa: Comprobar masivamente las cabeceras HTTP de un listado de URL
Actualmente estas viendo una versión simplificada de nuestro contenido. Ver la versión completa con el formato correcto.
Si queremos sacar un listado de urls con la respuesta HTTP que devuelven, por ejemplo 200 si la web existe o un 404 si la web no existe. La mejor herramienta online que he encontrado es:
http://www.tomanthony.co.uk/tools/bulk-h...r-compare/

He probrado enviar más de 1000 URL y no ha podido terminar la tarea, pero con 400 URLs si lo puede hacer perfectamente. Puedes ordenar las códigos de respuesta una vez haya acabado el análisis, pulsando en 'Response Code'

El resultado puedes exportarlo a un CSV y abrirlo en excel y seleccionar las urls por ejemplo que tienen un 404, y comprobarles la autoridad con nuestra herramienta:
http://foroblackhat.com/hilo-herramienta...do-de-urls

Y así registrarte los blogs eliminados que tienen autoridad.

por ejemplo, el siguiente listado puede ser introducido tal cual en nuestro programa de comprobar autoridad, coge correctamente la url siempre cuando haya un espacio o tabulador que lo separe en este caso del 404:
Código:
http://afistfullofstarstuff.tumblr.com    404    
http://otakugeneration.tumblr.com    404    
http://funny-gifs-videos.tumblr.com    404    
http://matte-painting.tumblr.com    404    
http://strive4allah.tumblr.com    404    
http://kimijuanblog.tumblr.com    404    
http://pornisfantastic.tumblr.com    404    
http://foxthroughafender.tumblr.com    404    
http://klainedestined.tumblr.com    404    
http://richyxc93.tumblr.com    404    
http://winglessnews.tumblr.com    404    
http://deviljericho.tumblr.com    404    
http://disney-tasthic.tumblr.com    404    
http://pensiericontingenti.tumblr.com    404    
http://joker1007.tumblr.com    404    
http://pokehidden.tumblr.com    404    
http://xcgirl08.tumblr.com    404    
http://mustesnaisler.tumblr.com    404    
http://mybaudelaire.tumblr.com    404    
http://adverbadjective.tumblr.com    404    
http://koryminx.tumblr.com    404    
http://salutemyblog.tumblr.com    404    
http://5redpandas.tumblr.com    404    
http://tacticalhoneybadger.tumblr.com    404    
http://mynameispetey.tumblr.com    404    
http://icomefromthesun.tumblr.com    404    
http://crystalline---green.tumblr.com    404    
http://thepellucidpanda.tumblr.com    404    
http://indywrestling.tumblr.com    404    
http://timtebowonline.tumblr.com    404    
http://sweet-phi.tumblr.com    404    
http://calebthefox.tumblr.com    404    
http://askthedelightfulchildren.tumblr.com    404    
http://schniall.tumblr.com    404    
http://calyps-oh.tumblr.com    404    
http://realityoccasionally.tumblr.com    404    
http://jwtroemner.tumblr.com    404    
http://makototz.tumblr.com    404    
http://thetemptingtemptations.tumblr.com    404    
http://fuckyeahbedroomdecor.tumblr.com    404    
http://mosh.tumblr.com    404    
http://michellenotmarie.tumblr.com    404    
http://itskshowtime.tumblr.com    404    
http://news-kardashian.tumblr.com    404    
http://fuckyeahvanswarped.tumblr.com    404    
http://f33ny.tumblr.com    404    
http://teachersinproduction.tumblr.com    404    
http://greysanatomyheadcanons.tumblr.com    404    
http://just-imagine-beautiful.tumblr.com    404    
http://sehuns-rainbow-colored-jizz.tumblr.com    404    
http://octoberweather-oversizedsweaters.tumblr.com    404    
http://fredasaurusrex.tumblr.com    404    
http://philallery.tumblr.com    404    
http://oscarpetter.tumblr.com    404    
http://villagepress.tumblr.com    404    
http://twerkmag.tumblr.com    404    
http://rirrilil.tumblr.com    404    
http://tabasco-star.tumblr.com    404    
http://fuckyeahsment-exo.tumblr.com    404    
http://mazylelix.tumblr.com    404    
http://livmenakedlunch.tumblr.com    404    
http://missmariemjolnir.tumblr.com    404    
http://chrisredford.tumblr.com    404    
http://myownprivatelockerroom.tumblr.com    404    
http://lauriesaysfuckoff.tumblr.com    404    
http://weinenundlachen.tumblr.com    404    
http://bythebear.tumblr.com    404    
http://esmeweatherwax.tumblr.com    404    
http://ask-survivor-simon-petrikov.tumblr.com    404    
http://tanzania-gemstv.tumblr.com    404    
http://dashboardemergency.tumblr.com    404    
http://je-mappelle-michelle.tumblr.com    404    
http://fastcashloans365.tumblr.com    404    
http://harbisikerimbak.tumblr.com    404    
http://sorryforaminutedeadforever.tumblr.com    404    
http://lalexis.tumblr.com    404    
http://cle0-patra.tumblr.com    404    
http://cheerfulrealist.tumblr.com    404    
http://iloveallan.tumblr.com    404    
http://dinosaurrpuke.tumblr.com    404    
http://revolutionaryk.tumblr.com    404    
http://halleybutt.tumblr.com    404    
http://itsmiazarring.tumblr.com    404    
http://bad-reputation-96.tumblr.com    404    
http://fitnessmadness.tumblr.com    404    
http://ineedmoretimeforanime.tumblr.com    404    
http://seattles0unders.tumblr.com    404    
http://thethingsyouvedone.tumblr.com    404    
http://gorgeousgreymatter.tumblr.com    404    
http://saraanddarionpluscats.tumblr.com    404    
http://kevosthename.tumblr.com    404    
http://thepsychohaswritten.tumblr.com    404    
http://thebrownpottery.tumblr.com    404    
http://rwa42.tumblr.com    404    
http://theseaofgreen.tumblr.com    404    
http://munkiepoo.tumblr.com    404    
http://ireblog4weed.tumblr.com    404    
http://fyeahtonygoldwyn.tumblr.com    404    
http://paigelovescorgis.tumblr.com    404    
http://giveabookwormablog.tumblr.com    404    
http://semirevolutionary.tumblr.com    404    
http://vtheaterboxoffice.tumblr.com    404    
http://starbgc.tumblr.com    404    
http://lettersformybrothers.tumblr.com    404    
http://mad-swtor-scribbles.tumblr.com    404    
http://eilyphant.tumblr.com    404    
http://arthistoryphotos.tumblr.com    404    
http://yyzzx.tumblr.com    404    
http://clandestinepopularity.tumblr.com    404    
http://lordofthemisha.tumblr.com    404    
http://deadsamo.tumblr.com    404    
http://ladyofthefrills.tumblr.com    404    
http://alexandernortonblog.tumblr.com    404    
http://makennasnyder.tumblr.com    404    
http://xiaoyao0620.tumblr.com    404    
http://the-villain-in-training.tumblr.com    404    
http://famousmenwearingtiaras.tumblr.com    404    
http://super-jayzner.tumblr.com    404    
http://venustemple.tumblr.com    404    
http://navycorpsman-girlfriend.tumblr.com    404    
http://itisthefuture.tumblr.com    404    
http://singlekinkymaster.tumblr.com    404    
http://best--ofluck2013watchonline1.tumblr.com    404    
http://alphacouple.tumblr.com    404