• Expired Domain Hunt
    Encuentra Dominios Expirados incluso recorriendo dominios dentro de Archive.org, además no tiene membresía, sólo se paga por las métricas de los dominios expirados encontrados con esta GRAN herramienta.
    WP Content Bot
    Genera Artículos para tu PBN, de artículos expirados o artículos normales transformandolos a través de spinner (incluye gratuito) o a través de traducciones o ambas cosas con esta GRAN herramienta.
    • Construye PBN en minutos con WPContentBOT aquí

    • Descarga el eBook gratuito SEO en Wordpress aquí

    • Pack con las mejores herramientas SEO en las VIP Tools apúntate!



     
    Calificación:
    • 0 votos - 0 Media
    • 1
    • 2
    • 3
    • 4
    • 5
    Listado de bots que scrapean internet

    Administrador


    *******
    Puntos de comerciante: 1 (100%)
    2,967


    Programador Promotor Blog 1000 Posts Asistente

    Crédito: 4,425.66 BHC
    Mensaje: #1
    Listado de bots que scrapean internet
    He encontrado esta lista de bots que rastrean el contenido en la red:

    Código:
    https://ahrefs.com/robot/
    bot => AhrefsBot

    http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
    bot => MJ12bot

    http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
    bot => Majestic-12

    http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
    bot => Majestic-SEO

    http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
    bot => DSearch

    http://moz.com/help/pro/rogerbot-crawler
    bot => Rogerbot

    http://www.semrush.com/bot.html
    bot => SemrushBot

    http://archive.org/about/exclude.php
    bot => ia_archiver

    http://scoutjet.com
    bot => ScoutJet

    http://crawler.sistrix.net
    bot => sistrix

    http://www.searchmetrics.com/en/searchmetrics-bot/
    bot => SearchmetricsBot

    http://www.seokicks.de/robot.html
    bot => SEOkicks-Robot

    http://www.lipperhey.com/en/website-spider/
    bot => Lipperhey Spider

    http://www.exalead.com/search/webmasterguide
    bot => Exabot

    https://twitter.com/NetComber/status/334476871691550721
    bot => NCBot

    http://www.backlinktest.com/crawler.html
    bot => BacklinkCrawler

    http://archive.org/details/archive.org_bot
    bot => archive.org_bot

    https://meanpath.com/meanpathbot.html
    bot => meanpathbot

    http://www.botsvsbrowsers.com/details/1002332/index.html
    bot => PagesInventory

    http://www.aboundex.com/crawler/
    bot => Aboundexbot

    http://www.seoprofiler.com/bot/
    bot => spbot

    http://www.linkdex.com/about/bots/
    bot => linkdexbot

    http://www.useragentstring.com/pages/Gigabot/
    bot => Gigabot

    http://en.wikipedia.org/wiki/DotBot
    bot => dotbot

    http://nutch.apache.org/bot.html
    bot => Nutch

    http://webmeup-crawler.com/
    bot => BLEXBot

    http://graphicline.co.za/blogs/what-is-ezooms-bot
    bot => Ezooms

    http://blekko.com/about/blekkobot
    bot => BlekkoBot

    http://help.yandex.com/search/?id=1112030
    bot => Yandex

    https://support.google.com/webmasters/answer/182072?hl=en
    bot => googlebot

    https://support.google.com/webmasters/answer/178852
    bot => Feedfetcher-Google

    http://en.wikipedia.org/wiki/Bingbot
    bot => BingBot

    Si me he dejado algún Bot ponerlo!! Indicar la URL donde sale el nombre que emplea ese bot en el User-Agent Sonrisa

    http://foroblackhat.com/hilo-abrir-un-nuevo-grupo-vip-tools-para-herramientas-seo-premium
    Para ver el enlace necesitas registrarte o acceder a tu cuenta
    - Canciones. Traducidas. Dedicadas. Sonrisa
    14-09-2014 12:36 PM
    Buscar Citar

    BlackHat Bronce


    **
    Puntos de comerciante: 0 (0%)
    40

    0


    Crédito: -0.02 BHC
    Mensaje: #2
    RE: Listado de bots que scrapean internet
    Yo no me la jugaria manualmente. Usaria Spyder Spanker. No tengo relacion con este plugin, pero funciona, y tiene menos riesgo que subir el robots o htaccess.

    seopacorro, orgulloso de ser un miembro de Foro Black Hat SEO desde Aug 2014.
    14-09-2014 02:26 PM
    Buscar Citar

    Administrador


    *******
    Puntos de comerciante: 1 (100%)
    2,967


    Programador Promotor Blog 1000 Posts Asistente

    Crédito: 4,425.66 BHC
    Mensaje: #3
    RE: Listado de bots que scrapean internet
    (14-09-2014 02:26 PM)seopacorro escribió:  Yo no me la jugaria manualmente. Usaria Spyder Spanker. No tengo relacion con este plugin, pero funciona, y tiene menos riesgo que subir el robots o htaccess.

    El plugin Wordfence hace lo mismo y no tienes que gastarte 39$
    Para ver el enlace necesitas registrarte o acceder a tu cuenta

    http://foroblackhat.com/hilo-abrir-un-nuevo-grupo-vip-tools-para-herramientas-seo-premium
    Para ver el enlace necesitas registrarte o acceder a tu cuenta
    - Canciones. Traducidas. Dedicadas. Sonrisa
    14-09-2014 02:31 PM
    Buscar Citar

    BlackHat Cobre


    ***
    Puntos de comerciante: 1 (100%)
    179



    Crédito: 0.43 BHC
    Mensaje: #4
    RE: Listado de bots que scrapean internet
    Y para bloquearlos desde .htacces?
    15-10-2014 12:20 AM
    Buscar Citar

    BlackHat Bronce


    **
    Puntos de comerciante: 0 (0%)
    1

    0


    Crédito: 0.01 BHC
    Mensaje: #5
    RE: Listado de bots que scrapean internet
    (15-10-2014 12:20 AM)Alekhine escribió:  Y para bloquearlos desde .htacces?

    Aquí lo tienes!!!

    http://foroblackhat.com/hilo-oculta-tu-red-de-blog-privada-a-tus-competidores#.WD1vyfnhCUm
    29-11-2016 02:12 PM
    Buscar Citar


    Posibles temas similares...
    Tema: Autor Respuestas: Vistas: Último mensaje
      Listado completo de SPAM nach16_bcn 1 1,176 09-12-2015 01:09 PM
    Último mensaje: kinzana
      Compra programática - Posibles usos con Bots podria aumentar la monetización. rub3n_lh 1 1,126 11-09-2015 07:16 PM
    Último mensaje: redcromatica
      Listado de dominios con autoridad Daaviid37 1 1,277 25-11-2014 11:22 AM
    Último mensaje: CharliePug
      Listado taringa palabras prohibidas? PedroSevillaSEO 2 1,622 08-09-2014 06:22 PM
    Último mensaje: Sauron
      [Ingles] Internet Traffic Formula Por Vick Strizheus $1497 xowii 8 3,293 03-06-2014 09:00 PM
    Último mensaje: thomas3224
      Listado de webs donde enviar una infografía Sauron 3 1,609 26-03-2014 02:44 PM
    Último mensaje: andresobrador

    Salto de foro:


    Usuario(s) navegando en este tema: 1 invitado(s)
    Anuncios FBH (+ info)

    Foro Black Hat

    ForoBlackHat es un foro público con ánimo de desarrollo de aplicaciones y estrategias SEO para la comunidad hispano hablante cuyo objetivo sea el de aprender técnicas de posicionamiento.

    Nuestra comunidad cuenta con un equipo de programadores que desarrollan día a día nuevas herramientas gratuitas para los usuarios. ¡Siéntete libre de registrarte y comentar por los hilos!