• Descarga el eBook gratuito SEO en Wordpress 2015 aquí

    • Pack con las mejores herramientas SEO en las VIP Tools apúntate!


     
    Calificación:
    • 0 votos - 0 Media
    • 1
    • 2
    • 3
    • 4
    • 5
    Listado de bots que scrapean internet

    Administrador


    *******
    Puntos de comerciante: 1 (100%)
    2,900


    Programador Promotor Blog 1000 Posts Asistente

    Crédito: 22.73 BHC
    Mensaje: #1
    Listado de bots que scrapean internet
    He encontrado esta lista de bots que rastrean el contenido en la red:

    Código:
    https://ahrefs.com/robot/
    bot => AhrefsBot

    http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
    bot => MJ12bot

    http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
    bot => Majestic-12

    http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
    bot => Majestic-SEO

    http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
    bot => DSearch

    http://moz.com/help/pro/rogerbot-crawler
    bot => Rogerbot

    http://www.semrush.com/bot.html
    bot => SemrushBot

    http://archive.org/about/exclude.php
    bot => ia_archiver

    http://scoutjet.com
    bot => ScoutJet

    http://crawler.sistrix.net
    bot => sistrix

    http://www.searchmetrics.com/en/searchmetrics-bot/
    bot => SearchmetricsBot

    http://www.seokicks.de/robot.html
    bot => SEOkicks-Robot

    http://www.lipperhey.com/en/website-spider/
    bot => Lipperhey Spider

    http://www.exalead.com/search/webmasterguide
    bot => Exabot

    https://twitter.com/NetComber/status/334476871691550721
    bot => NCBot

    http://www.backlinktest.com/crawler.html
    bot => BacklinkCrawler

    http://archive.org/details/archive.org_bot
    bot => archive.org_bot

    https://meanpath.com/meanpathbot.html
    bot => meanpathbot

    http://www.botsvsbrowsers.com/details/1002332/index.html
    bot => PagesInventory

    http://www.aboundex.com/crawler/
    bot => Aboundexbot

    http://www.seoprofiler.com/bot/
    bot => spbot

    http://www.linkdex.com/about/bots/
    bot => linkdexbot

    http://www.useragentstring.com/pages/Gigabot/
    bot => Gigabot

    http://en.wikipedia.org/wiki/DotBot
    bot => dotbot

    http://nutch.apache.org/bot.html
    bot => Nutch

    http://webmeup-crawler.com/
    bot => BLEXBot

    http://graphicline.co.za/blogs/what-is-ezooms-bot
    bot => Ezooms

    http://blekko.com/about/blekkobot
    bot => BlekkoBot

    http://help.yandex.com/search/?id=1112030
    bot => Yandex

    https://support.google.com/webmasters/answer/182072?hl=en
    bot => googlebot

    https://support.google.com/webmasters/answer/178852
    bot => Feedfetcher-Google

    http://en.wikipedia.org/wiki/Bingbot
    bot => BingBot

    Si me he dejado algún Bot ponerlo!! Indicar la URL donde sale el nombre que emplea ese bot en el User-Agent Sonrisa

    http://foroblackhat.com/hilo-abrir-un-nuevo-grupo-vip-tools-para-herramientas-seo-premium
    Para ver el enlace necesitas registrarte o acceder a tu cuenta
    - Canciones. Traducidas. Dedicadas. Sonrisa
    14-09-2014 12:36 PM
    Buscar Citar

    BlackHat Bronce


    **
    Puntos de comerciante: 0 (0%)
    40

    0


    Crédito: -0.02 BHC
    Mensaje: #2
    RE: Listado de bots que scrapean internet
    Yo no me la jugaria manualmente. Usaria Spyder Spanker. No tengo relacion con este plugin, pero funciona, y tiene menos riesgo que subir el robots o htaccess.

    seopacorro, orgulloso de ser un miembro de Foro Black Hat SEO desde Aug 2014.
    14-09-2014 02:26 PM
    Buscar Citar

    Administrador


    *******
    Puntos de comerciante: 1 (100%)
    2,900


    Programador Promotor Blog 1000 Posts Asistente

    Crédito: 22.73 BHC
    Mensaje: #3
    RE: Listado de bots que scrapean internet
    (14-09-2014 02:26 PM)seopacorro escribió:  Yo no me la jugaria manualmente. Usaria Spyder Spanker. No tengo relacion con este plugin, pero funciona, y tiene menos riesgo que subir el robots o htaccess.

    El plugin Wordfence hace lo mismo y no tienes que gastarte 39$
    Para ver el enlace necesitas registrarte o acceder a tu cuenta

    http://foroblackhat.com/hilo-abrir-un-nuevo-grupo-vip-tools-para-herramientas-seo-premium
    Para ver el enlace necesitas registrarte o acceder a tu cuenta
    - Canciones. Traducidas. Dedicadas. Sonrisa
    14-09-2014 02:31 PM
    Buscar Citar

    BlackHat Cobre


    ***
    VIP Tools
    Puntos de comerciante: 1 (100%)
    178



    Crédito: 2.42 BHC
    Mensaje: #4
    RE: Listado de bots que scrapean internet
    Y para bloquearlos desde .htacces?
    15-10-2014 12:20 AM
    Buscar Citar

    BlackHat Bronce


    **
    Puntos de comerciante: 0 (0%)
    1

    0


    Crédito: 0.01 BHC
    Mensaje: #5
    RE: Listado de bots que scrapean internet
    (15-10-2014 12:20 AM)Alekhine escribió:  Y para bloquearlos desde .htacces?

    Aquí lo tienes!!!

    http://foroblackhat.com/hilo-oculta-tu-red-de-blog-privada-a-tus-competidores#.WD1vyfnhCUm

    Blog10, orgulloso de ser un miembro de Foro Black Hat SEO desde Nov 2016.
    29-11-2016 02:12 PM
    Buscar Citar


    Posibles temas similares...
    Tema: Autor Respuestas: Vistas: Último mensaje
      Listado completo de SPAM nach16_bcn 1 676 09-12-2015 01:09 PM
    Último mensaje: kinzana
      Compra programática - Posibles usos con Bots podria aumentar la monetización. rub3n_lh 1 644 11-09-2015 07:16 PM
    Último mensaje: redcromatica
      Listado de dominios con autoridad Daaviid37 1 742 25-11-2014 11:22 AM
    Último mensaje: CharliePug
      Listado taringa palabras prohibidas? PedroSevillaSEO 2 981 08-09-2014 06:22 PM
    Último mensaje: Sauron
      [Ingles] Internet Traffic Formula Por Vick Strizheus $1497 xowii 8 2,273 03-06-2014 09:00 PM
    Último mensaje: thomas3224
      Listado de webs donde enviar una infografía Sauron 3 881 26-03-2014 02:44 PM
    Último mensaje: andresobrador

    Salto de foro:


    Usuario(s) navegando en este tema: 1 invitado(s)
    Anuncios FBH (+ info)

    Foro Black Hat

    ForoBlackHat es un foro público con ánimo de desarrollo de aplicaciones y estrategias SEO para la comunidad hispano hablante cuyo objetivo sea el de aprender técnicas de posicionamiento.

    Nuestra comunidad cuenta con un equipo de programadores que desarrollan día a día nuevas herramientas gratuitas para los usuarios. ¡Siéntete libre de registrarte y comentar por los hilos!