¿No conoces el ChorriClub?

Comunidad, Cursos, Soporte y Herramientas
Mucho SEO y WordPress
Únete ahora con el descuento FOROBLACKHAT

Calificación:
  • 0 voto(s) - 0 Media
  • 1
  • 2
  • 3
  • 4
  • 5

Listado de bots que scrapean internet
#1

He encontrado esta lista de bots que rastrean el contenido en la red:

Código:
https://ahrefs.com/robot/
bot => AhrefsBot

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
bot => MJ12bot

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
bot => Majestic-12

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
bot => Majestic-SEO

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
bot => DSearch

http://moz.com/help/pro/rogerbot-crawler
bot => Rogerbot

http://www.semrush.com/bot.html
bot => SemrushBot

http://archive.org/about/exclude.php
bot => ia_archiver

http://scoutjet.com
bot => ScoutJet

http://crawler.sistrix.net
bot => sistrix

http://www.searchmetrics.com/en/searchmetrics-bot/
bot => SearchmetricsBot

http://www.seokicks.de/robot.html
bot => SEOkicks-Robot

http://www.lipperhey.com/en/website-spider/
bot => Lipperhey Spider

http://www.exalead.com/search/webmasterguide
bot => Exabot

https://twitter.com/NetComber/status/334476871691550721
bot => NCBot

http://www.backlinktest.com/crawler.html
bot => BacklinkCrawler

http://archive.org/details/archive.org_bot
bot => archive.org_bot

https://meanpath.com/meanpathbot.html
bot => meanpathbot

http://www.botsvsbrowsers.com/details/1002332/index.html
bot => PagesInventory

http://www.aboundex.com/crawler/
bot => Aboundexbot

http://www.seoprofiler.com/bot/
bot => spbot

http://www.linkdex.com/about/bots/
bot => linkdexbot

http://www.useragentstring.com/pages/Gigabot/
bot => Gigabot

http://en.wikipedia.org/wiki/DotBot
bot => dotbot

http://nutch.apache.org/bot.html
bot => Nutch

http://webmeup-crawler.com/
bot => BLEXBot

http://graphicline.co.za/blogs/what-is-ezooms-bot
bot => Ezooms

http://blekko.com/about/blekkobot
bot => BlekkoBot

http://help.yandex.com/search/?id=1112030
bot => Yandex

https://support.google.com/webmasters/answer/182072?hl=en
bot => googlebot

https://support.google.com/webmasters/answer/178852
bot => Feedfetcher-Google

http://en.wikipedia.org/wiki/Bingbot
bot => BingBot

Si me he dejado algún Bot ponerlo!! Indicar la URL donde sale el nombre que emplea ese bot en el User-Agent Sonrisa

Canal SEO en Telegram premium
Influenet - Compra/Venta de artículos patrocinados. Sonrisa
Responder
#2

Yo no me la jugaria manualmente. Usaria Spyder Spanker. No tengo relacion con este plugin, pero funciona, y tiene menos riesgo que subir el robots o htaccess.

seopacorro, orgulloso de ser un miembro de Foro Black Hat SEO desde Aug 2014.
Responder
#3

(14-09-2014, 02:26 PM)seopacorro escribió:  Yo no me la jugaria manualmente. Usaria Spyder Spanker. No tengo relacion con este plugin, pero funciona, y tiene menos riesgo que subir el robots o htaccess.

El plugin Wordfence hace lo mismo y no tienes que gastarte 39$
https://wordpress.org/plugins/wordfence/

Canal SEO en Telegram premium
Influenet - Compra/Venta de artículos patrocinados. Sonrisa
Responder
#4

Y para bloquearlos desde .htacces?
Responder
#5

(15-10-2014, 12:20 AM)Alekhine escribió:  Y para bloquearlos desde .htacces?

Aquí lo tienes!!!

http://foroblackhat.com/hilo-oculta-tu-r...D1vyfnhCUm
Responder


Posibles temas similares…
Tema / Autor Respuestas Vistas Último mensaje

Salto de foro:


Usuarios navegando en este tema: 1 invitado(s)
Telegram Grupo Telegram