¿No conoces el ChorriClub?

Comunidad, Cursos, Soporte y Herramientas
Mucho SEO y WordPress
Únete ahora con el descuento FOROBLACKHAT

Calificación:
  • 0 voto(s) - 0 Media
  • 1
  • 2
  • 3
  • 4
  • 5

Oculta tu red de blog privada a tus competidores
#1

Con tantos bots rastreando internet es fácil ver las estrategias de SEO de tus competidores con herramientas como Ahrefs, MajesticSEO y similares. Lo que vamos a hacer es bloquear el paso a los robots de páginas que recopilan información SEO de cada web. Te recomiendo que ocultes tu red privada de blogs (PBN), para ello, debes subir a la carpeta raíz de nuestro proyecto el fichero robots.txt, que contiene:

Código:
# Blocking bad link checker robots

User-agent: Rogerbot
User-agent: Exabot
User-agent: MJ12bot
User-agent: Dotbot
User-agent: Gigabot
User-agent: AhrefsBot
User-agent: BlackWidow
User-agent: Bot\ mailto:[email protected]
User-agent: ChinaClaw
User-agent: Custo
User-agent: DISCo
User-agent: Download\ Demon
User-agent: eCatch
User-agent: EirGrabber
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: Express\ WebPictures
User-agent: ExtractorPro
User-agent: EyeNetIE
User-agent: FlashGet
User-agent: GetRight
User-agent: GetWeb!
User-agent: Go!Zilla
User-agent: Go-Ahead-Got-It
User-agent: GrabNet
User-agent: Grafula
User-agent: HMView
User-agent: HTTrack
User-agent: Image\ Stripper
User-agent: Image\ Sucker
User-agent: Indy\ Library
User-agent: InterGET
User-agent: Internet\ Ninja
User-agent: JetCar
User-agent: JOC\ Web\ Spider
User-agent: larbin
User-agent: LeechFTP
User-agent: Mass\ Downloader
User-agent: MIDown\ tool
User-agent: Mister\ PiX
User-agent: Navroad
User-agent: NearSite
User-agent: NetAnts
User-agent: NetSpider
User-agent: Net\ Vampire
User-agent: NetZIP
User-agent: Octopus
User-agent: Offline\ Explorer
User-agent: Offline\ Navigator
User-agent: PageGrabber
User-agent: Papa\ Foto
User-agent: pavuk
User-agent: pcBrowser
User-agent: RealDownload
User-agent: ReGet
User-agent: SiteSnagger
User-agent: SmartDownload
User-agent: SuperBot
User-agent: SuperHTTP
User-agent: Surfbot
User-agent: tAkeOut
User-agent: Teleport\ Pro
User-agent: VoidEYE
User-agent: Web\ Image\ Collector
User-agent: Web\ Sucker
User-agent: WebAuto
User-agent: WebCopier
User-agent: WebFetch
User-agent: WebGo\ IS
User-agent: WebLeacher
User-agent: WebReaper
User-agent: WebSauger
User-agent: Website\ eXtractor
User-agent: Website\ Quester
User-agent: WebStripper
User-agent: WebWhacker
User-agent: WebZIP
User-agent: Wget
User-agent: Widow
User-agent: WWWOFFLE
User-agent: Xaldon\ WebSpider
User-agent: Zeus
Disallow: /

También puedes bloquear los bots usando el fichero .htaccess, como te muestro en este ejemplo:

Código:
RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} .*Twice.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Yand.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Voil.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*libw.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Java.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Sogou.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*psbot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Exabot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*boitho.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ajSitemap.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*DBLBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*MJ1.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.*
RewriteRule ^(.*)$ http://anysite.com/ [L,R=301]

Order Allow,Deny
Allow from all
Deny from 110.0.0.0/8
Deny from 111.0.0.0/8
Deny from 112.0.0.0/5
Deny from 120.0.0.0/6
Deny from 124.0.0.0/8
Deny from 125.0.0.0/8
Deny from 147.0.0.0/8
Deny from 169.208.0.0
Deny from 175.0.0.0/8
Deny from 180.0.0.0/8
Deny from 182.0.0.0/8
Deny from 183.0.0.0/8
Deny from 202.0.0.0/8
Deny from 203.0.0.0/8
Deny from 210.0.0.0/8
Deny from 211.0.0.0/8
Deny from 218.0.0.0/8
Deny from 219.0.0.0/8
Deny from 220.0.0.0/8
Deny from 221.0.0.0/8
Deny from 222.0.0.0/8

Aquí tienes una lista de bots:
http://foroblackhat.com/hilo-listado-de-...n-internet

También existe un plugin para Wordpress que puedes hacer esto cómodamente desde la administración de tu blog:
https://www.mcssl.com/content/65522/link-privacy.zip

Canal SEO en Telegram premium
Influenet - Compra/Venta de artículos patrocinados. Sonrisa
Responder
#2

Pues me viene cómo anillo al dedo!
Responder
#3

Tambien puedes usar el plugin Spyder Spanker.

seopacorro, orgulloso de ser un miembro de Foro Black Hat SEO desde Aug 2014.
Responder
#4

(14-09-2014, 02:24 PM)seopacorro escribió:  Tambien puedes usar el plugin Spyder Spanker.

Ese plugin es de pago. Otra opción que acabo de ver es el plugin gratuito Wordfence:
https://wordpress.org/plugins/wordfence/

Tiene entre otras caracteristicas (copio de su página):
Código:
Includes a firewall to block common security threats like fake Googlebots, malicious scans from hackers and botnets.

Block entire malicious networks. Includes advanced IP and Domain WHOIS to report malicious IP's or networks and block entire networks using the firewall. Report security threats to network owner.

Y siempre tienes la opción de hacerlo a mano con los ejemplos que he puesto en el primer mensaje Sonrisa

Canal SEO en Telegram premium
Influenet - Compra/Venta de artículos patrocinados. Sonrisa
Responder
#5

Si pones un precio a la seguridad de tu PBN, la cual te hace ganar dinero, y ese precio es 39 dolares, es poco dinero.

Wordfence asegura el sitio web desde el backdoor, pero no lo hace la isolacion contra los boots.

Lo gratis, al final sale caro Sonrisa


(14-09-2014, 02:30 PM)Sauron escribió:  
(14-09-2014, 02:24 PM)seopacorro escribió:  Tambien puedes usar el plugin Spyder Spanker.

Ese plugin es de pago. Otra opción que acabo de ver es el plugin gratuito Wordfence:
https://wordpress.org/plugins/wordfence/

Tiene entre otras caracteristicas (copio de su página):
Código:
Includes a firewall to block common security threats like fake Googlebots, malicious scans from hackers and botnets.

Block entire malicious networks. Includes advanced IP and Domain WHOIS to report malicious IP's or networks and block entire networks using the firewall. Report security threats to network owner.

Y siempre tienes la opción de hacerlo a mano con los ejemplos que he puesto en el primer mensaje Sonrisa

seopacorro, orgulloso de ser un miembro de Foro Black Hat SEO desde Aug 2014.
Responder
#6

seopacorro tienes razón con lo gratis sale caro, a mi ya me han salido caras muchas cosas sobre todo en mis comienzos. Pero justo este caso, es una excepción xDDD, Wordfence hace lo mismo que el plugin de pago que tu comentas y además muchas más cosas, lo único tienes que configurarlo tú, indicando los bots y los rangos de IPs de estos, pero realmente eso es muy sencillo y en mi primer mensaje puedes sacar todo lo necesario.

Canal SEO en Telegram premium
Influenet - Compra/Venta de artículos patrocinados. Sonrisa
Responder
#7

(14-09-2014, 04:09 PM)Sauron escribió:  seopacorro tienes razón con lo gratis sale caro, a mi ya me han salido caras muchas cosas sobre todo en mis comienzos. Pero justo este caso, es una excepción xDDD, Wordfence hace lo mismo que el plugin de pago que tu comentas y además muchas más cosas, lo único tienes que configurarlo tú, indicando los bots y los rangos de IPs de estos, pero realmente eso es muy sencillo y en mi primer mensaje puedes sacar todo lo necesario.

Nunca se me habría ocurrido usar Wordfence para bloquear los bots, iba buscando algún plugin pero creo que voy a probar lo que dices antes. Muchas gracias.

jsto, orgulloso de ser un miembro de Foro Black Hat SEO desde May 2014.
Responder
#8

Mi pregunta es si esos bots no usan proxys para poder rastrear las web?
Responder
#9

(01-10-2014, 02:55 PM)blackhatseba escribió:  Mi pregunta es si esos bots no usan proxys para poder rastrear las web?

Los crawlers de sitios como ahrefs, majesticseo y demás no se ocultan tras Proxies, tu puedes bloquearlos. El tema es que si cierto muchos bots para saltarse limitaciones que le ponen las webs a la hora de ser rastreadas emplean proxies, contra esto poco puedes hacer xD, hay algunos servicios como CloudFlare que algo "hacen", pero vamos siguen estando lejos de ser una buena solución.

Canal SEO en Telegram premium
Influenet - Compra/Venta de artículos patrocinados. Sonrisa
Responder
#10

Entonces si se puede hacer con el plugin Wordefence o es mejor el plugin de pago que recomendo compañero seopacorro?

jose77rz, orgulloso de ser un miembro de Foro Black Hat SEO desde Mar 2015.
Responder


Posibles temas similares…
Tema / Autor Respuestas Vistas Último mensaje
Último mensaje por ieibloggs
15-09-2016, 02:46 AM
Último mensaje por thefibee
15-08-2016, 05:09 PM
Último mensaje por vocekt
26-10-2015, 07:36 PM

Salto de foro:


Usuarios navegando en este tema: 1 invitado(s)
Telegram Grupo Telegram