Dominios a bajo coste
Portada del foro Desarrollo de Dominios SEO / Buscadores Peligros de robots.txt

Peligros de robots.txt

#1 por (Iniciador del hilo) muchacho el Vie May 22, 2015 8:57 am

http://www.theregister.co.uk/2015/05/19/robotstxt/

El peligro es que algo que añadas ahí para que los buscadores no lo indexen lo usen los malos para encontrar cosas interesantes como contendo mal ocultado o lugares por donde intentar entrarte.

Lo que me ha parecido interesante es la idea de meter en robots.txt una dirección tipo /baneame_mi_ip.php a la que no deberían acceder, y a los que lo hagan se les banea la IP aunque sean el propio Google :)
Avatar de Usuario
muchacho
Primer puesto en el concurso web verano 2014 Segundo puesto en el concurso web invierno 2012 Segundo puesto en el concurso web invierno 2016
 
Ene '06 | 20566 Mens.
FD$: 865
Lugar: Logroño España

Portada del foro Desarrollo de Dominios SEO / Buscadores



Nidoma.com - Registro y Backorder de dominios
cron