MarcosBL

Aprendiz de todo, maestro de nada

El nuevo robots.txt de la Casa Blanca

barack-obama-white-houseAntes
User-agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/search
Disallow: /omb/query.html
Disallow: /expectmore/search
Disallow: /expectmore/query.html
Disallow: /results/search
Disallow: /results/query.html
Disallow: /earmarks/search
Disallow: /earmarks/query.html
Disallow: /help
Disallow: /360pics/text
Disallow: /911/911day/text
Disallow: /911/heroes/text

Después
User-agent: *
Disallow: /includes/

¿ Parece que se avecinan tiempos de transparencia ? :) Via Kottke

1 comentarios en “El nuevo robots.txt de la Casa Blanca

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *