El presidente estadounidense Barack Obama causa grandes expectativas en el ámbito de las TI. Una de sus primeras instrucciones fue modificar el archivo que determina los contenidos que puede ser indexados por los buscadores de Internet.

Diario Ti: Robots.txt es un sencillo archivo de texto que especifica los contenidos que pueden ser indexados por los buscadores de Internet. Las directrices y estándares no son obligatorios, pero en la práctica son aceptadas y aplicadas por las grandes compañías de Internet. Por ejemplo, no es posible configurar Google Custom Search de forma que ignore las directrices.

En principio, robots.txt es una herramienta que procura que los buscadores no indexen páginas carentes de interés que pudieran desordenar los resultados de la búsqueda. Sin embargo, el archivo en cuestión también es usado en la práctica para impedir a los buscadores indexar los contenidos del sitio.

En la era presidencial de George Bush, el personal de la Casa Blanca optó por esta última alternativa, que ahora Barack Obama ha revocado.

Según la publicación kottke.org, éste era el aspecto que tenía el archivo antes que Obama se convirtiera en presidente:

User-agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/search
Disallow: /omb/query.html
Disallow: /expectmore/search
Disallow: /expectmore/query.html
Disallow: /results/search
Disallow: /results/query.html
Disallow: /earmarks/search
Disallow: /earmarks/query.html
Disallow: /help
Disallow: /360pics/text
Disallow: /911/911day/text
Disallow: /911/heroes/text