User-agent: *
Craw-Delay: 10

#Estandar
Disallow: /aggregator
Disallow: /tracker
Disallow: /comment/reply
Disallow: /files/
Disallow: /search/
Disallow: /en/search-illustrations/
Disallow: /es/buscar-ilustraciones/

#Para que no indexe duplicados (hay alias para todos los nodos)
Disallow: /node/
Disallow: /taxonomy/

Disallow: /en/node/
Disallow: /en/taxonomy/

Disallow: /es/node/
Disallow: /es/taxonomy/

#Evitemos que indexe nodos falsos i18n
#(combinaciones codigoIdioma/aliasEnOtroIdioma)
#(no se si hace falta, hago un redirect, pero por si acaso)
Disallow: /en/ilustraciones/
Disallow: /es/illustrations/

#Paginacion


#OJO: los que terminan en slash (/) afectan a todos los hijos (como si fuera /*)