Se explica la importancia que tienen los ficheros robots.txt y los sitemaps para los sitios web. Se realiza un estudio sobre más de 4.000 webs de la administración pública española para analizar el uso de ficheros robots.txt y sitemaps como medio de optimización para los crawlers o arañas de los motores de búsqueda.
Published on 07/08/09
Accepted on 07/08/09
Submitted on 07/08/09
Volume 18, Issue 4, 2009
DOI: 10.3145/epi.2009.nov.05
Licence: CC BY-NC-SA license
Are you one of the authors of this document?