V novo vytvorenom projekte vo WebMatrixe sa objavil súbor robots.txt. Ako sa dá vydedukovať z názvu, jeho účelom je zjednodušiť fungovanie internetových vyhľadávačov. Niekto chce dosiahnuť aby vyhľadávače na jeho stránkach lepšie fungovali, iní zasa chcú zabrániť aby im roboty “korzovali” po ich privátnych stránkach
Viac podrobností nájdete na http://tools.seobook.com/robots-txt/
Podle mě není dobré v robots.txt upozorňovat na soukromé části webu.