Quando estávamos treinando o códice, precisávamos de um formato para orientar o modelo e criamos um aceno para robots.txt. É para todos os agentes por aí e não apenas para o códice. Ainda bem que agora é um padrão!