Immer dann, wenn eine Seite im Internet verändert wird, zieht ein Internet-Archiv in San Francisco eine Kopie davon. Auf diese Weise entstand in den vergangenen Jahren eine Bibliothek des Webs, die mittlerweile 85 Milliarden Webseiten enthält. Unter www.archive.org lässt sich jede Domain weltweit mit ihren Inhalten zu einem beliebigen Stichtag darstellen.
Die Webarchivare verfolgen mit ihrem Projekt das Ziel, das Internet für künftige Generationen in seiner historischen Entwicklung zu bewahren. Für Unternehmen kann diese hehre Absicht natürlich möglicherweise problematisch sein - schließlich hat im Archiv jeder kostenlos Zugriff auf sämtliche Versionen ihrer Websites. Auch die Finanzverwaltung kann beispielsweise über das Archiv auf historische Produktbeschreibungen, alte Preise und ehemalige Angebote zugreifen. Erhöhte steuerliche Relevanz erhalten solche Informationen dann, wenn zu entsprechenden Internetofferten aus der Vergangeneheit etwa keine passenden Buchungsposten existieren.
Die Finanzbehörden mit derartigem, möglicherweise kritischem Material auszustatten, ist freilich nicht die Intention der Betreiber des Archivs. Sie legen daher großen Wert darauf, dass keine Seiten gegen den Willen ihrer Betreiber gespeichert werden. Durch das Einstellen der Datei "robots.txt" auf den Webserver (www.IhreDomain.com/robots.txt) lässt sich verhindern, dass die eigene Präsenz gespeichert wird. Auch bereits archiviertes Material, dass diese Webpräsenz betrifft, wird gelöscht. Um die robots.txt-Datei entsprechend zu programmieren, sollte sie die Informationen "User-agent: ia_archiver Disallow: /" enthalten.
