# robots.txt fuer http://www.probsthofverein.de/ User-agent: * Disallow: /usage/ # Die Dateien sind sehr kurzlebig Disallow: /intern/ # Die ändern sich jeden Tag Disallow: /aktuell/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren Disallow: /logs/ # Die news.html ändert sich täglich