User-agent: *          # gilt fuer alle Spider 

Allow: /public/

Disallow: /
Disallow: /cgi-bin/    # alles im cgi-Verzeichnis
Disallow: /img/
Disallow: /css/