# robots.txt for http://www.site.com/
User-agent: * # Alle Suchmaschinen werden angesprochen
Disallow: / # Kein Robot darf irgendetwas auswerten.
Disallow: /cgi-bin/ # Sperrung eines bestimmten Bereiches