User-agent: * Disallow: /cgi-bin Disallow: /cgi-bin/ Disallow: /secure/ Disallow: /cms/ Disallow: /intern/ Disallow: /images/ Disallow: /Templates/ Disallow: /files/ Disallow: /modx/ Disallow: /test/ Disallow: /testphpbb/ Disallow: /~heij6/ Disallow: /websites/ # Validatie door W3C toestaan in elke map User-Agent: W3C-checklink Disallow: # laat CazoodleBot eerst maar eens robots.txt uit zijn hoofd leren... User-agent: CazoodleBot Disallow: /