developer/web/robots.txt
Ulrich Block 49a22d2780 4.00
2013-08-28 22:47:04 +02:00

6 lines
169 B
Plaintext

# Wirkt nur für crawler von google usw.
# in dem Beispiel wird es jedem Crawler verboten
# das Verzeichnis includes zu durchsuchen.
User-agent: *
Disallow: /includes