developer/robots.txt
2016-06-05 11:27:10 +02:00

6 lines
169 B
Plaintext

# Wirkt nur für crawler von google usw.
# in dem Beispiel wird es jedem Crawler verboten
# das Verzeichnis includes zu durchsuchen.
User-agent: *
Disallow: /includes