robots.txt Datei erstellen & richtig anwenden

Robots.txt erstellen

Mithilfe der robots.txt-Datei kannst du das Crawlen der Bots so steuern, dass die von dir gewünschten Teile deiner Webseite in den SERPs erscheinen. Unerwünschte bleiben draußen. Allerdings funktioniert das nur dann, wenn du die Regeln zur Syntax beherrscht. Hier erfährst du, wie es geht.

Read More