Robots.txt
Eine Textdatei, die Suchmaschinen-Crawlern vorgibt, welche Seiten oder Bereiche einer Website sie crawlen oder ignorieren sollen
Robots.txt ist eine Datei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Verzeichnisse sie aufrufen dürfen und welche nicht. Fürs Linkbuilding ist das Verständnis der robots.txt bei der Bewertung potenzieller Linkpartner wichtig. Ist die Seite, auf der Ihr Link steht, per robots.txt gesperrt, können Suchmaschinen sie nicht crawlen – Ihr Backlink bringt dann keinen SEO-Wert. Wer bei der Prüfung von Linkchancen die robots.txt der Zielseite kontrolliert, stellt sicher, dass Crawler die Links finden. Außerdem sollte Ihre eigene robots.txt nicht versehentlich wichtige Seiten sperren, die Backlinks erhalten.