Robots.txt
En textfil som talar om för sökmotorernas crawlers vilka sidor eller delar av en sajt de ska crawla eller ignorera
Robots.txt är en fil i webbplatsens rotkatalog som ger sökmotorernas crawlers instruktioner om vilka sidor eller kataloger de får eller inte får besöka. För länkbygge är det viktigt att förstå robots.txt när du utvärderar potentiella länkpartner. Om en sida där din länk placeras blockeras av robots.txt kan sökmotorerna inte crawla den, vilket innebär att din backlink inte ger något SEO-värde. När du granskar länkmöjligheter säkerställer en kontroll av målwebbplatsens robots.txt att dina länkar kan upptäckas av crawlers. Din egen robots.txt bör dessutom inte av misstag blockera viktiga sidor som får backlinks.