Robots.txt
Un fișier text care le indică crawlerelor motoarelor de căutare ce pagini sau secțiuni ale unui site să parcurgă sau să ignore
Robots.txt este un fișier plasat în directorul rădăcină al unui site care oferă crawlerelor motoarelor de căutare instrucțiuni despre paginile sau directoarele pe care le pot sau nu le pot accesa. Pentru link building, înțelegerea robots.txt este importantă la evaluarea potențialilor parteneri. Dacă pagina pe care este plasat linkul dumneavoastră este blocată prin robots.txt, motoarele de căutare nu o pot accesa, deci backlinkul nu aduce nicio valoare SEO. La auditarea oportunităților de linkuri, verificarea robots.txt al site-ului țintă asigură că linkurile vor putea fi descoperite de crawlere. În plus, propriul robots.txt nu ar trebui să blocheze din greșeală pagini importante care primesc backlinkuri.