Robots.txt
Un file di testo che indica ai crawler dei motori di ricerca quali pagine o sezioni di un sito scansionare o ignorare
Il robots.txt è un file collocato nella directory principale di un sito web che fornisce ai crawler dei motori di ricerca istruzioni su quali pagine o directory possono o non possono visitare. Nel link building, comprendere il robots.txt è importante quando si valutano potenziali partner. Se una pagina in cui è inserito il link è bloccata dal robots.txt, i motori di ricerca non possono scansionarla e il backlink non offre alcun valore SEO. Nella verifica delle opportunità di link, controllare il robots.txt del sito target garantisce che i link siano individuabili dai crawler. Inoltre, il proprio robots.txt non dovrebbe bloccare per errore pagine importanti che ricevono backlink.