Robots.txt
File teks yang menginstruksikan crawler mesin pencari halaman atau bagian situs mana yang boleh di-crawl atau diabaikan
Robots.txt adalah file yang ditempatkan di direktori root situs web yang memberikan instruksi kepada crawler mesin pencari tentang halaman atau direktori mana yang boleh atau tidak boleh diakses. Dalam link building, memahami robots.txt penting saat mengevaluasi calon mitra link. Jika halaman tempat link Anda dipasang diblokir oleh robots.txt, mesin pencari tidak dapat meng-crawl-nya, sehingga backlink Anda tidak memberikan nilai SEO. Saat mengaudit peluang link, memeriksa robots.txt situs target memastikan link Anda dapat ditemukan oleh crawler. Selain itu, robots.txt Anda sendiri tidak boleh secara tidak sengaja memblokir halaman penting yang menerima backlink.