Robots.txt
Arama motoru tarayıcılarına bir sitenin hangi sayfalarını veya bölümlerini tarayacaklarını ya da yok sayacaklarını bildiren bir metin dosyası
Robots.txt, bir web sitesinin kök dizinine yerleştirilen ve arama motoru tarayıcılarına hangi sayfalara veya dizinlere erişip erişmemeleri gerektiği konusunda talimat veren bir dosyadır. Link building açısından robots.txt'yi anlamak, potansiyel link partnerlerini değerlendirirken önemlidir. Linkinizin yerleştirildiği sayfa robots.txt tarafından engelleniyorsa, arama motorları onu tarayamaz; bu da backlink'inizin hiçbir SEO değeri sağlamadığı anlamına gelir. Link fırsatlarını denetlerken hedef sitenin robots.txt dosyasını kontrol etmek, linklerinizin tarayıcılar tarafından keşfedilebilir olmasını sağlar. Ayrıca kendi robots.txt dosyanız, backlink alan önemli sayfaları yanlışlıkla engellememelidir.