Robots.txt
Tệp văn bản hướng dẫn trình thu thập dữ liệu của công cụ tìm kiếm nên thu thập hoặc bỏ qua những trang hay phần nào của site
Robots.txt là tệp đặt trong thư mục gốc của website, cung cấp hướng dẫn cho trình thu thập dữ liệu của công cụ tìm kiếm về những trang hoặc thư mục được hay không được truy cập. Với link building, hiểu robots.txt rất quan trọng khi đánh giá đối tác liên kết tiềm năng. Nếu trang chứa liên kết của bạn bị robots.txt chặn, công cụ tìm kiếm không thể crawl nó, nghĩa là backlink của bạn không mang lại giá trị SEO. Khi audit cơ hội liên kết, kiểm tra robots.txt của website đích đảm bảo liên kết của bạn có thể được trình thu thập phát hiện. Ngoài ra, robots.txt của chính bạn không nên vô tình chặn các trang quan trọng đang nhận backlink.