技术 SEO
Robots.txt
一个文本文件,用于告诉搜索引擎爬虫应抓取或忽略网站的哪些页面或部分
Robots.txt 是放在网站根目录下的文件,用于告诉搜索引擎爬虫哪些页面或目录可以或不可以访问。在外链建设中,评估潜在链接合作伙伴时了解 robots.txt 很重要。如果放置您链接的页面被 robots.txt 屏蔽,搜索引擎就无法抓取它,您的 backlink 也就毫无 SEO 价值。在审核链接机会时,检查目标网站的 robots.txt 可以确保您的链接能被爬虫发现。此外,您自己的 robots.txt 也不应意外屏蔽获得 backlink 的重要页面。