每个网站根目录下基本都会有robots文件，robots文件可以规定哪些蜘蛛可以抓取网站的哪些文件，屏蔽掉那些不想被访问的蜘蛛，节省资源以及避免被不必要的采集。也可以屏蔽掉不需要被蜘蛛访问的特定目录，节省蜘蛛资源，把蜘蛛引导到更需要的目录去，提高蜘蛛抓取效率，从而达到我们seo的目的。
1
ITZOO版权所有丨如未注明 , 均为原创丨转载请注明来自IT乐园 ->站点SEO优化之 – 关于“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容”问题解决！
每个网站根目录下基本都会有robots文件，robots文件可以规定哪些蜘蛛可以抓取网站的哪些文件，屏蔽掉那些不想被访问的蜘蛛，节省资源以及避免被不必要的采集。也可以屏蔽掉不需要被蜘蛛访问的特定目录，节省蜘蛛资源，把蜘蛛引导到更需要的目录去，提高蜘蛛抓取效率，从而达到我们seo的目的。
1
