当你开启一个全新站点的时刻，默认的情形下网站根目录中是没有Robots.txt文件的，这导致许多站长并不体贴Robots协议，这为日后的运营，埋下隐患，好比：  

① 发生大量重复页面，动态链接被抓取。  

② 新站无内容栏目，被收录，影响站点质量评定。  

对于新站而言，由于蜘蛛抓取频率有限，我们应该合理行使Robos协议，巧用Robots.txt文件，指导蜘蛛爬行与抓取。  

那么，Robots协议是什么，Robots.txt的作用有哪些？  

1、Robots协议  

简朴明白：Robots协议是搜索引擎蜘蛛爬行的一种尺度，当蜘蛛来访的时刻会首先检测网站根目录下是否存在Robots.txt这个文件。  

若是存在，它会凭证Robots协议的划定，去抓取只被SEO治理允许抓取的页面，而屏障不需要抓取的内容，它可以明白为是蜘蛛与站点之间的桥梁。  

2、Robots.txt文件样式  

Robots.txt通常存放在网站跟目录，你可以登录FTP查看站点跟目录下是否存在这个文件，若是没有可以自行确立，当Robotx.txt为空的时刻，它代表不为网站做任何的抓取限制。  

通常Robots.txt的写法如下：  

User-agent:*  

Allow:/  

它示意允许抓取所有的内容，而将Allow:/替换成Disallow:/则示意阻止抓取站点所有内容。  

其中值得注重的是，百度支持使用通配符"*"和"$"来模糊匹配URL，详细关于Robots.txt文件的相关设置，你可以参考百度官方文档，百度搜索资源平台->网站支持->数据监控->Robots。  

同时，当你修改了相关Robots.txt文件，而并不清晰是否设置准确的时刻，也可以通过上述工具举行检测。  

3、Robots.txt常见问题  

① 若何天生Robots.txt文件  

现在线上平台有许多SEO推广软件，都支持客户端自动天生Robots.txt文件，它提供了一些便利的条件，好比：自动屏障一些没需要的爬虫，阻止虚耗过多资源，以及相关栏目页面与图片等。  

② 网站不收录，熊掌号不出数据  

通常泛起这个问题，你可以第一时间查看Robots.txt文件，是否由于操作失误，屏障了百度蜘蛛，导致网站不收录  

③ Robots.txt与nofollow标签  

有的时刻当你试图屏障一个URL的时刻，显著在Robots.txt阻止抓取了，仍然会被索引，这种情形是可能存在的，为了平安起见，你可以在<meta>标签中，添加nofollow，来到达万无一失的作用。  

总结：Robots.txt文件是一个值得站长研究的协议，它合理的调配网站资源，有利于站点运营的快速生长。