许多优化新手不知道怎么用robots,乃至不大白robots文件到底是为何物，许多网站就是没有配置好这个文件导致了排名不抱负，因此这个文件对网站优化长短常重要的，以下就是具体先容：

 

　　robots对SEO重要性

 

　　一、robots文件是什么

 

　　这个文件是一种协议,全部的搜索引擎蜘蛛进入网站的时辰第一个会见的就是这个文件，详细的浸染就是用来自由配置哪些文件可以抓取，哪些不能抓取。

 

　　二、robots文件配置的名目：

 

　　User-agent：界说搜索引擎的范例；

 

　　Crawl-delay：界说抓取耽误

 

　　Disallow：界说榨取搜索引擎收录的地点

 

　　Allow：界说应承搜索引擎收录的地点

 

　　三、为什么robots很是重要

 

　　1.网站优化切忌的就是一再页面，可是不少人没有重视，此刻的主流网站措施都很轻易自动发生一些没用的页面，好比缓存页面，搜索页面，等等，这些页面内容每每和主体内容相一再，并且没有什么用，假如被蜘蛛抓到，那么对网站排名会有很是严峻的负面影响。

 

　　2.搜索引擎喜畛丨创内容，而这一方面并不是单单是指文章的原创度，另一方面网站模板的原创度也长短常重要的评分点，以是假如本身网站的模板不是原创，最好要屏障css目次和模板目次。

 

　　3.操作robots文件可以用来屏障一些没有效的页面，好比隐私页面，靠山登岸页面，图片目次等内容。

 

　　4.可以大大的加强蜘蛛网站的爬取服从，辅佐搜索引擎领略哪些才是网站最重要的内容，不再挥霍到其余的那些无用的页面上。