比较详细的robots.txt协议文件的写法

懂一点SEO的人都知道,在SEO网站优化中robots.txt文件的编写直接影响网站优化的成果。正所谓,细节决定成败,robots.txt文件要怎么写?今天苏州seo就花一点时间,专门为大家献上比较详细的robots.txt协议文件的写法解析。
比较详细的robots.txt协议文件的写法
一:robots.txt协议文件有什么用?
 
搜索引擎访问一个网站的时候,最先访问的文件就是robots.txt。她告诉搜索引擎蜘蛛,哪些网站页面可以被抓取,哪些禁止抓取。表面来看,这个功能作用有限。从搜索引擎优化的角度来看,可以通过屏蔽页面,达到集中权重的作用,这,也是优化人员最为看重的地方。
 
二:网站设置robots.txt的几个原因。
 
1、保护网站安全
 
2、节省流量
 
3、禁止搜索引擎收录部分页面
 
4、引导蜘蛛爬网站地图
 
三:怎么用标准写法书写协议?
 
1、定义搜索引擎
 
用User-agent:来定义搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。
 
也就是说User-agent:*表示定义所有蜘蛛,User-agent:Baiduspider表示定义百度蜘蛛。
 
2、禁止与允许访问
 
Disallow: /表示禁止访问,Allow: /表示允许访问。
 
在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。
 
3、禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的js文件为例,写法如下:
 
Disallow: /a/*.js
 
4、只允许某个搜索引擎访问,以Baiduspider为例,写法如下:
 
User-agent: Baiduspider
 
Disallow:
 
5、禁止访问网站中的动态页面
 
User-agent: *
 
Disallow: /*?*
 
6、只允许搜索引擎访问某类文件,以htm为例,写法如下:
 
User-agent: *
 
Allow: .htm$
 
Disallow: /
 
7、禁止某个搜索引擎抓取网站上的所有图片,以Baiduspider为例,写法如下:
 
User-agent: F
 
Disallow: .jpg$
 
Disallow: .jpeg$
 
Disallow: .gif$
 
Disallow: .png$
 
Disallow: .bmp$
 
四:robots.txt文件放在那里?
 
此文件需放置在网站的根目录,且对字母大小有限制,文件名必须为小写字母。所有的命令第一个字母需大写,其余的小写。且命令之后要有一个英文字符空格。
 
五:哪些时候需要使用该协议。
 
1:无用页面,很多网站都有联系我们,用户协议等页面,这些页面相对于搜索引擎优化来讲,作用不大,此时需要使用Disallow命令禁止这些页面被搜索引擎抓取。
 
2:动态页面,企业类型站点屏蔽动态页面,有利于网站安全。且多个网址访问同一页面,会造成权重分散。因此,一般情况下,屏蔽动态页面,保留静态或伪静态页面。
 
3:网站后台页面,网站后台也可以归类于无用页面,禁止收录有百益而无一害。

关键字词robots.txt



内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.ruheseo.com/SEOjiaocheng/46.html