站内优化robots具体写法

在网站SEO中,robots文件的编写会直接影响着网站的优化结果,尤其是新手,要在了解清楚写法之后在写,避免给网站带来不必要的麻烦,站内优化robots具体写法是怎样的?我们来了解一下。
站内优化robots具体写法
 
一、什么是robots.txt文件?
 
robots.txt文件是搜索引擎在访问你的网站前,会查看的一个文件,它会告诉搜索引擎哪些内容可以访问,哪些内容不可以访问,当它要访问一个网站时会先检查是否存在robots.txt,如果有会按照这个命令进行访问有权限的内容。
 
二、为什么要写robots?
 
网站为了SEO的优化,robots.txt会屏蔽掉一些不想被抓取的内容,可以保护网站的安全,也可以节省一些流量,对蜘蛛也会方便一些,引导蜘蛛爬网站地图。
 
三、robots的基本写法与步骤
 
1、允许所有搜索引擎访问
 
User-agent: *
 
Disallow:
 
或者
 
User-agent: *
 
Allow: /
 
(也可以直接建一个空文件 “robots.txt”然后放到网站的根目录。User-agent: 是定义搜索引擎,“*”是表示所有。)
 
2、禁止所有搜索引擎访问
 
User-agent: *
 
Disallow: /
 
或者
 
User-agent: *
 
allow:
 
(Disallow: /表示禁止访问,Allow: /表示允许访问,需要注意的是,/前面有个英文状态下的空格。)
 
3、禁止所有搜索引擎访问网站中的几个文件夹,我以a、b、c目录来代替
 
User-agent: *
 
Disallow: /a/
 
Disallow: /b/
 
Disallow: /c/
 
如果是允许,则是
 
Allow: /a/
 
Allow: /b/
 
Allow: /c/
 
4、禁止某个搜索引擎的访问,我用w来代替
 
User-agent: w
 
Disallow: /
 
 
User-agent: w
 
Disallow: /d/*.htm
 
在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL,包含子目录。
 
 
5、只允许某个搜索引擎的访问,我用Baiduspider为例
 
User-agent: Baiduspider
 
Disallow:
 
在Disallow:后面不加任何东西,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛,意思是仅允许Baiduspider访问该网站。
 
6、使用”$”限制访问url
 
User-agent: *
 
Allow: .htm$
 
Disallow: /
 
意思是仅允许访问以”.htm”为后缀的URL
 
7、禁止访问网站中所有的动态页面
 
User-agent: *
 
Disallow: /*?*
 
8、禁止搜索引擎F抓取网站上所有图片
 
User-agent: F
 
Disallow: .jpg$
 
Disallow: .jpeg$
 
Disallow: .gif$
 
Disallow: .png$
 
Disallow: .bmp$
 
意思是只允许引擎抓取网页,禁止抓取任何图片(严格来说,是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。)
 
9、只允许搜索引擎E抓取网页和.gif格式图片
 
User-agent: E
 
Allow: .gif$
 
Disallow: .jpg$
 
Disallow: .jpeg$
 
Disallow: .png$
 
Disallow: .bmp$
 
(意思是只允许抓取网页和gif格式图片,不允许抓取其他格式图片)
 
四、robots注意事项
 
robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。在写robots.txt文件时User-agent、Disallow、Allow、Sitemap这些词第一个字母要大写,后面的字母小写,:后面是英文状态下的空格。站长想查看网站robots.txt文件是否生效,可以在百度统计中查看。

以上就是站内优化robots具体写法的相关介绍,大家可以参考苏州SEO博客的robots文件写法,再根据自己网站的情况具体设置即可。

关键字词robots



内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.ruheseo.com/SEOjiaocheng/158.html