一些robots.txt的基本用法

2009年12月30日14:33:06 3 505 views

很多中小站长不知道怎么手写robots文件,现在我把总结的一些方式发放分享给大家,希望能有帮助。

A.  禁止所有搜索引擎访问网站的任何部分:

User-agent: *

Disallow: /

B.  允许所有的 robot 访问

User-agent: *

Disallow:

或者建一个空文件 "/robots.txt" file

C.  禁止所有搜索引擎访问网站的几个部分(下例中的 admin、tmp、private 目录)

User-agent: *

Disallow: /admin/

Disallow: /tmp/

Disallow: /private/

D.  禁止某个搜索引擎的访问(下例中的 Baidu)

User-agent: Baidu

Disallow: /

E.  只允许某个搜索引擎的访问(下例中的 Google)

User-agent: Google

Disallow:

User-agent: *

Disallow: /

F.王光卫中文博客的robots地址:

http://www.weinotes.com/robots.txt

G.下面一个小工具专门检查 robots.txt文件的有效性:

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
H.你还可以使用百度站长工具的robots工具生成

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:3   其中:访客  2   博主  1

    • 老实 老实 Admin

      还有没有其他写发呢?

        • wgwlaw wgwlaw 6

          @老实 Robots.txt常用写法就这些

        • danieldeng danieldeng 0

          文章不错。学到东西了。