- 注册时间
- 2008-9-13
- 最后登录
- 1970-1-1
- 在线时间
- 0 小时
- 阅读权限
- 200
- 积分
- 0
- 帖子
- 24482
- 精华
- 4
- UID
- 9
  
|
[编辑本段]
* s+ t0 O6 R# o5 s; A: p1 d什么是robots.txt? robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。& D, C( s" T8 N" _ }
. ]# Z! B; P8 N# w/ r' C# R. Y, g7 O 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
: |2 d9 F- ?6 h$ d0 s/ w9 m
1 `5 l. ]- J. t, O0 w+ K robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。& r) a: K! u+ b% `0 J- x! S
1 `) i( Z% {7 H& q! L0 P1 r 语法:最简单的 robots.txt 文件使用两条规则:. Z, ]. g0 \' r- ^% Y% J
) m0 p" E7 x4 M- Z V9 R: r2 [) n% m [ • User-Agent: 适用下列规则的漫游器 ! d) Z/ z8 t: m/ F, H/ U7 s4 \
6 g) N. c7 x3 C. b • Disallow: 要拦截的网页
+ T0 S8 }& _$ q8 c, N, ~1 T[编辑本段]
- k5 ?: w; c0 a8 f7 F4 E9 x7 Urobots.txt使用误区 误区一:我的网站上的所有文件都需要蜘蛛抓取,那我就没必要在添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。# Y8 B6 x& p3 z; \' K2 V
; T9 J* g; l; }' J3 }2 e$ o( D! H
每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt。& \& M) K$ t4 N* V) S' ^
3 ^ P# P9 }* v
误区二:在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站的收录率。. a* x9 O3 i! J: K9 L1 S$ v
* |3 I4 M S5 }1 O9 W+ r 网站中的程序脚本、样式表等文件即使被蜘蛛收录,也不会增加网站的收录率,还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。
" b8 N9 d5 i; n2 |) q0 Y) N4 }* q, Y4 U3 Z1 W% I* g
具体哪些文件需要排除, 在robots.txt使用技巧一文中有详细介绍。
9 {5 Y* x4 M' A, T2 S% r
- r1 Z7 v" E& o9 _8 `; B7 [ 误区三:搜索蜘蛛抓取网页太浪费服务器资源,在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。
7 ^0 Q% [' b, I5 G
$ z$ V# Q2 R# Y9 N* U 如果这样的话,会导致整个网站不能被搜索引擎收录。
3 y/ w7 u+ ]7 {" Y[编辑本段], @7 v m! r( b4 g7 |2 K
robots.txt使用技巧 1. 每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt。$ J1 n2 u+ u9 W) [) Q" Z$ q
. V2 p3 l! ^* I3 B5 O( ~ 2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如:大多数网站服务器都有程序储存在“cgi-bin”目录下,因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意,这样能够避免将所有程序文件被蜘蛛索引,可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。9 S$ U# b; c# J0 H. a. m: i( g
7 T5 F. d: h& Q2 D2 }) Y4 u- m 下面是VeryCMS里的robots.txt文件:/ B0 l- W4 U+ z, p! A8 X: C; ^
# a+ ?+ i3 S, t$ k; N/ q5 B: `( G
User-agent: * z6 ~6 ]7 o4 r" X, _- `8 G
2 }( ]) \: Q9 u Disallow: /admin/ 后台管理文件/ H* j/ f' p. n1 r" ~
3 M {; q8 j: H8 F' U7 A! {! S Disallow: /require/ 程序文件
( B# v' b$ p- b% V" n0 ~6 i9 ~8 n# t/ {1 m
Disallow: /attachment/ 附件# ^2 {2 o. @ W# S
& v4 P# c2 l* H$ _9 G! v7 a Disallow: /images/ 图片
' h& H: L! g# |' w
- K; w2 p" \- s; X* Z- G5 j4 O/ F Disallow: /data/ 数据库文件* r1 V5 F: ?8 F, u5 |
6 r( v$ Q& F+ n% U9 p
Disallow: /template/ 模板文件
$ a7 K! f2 x1 N8 G! V, w9 R2 a* s/ d
; O7 e- N; S7 H8 S; j/ k Disallow: /css/ 样式表文件
H# h1 }3 |1 C/ V! y
# `+ ]! q$ m2 _ Disallow: /lang/ 编码文件
0 o$ _5 r( B! @, Z1 h( ~( j/ @0 M- g5 p# ?8 S. B* @- g- O' L1 _) Y! p
Disallow: /script/ 脚本文件
! }7 p6 L' e. x( z, Y8 G7 b$ ], ^; W
3. 如果你的网站是动态网页,并且你为这些动态网页创建了静态副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引,以保证这些网页不会被视为含重复内容。/ x- w! L }; B9 f* F
* w% G6 y; D' ~ 4. robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样:' @, n X* D, [" x. o
0 v$ m7 l7 c6 j- q Sitemap: http://www.***.com/sitemap.xml
+ R2 @/ {. e: e" d/ z9 L8 {
' K# z+ w2 O+ A# c" \" f$ I 目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,显然不在这个圈子内。这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。
+ T, e2 w4 h; v. z2 Y' J& M0 l6 L" c9 v- v- j0 `9 L! y u
5. 合理使用robots.txt文件还能避免访问时出错。比如,不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录,所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。 |
|