航空论坛_航空翻译_民航英语翻译_飞行翻译
标题:
robots.txt
[打印本页]
作者:
帅哥
时间:
2009-8-21 21:23:01
标题:
robots.txt
[编辑本段]
9 L& R8 r! j- w+ ^ l" _
什么是robots.txt？ robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
# f$ ]2 p* E( k8 Q3 b
& T4 R; m' t! r1 M+ ~& I, m
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
" S2 y( h& X; d& H7 O) Q6 ]
( C, D% S H8 N
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
- m( J$ h) ~. L
/ ]4 v) ]2 t C, x
语法：最简单的 robots.txt 文件使用两条规则：
6 B! n0 ?/ u; \/ k
7 b, M, ^8 X5 ^3 \
• User-Agent: 适用下列规则的漫游器
. p( c q7 \ V3 \$ `; ~( T5 ~
1 g; n' f" _3 |5 @( Z4 C! t2 Y5 C
• Disallow: 要拦截的网页
- r' V4 q4 e1 e; W. B8 Z2 C
[编辑本段]
! C7 P/ ?, B8 D# N% ^
robots.txt使用误区 误区一：我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。
7 z. b8 Y0 W- c
; O" \1 l y6 z* h; P* D% C
每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt。
3 V# E8 u+ ]/ @: J' R/ ^( ]
* q' ]: v$ k% J8 S3 F3 T
误区二：在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取，这样可以增加网站的收录率。
6 q3 I. U% F, z p
: r) L) U6 G' j q
网站中的程序脚本、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。
; Q+ a2 M+ ~' F/ o$ u; h" X
' {9 t- O& Y: K, g2 ?) @
具体哪些文件需要排除， 在robots.txt使用技巧一文中有详细介绍。
8 g! u0 b8 J1 a, X Q6 K# t
7 h4 t8 j5 z& H! A% g
误区三：搜索蜘蛛抓取网页太浪费服务器资源，在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。
# B) X% b2 t' c9 B
* v! v1 E& T+ u/ w: }' n" \' S$ a
如果这样的话，会导致整个网站不能被搜索引擎收录。
$ ?8 M: S5 R/ O9 E
[编辑本段]
( G# |2 R! c8 l; Z
robots.txt使用技巧 1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。
" G3 Y" K. q1 d4 @
/ m# K7 v' _9 n# z! A6 ~
2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
. H& I/ n( w" u& E: z
: {6 _( Z, |5 o8 l/ h6 o0 M7 o h
下面是VeryCMS里的robots.txt文件：
& }+ r/ u8 N) |7 j7 [
{) a% ^- Y7 S
User-agent: *
& ]: i0 H7 z4 b3 _* t' N+ g
& N Q" D' { |$ v5 ^
Disallow: /admin/ 后台管理文件
6 W7 U# z+ u2 z$ s$ S, P
0 R" U; r7 q1 G/ u% g
Disallow: /require/ 程序文件
. u y, `" m. `5 i: P3 N2 B; N
# s- i! t7 L3 }9 m
Disallow: /attachment/ 附件
# X- S {! R. }( S- V! x
8 k8 G, ^+ ?, U" s( J- l0 f2 t* _$ s
Disallow: /images/ 图片
# O% u$ \" d4 c) S1 ~
& ~- @3 F9 a: h
Disallow: /data/ 数据库文件
U7 m9 c; y7 L3 e
( W* P3 N' g+ A( h [7 d5 j" N
Disallow: /template/ 模板文件
' g/ R! c- t4 r5 O
" _6 e3 R- {% H% I/ F& A1 |; Y' {! `
Disallow: /css/ 样式表文件
9 s; ~/ w- D: f; n c/ C8 Z, |; g
- D6 m, Z% P1 }8 @: @
Disallow: /lang/ 编码文件
, N1 Q) }6 P) Z) s2 M/ L
* j ^1 m9 {5 J' O, S
Disallow: /script/ 脚本文件
' ^) w0 w4 Q4 Z% P
! y- t7 J/ J$ B! Q0 v
3. 如果你的网站是动态网页，并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为含重复内容。
% P0 A5 ?$ c; L& H
/ V x* W* A7 q, i8 H
4. robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：
_) E; i2 @' \% L' `) D
/ p9 j! Q( i/ m
Sitemap: http://www.***.com/sitemap.xml
1 z& U9 D8 C' ?' f4 [
( M& V0 b% D* R/ f( T
目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。
+ _2 E* ^7 q$ O- X7 H5 R# P( ~
2 {% n; n( J5 s8 Z
5. 合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。
欢迎光临 航空论坛_航空翻译_民航英语翻译_飞行翻译 (http://bbs.aero.cn/)
Powered by Discuz! X2