航空论坛_航空翻译_民航英语翻译_飞行翻译

 找回密码
 注册
搜索
查看: 1454|回复: 0
打印 上一主题 下一主题

robots.txt [复制链接]

Rank: 9Rank: 9Rank: 9

跳转到指定楼层
1#
发表于 2009-8-21 21:23:01 |只看该作者 |倒序浏览
[编辑本段]
& t' O% ~; J/ w! {% F& B1 g: N) c什么是robots.txt?  robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。# j3 z, [8 s1 L. Z" f; K1 B& s- [4 @
( O. A- t1 H% a) s4 Y* d/ O
  当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
/ X$ V9 z9 j* N) N# R2 b4 \" V2 {$ U" d9 B4 |; ^2 x& @/ z
  robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
: h+ S- e& Y6 W- {6 A9 M6 @' p5 O  O' }
  语法:最简单的 robots.txt 文件使用两条规则:9 @4 P2 U, X% a

/ t! l4 }6 |! ~7 e  • User-Agent: 适用下列规则的漫游器
# C9 w) @& P( d
  o( _0 D: p! z( p) z( v% q  • Disallow: 要拦截的网页 1 c3 T- H% `7 ^5 X- K
[编辑本段]& {- n( q" N8 ~' ]2 _: m
robots.txt使用误区  误区一:我的网站上的所有文件都需要蜘蛛抓取,那我就没必要在添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。
4 n( t& U+ S* `. E! W) \( x1 Z* B9 n% V% P2 W+ L8 v
  每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt。; B2 Y+ f1 ]0 M; Z" q9 x

& V$ b0 i0 f/ ^$ y* l# Z  误区二:在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站的收录率。
( x8 p8 W& e( G' ^
& z: M3 m1 n' J& Q$ i9 a. P+ I  网站中的程序脚本、样式表等文件即使被蜘蛛收录,也不会增加网站的收录率,还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。
6 P! ^* p8 I- U* J& G7 K1 `
% {5 D: x, ]* S0 U1 j) f  具体哪些文件需要排除, 在robots.txt使用技巧一文中有详细介绍。
  G& Q( `2 w1 @
2 d, G4 V0 Q, X, f% B  误区三:搜索蜘蛛抓取网页太浪费服务器资源,在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。* m/ F" Z" N# ?1 ?" f
$ I% J7 t5 ]9 p/ w6 f7 Z
  如果这样的话,会导致整个网站不能被搜索引擎收录。
' z- [  `& u' N# w+ G$ _+ Z[编辑本段]# G1 {' i3 j9 f$ y
robots.txt使用技巧  1. 每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt。
% `7 u1 m0 m8 L( F. I
) z5 ~. t( f4 s  2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如:大多数网站服务器都有程序储存在“cgi-bin”目录下,因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意,这样能够避免将所有程序文件被蜘蛛索引,可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
( _2 h! i! R" j; Y: m
+ H# m+ k3 D) S8 d2 O  下面是VeryCMS里的robots.txt文件:
; z& V- _, F; Y" P( L/ c2 }8 Z
# ?5 M/ A) V1 N8 d9 _* `$ K  User-agent: *
5 t; f  Y" Z  e! c0 _$ i0 l8 ?7 D
! }' y) H2 `! O& W  Disallow: /admin/ 后台管理文件
, y. q2 P' }5 Y) |5 `; c4 Y% Z% p
  S2 P0 Q' p, W3 Z3 B; S0 [  Disallow: /require/ 程序文件
$ x6 L' Q7 C0 |
& p0 |$ A2 u( P+ y  b3 h5 d0 _, Q2 S  Disallow: /attachment/ 附件; s) x4 z3 f+ W
1 ]( x1 G4 k6 |
  Disallow: /images/ 图片
+ A* h, O* E6 Y' `' G& [% Y8 ?# j
8 N4 P# ]8 n! l6 q2 |  Disallow: /data/ 数据库文件
8 C( h$ A1 M0 S" _) P9 Y; P, D, n& Z0 a7 u3 ~; r9 p) N" z
  Disallow: /template/ 模板文件& @! W- I3 G# l
+ n6 B, O5 f+ R; G0 w% a8 }$ h
  Disallow: /css/ 样式表文件
- f2 b! n; |) A6 v/ S! H# p8 ~9 B' }6 ^8 i6 d& `, T3 X* h
  Disallow: /lang/ 编码文件' q/ @  V! d! L* O

& g) h0 g4 A2 \" s8 X6 h" C8 I2 P  Disallow: /script/ 脚本文件+ |: g( n$ Q/ `2 z
6 D0 P) e( R# z0 i
  3. 如果你的网站是动态网页,并且你为这些动态网页创建了静态副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引,以保证这些网页不会被视为含重复内容。
1 L- m# e& l( X4 H4 ?& D! i; G' r% z6 Y+ f$ w
  4. robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样:  }) U) X9 Z1 T' Q3 P/ t8 j1 U* c

. H8 B7 {0 F: J8 ~3 E( y4 e0 |  Sitemap: http://www.***.com/sitemap.xml0 j+ Z1 `; E1 W! z

. _& {! I& H- [: k  目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,显然不在这个圈子内。这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。* w4 o4 |8 [' X1 n+ E$ ]' \* ?7 z; |% S
& o7 B5 @1 z# l7 a8 |/ c
  5. 合理使用robots.txt文件还能避免访问时出错。比如,不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录,所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。
您需要登录后才可以回帖 登录 | 注册


Archiver|航空论坛 ( 渝ICP备10008336号 )

GMT+8, 2026-1-13 15:40 , Processed in 0.023001 second(s), 10 queries .

Powered by Discuz! X2

© 2001-2011 MinHang.CC.

回顶部