航空论坛_航空翻译_民航英语翻译_飞行翻译

 找回密码
 注册
搜索
查看: 1449|回复: 0
打印 上一主题 下一主题

robots.txt [复制链接]

Rank: 9Rank: 9Rank: 9

跳转到指定楼层
1#
发表于 2009-8-21 21:23:01 |只看该作者 |倒序浏览
[编辑本段]$ ]! z4 o: b1 [6 V) V0 y! X# n
什么是robots.txt?  robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。. g4 J, D( Y2 k# {! G6 N( J7 @
$ H8 p! U7 V, E" m% @( Q; m
  当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
0 U# v8 o4 t* q) ?4 |- _" v) g8 l& g! [$ x% P
  robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。' [" r. \% n6 ?

3 D% m' W2 _5 w# ~" Q* B: n+ K  [  语法:最简单的 robots.txt 文件使用两条规则:
7 N  \& ^8 Z, V$ s" u% d& H- L# Y* f% b) f1 a, {# U
  • User-Agent: 适用下列规则的漫游器 ; ]) Z% y4 H- l* B8 j6 t" l: b! z
8 v4 L4 H* K. n: i3 a* z2 `. E; P
  • Disallow: 要拦截的网页 ; t( C% _  o# L  S. |
[编辑本段]4 w7 ]! [( r# o6 W9 W% s
robots.txt使用误区  误区一:我的网站上的所有文件都需要蜘蛛抓取,那我就没必要在添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。; }7 e/ N. v! a" L; h

  D5 ^4 J! w* \+ ]8 I% R  每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt。  D5 X5 t9 e* d! B

2 C) t* o: l4 x7 O  误区二:在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站的收录率。
1 [  B; w$ Y9 Q5 d+ M5 b* P. ?. i- o# e2 w
  网站中的程序脚本、样式表等文件即使被蜘蛛收录,也不会增加网站的收录率,还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。
3 J/ l; B/ \- G8 u2 A' u& z) l" b5 y! F. h
  具体哪些文件需要排除, 在robots.txt使用技巧一文中有详细介绍。  B$ _! |1 K/ U7 T+ \- l# z1 V; E

. R. [4 Z& R' @% _  误区三:搜索蜘蛛抓取网页太浪费服务器资源,在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。
- J9 t9 ]8 D, V# u! N4 N9 T/ ~- _. b0 ^* K: s0 T: l: H
  如果这样的话,会导致整个网站不能被搜索引擎收录。
! c* a2 ^) K; o( s+ V4 B6 T[编辑本段]7 V$ d) a  @& c% J
robots.txt使用技巧  1. 每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt。
$ V) ^. q/ h' O+ S
, c  e% _1 ^* ]/ i1 J- i  2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如:大多数网站服务器都有程序储存在“cgi-bin”目录下,因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意,这样能够避免将所有程序文件被蜘蛛索引,可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。: q3 d; I% p: D' B3 D3 f" x
, L0 D) `% n5 S+ \. L, T
  下面是VeryCMS里的robots.txt文件:8 ]* p/ \: {2 L0 P
. T0 V4 ]9 @/ `
  User-agent: *
, q$ s1 F" L; G, ]. \5 {& |+ M; E9 w# g4 a1 ]) t9 _  h4 ]) _
  Disallow: /admin/ 后台管理文件
$ H, S) h) N: o4 p  h+ }' R1 H; R$ r) f, Z
  Disallow: /require/ 程序文件5 t! X* p3 S# a' U5 ~( S( H
2 E1 ^: X! {  V! R! U
  Disallow: /attachment/ 附件) J6 v7 p* `  S* Q
8 X3 a- o7 C8 }0 d" U
  Disallow: /images/ 图片7 l) q' P6 v8 [2 @

$ j  n, x9 z; @1 n  Disallow: /data/ 数据库文件
5 k- \' k5 ~& T& [2 w. z2 D' O1 a4 Q' F/ @/ ~; @& N
  Disallow: /template/ 模板文件
0 c2 N# a( E! d4 P
3 v" D0 i4 W  q! {# H! V  Disallow: /css/ 样式表文件3 W% J8 V& g' @7 S* W

0 j4 F+ N5 z2 j! v; E) J  Disallow: /lang/ 编码文件/ H, O1 ~6 w& Z' G7 ^3 U2 u: j

5 K' I4 A! I: O, S' S9 R) M# j2 W$ ~  Disallow: /script/ 脚本文件3 Z: M/ f$ j6 V: I8 q5 A2 L1 l
# J/ u- w, U$ I) [1 l
  3. 如果你的网站是动态网页,并且你为这些动态网页创建了静态副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引,以保证这些网页不会被视为含重复内容。6 x* \) i: s4 X( o3 z

1 b0 o3 j  s" _$ v  4. robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样:
9 r! Y! H- A; H6 Q" N
: Q  y5 B$ h6 X; z, |+ _. @% n6 A  Sitemap: http://www.***.com/sitemap.xml- U( |: h7 O7 N+ O; a
/ y- u6 N  s0 C% R* y
  目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,显然不在这个圈子内。这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。
/ `' ?5 P7 K  }/ I& p% j- P  f9 v: M' E: Y) R& r
  5. 合理使用robots.txt文件还能避免访问时出错。比如,不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录,所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。
您需要登录后才可以回帖 登录 | 注册


Archiver|航空论坛 ( 渝ICP备10008336号 )

GMT+8, 2026-1-12 19:51 , Processed in 0.021001 second(s), 9 queries .

Powered by Discuz! X2

© 2001-2011 MinHang.CC.

回顶部