航空论坛_航空翻译_民航英语翻译_飞行翻译
标题:
robots.txt
[打印本页]
作者:
帅哥
时间:
2009-8-21 21:23:01
标题:
robots.txt
[编辑本段]
. S0 x% `6 v4 o, V8 [" M$ v* \
什么是robots.txt？ robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
4 h, g- |9 \$ F+ y' k
7 v0 i" ~) X) X9 Q1 ]/ R
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
! ]3 Z2 z3 U C; [$ `; l/ K4 I
; Z3 {% I# b- W" m# s# ^- V
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
, B: J5 }1 P# H3 Y, Q: ]# F1 z
( X5 L% ]! B, }: G& g
语法：最简单的 robots.txt 文件使用两条规则：
9 B; M, C, u* \+ p- p6 a
9 y8 `. |5 t" P/ h
• User-Agent: 适用下列规则的漫游器
2 {" |& b( e" |% s
4 c7 x: U/ T y3 |7 B2 B
• Disallow: 要拦截的网页
& M+ ]6 z. O- h3 E
[编辑本段]
) Q- g2 J( [0 ?+ Y
robots.txt使用误区 误区一：我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。
, C, P$ o1 i d
7 k6 r1 f# ~' t' u' D6 n, t4 [
每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt。
6 g+ ]' l, c; H; h+ M
$ O+ M' n( G: M( ?; P. |0 s
误区二：在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取，这样可以增加网站的收录率。
1 {- C; K; F% s+ e
! e5 X7 B8 C6 v8 k- L# O# ~+ s
网站中的程序脚本、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。
4 y8 p% G$ n4 d& A+ c
: I/ A$ y& T* d& {
具体哪些文件需要排除， 在robots.txt使用技巧一文中有详细介绍。
+ l2 K! {4 \1 x
- i l$ l# g1 k
误区三：搜索蜘蛛抓取网页太浪费服务器资源，在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。
0 m C2 z6 j- z' l4 Z! M
; c) E4 E& Z+ F" Z; o' H$ b& G
如果这样的话，会导致整个网站不能被搜索引擎收录。
9 _4 P3 L, j8 y
[编辑本段]
! y, h. V# P; b+ }* ~7 F- Q. Q
robots.txt使用技巧 1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。
7 Y2 x, g5 ?. y6 s0 R! @# ^
4 h4 P- T. ^+ U) R1 ^; ]
2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
A; _, j, ^/ o P. K
% u; _' W0 p. q
下面是VeryCMS里的robots.txt文件：
8 g( F% g! o0 J, g2 V' a) z X
" r. Y* B: x, x$ v
User-agent: *
5 c' U) Z% O: y9 B/ M
8 W( N: g5 I: {# w4 w
Disallow: /admin/ 后台管理文件
% a5 U. O% Q& {" \" q; g+ B
. Y" l/ ?8 D& a/ K5 A
Disallow: /require/ 程序文件
# F& U) N7 w" h! t+ \/ `
& W6 t+ z: q1 Q% `# v! B
Disallow: /attachment/ 附件
% M- W3 m( Y' y( Z! o7 t. i$ t
# I1 x+ O0 x& w8 j& p8 u
Disallow: /images/ 图片
4 q$ [4 l1 q8 A( n- R
2 d" A! T$ _6 o2 ?* F. F: U
Disallow: /data/ 数据库文件
' p& Z' Q: E1 M, a/ u: ~9 {
- @" M- g5 ^1 S; D
Disallow: /template/ 模板文件
7 l: v S' R6 Z) Z& q) }. r
- V) W6 }# a! k0 k. t% G. t
Disallow: /css/ 样式表文件
) c* }) G+ R8 }. b* m$ p) d
: h4 a4 U9 d# o2 x! W. q
Disallow: /lang/ 编码文件
) i8 k, M8 i$ {6 w4 c
0 Y0 \3 y! s' \. g. G+ W
Disallow: /script/ 脚本文件
, f+ f4 @' Q* P2 J" e: W
& O; ~9 a% O, Z' \1 `; x \8 P
3. 如果你的网站是动态网页，并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为含重复内容。
* J: V2 f" T: U' x# d; C
- Z6 |+ V4 |- _3 i! x
4. robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：
( J6 i/ B1 h. {% v9 ~
& A& N5 {. t; G: \2 I! y8 N
Sitemap: http://www.***.com/sitemap.xml
$ g L* k2 d6 o" o0 k
& L- S* c. S# S @$ W
目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。
$ Q" M, ^& h0 X1 [8 r& Q$ ?
& v' I; o/ O# u/ I! ~
5. 合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。
欢迎光临 航空论坛_航空翻译_民航英语翻译_飞行翻译 (http://bbs.aero.cn/)
Powered by Discuz! X2