一般优化技巧－Robots.txt

Robots.txt指示了网络蜘蛛在特定网址上的索引许可级别，例如，网络管理员能够识另9网站的一些绝对不能被蜘蛛索引到的特殊区域。Robots．txt能够被任何文字处理器创建。这个文件必须遵守下列基本语法。

user-agent:*

disallow:

这表示网站可以无限制地被任何搜索引擎分析。有些开发者还建议这样写：

●User-agent：*

●Disallow：

●Allow:/

“／"是“全部”的意思，由于某些原因，并不是所有的网络蜘蛛都能识别“Disallow”这个口令。

如果网站管理员希望用一个特定的搜索引擎来索引，不允许带有私人信息，或者仅仅是用一些操作编程数据的目录来访问。他们会这样写文件：

● User--agent：Googlebot

●Disallow：／cgi-bin／

●Disallow：／privatefiles／

你必须为每一个目录添加一个独立的Disallow指令来保护其不被蜘蛛抓取

到。想了解更多的关于robots．txt的信息可以访问www.robotstxt.org。