有人问临沂seo，蜘蛛spider能像人一样看网页吗？

      尽管搜索引擎在不断地升级算法，但是终究其还是程序，因此我们在布局网站结构的时候，要尽可能地让搜索引擎蜘蛛看得懂。每个搜索引擎蜘蛛都有自己的名，在抓取网页的时候，都会向网站表明自己的身份。搜索引擎蜘蛛在抓取网页的时候会发送一个请求，这个请求中有一个字段为User – agent，用于标示此搜索引擎蜘蛛的身份。
  
     例如，Google搜索引擎蜘蛛的标识为GoogleBot，百度搜索引擎蜘蛛的标识为Baidu spider，Yahoo搜索引擎蜘蛛的标识为Inktomi Slurp。如果在网站上有访问日志记录，网站管理员就能知道，哪些搜索引擎的搜索引擎蜘蛛过来过，什么时候过来的，以及读了多少数据等。如果网站管理员发现某个蜘蛛有问题，就通过其标识来和其所有者联系。

     搜索引擎蜘蛛进入一个网站，一般会访问—个特殊的文本文件Robots.txt。这个文件一般放在网站服务器的根目录下，网站管理员可以通过robots.txt来定义哪些目录搜索引擎蜘蛛不能访问，或者哪些目录对于某些特定的搜索引擎蜘蛛不能访问。例如，有些网站的可执行文件目录和临时文件目录不希望被搜索引擎搜索到，那么网站管理员就可以把这些目录定义为拒绝访问目录。Robots.txt语法很简单，如果对目录没有任何限制，可以用以下两行来描述。

User-agent:  *
Disallow:

      当然，Robots.txt只是一个协议，如果搜索引擎蜘蛛的设计者不遵循这个协议，网站管理员也无法阻止搜索引擎蜘蛛对于某些页面的访问。但一般的搜索引擎蜘蛛都会遵循这些协议，而且网站管理员还可以通过其他方式来拒绝搜索引擎蜘蛛对某些网页的抓取。

    所以临沂seo认为，蜘蛛spider能像人一样看懂网页。