有人问临沂网站优化为什么网站页面没有被抓取
  
   对于搜索引擎来说，要抓取互联网上所有的网页几乎是不可能的。从目前公布的数据来看，容量最大的搜索引擎也不过是抓取了整个网页数量的40%左右。这其中的原因，一方面是抓取技术的瓶颈，无法遍历所有的网页，有许多网页无法从其他网页的链接中找到；另一方面是存储技术和处理技术的问题。如果按照每个页面的平均大小为20K计算（包含图片），100亿网页的容量是100*2000G 字节。即使能够存储，下载也存在问题。