一、索引总数

        每天都盯着搜索引擎看它到底收录了多少页面是件破费心力的事情。实际上，即使你的网站表现正常，搜索引擎收录的页面数量也会经常产生比较大的波动。在其他条件不变的情况下，页面收录数量下降的唯一原因是网站流量的下降，除非你能找到更好的理由来证明是收录页面导致了流量减少或者两者毫无关系。换句话说，如果你在Google索引的页面减少了30%，而这些减少的页面并没有给你的网站带来流量的话，则可以证明收录页数的下降并不是网站流量下降的原因。

        如果你的网站网址分成有www和没有www两种，你需要将其中一个重定向到另一个网址(利用301错误来重定向)。这样做短期会延迟搜索的流量并减少收录的页面(特别是在两个网址都有很高排名的时候)。不过从长期来说，你的网站将受益无穷。

        如果你能知道哪些页面不再索引的范围之内，你可以试着改变一下网页的导航结构来确保搜索引擎的爬虫有更多的机会来找到这些被埋没的页面。另外，也要检查这些没有被收录的页面，它们的内容是否和网站上其他的内容重复、和其他网站上的内容类似。这对于一些分类目录网站可能会比较困难，因为他们的内容主要是商家们的销售信息。总的来说，独特的，用户自发产生的内容(最好还有多个内部和外部链接)应该不会被搜索引擎忽略掉。

        上个星期，搜索引擎支持商Sitemaps.org提供给了用户另外一种让爬虫抓取内容的方法 ：通过将你XML sitemap feed的网址插入到robots.txt中去，搜索引擎会自动搜索到相应的地址。随着Ask.com也加入到这份搜索引擎支持名单上来后，XML sitemap对于那些并不总能被爬虫抓到的页面来说将变得至关重要起来。