对于搜索引擎来说，理论上它可以对互联网上的所有页面进行抓取和索引，但事实并非如此。由于带宽、海量存储空间、响应速度等技术因素的限制，搜索引擎总是会先对一些页面进行抓取和索引，先对哪些页面进行抓取和索引？它将尝试对一些更重要的页面进行爬网，那么索引如何确定哪些页面更重要，以便优先进行爬网和索引？一般考虑以下因素：

1、权重较高的网站曾表示，由于一些因素的限制，搜索引擎总是先抓取一些网页。具有高质量和老资格的网站被认为具有很高的权重。这样的网站搜索引擎蜘蛛会先爬行和索引，所以我们需要找到提高网站权重的方法。网站的权重是一个综合指标，需要多方面的努力。搜索引擎搜索不仅优先对权重较高的网站进行抓取和索引，而且对于权重较高的网站，搜索蜘蛛往往会爬得更深。例如，一些大型网站，如新浪、网易、A5、落后者等，将很快被纳入新产生的网站。是因为它们的体重太重。

2、页面的更新频率搜索引擎蜘蛛每次爬网页面时都会记录数据。如果下次它爬行时，页面不会改变，那么为了节省带宽，就不需要这么频繁地来。如果以前每周来一次，可能半个月来一次。更新越少，出现的次数就越少，例如如果更新更频繁，更新更有力，搜索引擎蜘蛛就会出现得更频繁。例如，如果你一周更新一次，如果你更新的足够快和足够频繁，它可能会更改为一周两次，一周三次。。。甚至是每日快照。这需要你培养蜘蛛。

3、导入链接搜索引擎的蜘蛛沿着链接爬行网页。为了让页面被蜘蛛抓取，页面必须导入链接。如果没有链接，蜘蛛将不知道你的网页的存在。而高质量的导入链接对页面的收藏非常有帮助。要做好首页外链和内链，做好网站内部链接，相关页面要相互链接，首页要有到栏目页面的链接，栏目页面要有到主页和内容页面的链接，内容页应具有到列页和主页的链接，以便形成一个平面的右型网格结构。这有助于搜索引擎抓取和索引尽可能多的页面。

4、我们知道，一般来说，权重的网站是主页，而且大多数外部链接也指向网站的主页。搜索引擎中常见的蜘蛛爬行是主页，它是爬行其他页面的入口。主页的有效点击次数越少，页面的权重就越高，被搜索引擎蜘蛛抓取的几率就越大。所以我们得想办法把新的页面链接放到主页上。这可以加快被收录在内的机会。