百度优先考虑建设重要数据库的原则。Baiduspider抓取多少页并不是重要的，而是索引了多少页，我们通常称之为“构建数据库”。众所周知，搜索引擎的索引数据库是分层的，高质量的网页会被分配到重要的索引数据库中，普通的网页会留在普通的数据库中，更差的网页会被分配到低级的数据库中作为补充材料。目前，60%的检索需求只能通过使用重要的索引库来满足，这就解释了为什么有些网站的馆藏量太大，但流量并不理想。
所以，哪些页面可以进入高质量的索引库。对于你的解释，事实上，总的原则是：对用户的价值。包括但不限于：
时效性和有价值的页面：在这种情况下，时效性和价值是并行的。一些网站为了制作时效性强的内容页面，做了大量的收集工作，结果出现了一堆毫无价值的页面，百度不想看到这些页面
内容质量高的专题页面：专题页面的内容不一定是原创的，也就是说，它可以很好地将各方的内容整合在一起，或者添加一些新鲜的内容，比如意见和评论，给用户提供更加丰富和全面的内容。
高价值原创内容页面：百度将原创定义为一篇花费一定成本、积累大量经验的文章。别问我们假原件是不是原件。四。重要个人页面：这里只是一个例子。科比在新浪微博上开了一个账号，需要他不经常更新，但对于百度来说，这仍然是一个非常重要的页面。
哪些网页不能内置索引数据库，将上述高质网页放入索引数据库，其实大部分互联网上的网站根本不被百度收录。并不是百度没有找到他们，而是在建立数据库之前的筛选过程被过滤掉了。什么样的网页在初始阶段被过滤掉
重复内容网页：不需要百度在互联网上包含现有内容。对于主内容短而空的网页，有些内容使用了百度蜘蛛无法解析的技术，如JS、AJAX等，虽然用户在访问时可以看到丰富的内容，但仍然会被搜索引擎抛弃。加载速度慢的网页也可以被视为短页和空页。注意广告加载时间包含在网页的总加载时间中。许多没有被主体突出显示的网页即使被收回也会被丢弃。