对于蜘蛛来讲,收录的有效页面越多,网站的价值才会越大!无效页面不会作用于排名,甚至在有些网站高达上百万的收录页面,都没有有效的排名。
那么什么样的页面属于无效页面呢?
简单的来讲“信息被收录了,但是从来带不来任何一丁点的流量,这样的页面就是无效页面!”复杂的来讲,无效页面是指对搜索引擎而言没有索引价值,或对用户来说没有任何价值、无用户需求的页面。这些页面包括注册页、无内容、登录页等等,用户不需要的或重复的页面,也包括广告太多的页面。
这里解释一下什么是重复页呢?就是所谓的你对其他站点进行的采集、复制。但是就目前而言:百度认为互联网上目前存在的信息,已经可以满足用户需求了,不再需要你这个可有可无的信息,那么又会如何给你排名呢?
蜘蛛为什么还会收录无效页面?
首先来讲:无效页面不意味着严重影响蜘蛛的抓取页面,不影响其抓取的,不存在严重作弊问题的都会被收录。其次:百度收录一些信息后,会对其进行再次判断,如果信息质量达不到索引要求,会被重新踢出去!或者说,还有一部分没有被T出去的理由是:你被当做备胎来处理了!
网站在建设和维护过程中,产生的这些无效页面对老站和新站来说,受到的影响分别是什么呢?空页面及无内容的页面针对新站,会直接影响其权重、收录和排名。如果新站的这些无内容页面被百度收录,在1-2周内没有解决掉,搜索引擎很可能会判断该站为劣质网站。
对老站的影响虽然没有这么严重,但也是不容忽视的,不仅会影响到整站的内容质量,更重要的是会降低用户体验。如果老站出现大量的无内容页面,轻者会被百度扣分,严重的会被降权处理。
此时只有把这些无效页面,采用搜索引擎认可的方法,予以有效的处理或屏蔽,才能使搜索引擎恢复对网站的信誉。
对于网站优化无效页面处理的法则,归纳出了四种处理无效页面的方法。
第一种方法也是最简单的方法,即对无内容页面添加一些内容。例如有些产品类网站按用户需求来定位,根据不同的地区或不同的类型,做了很详细同时也很繁杂的分类,而很多分类里面暂时没有产品,就会导致很多无内容空白页面的产生。此时最好的处理方法是,不要给予这些页面入口,等到后期这些页面的产品上架后,再给予入口。
第二种方法是针对用户需要,但对搜索引擎没有索引价值的页面。这些页面包括咨询页面、注册页面、登录页等,这些信息不需要被搜索引擎抓取,也对排名没有任何贡献值。这些页面虽然是被用户或网站本身业务所需要,但用户的信息是不能被抓取的,而且索引价值也非常低。最好的方法是用robots.txt文件进行屏蔽,屏蔽代码为Disallow:/member.php。
第三种是对相对性无效页面的处理。这里包括商品购物车购物页、个人的信息资料页面、博客的留言评论等。此时可以针对这些页面采用rel=”nofollow”处理。
第四种是对大量重复页面的处理。对产品站而言这些重复页面,包括同产品多型号公用页面,或产品不同内容是一样的重复内容页面。网站在不停的制造重复内容,是极不利于搜索引擎优化的行为。对这些页面的处理法则是做canonical处理。
上面是一些“硬性”方面的处理,最后还有一些“软”方面的,就是如:文章的更新,网站的内容是否有价值,是否是烂大街的垃圾货?这个是目前百度对于网站评估的标准。