不知道各位有没有看过百度的优化指南，如果看过的话，相信你会知道该指南中有明确的标示出一个页面如果存在其他不同的URL链接的时候，搜索引擎蜘蛛就会进行选择一个作为主要标准，而那些其他同样页面的URL链接责也都会被收录，不过这些重复收录的页面对于搜索引擎是极为不友好的，甚至会让搜索引擎认为你的网站存在作弊的行为。当然这样的问题解决的方法也是有很多的，例如说我们可以利用robots文件来进行屏蔽那么重复的URL地址，告诉蜘蛛不让其抓取，也可以使用跳转的形式把一系列的URL跳转到自己设定的页面上也是可以的。
(二)屏蔽一些对搜索引擎不友好的页面。
对于一个网站而言，在选择搜索引擎优化为主还是用户体验为主的问题上，往往会面临很艰难的选择，所以这个时候怎样把这些冲突化解就极为重要了。而对于一个有质量的网站页面，用户和蜘蛛也是有着不同的评估标准，所以这个时候我们适当的去屏蔽一些对于搜索引擎不是很友好的页面对于一个网站日后的发展而言是非常有必要的，并且这种事情我们在网站的发展中是会经常的遇到的，但是又会有很多的广告商来这里发布一些没用的广告，而这些广告的质量是极为低的，所以这个时候会了方便用户交流又不会影响到网站在搜索引擎中的权重，我们就非常的有必要把这些页面板块进行屏蔽，不让蜘蛛来抓取，这样就可以做到两全其美咯。
(三)屏蔽网站中存在的死链接。
在一个网站的每个生命周期中，死链是我们经常可以看得到的，也是无法去避免的。就例如说我们把某个栏目删除掉了，而一部分文章页面还存在有该栏目的链接地址，这个时候我们就需要把这些链接进行屏蔽处理。还有一点是需要我们注意的就是，无论这些链接是否被搜索引擎所收录，我们都需要进行屏蔽，因为很多时候搜索引擎收录一些页面是不会立刻放出来的，而是在某段时间的更新中放出来，所以屏蔽掉对我们有利而无害。
(四)屏蔽掉一些没有必要的后台中心。
每一个站点都是有着自己的后台中心页面，还有的就是有会员系统页面等，这些页面对于搜索引擎而言是对用户没有用的，也就是我们说的低质量页面，所以把这些页面屏蔽掉不让搜索引擎抓取也是很重要的。
