减少网站中的重复收录量
作为搜索引擎来说,怎么选择一个标准的链接,重复收录页面是同一个网站的内容是极不友好的,告诉蜘蛛,不让其抓取到可以使用跳转的形式,把一系列的ulr作为自己设定的页面也是可以的。
避免网站死链被收录
对于一个网站存在一些死链是很正常的事,比如我们在删除某个栏目或者文章的情况下,不管这些页面是否被搜索引擎收录,我们都需要把这些页面屏蔽掉。因为有时候已经收录了这些页面,只是还没有放出来而已,所以无论是否被收录,我们都需要进行屏蔽,也可以利用404页面来处理。
屏蔽对蜘蛛抓取不友好页面
网站低质量的页面对于蜘蛛是不友好的,我们就要想办法去屏蔽掉。一般选择屏蔽方式是有不同评估的标准。这个时候,屏蔽搜索引擎的友好页面,对于网站后续发展是很重要的。
屏蔽后台
不想被用户看到的,那么就要对蜘蛛进行屏蔽,一般使用robots.txt文件进行屏蔽。