网站哪些页面屏蔽后更加有利于搜索引擎蜘蛛爬行

 

屏蔽图片目录

网站中图片是主要元素，很多网站中的图片素材都是从其他地方找来的，搜索引擎是可以分辨出真假，这会影响网站收录，所以对网站中图片目录“images”进行屏蔽还是有必要的，这样也节省了不少流量。

屏蔽双页面的内容

一个可以生成静态页面的网站，一般来说动态页面也是可以访问的，两者如果都被搜索引擎完全牵引，访问到了一致的内容，对搜索引擎来说是有害无益。而我们要屏蔽的是动态页面，因为静态页面更容易被搜索引擎牵引收录。

屏蔽危及网站安全的隐私目录

所有涉及到有关安全的目录，比如数据库目录，网站日志目录以及备份目录都有必要进行屏蔽。通过ROBOTS.TXT来屏蔽掉，网站的排名就能得到明显的提升。