对于国内的小伙伴，我们都知道在做SEO的过程中，我们面对的最常见的爬虫就是搜索引擎的爬虫，比如：百度蜘蛛，同时，还会面临各种搜索引擎的蜘蛛，比如：
①360Spider、SogouSpider、Bytespider
②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot
③其他爬虫
如何你没有刻意的配置你的robots.txt文件的话，理论上，你的目标页面是都可以抓取与爬行的，但对于一些中小网站，它偶尔会严重浪费自己的服务器资源。
这个时候我们就需要做出有选择性的合理引导，特别是一些比较尴尬的问题，比如：你希望谷歌降低对网站爬行，而又不能完全屏蔽，你可能需要一些小技巧，比如：针对特定爬虫的访问，反馈不同的文章列表：
①控制更新频率的列表
②反馈大量重复性，内容农场的页面
③善意的“蜘蛛陷阱”比如：Flash
④如何对方SEO管理平台，可以调整抓取评论，适当调整一下
虽然，这样的策略，很可能造成页面信誉度受损，但这是我能想到，针对这些不希望经常爬行，而又需要保持爬行的蜘蛛，合理控制抓取的一个相对“有效”的方法。
2、链接分析爬虫
从目前来看，一个SEO外链分析管理工具，每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。
针对一些资源密集型的站点，每天可能爬行成千上万次，这样的爬虫屡见不鲜。
如果你不想自身的网站参与其中，最简单的策略就是在robots协议中，全封闭这样的爬虫。
3、内容采集爬虫
但当我们面对一些恶意的内容采集爬虫而言，就相对的尴尬，对方往往是采用“隐身”的状态，比如：模拟知名搜索引擎蜘蛛的名称。
针对这样的问题，我们只能手动的判断去审查一下对方的庐山真面，比如：利用IP泛解析命令，去判断一下，它到底是不是真的。
①Linux平台：hostip
②Widows平台：nslookupIP
从而去判断对方的解析地址，是否为对应的搜索引擎域名。
4、蜘蛛池爬虫
目前市面上有很多人做百度蜘蛛池，它主要的目的是辅助更多的页面做百度快速收录，但由于一些任意下载的蜘蛛池程序设计的不规范化。
没有做到合理的针对不同蜘蛛的爬行与限定，往往导致服务器资源被大量占用，很容易被服务商关停服务器。
如果你试图利用这个策略，提升自己页面收录，那么，你可能需要多加注意。(但我们并不推荐)
