如果你的网站运营一段时间，在谷歌和百度的收录情况还比较好，并且具备一定的流量与权重，这个时候就可能存在“垃圾爬虫”广泛爬取的情况。
通常这类爬虫主要分为如下几种类型：
①国外的一批SEO推广软件的搜索爬虫，主要用于提取网站的链接状态。
②网站镜像的代理爬虫，通常都会进行伪装。
③极个别的数据分析爬虫。（网站比较优秀，SEO研究者对你的分析）
这些爬虫除了镜像，实际上并没有从SEO的角度给我们带来诸多问题，但是它却非常容易占用大量的服务器资源，特别是如果你还是一个非知名主机商的虚拟主机。
如果你想要快速检索你的站点爬虫数量，我们可以通过一个小策略，查看robots.txt文件的访问情况，这只是一个小技巧。
2、站内搜索
我相信从目前来看，基本上除了单页组合页面之外，都会存在站内搜索框这个功能，毕竟大量的CMS系统都会配置这个功能，特别是一些模板建站的企业网站。
在很长一段时间里，我们早前给大家解读过一个偏灰帽的策略，虽然是老套路，而不经常被提及，但还是仍然有人沿用至今，简要流程如下：
①寻找具备搜索框的高权重网站。
②在高权重网站搜索框中，输入一段超链接代码。
③基于一些搜索框的设计策略，部分的搜索结果页面会直接反馈出具有锚文本链接的外链。
这样一些习惯性利用系统漏洞的灰帽，就会这样无形之中建立一个高权重的外链。
而之后，便有了多个类似于该策略的变体版本，比如：在搜索框中输入第三方网址等等。
实际上，这个问题，如果你不去查看日志，是很难发现的，但由于对方操作的策略，都是利用软件自动检索，这会直接影响网站加载速度。
因此，从SEO角度来讲，我们第一时间就应该在robots.txt中屏蔽搜索结果页面。
而后，从网站运营来讲，不是特别必须，我们可以采用第三方搜索框，比如：百度站内搜索。
3、漏洞扫描
网站安全漏洞扫描，这个是对于任何一个网站都可能会遇到的事情，比如：我们经常可以在自己的站点数据中，看到大量的404页面的访问情况。
它可能会出现各种CMS系统后台的登录地址，以及一些容易出现漏洞的文件，通常这些情况都是基础性的漏洞扫描。
如果出现长期这样的问题，并且IP地址固定的话，我们可以进行有效的拦截，同时，基于SEO的角度，我们还是建议大家建立404页面。
4、恶意采集
对于恶意采集而言，如果我们不去刻意的分析，我们是很难发现这个问题，除非你在百度搜索结果中看到大量的整站内容和你一样的站点。
一般来讲，我们在查看日志的时候，总是会调用一下IP访问的排行榜，你会发现某些特定的IP长时间的停留在你的网站，并且大量的访问你的页面。
这个时候我们需要排除它是不是CDN节点，是不是正规的搜索引擎爬虫，如果都不是，它很可能就是恶意采集或者镜像的IP。
5、基础状态
审查日志相关性的数据判断网站日常运营的基础状态，这已经是一个常态的操作策略，但对于新手站长而言，经常会忽略这个问题，比如：
①HTTPS和HTTP不进行301重定向，二者反馈都是200状态。
②大量的站内404页面访问，没有进行死链接提交等。
③我们是否需要针对一些304状态的反馈，进行改变。
④当你遭遇一些服务器500错误的时候，该如何处理的问题。
6、站内情况
有的时候我们在做SEO的过程中，偶尔需要进行网站改版，也偶尔会遇到服务器升级的情况，如果自己的相关性配置不到位经常会遭遇一些非常隐晦的问题，比如：页面重复性的问题。
有的时候，我们在配置网站伪静态的时候，一些伪静态规则，经常会给出多个版本的策略，而只是让我们在系统后台筛选。
但并没有在选定之后，而对其他的链接展现形式进行301重定向到目标选定的URL形态上，这无形之中就会增加同内容，多个伪静态规则不同URL地址收录的情况。
一般日常运营的过程中，我们是很难发现这个问题的，除非你在site的时候，或者检索标题的时候，出现多个结果的时候才会注意。
