具权威性、权重高的老网站享受Vip级的待遇，这类网站抓取频率高、抓取页面多、爬行深度高、收录页面也相对较多，就是如此的差别对待。
2.网站服务器
网站服务器是访问网站的基石，长时间打不开相当于敲很久的门，迟迟没人应一样，访问者就会因为无法访问而相继离开。蜘蛛访问也是访客之一，若是服务器不稳定，蜘蛛每次进页面抓取时都受到阻碍，蜘蛛对网站的印象就会越来越差，导致评分降低自然排名就靠后了。
3.网站的更新频率
网站内容经常更新，会吸引蜘蛛更加频繁的到访，有规律的进行文章更新，蜘蛛就会有规律的到访。蜘蛛每次爬行都把页面数据存储到库了，经过分析后收录页面。若蜘蛛每次爬，发现都与收录的内容完全一样，蜘蛛就会对网站有所判断，从而减少对网站的抓取。
4.文章的原创性
蜘蛛存在的根本目的是寻找有价值的“新”东西，故原创的优质内容对蜘蛛的引诱力是无比巨大的。若能得到蜘蛛的喜欢，自然对网站贴上“优秀”的标签，经常性地爬网站。
5.扁平化网站结构
蜘蛛抓取有自己的规律，若是隐藏太深会造成蜘蛛找不到通往的路，爬取程序是个直白的东西，所以网站结构不要建设得太过复杂。
6.网站程序
在网站建设中，程序可以生产大量的页面，页面一般通过参数来实现，务必保证一个页面对应一个URL，否则会造成内容大量重复，影响蜘蛛抓取。若出现一个页面对应很多URL，尽量通过301重定向、Canonical标签或者robots进行处理，保证只有一个标准URL被蜘蛛抓取。
7.外链建设
对于新站，在网站建设初期，相对流量少，蜘蛛光顾也少。外链可以增加网站页面的曝光股，能增加蜘蛛的爬取，但需要注意的是外链引用的质量。
8.内链建设
蜘蛛在爬取工作中是有A链接到B链接，合理的内链优化能让蜘蛛抓取更多的页面，促进收录。比如在文章内可以设置相关推荐、热门文章等。
9.首页推荐
首页是整个网站中权重最高的页面，也是蜘蛛来访次数最多的页面。在首页设置更新版块，不仅能让首页有更新动作，增加蜘蛛的来访频率，还可以促进更新页的抓取收录。
10.检查死链，设置404页面
蜘蛛爬行工作是通过链接，若链接无法访问，不仅降低蜘蛛的抓取效率还会影响网站权重。所以，非常有必要定期排查网站的死链，主动想搜索引擎提交，同时做好网站的404页面，告诉搜索引擎错误页面。
11.检查robots文件
很多网站无意识的在robots文件屏蔽了百度及部分页面，导致蜘蛛无法正常抓取，所以应该时常检查网站的robots文件是否正常。
12.建设网站地图
网站地图是一个网站所有链接的容器，深的搜索引擎蜘蛛喜欢。链接层次较深的网站，可以通过网站地图方便蜘蛛过来抓取，不仅提高抓取率还能获得好感。网站地图让网站架构更加清晰，便于用户浏览也便于蜘蛛的深度抓取。
13.主动提交
若网站页面更新内容后，可主动想搜索引擎提交链接，这是最快抓取和收录的途径，但提交仅仅只是方便抓取，并不一定百分比收录。
